1. Mildred Harris (1918-1920)
2. Lita Grey (1924-1927)
3. Paulette Goddard (1936-1942)
4. Oona O'Neill (1943-1977)
È stato con Oona O'Neill per molto tempo e hanno avuto otto figli insieme.