Nat King Cole sposò Maria Ellington il 25 dicembre 1936 a Chicago, al culmine della sua prima rinascita di carriera. Sono stati felicemente sposati per 20 anni e hanno adottato cinque figli; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (aprile 1941) e due ragazze Carol "Cookie" Cole (1944) e Maria Cole (1947). Il loro figlio Nat Kelly Cole divenne un famoso cantante, cantautore e attore.
Il 28 dicembre 1956, Maria Cole morì inaspettatamente di cancro ai polmoni all'età di 45 anni, lasciando Nat profondamente devastato e con il cuore spezzato. Rimase vedovo finché non sposò la cantante Maria Hawkins l'8 luglio 1965. Rimasero insieme fino alla prematura scomparsa di Nat King Cole nel 1965.
Controversia sulla paternità
Negli anni '90, una donna di nome Lorna Coles si fece avanti, sostenendo di essere la figlia di Nat King Cole da una breve relazione che ebbe con sua madre nel 1947. Il test del DNA confermò che Lorna Coles era effettivamente la figlia biologica di Nat King Cole.