Il padre di Sir Robert era Sir Thomas Clifford, in seguito creato 1° Barone Clifford di Chudleigh. Sua madre era Lady Elizabeth Bourchier, figlia di Henry Bourchier, 2° Conte di Essex.
Questa linea colloca Sir Robert nell'aristocrazia inglese del XVII secolo, con connessioni a importanti famiglie nobili.