Non c'è dubbio che Dickens fosse infatuato di Ternan. Le scrisse lettere appassionate che contenevano espliciti riferimenti sessuali. In una lettera, scrisse che desiderava "assaggiare quella bocca rossa e matura... divorare il [suo] corpo succulento".
Tuttavia, la portata della loro relazione fisica è sconosciuta. Alcuni biografi credono che non abbiano mai fatto sesso, mentre altri credono che lo abbiano fatto.
Ciò che è chiaro è che la relazione alla fine divenne un peso per Dickens. Si sentiva in colpa per aver tradito sua moglie ed era preoccupato per lo scandalo pubblico.
Nel 1858 Dickens pose fine alla vicenda e mandò Ternan all'estero, in Francia. Tornò in Inghilterra qualche anno dopo ma non vide mai più Dickens.
La stessa Ternan non ha mai parlato pubblicamente della sua relazione con Dickens. Secondo uno dei suoi parenti, "se lo portò nella tomba".
Anche se i dettagli specifici della loro relazione potrebbero non essere mai conosciuti, non c'è dubbio che la storia d'amore tra Charles Dickens ed Ellen Ternan sia stata significativa e in definitiva tragica.