Sebbene la sua famiglia fosse in America da generazioni, alla fine erano di origine inglese. Suo padre, Joseph Allen, era nato nel Connecticut, ma suo nonno era venuto in America dall'Inghilterra.
Sebbene la famiglia e la vita di Allen fossero profondamente legate alle colonie americane, i suoi antenati rimangono saldamente radicati in Inghilterra.