Dopo essersi diplomato alla Royal Academy of Music, Jones ha fatto il suo debutto professionale nel 1971 in una produzione de Le nozze di Figaro alla Welsh National Opera. Ha poi interpretato ruoli da protagonista in numerose opere, tra cui La bohème, Tosca e Rigoletto.
Negli anni '80, Jones iniziò ad apparire in produzioni di teatro musicale, tra cui Les Misérables, Il fantasma dell'opera e Sweeney Todd. È apparso anche in numerosi film, tra cui La grande fuga (1963), Zulu (1964) e Scontro tra titani (1981).
Oltre al suo lavoro nell'opera e nel teatro musicale, Jones ha avuto una carriera di successo anche come presentatore televisivo. Ha ospitato numerosi spettacoli, tra cui The Alan Jones Show, Songs of Praise e The Voice UK.
Jones è sposato con sua moglie Anne dal 1973. Hanno tre figli insieme, tra cui l'attore e cantante Alexander Armstrong.
Jones ha vinto numerosi premi nel corso della sua carriera, tra cui un Grammy Award, un Olivier Award e un Tony Award. È stato anche nominato cavaliere nel 2003 per i suoi servizi alla musica e al teatro.