Johnson è nato a Canton, nel South Dakota, ed è cresciuto in una fattoria. Si è laureato in scienze politiche presso l'Università del South Dakota nel 1982. Dopo aver lavorato per diversi anni come assistente legislativo, è stato eletto alla Camera dei rappresentanti del South Dakota nel 1986. Ha prestato servizio alla Camera per sei anni, di cui due anni come portavoce.
Nel 1996, Johnson fu eletto al Senato degli Stati Uniti, sconfiggendo il repubblicano in carica Larry Pressler. È stato rieletto per un secondo mandato nel 2002 e un terzo nel 2008.
Johnson era noto per le sue opinioni politiche moderate e la sua volontà di lavorare sia con i repubblicani che con i democratici. Era anche un forte sostenitore dell'agricoltura e dello sviluppo rurale.
Nel 2014, Johnson annunciò che non avrebbe cercato un quarto mandato al Senato. Come motivo della sua decisione ha citato problemi di salute, tra cui un ictus che aveva subito nel 2006.
Johnson ha lasciato il Senato nel 2015. Ora è in pensione e vive a Vermillion, nel South Dakota.