Johnson è nato a Indianapolis, nell'Indiana. Ha iniziato a suonare il trombone all'età di 11 anni. Ha studiato all'Arthur Jordan Conservatory of Music e alla Indiana University School of Music.
Johnson si trasferì a New York nel 1942 e divenne rapidamente uno dei trombonisti più ricercati della città. Ha suonato con Charlie Parker, Dizzy Gillespie, Bud Powell e altre leggende del bebop.
Negli anni '50, Johnson iniziò a esplorare l'hard bop, uno stile di jazz più nuovo e aggressivo. Ha registrato diversi album influenti con le sue band, tra cui "The Eminent Jay Jay Johnson Volume 1" (1954) e "Jay Jay Johnson with Clifford Brown" (1955).
Johnson continuò a fare tournée e registrare negli anni '60 e '70. Ha anche insegnato al Berklee College of Music e alla Manhattan School of Music.
Johnson morì di infarto a Indianapolis nel 2001. Aveva 77 anni.
Johnson era un maestro del trombone. Aveva un suono unico che era immediatamente riconoscibile. Era anche un improvvisatore e compositore di talento. La sua musica ha influenzato innumerevoli trombonisti in tutto il mondo.
Ecco alcune delle composizioni più famose di Johnson:
* "Lamento"
* "Ezz-tetico"
*"Enigma"
*"Polvere di stelle"
* "Funk blu"