Wilson è nato il 23 giugno 1947 nella riserva indiana Sioux nel South Dakota. Era il figlio di una donna Sioux purosangue e di un padre irlandese. Wilson è cresciuto nella riserva e ha iniziato a suonare la chitarra in tenera età. È stato influenzato dalla musica tradizionale del suo popolo, così come dal rock and roll degli anni '50 e '60.
Dopo il liceo, Wilson si trasferì a Minneapolis, Minnesota. dove formò una band chiamata Sugaloaf con suo cognato Craig Fuller e il collega cantautore Michael Omartian.
Il gruppo ebbe un certo successo e registrò due album per la RCA Records, prima di sciogliersi nel 1971.
Dopo lo scioglimento del Pan di Zucchero , Wilson si trasferì a Los Angeles, California, dove formò la Pure Prairie League nel 1972.
La band ottenne rapidamente un seguito e pubblicò numerosi album di successo nel corso degli anni '70.
Alcune delle loro canzoni più popolari includono "Amie" , "Angeli caduti" e " Lascia che ti ami stasera ".
Nel 1979, Wilson lasciò la Pure Prairie League per intraprendere una carriera da solista.
Ha pubblicato due album da solista, " Jeff Wilson" (1981) e "Non essere mai più lo stesso" (1983), ma non ebbero lo stesso successo del suo lavoro con la Pure Prairie League.
Wilson continuò a fare tournée e ad esibirsi negli anni '80 e '90, ma la sua salute iniziò a peggiorare alla fine degli anni '80. Gli fu diagnosticato un cancro alla gola e fu sottoposto a diversi cicli di cure.
Il 12 dicembre 1991, Jeff Wilson morì di cancro alla gola all'età di 44 anni .
Gli sopravvissero sua moglie, due figlie e due figli.