Dopo la guerra trovò difficile adattarsi alla vita in tempo di pace. Come dice la canzone "Non sopportava la gente, così si trasferì da solo nel Kentucky. Trascorreva quasi tutte le ore di veglia su una piccola barca su un lago. D'estate pescava tutta la notte quando poteva vedere la propria esca. "
Alla fine, dopo aver trascorso anni vagando da uno stato all'altro, il figlio di Wilson lo rintracciò e lo portò a casa in Alabama.