Il testo della canzone dipinge un'immagine vivida della vita dell'uomo. Viene descritto come "l'ombra di un uomo" e un "fantasma di un uomo" ed è costantemente alla ricerca di cibo e riparo. È anche perseguitato dai ricordi del suo passato e non riesce a sfuggire alla sensazione di solitudine e isolamento che deriva dall'essere senza casa.
Il titolo della canzone, "Brown Arms in Houston", è significativo in quanto enfatizza il colore della pelle dell'uomo. In una città con una grande popolazione ispanica, le braccia marroni dell'uomo servono a ricordare il suo status di outsider e la discriminazione che deve affrontare.
In definitiva, la canzone "Brown Arms in Houston" è un ritratto potente e commovente delle lotte affrontate dai senzatetto negli Stati Uniti. La canzone fa luce su una questione spesso trascurata e incoraggia gli ascoltatori a considerare l’umanità e la dignità di coloro che sono meno fortunati.