Terrell è nata a Filadelfia, in Pennsylvania, e ha iniziato la sua carriera da adolescente, cantando in vari gruppi locali. Nel 1961 firmò con la Motown Records e pubblicò il suo singolo di debutto da solista, "I Can't Believe You Love Me". La canzone fu un piccolo successo, ma aiutò Terrell a ottenere il riconoscimento all'interno dell'organizzazione Motown.
Nel 1964, Terrell registrò il duetto "Ain't No Mountain High Enough" con Marvin Gaye. La canzone divenne un grande successo, raggiungendo il numero uno nella classifica Billboard Hot 100 e vincendo due Grammy Awards. Terrell e Gaye continuarono a collaborare e pubblicarono molti duetti di maggior successo, tra cui "Your Precious Love", "You're All I Need to Get By" e "If I Could Build My Whole World Around You".
Nel 1967, a Terrell fu diagnosticato un cancro al cervello. Subì un intervento chirurgico e cure, ma il cancro tornò nel 1969. Terrell morì a Filadelfia il 16 marzo 1970, all'età di 24 anni.