Gladys Knight and the Pips furono fondati ad Atlanta, Georgia, nel 1953. Finché l'atto R&B si esibì, Gladys Knight ne fu la cantante solista. Ebbero diversi coristi nel corso degli anni, molti dei quali parenti. La formazione più duratura includeva il fratello di Gladys, Merald "Bubba" Knight, e i cugini William Guest e Edward Patten.
Il gruppo si formò un anno dopo che Gladys vinse il Ted Mack's Original Amateur Hour contest in TV nel 1952. Aveva solo sette anni. La formazione originale comprendeva Gladys, il fratello Bubba, la sorella Brenda e le cugine Eleanor e William Guest.
Il nome del gruppo, "The Pips", fu preso da un altro cugino, James Woods, il cui soprannome era Pip.
Nel 1959 il gruppo iniziò a tournée e a quel punto sostituirono Brenda ed Eleanor con altri due cugini, Edward Patten e Langston George.
The Pips ebbero il primo successo nel 1961 con una cover di "Every Beat of My Heart", originariamente di Hank Ballard and The Midnighters. Il brano fu venduto originariamente a Vee-Jay Records ad Atlanta, dove il gruppo fu tagliato fuori dai profitti. Poco dopo, riregistrarono il brano per il produttore Bobby Robinson e arrivò al n.1 nella classifica R&B e n.6 in quella pop.
Dopo il successo del primo singolo, Langston George lasciò il gruppo. I membri rimasti iniziarono a fatturarsi come Gladys Knight and the Pips. Dopo il successivo successo, "Letter Full of Tears", nel 1962, Gladys lasciò il gruppo per formare una famiglia col marito James Newman. Senza Gladys, il gruppo continuò a tournée come The Pips. Nel 1964 Gladys tornò in formazione e con l'aiuto del coreografo Cholly Atkins, il gruppo divenne noto per le esibizioni live curate e le coreografie.
Gladys Knight and the Pips ebbero un successo minore nel 1964 con "Giving Up", ma non fu fino alla firma con Motown nel 1966 che iniziarono a sperimentare successo diffuso. In Motown pubblicarono una serie di singoli Top 40 tra cui "Everybody Needs Love", "I Heard It Through The Grapevine", "The Nitty Gritty", "Friendship Train", "If I Were Your Woman".
Il loro maggior successo in Motown fu nel 1972 con "Neither One of Us (Wants To Be The First To Say Goodbye)". Il brano raggiunse il n.1 R&B e n.2 pop. Fruttò a Gladys Knight and the Pips il loro primo Grammy per Best Pop Vocal Performance by a Duo, Group or Chorus.
Nel 1973 Gladys Knight and the Pips lasciarono Motown per Buddah Records. A inizio-metà anni '70 salirono alla notorietà con "I've Got to Use My Imagination", "Best Thing That Ever Happened to Me" e "Midnight Train to Georgia". Quest'ultimo divenne il loro primo e unico n.1 pop e vinse il Grammy per Best R&B Performance by a Duo or Group With Vocals nel 1973.
Nel 1975 il gruppo ebbe un proprio variety show di un'ora su NBC, "The Gladys Knight and the Pips Show". Fu un mid-season replacement e durò solo quattro episodi.
Mentre il gruppo continuò ad avere successo negli anni '80, per problemi legali con Buddha Records, Gladys Knight fu costretta a registrare ed esibirsi separatamente dai Pips. Tra 1978 e 1980, sia Knight che i Pips pubblicarono due album a testa per conto proprio. Nel 1980 il gruppo si riformò con entrambi sotto Columbia Records. La prima uscita fu l'album "About Love".
Nel 1987 Gladys Knight and the Pips pubblicarono l'ultimo album in studio, "All Our Love", su MCA Records. L'album ebbe un n.1 con "Love Overboard", che vinse un altro Grammy per Best R&B Performance by a Duo or Group with Vocals. Nel 1988 il gruppo ricevette un Soul Train Music Award per Career Achievement.
Dopo il tour del 1988, i Pips decisero di ritirarsi mentre Knight intraprese la carriera solista.
* Nel 1968, in Motown, Gladys Knight spinse Berry Gordy a firmare i Jackson 5.
* Secondo l'autobiografia di Knight, "Between Each Line of Pain and Glory: My Life", nel 1968 Diana Ross fece rimuovere Gladys Knight and the Pips dal tour come opening act delle Supremes perché erano "troppo bravi".
* Durante l'apice degli anni '70, molti successi di Gladys Knight and the Pips furono scritti dal songwriter country Jim Weatherly.
* Midnight Train to Georgia ricevette un Grammy Hall of Fame Award, a significare registrazione di importanza storica.
* Nel 2005 Gladys Knight vinse un Grammy per Best Gospel Choir or Chorus album per "One Voice", registrato con The Saints Unified Voices.