Quando si parla di old school hip-hop, ci si riferisce solitamente a fine anni '70 e primi '80. Le origini però risalgono molto più indietro: fino all'Africa occidentale. È importante considerare anche la cultura hip-hop nel suo insieme, che la community considera inseparabile dalla musica.
In Africa occidentale, i musicisti del popolo Mande (Mandinka) sono noti come griot. L'origine del termine è ignota ma risale almeno all'VIII secolo. La musica griot implica raccontare storie di eventi antichi e attuali su sottofondo ritmico. Temi storici preferiti: le gesta degli antichi eroi Mande. Col tempo, questa musica si diffuse globalmente, ed è stata popolare in Giamaica e Caraibi per lungo tempo. Storici della musica considerano la musica griot l'origine dell'hip-hop moderno.
Oltre l'Africa occidentale, l'improvvisazione o free-style rap che accompagna molto hip-hop risale anche alla street poetry degli anni '60 e '70. Più prominentemente, al jazz e allo scat di artisti come Cab Calloway e Slim Gaillard. Nello scat singing, la voce creava ritmi con parole e sillabe casuali senza significato.
Le basi dell'hip-hop moderno iniziarono a posarsi nei primi anni '70. Un ballerino, Don Campbell, pionierizzò alcuni stili di danza già nel 1969, prima che la musica prendesse forma. In questo periodo, tagging e graffiti associati all'hip-hop iniziarono ad apparire nei quartieri di New York. Pionieri come Afrika Bambaataa e The Last Poets si esibirono per primi e iniziarono a trovare i suoni che sarebbero diventati hip-hop.
Questo periodo vide l'hip-hop prendere davvero forma. Individui come Kool Herc (Father of Hip Hop), Grandmaster Caz e Grandmaster Flash introdussero giradischi, mixing e scratching con vecchi album R&B e funk. I pionieri iniziarono a suonare a feste in casa, block party e parchi. Questi anni videro anche la nascita dell'emceeing (MCing), le prime battle tra DJ e competizioni free-style.
Nel 1978, l'industria musicale iniziò a usare il termine "rap music". Fu anche in questo periodo che apparvero le prime troupe B-Boy (break-dancing). Nel 1979 uscì "Rapper's Delight" degli Sugar Hill Gang, primo singolo hip-hop a entrare nella Top 40 USA. A fine anni '80, le major avevano iniziato a investire in hip-hop e rap, erano nati i primi programmi radio dedicati, e iniziarono i primi tour nazionali e internazionali. Nel 1981, The Funky 4 Plus One More apparvero al Saturday Night Live, prima volta di un atto hip-hop in TV nazionale.