All'inizio del 1900, la città di New Orleans divenne un crogiolo musicale in cui diversi tipi di musica — inclusi folk, blues, ragtime, opera e tamburi tradizionali africani — si fusero per creare una forma d'arte unicamente americana. Secondo il trombettista jazz Wynton Marsalis, "quando tutti questi tipi di musica si fusero in uno, nacque il jazz". Anche se il jazz si è evoluto considerevolmente, gli strumenti che compongono una tipica jazz band non sono molto diversi da quelli che avreste trovato in una jazz band negli anni '30 o '40.
Dai primi giorni del jazz di New Orleans all'era moderna, la maggior parte della musica jazz è costruita attorno a un ritmo. Questo è solitamente fornito da una sezione ritmica composta da un batterista e un bassista. I combo jazz moderni possono utilizzare sia un basso acustico verticale che un basso elettrico, entrambi i quali offrono differenze nel suono e nel tono ma ancorano la band ponendo il profondo suono "bottom". Un tipico kit batteria includerà una grancassa — suonata con un pedale a pedale — così come un rullante, almeno un tom-tom (che non ha rullante) e piatti, incluso un piatto hi-hat suonato con un pedale a pedale.
Nei primi giorni del jazz, le chitarre non erano comuni negli ensemble jazz come lo sono oggi. L'invenzione della chitarra elettrica, tuttavia, ha essenzialmente creato un nuovo suono che poteva essere aggiunto a una jazz band. Dai primi pionieri della chitarra jazz come Django Reinhardt ai chitarristi moderni come Pat Metheny e John McLaughlin, la chitarra è ora uno strumento essenziale nel jazz e ha ridefinito i confini musicali di questa forma musicale.
Strumenti a ottone come tromba, trombone e sassofono hanno a lungo occupato un posto integrale nel jazz, così come i legni come il clarinetto. Le cosiddette "big band" popolari negli anni '30 e '40 avevano diversi strumenti a ottone e legni che suonavano insieme, sebbene queste band ruotassero solitamente attorno a un solista eccezionalmente talentuoso, come il clarinettista Benny Goodman o il pianista Duke Ellington. Forse lo strumento più comune nel jazz moderno è la tromba. Nel corso degli anni, celebri trombettisti come Miles Davis e Wynton Marsalis hanno lasciato i loro rispettivi segni nella storia del jazz.
Per molti fan del jazz, l'idea di una jazz band senza pianoforte è impensabile. Pianisti jazz come Duke Ellington, Thelonious Monk e Oscar Peterson avevano stili diversi, ma tutti dimostrarono una padronanza innovativa dello strumento. L'avvento di strumenti come l'organo Hammond e il sintetizzatore elettronico ha spinto il ruolo del tastierista jazz in direzioni musicali audaci, come tipificato dall'esplorazione musicale di tastieristi come Herbie Hancock e Chick Corea.