Il suo lavoro più notevole è stato con il Cannonball Adderley Quintet negli anni '70, ma ha anche lavorato con molti altri importanti musicisti jazz, tra cui Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon e Herbie Hancock.
Oltre al suo lavoro come sideman, Poole ha anche pubblicato diversi album da solista, tra cui "The Essence of John Poole" (1977), "Sweet Lucy" (1978) e "Blue Planet Man" (1980).
Poole è anche compositore e arrangiatore e ha scritto musica per film e televisione. Ha anche insegnato jazz e percussioni latine alla University of Southern California e al California Institute of the Arts.
Poole è stato insignito del premio "Batterista dell'anno" dalla Jazz Journalists Association nel 2004 e nel 2005 ed è anche membro della National Academy of Recording Arts and Sciences (NARAS).