Nel IV secolo, sant'Ambrogio, vescovo di Milano, introdusse il canto antifonale, in cui il coro canta versi alternati di un salmo o di un inno. Nel V secolo, San Gregorio Magno, Papa di Roma, standardizzò la liturgia e stabilì un sistema di otto modi musicali. Questo sistema, noto come canto gregoriano, divenne per secoli la forma musicale principale nella Chiesa cattolica.
Durante il Medioevo iniziarono a svilupparsi varie altre forme di musica sacra, come i drammi liturgici, la polifonia e la musica d'organo. La polifonia, dove due o più versi musicali vengono cantati simultaneamente, divenne importante nel XII secolo.
Nel XVI secolo Martin Lutero diede inizio alla Riforma protestante. Ciò ha portato allo sviluppo di diversi stili di musica sacra, come i corali luterani e il canto anglicano. Questi generi rimangono parti importanti del culto cristiano oggi.
I secoli XIX e XX videro un rinnovato interesse per lo studio e l'esecuzione della musica sacra antica, come il canto gregoriano e le opere di Palestrina. C'è stata anche un'effusione di nuova musica sacra composta in una varietà di stili.