Un piccolo gruppo di ebrei babilonesi rimase a Babilonia dopo la conquista persiana e in seguito giocò un ruolo importante nello sviluppo della cultura e della religione ebraica durante il periodo del Secondo Tempio. In questo periodo fu redatto a Babilonia il Talmud babilonese, uno dei testi più importanti della legge ebraica.
Nel VII secolo d.C. Babilonia fu conquistata dagli arabi musulmani ed entrò a far parte del mondo islamico. La città continuò a decadere e nel X secolo fu in gran parte abbandonata. Oggi, le rovine di Babilonia si trovano vicino alla città di Al-Hilla, nell’odierno Iraq.