Dolley Madison morì il 12 luglio 1849 a Longwood, Virginia, a 85 anni. La causa fu debilità generale, essenzialmente vecchiaia e fragilità. La sua salute era declinata per anni dopo la morte del marito, il Presidente James Madison, nel 1836. Fu inizialmente sepolta a Montpelier e poi riesumata lì accanto al marito.