Monroe hadde opparbeidet seg stor gjeld i løpet av årene i det offentlige liv. Resultatet var at han ble tvunget til å selge Highland-plantasjen, nå kalt Ash Lawn-Highland og som eies av College of William and Mary. Han kom seg aldri ovenpå økonomisk etter dette, da hans kone, Elizabeths helse forverret ble også økonomien verre. Resultatet var at ekteparet bodde på Oak Hill til Elizabth døde 23. september 1830.