Madison heredó su hacienda, Montpelier, en Virginia, y fue dueño de cientos de esclavos.