Tuvieron tres niños, dos hijas y un hijo: Eliza Monroe Hay (1786-1840), James Spence Monroe (1799-1801) y Maria Hester Gouverneur (1803-1850).