I 1802 startet George Washington Parke Custis byggingen av Arlington House i District of Columbia, som var tenkt som et minnesmerke over hans ste-bestefar (og fosterfar) George Washington, som døde i 1799. Arlington House ble senere ble hjemmet til hans datter, Mary Anna Randolph Custis, født i 1807, som i 1831 giftet seg med Robert E. Lee. I 1846 lå mesteparten av området av District of Columbia sør Potomac-elven og overført til Virginia, inkludert tomten med Arlington House og plantasjen.