Martha Dandridge ble født den 2. juni 1731 på foreldrenes plantasje Chestnut Grove i den britiske kolonien Virginia. Hun var eldste datter av John Dandridge (1700–1756), en plantasjeeier og innvandrer fra England og hans kone Frances Jones (1710–1785) som var amerikansk av fødsel. Martha hadde tre brødre og fire søstre: John (1733–1749), William (1734–1776), Bartholomew (1737–1785), Anna Marie «Fanny» Bassett (1739–1777), Frances Dandridge (1744–1757), Elizabeth Aylet Henley (1749–1800) og Mary Dandridge (1756–1763). venstre|miniatyr|Martha Washington som ung kvinne. Martha Washington kan ha hatt en illegitim halvsøster, Ann Dandridge Costin (år for fødsel og død ukjent), som var født inn i slaveri. Costins slavemor var av afrikansk- og Cherokee-avstamning, og hennes far var antatt å være John Dandridge. Washingtons far kan også ha vært far til en utenomekteskapelig halvbror til henne som het Ralph Dandridge (år for fødsel og død ukjent), som trolig var europeisketnisk.