Han giftet seg med Hannah Wickersham Foster (1804–1880) den 31. mars 1822. De fikk seks barn sammen: Nancy, Margaret Foster, Sarah Montgomery, Mary Heron, Edwin Vose jr og Samuel Storrow Sumner. Hans sønn Samuel var general under den spansk-amerikanske krig, Boxeropprøret og den filippinsk-amerikanske krig.