I mai 1891 giftet han seg med Ava Lowle Willing, og de fikk en sønn og en datter. De ble imidlertid skilt i 1909, og Astor giftet seg så med den attenårige Madeleine Talmadge Force i 1911.