Hun var datter av James Thomas Lee (1877–1968) og Margaret A. Merritt (1878–1943). Hun ble gift i 1928 med John Vernou Bouvier III (1891–1957) og fikk med han døtrene Jacqueline (1929–1994) og Caroline (1933–). I 1940 ble hun skilt, og ble senere gift med Hugh Auchincloss (1897–1976). De fikk to barn sammen; Janet (1945–1985) og James (1947–).