Hun tilbrakte sine yngste år dels i New York og på familiens eiendom i East Hampton, Suffolk County på Long Island. Etter at foreldrene ble skilt i 1940, delte hun og søsteren Lee tiden mellom morens to nye boliger i McLean i Virginia og i Newport i Rhode Island, og farens hjem i New York og på Long Island. Hun gikk på den private jenteskolen Chapin School på Manhattan i New York.