Se divorciaron, y en 1960 se casó con Sasha Moorsom, la novelista, escultora y pintora, con quien tuvo un hijo y una hija.