En 1960 empezaron las desgracias para la actriz: el 5 de diciembre de ese año, su hijo Theo, de cuatro meses fue gravemente herido en un accidente, por un taxi mientras la niñera de la familia lo paseaba por las calles de Nueva York, y el 17 de noviembre de 1962 su hija Olivia de siete años murió de meningitis, al no cumplir los requisitos para recibir la vacuna contra el sarampión.