En 1960 se divorciaron y Olivier pronto se casó con la actriz Joan Plowright.