Pronto conoció a su segunda esposa, Raissa Orlowa; contrajeron matrimonio en 1956.