Él y su segunda esposa, Irmgard Elsa Kaul, tuvieron una hija, Carolin Masur, que se convirtió en cantante de ópera.