હકીકતમાં, તેમનું પારિવારિક જીવન સુખી ન હતું: 40-દાયકાના અંતમાં પ્રસિદ્ધ અભિનેત્રી મદિરાપાન માટે વ્યસની થઇ ગઇ હતી અને 1957 માં સિમોનોવ, તેની પત્નીના લાંબા પીવાના તબક્કે થાકી ગયા હતા, તેણીને છોડી દીધી હતી અદાલતમાં, તેમણે સેરોવને તેમની સાત વર્ષની પુત્રી માશા માટેના પેરેંટલ અધિકારોથી વંચિત રાખવાની માગણી કરી હતી.