у Вас метафора неправильная "влезть в семью". В семью нельзя влезть. Из нее можно только "вылезти", что и делает с успехом муж.Семья - это отношения двух людей, которые решили жить вместе, вести общее хозяйство, воспитывать детей. Это решение двоих.   Если один из этих людей передумал, в прежнем виде семьи уже нет, прежних отношений нет. Можно сколько угодно призывать любовниц уважать эти эти прежние отношения,  которых уже не существует, но смысла в этом никакого нет.