Имею несколько примеров, когда папаша слинял и оставил жене детей от своих  предыдущих браков. Жены за несколько лет жизни с детьми так привыкали к ним, что продолжали их воспитывать и после ухода мужей.В случае автора это очень вероятно. Муж привык жить в большой квартире небольшой семьей. Куча детей нарушит привычный образ жизни. И пойдет он искать тишины и спокойствия.