Зачем.  Жить в своей квартире, со  своими детьми.   Где будет находиться   любовник и его бывшая жена при этом - вообще не  его дело и не его забота.   При попытке  любовника проникнуть на его частную собственность - вызывает ментов или спускает его с лестницы (тут смотря  для чего кишка не тонка). Представьте, как поступила бы  в совершенно идентичной  ситуации  любая  адекватная женщина. Допустим, ей изменил муж. Допустим сказал ей, что  она ему более неинтересна и мешает счастью.  В общем-то не редкость ни разу.   И много вы видели женщин, которые  в этих обстоятельствах   собирают манатки, бросают детей и уходят страдать,  становясь воскресными матерями?  Я - ни одной.    Потому что это за пределами  нормального для любого родителя.   Но в вашей версии  для отца подобное - норма.