Ну в общем ожидаемо. Если женщину дети забрали к себе, логично ему вернуться домой. Ну т.е. он не из неведомой дали приехал и стал жить, а реально вернулся домой, а вы не решились предложить ему разменять квартиру и жить каждый своей жизнью, помогая друг другу по необходимости.