Это не прошлое. Дети не бывают бывшими. Это его семья и сейчас. Сделайте так, чтобы в новой жизни и будущем было место его семье, и тогда все будет замечательно. Пока же Вы предстаете в не очень выгодном свете, говоря о его детях, как о прошлом.