Он приходит вас потроллить и над вами поиздеваться, насколько я вижу по описанию ситуации. Дети его волнуют меньше всего, иначе был бы занят исключительно ими. Общаться с детьми можно на своей территории или нейтральной, он же не собирается теперь после развода "ногой дверь открывать" в автора квартиру.