Может вам попробовать уходить? Ну, хотя бы по-началу... Пусть бы отец сам с детьми "отношения налаживал" или сидел один за чаем, уж как ему больше нравится. Все равно же не надолго приходит, я б придумала за чем мне в магазин сходить... хоть за "пироженкой" к чаю, если ничего не надо.  Запустила бы его и ушла, мол общайтесь, а мне некогда...