Одно дело - чаю попить, другое - первое, второе и компот, да потом еще и ужин. Думайте над тем, как это обойти. Если отец будет уходить с детьми куда-нить развлечься/погулять этот вопрос решится - перекусят в кафешке, например. Детям - праздник, и Вам - решение вопроса. Или чтобы приходил не на весь день, а на полдня. Тогда до обеда - они общаются, а потом у детей обед и тихий час, скажем папе "до свидания".