А чаще он не может встречаться? Чтобы регулярность была? Чтобы они уже когда он уезжает знали, что он приедет следующий раз. Постепенно должны привыкнуть к этому.   Если он типа не может, или не хочет - сказать прямо, что от таких редких, нерегулярных встреч психика детей страдает, дети маленькие, типа или регулярно, или никак... ну пока не подрастут.