я вас в ТД еще почитала.  думаю вас сточит оговорить с ним график и обязанности. типа вторник пятница - забирает старшую из сада четверг гуляет  с младшей и тд. написать и выдать ему этот список и сказать что в другое время вы его не пустите так как детям это неудобно. а если у него претензии к этому графику то пусть обращается в суд (естественно в разумных пределах его варианты принять стоит). если ему дети действительно важны- он подстроиться если нет сам исчезнуть из вашей жизни.