Вот это вот надо прекращать.Звоните ему, спрашиваете: Вася, у тебя есть планы на детей? Если нет - то планы есть у меня.Приучите его, что если он заранее не договаривается,  то детей он взять не может, потому что они идут  в парк/ в музей/ в гости/в аквапарк  и т.д.А сидеть все выходные и ждать, соизволит ли он кого-тот забрать или нет, вы не будете.