Скажите ему, что он не жалеет чувств детей, которые настроились на прогулку. Он может на вас обидется, но на детях это никак не должно отразиться.  Думаю, если он вас обидет и вы уйдете, то он за вами не пойдет, а просто возьмет детей и продолжит прогулку без вас.