Обратитесь к той маме с предложением забирать и привозить вашего ребенка в те дни, когда их сына возит его отец. Думаю, это было справедливо. Если Вы сами доверяете этому мужчине.Если не доверяете и эти приключения Вам надоели, то просто при встрече скажите, что у вас не получится их подвезти. Без объяснения причин. Если не можете отказать, то можете смело высаживать около своего дома. Так и скажите, что Вам неудобно подвозить их по адресу и Вы готовы их высадить где-то по пути или рядом со своим домом.Но вообще, когда родители принимают решение возить ребенка куда-то, они принимают тот факт, что доставка туда-обратно будет их головной болью и ничьей больше. Поэтому смело и без угрызений совести можете отказать. Меня бы напрягал чужой человек в моей машине на постоянной основе.