Мне кажется, что раз Вас напрягает возить коллегу, надо прямо так и сказать (потому что если раздражение накопится, то сказано уже будет грубо и сами себя потом винить будете). Что, мол, пойми меня, мне нужно после работы побыть наедине с собой, что только по дороге домой есть такая возможность. "Поэтому  больше на меня не рассчитывай. Только в крайних случаях".Думаю, если нормальный чел - поймет. Ааа, я смотрю Вы уже разобрались по другому (сорри, не дочитала). Да, немного не успела я. Уже отношения успели подпортить, смотрю. ))