Муж пусть возит кого хочет, а Вы не должны. Причем объяснять особо и не надо. Просто нет - и точка. Наезды игнорировать, или отвечать в стиле "заезженная пластинка" - нет - и точка, после чего просто закончить разговор. Если сама дама будет подъезжать - ей ответить то же самое," торг тут неуместен".  Опять же без объяснений или оправданий. Насчет грозить порчей репутации...не думаю, что это хорошая идея.