А может, пойти профилактически и притупить внимание мужа? "Вот Вася, мы с ним друзья. Если нас с ним кто-то увидит, не подумай ничего такого, мы просто встретились поболтать. А у тебя на работе приятные тетки - ты тоже со всем спишь???" Типа, напасть первой?