Попросить прокомментировать подобные слухи - можно, не втягивая себя саму в разборку. В ответ на комментарий "Болтают, ты не слушай!", можно спокойно поинтересоваться - с какой целью болтают? На ответ "Не знаю" - попросите, чтобы он в очередной раз просто тупо поймал кого-то на слове и изволил спросить. В конце концов, это унижает не Ваше достоинство, а его. Позволять болтать всякую херню при своей жене - это какая-то несостоятельность, как семьянина.