Мой совет Вам покажется циничным наверняка. Но попытайтесь ему последовать, если можете. Забудьте о том, что Вам рассказал этот мужчина. И общайтесь с ним и его женой как раньше - нет ничего и никогда не было. Не говорил он Вам ничего, Вы не в курсе.Если сам скажет жене, что сказал Вам - не сознавайтесь. Говорите - врет он или ошибся.Но теперь надо увеличить расстояние с этой семьей - встречаться пореже. Ничего другого менять не надо, но дистанцию необходимо увеличить, раз Вам некомфортно.