Очень сложно сказать, что делать. Я была по обеим сторонам подобной истории, правда когда я была жена, муж увлекся, но я как-то успела вовремя перехватить и загасить. Ни во что конкретное его увлечение тогда не переросло. Муж ваш влюблен, Вы его раздражаете, но бросить семью он не может и не хочет. Ему нравится семья, но с той женщиной ему очень хорошо. Варианта два, в пинципе, или развод или делать вид, что вы подозреваете, но без скандалов и конкретики.