Вы зря себя обманываете, если мужчина не хочет - жена и не узнает про измены. А уж "боюсь с ним говорить, а то наоборот вдохновится" тем более показывает, что ваш муж намеренно вас вводит в известность, ему это доставляет удовольствие. Вас устраивает роль обманутой жены - ок, но устраивает ли вас роль непрестанно унижаемой обманутой жены? вы готовы при любом раскладе с ним оставаться? может, решитесь на скандал, - и он хотя бы конспирироваться лучше станет?