По-моему, очевидно, что ваша "измена" это только повод. У вашего мужа потребность с определенной периодичностью вас гнобить, может быть, ему необходимы такие вот эмоциональные встряски. Уйди вы сейчас от него, он найдет другую женщину - но тоже с комплексом какой-нибудь вины - и будет продолжать. Это его собственные психологические проблемы. А уж откуда ноги растут у этой потребности - пусть психолог разбирается.