Так не устраивает мужчину, настолько, что он аж любовницу завел. Но продолжает жрать кактус? Не в совести здесь совсем дело. Просто ему удобно с вами обеими. У Вас секс, у неё пирожки (например). Может, не хочет рушить тонкую духовность Ваших отношений постоянным совместным проживанием и бытом (уж про себя-то он всё знает, а может, в Вас не уверен).