Я была в похожей ситуации, но стоило появиться намеку, что у меня кто-то может быть помимо мужа, как у человека резко моСК на место встал. Прошло 3 года - больше не повторялось. Но и я отпустила вожжи, для мужчины, всё-таки важно, что он зарабатывает, поэтому выпинывайте мужа на работу.