Тогда надо говорить, что любовники укрепляют быт, а не брак. Вам и вашему любовнику это скрашивает тоскливое существование с супругами. Нечего укреплять то. Просто не можете уйти, и он не может бросить жену. У вас же "много чего", то есть быт-финансы, наверно еще дети.