Тут выход только один: выгнать жёстко, только это заставит его окончательно понять, кого он любит на самом деле. Я уверена, что после того, как вы его выгоните, порвёт с любовницей и начнёт вас завоёвывать. А вы уже тогда и будете думать, нужно вам это, или нет.