Ну а зачем ему уходить? Очень много мужчин живет на две семьи – здесь быт устраивает, там романтика. Зачем ему выбирать между вами двоими, если его никто не гонит? Если он по натуре такой человек, если и от этой избавитесь, то ее место займет следующая, и так далее по списку. Так что здесь только два варианта: или закрывать глаза и жить так дальше, как живете, или гнать в шею.