Сначала решите, что хотите - если сохранить свои нервы и семью(если он тоже хочет), то срочно выгонять и подавать на развод.Если вы сможете не переживать, не выслеживать, абстрагироваться, отвлечься, то можете ничего не говорить, ходить перед ним веселой, и ждать, что будет, возможно долго, эти истории долгоиграющие.Правильные действия только такие.Результат один и тот же - либо сохраниться семья либо нет.  Тут уж ситуацию вы полностью контролировать не сможете.Неправильные действия - показывать страдания, ходить в депрессии и ничего не говорить.