Тут либо ждать, когда рассосётся само (ждать можно очень долго и не факт, что дождетесь, но вроде как шанс сохранить семью), либо устраивать грандиозную разборку и выводить на чистую воду. И дальше уже решать с ним вместе, что делать: либо он заканчивает то, что у него есть на стороне и живет с вами как муж, а не как сосед по коммуналке, либо с вещами на выход. Либо не решать вместе с ним, а разводиться. Как правильно, только вы знаете, все мы разные.