Если Вы его сейчас выгоните, а потом вернете, это будет индульгенцией на дальнейшее такое же поведение, "погундит и простит".Если оставите и "займетесь собой", без скандалов и разборок, он будет счастлив и продолжит в том же духе, потому что идеальный вариант для него, тишина и относительный покой в семье с привычной женой и эмоции на стороне.