Дерьмо, а не мужик, вот и болтается туда -сюда. Это к вопросу почему он так поступает. Слабый он.А как Вам поступить сами решайте, но тут два варианта, либо любовнице его отдайте (именно отдайте из рук в руки,  сам он не решится уйти), либо запретите иметь любовницу и установите строгий контроль, пока не привыкнет. Ведомый Вам мужик достался. Хотите ведите, хотите подарите.