Надо не бороться, а говорить с человеком. Говорить и слушать. И вы раскопаете проблему, почему он так себя ведёт. Другая женщина, если она есть,  это не причина, а результат того, что вы не слышали друг друга. Вот вам надо найти причину и понять почему он неудовлетворен  отношениями с вами. А потом будете решать хотите вы сохранить отношения и готовы ли меняться или хотите расстаться. Но вы будете уже осознанно принимать решения, а не эмоционально.