А зачем бороться за человека, если  Вы лично ему уже не нужны? По крайней мере сейчас. Отпустите его. Разбираться с любовницей - себя не уважать. Не опускайтесь до этого. Попробуйте с мужем поговорить, но если отношения сложные - дайте ему время. И себе тоже.