Что значит -  ОН не хочет разводиться. Какая Вам разница, что он хочет. ВЫ не хотели любовницу, ВЫ хотите с ним расстаться. Решайте от себя, Автор, как Вам удобнее. Свои хотелки Ваш муж уже продемонстрировал((((