Думаю, что тут причины ухода скорее не столько в очень сильных чувствах к любовнице (в других случаях, когда мужчина не уходит из семьи чувств может быть не меньше), сколько в поведении жены. Видимо, жена проявила по отношению к нему столько агрессии, что после этого их совместная жизнь стала просто невозможной. Ведь, как бы ни ранила измена, но есть вещи, которые любящий человек никогда не сделает. Жена, видимо, столько ненависти на него вылила, что это убило в нем всякие остатки чувств к ней. Вот он и ушел.