Мужчина может уйти к любовнице по очень разным причинам, отнюдь не обязательно только от большой любви. Это чисто девчачьи представления: раз ушел ко мне, значит любит. Вот если не ушел из семьи, то тут понятно: любовь к любовнице слабее обстоятельств. А уйти к любовнице можно, потому что жена выгнала или наоборот, потому что она зарвалась и её нужно в чувство привести (жены, как известно, бывают разные). Уйти к любовнице можно, если семья разрушена, если жить в ней больше невозможно. Когда в семье жить больше невозможно, из неё уходят, в том числе и к любовнице. И это совсем не обязательно предполагает наличие безумной любви к ней. Я уже не говорю о тех случаях, когда уходят по материальным, карьерным  соображениям. Всякие варианты бывают