Да почему обязательно слова? Вполне возможно, что он её искренне любит, но и с женой полного разрыва не произошло. Поэтому и не хочет уходить. Это в случае с автором. Если же мужчина делает выбор в пользу жены, то о любви к любовнице, конечно, речи не идет. Любящий человек никогда не уйдет от любимой женщины к нелюбимой, руководствуясь исключительно чувством долга.