Вы знаете, как бы Вам не было обидно, но дело обстоит именно так. Включите логику. На стороне ему нужна та женщина для секса, Вы - для уюта и быта. Он себе все удобно устроил, это очень, очень по-мужски, они именно так и делают. Классика жанра, хоть и больно.