Так вы не его женщина, за свою женщину он платит. У вас дружеский секс, без обязательств, просто для удобства, типа что время зря не терять, ему к жене не ездить, вам мужчину не искать. Поэтому не воспринимайте его как своего мужчину, а себя как его женщину и не будет у вас противоречий.