ИМХО, это все временно. Вы хотите от него бОльшего, и рано или поздно негатив от отношений перевесит позитив. Представьте, что вы с ним столкнетесь, когда он с той другой женщиной.  Или он с ней в отпуск поедет, а не с вами.  Как вы отреагируете?