конечно неприятно, но вы поймите, в то время когда он был с другой женщиной вы тоже фактически были не с ним, не заботились о нем, не любили, не физически, ни морально. Так что получается, что только сейчас у вас действительно взаимные отношения начались, плюньте на прошлое, живите здесь и сейчас, цените то, что имеете!