Начало уже не очень. Вы втягиваетесь в отношения. Изначально говорили, что отношения свободные, теперь вас затягивает. Клин клином выбивайте, пока не поздно. Ясно, что он к вам не относится, как к своей женщине, иначе было бы стремление чаще находиться вместе и отпуск точно не пропустил бы. Нравятся вам молодые - ищите менее независимых.