Ето у всех женщин беда такая. Со временем появляется привязанность и хочется настоящих отношений. Вам надо поговорить с ним. Так и скажите, что у вас появляются чувства к нему, и вы хотите серьезные отношения теперь, своего мужчину, а не приходящего любовника. Если он не хочет того же, то вам больше не по пути.   И все само разрешится, в одну или другую сторону. Не бойтесь что-то испортить, он только больше уважать вас станет после такого разговора. Конечно не факт, что он захочет серьезно с вами встречаться, ничто на это не указывает. Но мало ли, вдруг надумается.