У вас идет сильное противоречие. С точки зрения разума (головы) вас он не устраивает. Похоже на то есть серьезные причины. С другой стороны (секс это или что-то еще, вам виднее) вас чисто на природном уровне (психологическом, назовите это как хотите, привлекает он чем-то, дает что-то чего вам не хватает) тянет к нему. Надо вам все это или нет решать только вам. Избавиться от этой связи при желании можно, вопрос только действительно ли вам этого хочется, мешает ли это вам и надо ли лично вам вообще. Самое простое - прекращать полностью общение (если решились) и постараться переключиться на что-нибудь еще. Сейчас вы сильно на него настроены. Вообще при таких ваших внутренних качелях чего-то хорошего от отношений, если их продолжать, ждать сложно.