Видимо, тем мужчинам, на которых Вы "положили глаз" секс  более интересен, чем расплывчатое "строить отношения"...А достаточного сексуального посыла они от Вас не получают - изначально для Вас это далеко не главное. Неудивительно, что интерес к Вам, в таком случае, у них не велик. Интимную составляющую не стоит преуменьшать!