Ну правильно все... Вы понравились,  человек ощутил к вам какое-то положительное притяжение,  и ждет как бы в ответ того же. Но видит,  что Вы,  как бы это сказать.. не на его  стороне. Соответственно,  и отношение  тоже меняет в сторону более прохладного. Вы сами-то как, к этим людям относитесь? Наверное,  с безразличием. Ну так чего ж тогда?...