Правильно, заморачиваться этим вопросом совершенно не стоит. Важнее прислушиваться к своим чувствам. А чувства возникают на таком тонком уровне, что иной раз и не докопаешься: казалось бы, человек ровным счётом ничего не сделал, а он тебе либо симпатичен, либо вызывает отторжение.