М.б. ассоциируется с кем-то или чем-то? Тембр голоса, интонации, какие-то манеры, черты внешности, даже стрижка напоминают другого неприятного вам человека, с кем были конфликты или что-то травматичное. И у вас тогда может быть перенос психологический. В таких случаях бывает как раз и невозможно объяснить, почему человек неприятен, хотя ничего плохого он тебе не сделал.