У Достоевского в "Живом трупе" есть мысль, что мужчина любит не женщину в чистом виде, а женщину за то, что он ей сделал: не любит(читай плохо отностися), за то, что сам ее мучал, а любит за то, что сделал ей хорошего. То есть они смотрят на нас исключительно черезсвои поступки. Его не вы раздражали, а его гнусное поведение. Он смотрел на Вас как в зеркало и видел свое чмошное отражение, что его и бесило. А не вы. В психологии есть такой термин - перенос.