это просто предлог, ну что вы как маленькая) Не было бы "сала" - были бы кости. Не кости, так волосья. Или зубы. Или целлюль. Или маленькие сиськи. Или плохо готовишь. Или убираешь плохо. Или еще что-нибудь. Когда человек раздражает в принципе, в нем раздражает буквально ВСЕ!!! Каждая мелочь.  Так что нет, дело не в вас. Дело в нем.