Не надо так отвечать и выставлять себя жертвой. Мужики этого не любят и будут относиться к вам еще хуже. Надо сказать: "Тебе показалось, не выдумывай ерунды. Извини, мне сейчас некогда разговаривать. Потом созвонимся, пока".