Мужчина - тоже человек. И сдачу он вам может дать просто рефлекторно.  Если вы завтра на него с ножом попрете, он тоже не должен давать вам сдачи? Идите к доктору и лечите голову. И да, разводитесь, если этот мужчина настолько вас раздражает, что вы контроль теряете. Иначе закончится это плачевно для обоих.