У вас ошибка в том месте, где  в ответ на переходы муж а на личность, вы говорите, что вам все равно. Не стоит, лучше честно скажите, что вам неприятно, слышать такие вещи, но при этом продолжайте отстаивать свою позицию. Ссоры при этом не будет - вы же не ссоритесь. Может быть крик или ругань с его стороны. Продолжайте говорить, что вам неприятно такое слышать, не раздражаясь и не повышая голоса.