Ну  не знаю тогда. Чем-то жертвовать придется. А пока вы только собой жертвуете и своим достоинством. Можете еще так сделать. Если он уйдет в следующий раз, то на следующий день не пускайте его. Это тоже вариант. А то что это за муж, когда хочет уходит. Дайте понять, что вы категорически против этого. Пусть учится говорить. Ссоры надо решать общением, а не тупо уходом.