Ну так и вы не смешивайте рабочее и личное. На работе он сотрудник, а не ваш муж, из этого и исходите. Разговаривает грубо? Осадите. Как осадили бы другого. И дома мур-мур-мур потом. Будет возмущаться, напомните, что работу и дом не смешиваем.