Значит, разговаривайте ГРУБО всегда, а не только в отдельных случаях. Крайняя наглость требует крайних мер. Если муж просто не вмешивался - значит, его устраивает чужими руками жар загр*мат*. Не очень, конечно, но могло быть и хуже. Во всяком случае, он не встает на их сторону -  получается, ему они тоже не особо нужны, но боится противостоять. Вот и берите ВСЕ в свои руки, давайте яростный и, главное, уверенный отпор. Пригласите снова маму пожить. И пошлите их по эротическому маршруту, тем более, если посмел Вашу маму оскорблять - НЕ позволяйте НИКОМУ говорить гадости про свою маму. Говорю как человек, который маму потерял. Кроме того, его высказывания в адрес Вашей матери - еще один прекрасный повод и предлог для Вашей грубости и отказа в совместном жилье.