Да, Вам придется "подчиниться" и убрать с глаз мужа свою обнаглевшую в край семейку. Иначе готовьтесь к разводу, муж долго терпеть не будет. Зачем это ему? Его семья - это Вы и дети, а не Ваша мама и тем более сестра с детьми.