Переезжайте в свою квартиру. Мужу скажите, что если изменит свое поведение в семье, то тоже может переезжать с вами. Пусть решает. Переедет, вы на правах хозяйки положения будете его постоянно тыкать и напоминать условия проживания. Может, немного изменится. А нет, так постепенно и разбежитесь.