Понятно,что пока братья проживают с ним ,то с дамой не сложится.Если братья уже обзавелись семьями,или уже совершеннолетние,то именно им ,по логике,пора на съем.Вы больше потеряете в имуществе (дом то совместный с мужем,скорее всего?) и в уровне жизни в случае развода.А присутствие Вашего отца легко может развод спровоцировать.Если же у Вас есть автономное от мужа весомое имущество , недвига и доход,-тогда можете делать все,что душе и совести угодно .