А его желания  не  идут в расчет?    Если  нынешняя квартира "по совести" -  ваша   общая, вы готовы впустить в нее  его детей на  неопределенный срок?   Ну просто потому что это его дети. Не на улице же им жить.  Или ровно в этом месте вы вспомните, что квартира  юридически ваша?Двойные  какие-то стандарты у вас. Вы имеете право на любые желания-не желания, а муж обязан вашего разрешения спросить на каждый чих.