Разрешить-не разрешить ему Вы, увы, ничего не можете. И он сам это Вам говорил. Что Вы можете - это блюсти ТОЛЬКО свои интересы. И забыть о любых его интересах - существуете ТОЛЬКО Вы и Ваши дети (раз он позволяет себе полностью игнорировать интересы семьи). Муж может измениться только в том случае, если увидит в Вас сильную личность, способную ему противостоять на равных. Но это путь долгий и очень тяжелый. Сил Вам!