А зачем вы разрешения у мужа спрашиваете? Вы же не маленькая девочка, а взрослая и самостоятельная женщина и сами в состоянии принимать решение. Ультиматумы в семье неприемлимы, я бы на его угрозы спокойно сказала, что это его право, хочет, пусть подаёт на развод.