Наличие общих детей не делает ваши проблемы его проблемами. Если вы не справляетесь и детям плохо от проживания с вами - отдавайте детей мужу и платите алименты. Юридический смысл развода дает ему право о вас забыть. И скажите - что ВЫ для него делаете? Как помогаете?