Если как вы пишите: но детям однозначно будет хуже , то мое мнение что не стоит торопиться. Если бы стоял вопрос жизни и смерти для вас, ну, например, муж бьет смертным боем только вас а детей не трогает , тогда да, но если муж такой золотой, занимается с ребенком 80% времени , то  99% если вы его попросите на выход, только в угоду своему психологическому комфорту, у сына будут истерики. Похожее было у хорошей знакомой. Ушла от мужа, потому что разлюбила.  Ребенку было 5 лет на тот момент. Муж где-то год пытался наладить отношения, не смог, знакомая была непреклонна. Первый год после встреч с отцом на нейтральной территории, ребенок возвращался с рыданиями, что хочет жить с папой и мамой. Когда знакомая пригрозила БМ, что если ребенок еще раз вернется с истерикой, то больше встреч не будет, рыдания прекратились, но теперь последние несколько лет ребенок всегда возвращаясь говорит, какой папа хороший, как он ждет следующей встречи, как папа ему купил то или сё. Папа кстати перестал делать попытки возвращения, встретил женщину, живут вместе. Как будет дальше никто не знает.  Просто привела пример. А так ясное дело, что ваша ситуация это только ваша ситуация  и вам решать.