Автор, какого конструктива вы хотите?  По вашему описанию ваш муж - ужасный человек, запросто может лишить детей жилья или увезти их очень далеко от матери. Вы его боитесь и уже ненавидите из-за этого. И как вы на этом фоне хотите наладить семейную жизнь?  Ваш муж же чувствует такое к себе отношение.