Одно точно, вы сильно устали и на пределе. Так же понятно что он живет спокойно и свободной жизнью, не напрягаясь. Вы слишком много на себя взвалили. Думаю здесь надо не над отношениями работать, а четко распределить обязанности.  Например, утром, перед уходом на работу он кормит детей завтраком. Вечером всегда гуляет с ними после работы. Вам надо время для себя. Ну и выходные пусть он будет полностью загружен детьми.