Если он адекватный и не совсем инфантил, то попробуйте договорится. Ну, например, дела с родственниками один раз в мес, друзья пару раз в мес. Остальные выходные он Вас куда-то отпускает(при этом оговорите время, сколько Вас не будет, и чтобы он звонил только по экстренным проблемам ), либо проводит время вместе с Вами и детьми. Плюс мне кажется нужно еще выкраивать время и возможность(бабушки, няня), когда Вы только вдвоем. Еще у него должны быть СВОИ обязанности, ну, например, купать детей или гулять в один из выходных. Если не получится, то мне кажется Вам нужно подумать о путях отхода, то есть затаиться и рассчитывать только на себя. Как только встанете на ноги, он кстати типа "изменится" в это время, но не потому что он стал хорошим, а потому что Вам от него уже ничего не нужно, но Вы не забывайте о том, когда Вам было действительно тяжело он Вас не поддержал, и на него надеяться было нельзя. Так вот когда встанете на ноги, то придется принять решение о разводе, потому как и в горе, и в радости, как говорится, нужно быть вместе.