А как он относится к перспективе остаться с четырьмя детьми?Может, его этим пугануть?Мол, либо с квартирой что-то решаем, либо  придётся мне уходить и побыть воскресной мамой.А вообще, начните с развода. Пока вы с ним не развелись,  до него нет дошло, что всё серьёзно. А так - развестись, будет претензии выкатывать - отвечать словами: "Тебя здесь никто не держит" и "я тебе ничего не должна".