Вы зря так категорично отбрасываете вариант, который вам советуют. Хотя бы начните над ним думать. А там решите, как быть дальше. Единственно, лучше бы старшую забрать, конечно, иначе он на нее навесит мелких. А это не айс. Попробуйте с ним договориться, условно два дня вы с детьми, два дня он, и пусть приспосабливается.