Проблема в первую очередь не в количестве детей (с детьми многие работают), а в том, что у вас перерыв в работе большой. Поэтому и тяжело так морально. Важно найти некий баланс, чтобы не разрываться, не загонять себя. Не обязательно именно на полставки работать. Желательно иметь график удобный и не слишком далеко ездить. Ну и работа нужна, которая нравится.