Работайте ради детей, в садике, живите как живете, и пусть он с вами живет, и имеет возможность также работать и видеть своих детей. Эта ситуация возможна и временна, но секситься с ним не нужно "через не хочу". Пусть зарабатывает ваше уважение,  желание, деньги на жизнь.