Пока он будет у вас путаться, ничего хорошего не выйдет, правильно вам девушки выше писали. Или будете собачиться каждый день, или вы будете замалчивать свои обиды, а он  будет видеть тряпку, которую нельзя любить, хотеть и уважать. Поговорите с ним прямо, пусть уходит насовсем. Так быстрее отболит или он быстрее вернется. Поверьте, деньги и жилье от этого не пострадают, а время с детьми  только больше будет проводить, потому что он сейчас засчитывает в "общение" тупо те часы, когда он дома (спит, читает, ест), порождая иллюзию "вот я сколько им уделяю",  а ведь реально с мальчиками не занимается.