Ну он же не вернулся в семью нормальным мужем. ИМХО, надо либо чтобы жил с вами 100%, либо пусть живет у родителей и берет детей 2-3 дня в неделю с ночевкой.  Вы сможете устроить свою жизнь. А так вы  и не туда, и не сюда, а он как сыр в масле катается. На меньшее не соглашайтесь, вот и все. Вы женщина или собачка в конце концов? Уважайте себя, будут и вас уважать. И если он сразу соберет все манатки и снова к родителям уедет, то даже и не думайте, что у него было в мыслях к вам вернутся. Говорите только с ним по-хорошему, без упреков. Что вам надо от отношений.