Жить им сейчас негде, и от Вас он не уйдет просто в никуда. Да и скорее всего у них все завянет скоро. Но мысли у Вас с моими схожи) Дети общие - воспитывать на равных! Я в очень схожей  с Вашей ситуации исходила из интересов детей и своих собственных. Бабушек-дедушек не было,  дети либо со мной, либо со своим отцом. Но эти условия надо сразу ставить, пока чувство вины давит, а то скажет потом сама справлялась, вот и справляйся дальше.