Да собственно Вас-то никто не просит, так ведь? БЖ вам своих детей не навязывает. А как вы с вашим нынешним мужем разрулите график его общения с детьми и вашего при этом "отсутствия" - ваше личное дело. БЖ оно ни в какой мере не касается.