Мне кажется, тут же не в детях дело, а в отношениях между вами. Было бы всё хорошо, никуда бы он не ушел. А дети - ну, что дети? Это примерно из той же оперы, как некоторые женщины живут с нелюбимым ради видимости семьи для своих детей, а в итоге жизнь проходит.(