Как обойти каталог за несколько проходов?
===========================================

 Подтолкните в каком направлении искать. Необходимо проиндексировать кучу файлов в файловой системе. Попробовал для поиска всех файлов рекурсивно пройтись по каталогу, однако получается очень долго и может случится, что не хватит времени работы скрипта. Как можно эту задачу разбить на более мелкие задачи? Я вижу вариант получить за раз определенное количество файлов, но тут вопрос, как сохранить текущее состояние, чтобы потом можно было с него продолжить поиск. 

 Консольные скрипты не имеют ограничения по времени выполнения.  

Задача решена.