এই পর্যায়ে, আপনার ওয়েবসাইটের ওয়েব পেজগুলির অনুসন্ধান এবং এটি ডাউনলোড করতে হবে যাতে পদ্ধতিগতভাবে এখান থেকে, আপনি ওয়েব পৃষ্ঠাগুলি এবং তাদের কাছ থেকে আপনি যে তথ্য চান তা বের করতে সক্ষম হতে পারেন। বিভিন্ন প্রোগ্রামিং ভাষা এই প্রভাব অর্জন করতে সক্ষম হতে পারে। আপনার ক্রলার একযোগে একাধিক পৃষ্ঠা সূচী করতে সক্ষম হবে, পাশাপাশি বিভিন্ন উপায়ে তথ্য সংরক্ষণ করতে সক্ষম হচ্ছে।