একটি ওয়েবসাইট URL টুকরো একটি মান ওয়েব স্পাইডার হয়। ক্রল করার সময়, এটি অসংখ্য কার্য সম্পাদন করতে সক্ষম হতে পারে যেমন ইউআরএল ফিল্টার করা। আপনি ক্রল করার গতি নিয়ন্ত্রণ করতে সক্ষম হতে পারেন যাতে আপনি ওয়েবসাইট লোড সহ আপনার সব প্রয়োজনীয় প্রয়োজনীয়তাগুলি ক্যাপচার করতে পারেন।