বেশিরভাগ ক্ষেত্রে, ওয়েব ক্রলাররা ওয়েবসাইটে পৃষ্ঠাগুলি থেকে তথ্য সংগ্রহের উপর জোর দেয়। যাইহোক, একটি ওয়েব ক্রলার যে ক্রল করার সময় সাইট স্ক্র্যাপ থেকে তথ্য নিষ্কাশন করে একটি ওয়েব টেক্কা হিসাবে উল্লেখ করা হয়। একটি মাল্টি-থ্রেডেড ক্রলার হওয়ার ফলে, RCrawler বিষয়বস্তু যেমন মেটাডাটা এবং শিরোনামগুলি ওয়েব পেজগুলি তৈরি করে।