Scrapy



اسکرپای 
Scrapy ( ) چارچوب رایگان و منبع باز خزنده-وب است٫ نوشته شده در پایتون. در اصل برای خزیدن وب (crawl) طراحی شده‌است، اما می‌توان برای استخراج داده‌ها با استفاده از API یا به عنوان یک خزنده وب همه-منظوره نیز مورد استفاده قرار گیرد. در حال حاضر توسط Zyte (formerly Scrapinghub) ٫شرکت توسعه و خدمات خزش وب، نگهداری می‌شود.
معماری پروژه Scrapy براساس «عنکبوت» (spiders) ساخته شده‌است٫ این عنکبوت‌ها خزنده‌هایی مستقل هستند و براساس یک سری دستورالعمل که به آن‌ها داده می‌شود به خزش وب می‌پردازند. اسکرپای با پیروی از دیگر چارچوب‌هایی که بر اساس اصل خود را تکرار نکنید (DRY)، مانند جنگو٫ توسعه یافته‌است. این پروژه مراحل ساخت و توسعه پروژه‌های بزرگ خزنده را با اجازه دادن به توسعه‌دهندگان برای استفاده مجدد از کد خود٫ آسان می‌کند. Scrapy پوسته‌ای تعاملی (shell) برای خزیدن وب فراهم می‌کند، که به توسعه دهندگان این اجازه را می‌دهد تا حدس و گمان‌های خود نسبت به کارکرد وبسایت‌ها را قبل از توسعه خزنده آزمایش کنند و سریعاً کدهای خود را بدون استفاده از عنکبوت‌ها (spiders) مشکل‌زدایی (Debug) کنند. این shell برای تست css expressions و XPath طراحی شده و توسعه‌دهنده می‌تواند به نحوه کارکرد وبسایت و راه استخراج دیتا پی‌ببرد.

بعضی از شرکت‌های بزرگ و شناخته شده که از این چارچوب استفاده می‌کنند عبارت‌اند از

Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, Data.gov.uk

تاریخ 
اسکراپی در شرکتی فعال در زمینه وب و تجارت الکترونیک مستقر در لندن، Mydeco متولد شد و در آنجا توسط کارمندان Mydeco و Insophia (یک شرکت مشاوره وب مستقر در مونته ویدئو، اروگوئه) توسعه و نگهداری شد. اولین انتشار عمومی در اوت ۲۰۰۸ تحت مجوز BSD بود، و نسخه برجسته ۱٫۰ در ژوئن ۲۰۱۵ انتشار یافت. در سال ۲۰۱۱، Zyte (Scrapinghub سابق) نگهدارنده رسمی جدید این پروژه شد.

منابع 

 یادداشت‌های انتشار - مستندات پروژه اسکرپای
 اسکرپای در یک نگاه
 سوالات پرتکرار
 پوسته اسکرپای (Scrapy Shell)
5. Bell, Eddie; Heusser, Jonathan ,"Scalable Scraping Using Machine Learning" 

۶. اسکرپای | شرکت‌هایی که از این پروژه استفاده می‌کنند

پیوند به بیرون 
 وبسایت اصلی پروژه اسکرپای

خزنده‌های وب
نرم‌افزارهای آزاد نوشته‌شده با پایتون
نرم‌افزارهایی که از پروانه بی‌اس‌دی استفاده می‌کنند
وب اسکرپینگ