Scrapy

اسکرپای 
Scrapy ( ) چارچوب آزاد و متن‌باز خزنده-وب نوشته شده به زبان پایتون است. در اصل برای خزیدن وب (crawl) طراحی شده است، اما می‌توان برای استخراج داده‌ها با استفاده از API یا به عنوان یک خزنده وب همه-منظوره نیز مورد استفاده قرار گیرد.Scrapy at a glance. در حال حاضر توسط شرکت توسعه و خدمات خزش وب Zyte (formerly Scrapinghub) نگهداری می‌شود.

معماری پروژه Scrapy براساس «عنکبوت» (spiders) ساخته شده است. این عنکبوت‌ها خزنده‌هایی مستقل هستند و براساس یک سری دستورالعمل که به آن‌ها داده می‌شود به خزش وب می‌پردازند. اسکرپای با پیروی از دیگر چارچوب‌هایی که بر اساس اصل خود را تکرار نکنید (DRY)، مانند جنگو توسعه یافته است. این پروژه مراحل ساخت و توسعه پروژه‌های بزرگ خزنده را با اجازه دادن به توسعه‌دهندگان برای استفاده مجدد از کد خود آسان می‌کند. Scrapy پوسته‌ای تعاملی (shell) برای خزیدن وب فراهم می‌کند، که به توسعه دهندگان این اجازه را می‌دهد تا حدس و گمان‌های خود نسبت به کارکرد وبسایت‌ها را قبل از توسعه خزنده آزمایش کنند و سریعاً کدهای خود را بدون استفاده از عنکبوت‌ها (spiders) مشکل‌زدایی (Debug) کنند. این shell برای تست css expressions و XPath طراحی شده و توسعه‌دهنده می‌تواند به نحوه کارکرد وبسایت و راه استخراج دیتا پی‌ببرد.

 بعضی از شرکت‌های بزرگ و شناخته شده که از این چارچوب استفاده می‌کنند عبارت‌اند از 
 Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, Data.gov.uk 
 تاریخ 
اسکراپی در شرکتی فعال در زمینه وب و تجارت الکترونیک مستقر در لندن، Mydeco متولد شد و در آنجا توسط کارمندان Mydeco و Insophia (یک شرکت مشاوره وب مستقر در مونته ویدئو، اروگوئه) توسعه و نگهداری شد. اولین انتشار عمومی در اوت ۲۰۰۸ تحت مجوز BSD بود، و نسخه برجسته ۱٫۰ در ژوئن ۲۰۱۵ انتشار یافت. در سال ۲۰۱۱، Zyte (Scrapinghub سابق) نگهدارنده رسمی جدید این پروژه شد.Interview Scraping Hub.

 منابع 

 یادداشت‌های انتشار - مستندات پروژه اسکرپای
 اسکرپای در یک نگاه
 سوالات پرتکرار
 پوسته اسکرپای (Scrapy Shell)
5. Bell, Eddie; Heusser, Jonathan ,"Scalable Scraping Using Machine Learning" 

۶. اسکرپای | شرکت‌هایی که از این پروژه استفاده می‌کنند

 پیوند به بیرون 
 وبسایت اصلی پروژه اسکرپای

رده:خزنده‌های وب
رده:نرم‌افزارهای آزاد نوشته‌شده با پایتون
رده:نرم‌افزارهایی که از پروانه بی‌اس‌دی استفاده می‌کنند
رده:وب اسکرپینگ