Scrapy

Το Scrapy ( ) είναι ένα δωρεάν και ανοιχτού κώδικα πλαίσιο λογισμικού για ανίχνευση ιστοσελίδων γραμμένο σε Python. Αρχικά σχεδιασμένο για απόξεση ιστού, μπορεί επίσης να χρησιμοποιηθεί για εξαγωγή δεδομένων χρησιμοποιώντας API ή ως πρόγραμμα ανίχνευσης ιστού γενικής χρήσης.  Αυτή τη στιγμή διατηρείται από τη Zyte πρώην Scrapinghub, μια εταιρεία ανάπτυξης και υπηρεσιών web-scraping.

Η αρχιτεκτονική του Scrapy project είναι ανεπτυγμένη γύρω από "αράχνες", οι οποίες είναι αυτόνομα ερπυστριοφόρα προγράμματα που λαμβάνουν ένα σύνολο οδηγιών. Διευκολύνει τη δημιουργία και την κλιμάκωση μεγάλων έργων ανίχνευσης, επιτρέποντας στους προγραμματιστές να επαναχρησιμοποιήσουν τον κώδικά τους.

Το πλαίσιο Scrapy  παρέχει  ισχυρές δυνατότητες, όπως auto-throttle , περιστρεφόμενους διακομιστές μεσολάβησης και πράκτορες χρήστη, επιτρέποντάς το σχεδόν απαρατήρητο scraping  στο διαδίκτυο. Το Scrapy παρέχει επίσης ένα κέλυφος ανίχνευσης ιστού, το οποίο μπορεί να χρησιμοποιηθεί από προγραμματιστές προκειμένου να δοκιμάσουν τυχούσες υποθέσεις τους σχετικά με τη συμπεριφορά ενός ιστότοπου. 

Κάποιοι δημοφιλείς οργανισμοί και προϊόντα που χρησιμοποιούν το Scrapy είναι: Lyst,   Parse.ly,  Sayone Technologies,  Sciences Po Medialab,  Data.gov.uk 's World Government Data Data .

Παραπομπές

Εξωτερικοί σύνδεσμοι 

 https://scrapy.org/
 Σειρά φροντιστηρίου Scrapy
Ελεύθερο λογισμικό προγραμματισμένο σε Python