Scrapy

/ 1 Μαρτίου 2022; 23 days ago (1 March 2022)Αποθετήριο github.com/scrapy/scrapy σύνδεσμος=https://www.wikidata.org/wiki/Q368367#P1324|εναλλ.=Edit this at Wikidata|πάνω-από-το-κείμενο|class=noprint|χωρίς-πλαίσιο|10x10εσ|Edit this at WikidataΓραμμένο σεPythonΛειτουργικό σύστημαWindows, macOS, LinuxΚατηγορίαWeb crawlerΆδεια ΛογισμικούBSD Ιστοσελίδαscrapy.org σύνδεσμος=https://www.wikidata.org/wiki/Q368367?uselang=en#P856|εναλλ.=Edit this on Wikidata|πάνω-από-το-κείμενο|χωρίς-πλαίσιο|10x10εσ|Edit this on Wikidata

Το Scrapy ( ) είναι ένα δωρεάν και ανοιχτού κώδικα πλαίσιο λογισμικού για ανίχνευση ιστοσελίδων γραμμένο σε Python. Αρχικά σχεδιασμένο για απόξεση ιστού, μπορεί επίσης να χρησιμοποιηθεί για εξαγωγή δεδομένων χρησιμοποιώντας API ή ως πρόγραμμα ανίχνευσης ιστού γενικής χρήσης. Scrapy at a glance. Αυτή τη στιγμή διατηρείται από τη Zyte πρώην Scrapinghub, μια εταιρεία ανάπτυξης και υπηρεσιών web-scraping.

Η αρχιτεκτονική του Scrapy project είναι ανεπτυγμένη γύρω από "αράχνες", οι οποίες είναι αυτόνομα ερπυστριοφόρα προγράμματα που λαμβάνουν ένα σύνολο οδηγιών. Διευκολύνει τη δημιουργία και την κλιμάκωση μεγάλων έργων ανίχνευσης, επιτρέποντας στους προγραμματιστές να επαναχρησιμοποιήσουν τον κώδικά τους.

Το πλαίσιο Scrapy  παρέχει  ισχυρές δυνατότητες, όπως auto-throttle , περιστρεφόμενους διακομιστές μεσολάβησης και πράκτορες χρήστη, επιτρέποντάς το σχεδόν απαρατήρητο scraping  στο διαδίκτυο. Το Scrapy παρέχει επίσης ένα κέλυφος ανίχνευσης ιστού, το οποίο μπορεί να χρησιμοποιηθεί από προγραμματιστές προκειμένου να δοκιμάσουν τυχούσες υποθέσεις τους σχετικά με τη συμπεριφορά ενός ιστότοπου. 

Κάποιοι δημοφιλείς οργανισμοί και προϊόντα που χρησιμοποιούν το Scrapy είναι: Lyst,   Parse.ly,  Sayone Technologies,  Sciences Po Medialab, Hyphe v0.0.0: the first release of our new webcrawler is out! Data.gov.uk 's World Government Data Data .   

 Παραπομπές 

 Εξωτερικοί σύνδεσμοι 

 https://scrapy.org/
 Σειρά φροντιστηρίου Scrapy
Κατηγορία:Ελεύθερο λογισμικό προγραμματισμένο σε Python