స్క్రేపీ

స్క్రేపీ (Scrapy) ( ) అనేది పైథాన్‌లో అభివృద్ధి చేసిన ఒక ఉచిత మరియు ఓపెన్ సోర్స్ వెబ్-క్రాలింగ్ ఫ్రేమ్‌వర్క్. మొదట వెబ్ స్క్రేపింగ్ కోసం రూపొందించబడినప్పటికీ, దీనిని ఎపిఐ ఉపయోగించి డేటాను సంగ్రహించడానికి లేదా సాధారణ-ప్రయోజన వెబ్ క్రాలర్‌గా కూడా ఉపయోగించవచ్చు.Scrapy at a glance . దీనిని ప్రస్తుతం Zyte (గతంలో Scrapinghub), ఒక వెబ్-స్క్రాపింగ్ డెవలప్‌మెంట్ మరియు సేవల సంస్థ, నిర్వహిస్తోంది.

స్క్రాపీ ప్రాజెక్ట్ ఆర్కిటెక్చర్ "స్పైడర్స్" చుట్టూ నిర్మించబడింది; ఇవి సూచనల సమితిని ఇవ్వబడిన స్వీయ-నియంత్రణ క్రాలర్‌లు.Django వంటి ఇతర 'డోంట్ రిపీట్ యువర్సెల్ఫ్' ఫ్రేమ్‌వర్క్‌ల స్ఫూర్తిని అనుసరించి, ఇది డెవలపర్‌లకు వారి కోడ్‌ను పునర్వినియోగించుకోవడానికి అనుమతించడం ద్వారా పెద్ద క్రాలింగ్ ప్రాజెక్ట్‌లను నిర్మించడం మరియు స్కేల్ చేయడం సులభతరం చేస్తుంది.

స్క్రేపీని ఉపయోగించే కొన్ని ప్రసిద్ధ సంస్థలు మరియు ఉత్పత్తులు: Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, మరియు Data.gov.uk యొక్క వరల్డ్ గవర్నమెంట్ డేటా సైట్.

 మూలాలు