Setsebi sa Semalt se hlalosa kamoo ho ka fumanoang websaeteng e nang le sopho e ntle
Ho na le boitsebiso bo bongata bo ka lehlakoreng le leng la HTML. Ho mochine oa k'homphieutha, leqephe la marang-rang ke feela motsoako oa matšoao, litemana tsa mongolo, le sebaka se tšoeu. Ntho ea sebele eo re eang ho ea ho leqephe la hau ke litaba feela tse ka baloang ho rona. Khomphuta e hlalosa likarolo tsena e le li-tags tsa HTML. Sebopeho se khethollang khoutu e fokolang ho data eo re e bonang ke software, tabeng ena, li-browser tsa rona. Liwebsaete tse ling tse kang scrapers li ka sebelisa khopolo ena ho senya marang-rang a marang-rang le ho e boloka bakeng sa ho sebelisoa hamorao.
ka puo e hlakileng, haeba u bula tokomane ea HTML kapa faele ea mohloli bakeng sa leqephe le itseng la websaete, ho ka khoneha hore u fumane lintho tse teng ho websaeteng eo e khethehileng. Boitsebiso bona bo tla be bo le sebakeng se bataletseng hammoho le khoutu e ngata. Tshebetso eohle e kenyelletsa ho sebetsana le dikahare ka tsela e sa tsitsitseng. Leha ho le joalo, hoa khoneha ho khona ho hlophisa boitsebiso bona ka tsela e hlophisitsoeng le ho fumana likarolo tse sebetsang tsa khoutu eohle.
Maemong a mangata, li-scrapers ha li etse mosebetsi oa tsona ho finyella khoele ea HTML. Hangata ho na le phaello ea ho qetela eo e mong le e mong a lekang ho e finyella. Ka mohlala, batho ba etsang mesebetsi e meng ea ho etsa marang-rang ea marang-rang ba ka 'na ba hloka ho kenyelletsa likhoele tse ikhethang joaloka taelo-f ho fumana boitsebiso bo tsoang leqepheng la marang-rang. E le hore u phethe mosebetsi ona maqepheng a mangata, u ka hloka thuso, eseng feela matla a motho. Li-scrapers tsa marang-rang ke tsena bots e ka senyang marang-rang a nang le maqephe a fetang milione ka nako ea lihora. Tshebetso eohle e hloka kemiso e bonolo ea lenaneo. Ka lipuo tse ling tsa lenaneo tse kang Python, basebelisi ba ka ngolisa batho ba bang ba ka khonang ho senya data ea marang-rang le ho e lahla sebakeng se itseng.
Ho senya ho ka 'na ha e-ba kemiso e kotsi bakeng sa liwebsaete tse ling. Ho na le lintho tse ngata tse amehileng tse amanang le ho lata ha molao. Pele ho tsohle, batho ba bang ba nka boitsebiso ba bona ba lekunutu le ba lekunutu. Tlhaloso ena e bolela hore litaba tse nang le litokelo tsa litokelo tsa litokelo tsa litokelo tsa litokelo tsa litšoantšo, hammoho le ho hlajoa ha lintho tse ikhethang, li ka etsahala ha ho kenoa. Maemong a mang, batho ba kopitsa marang-rang eohle bakeng sa ho sebelisa offline. Ka mohlala, morao tjena, ho bile le nyeoe ea Craigslist bakeng sa marang-rang a bitsoang 3Taps. Sebaka sena se ne se hlahloba liwebsaete tsa marang-rang le ho nchafatsa matlo a marang-rang ho likarolo tse khethiloeng. Hamorao ba ile ba lula le 3Taps ho lefa $ 1,000,000 ho libaka tsa bona tsa pele.
BS ke sete sa lithulusi (Python Language) tse kang mojaro kapa sephutheloana. U ka sebelisa Sopho e Ntle ho senya websaete ea hau ho tloha maqepheng a data ho web. Hoa khoneha ho senya setša ebe o fumana lintlha ka mokhoa o hlophisitsoeng o lumellanang le seo u se entseng. O ka hlahisa URL mme o beha mokhoa o itseng o kenyeletsang mokhoa oa rona oa ho romela. Ka BS, o ka romela mekhoa e sa tšoaneng e kang XML. E le hore u qale, u lokela ho kenya phetolelo e hlomphehang ea BS 'me u qale ka metheo e mengata ea Python. Ho rutoa tsebo ke habohlokoa mona.