Ho Sheba Websaete ka Setsebi sa Semalt
Ho khaola Websaete, e tsejoang hape e le ho kotula websaete, ke mokhoa o sebelisetsoang ho tlosa dintlha ho tswa ho marang-rang. Software ea ho kotula Websaete e ka fihlella marang-rang ka ho toba ho sebelisa HTTP kapa sebadi sa marang-rang. Ha ts'ebetso ena e ka sebelisoa ka mokhoa o sebelisoang ke user software, mokhoa ona ka kakaretso o kenyelletsa ts'ebetso e ikemetseng e sebelisetsoang ho sebelisa moqhaqho oa websaete kapa bot.
Ts'ebetso ea Websaete ke ts'ebetso ha lintlha tse hlophisitsoeng li kopitsoa ho tloha websaeteng ho ea ho database ea sebakeng sa litlhahlobo le ho khutlisetsoa. E akarelletsa ho nkela leqephe la websaete le ho e ntša. Lintho tse hlahang leqepheng lena li ka fetoha, tsa phenyekolloa, tsa tsosolosoa 'me dintlha tsa eona tsa kopitsoa ho sesebelisoa sa polokelo ea sebakeng seo.
Maqephe a marang-rang a hahiloe ka lipuo tse ngotsoeng ka mongolo tse kang XHTML le HTML, tseo ka bobeli li nang le boitsebiso bo bongata bo sebetsang ka mokhoa o ngotsoeng. Leha ho le joalo, tse ngata tsa liwebsaete tsena li etselitsoe batho ba qetellang ba sebelisoa ke batho, eseng bakeng sa tšebeliso ea boipheliso. Ke lona lebaka le etsang hore software ea ho senya e bōpehe.
Ho na le mekhoa e mengata e ka sebelisoang bakeng sa ho senya websaete e sebetsang. Tse ling tsa tsona li hlalositsoe ka tlaase mona:
1. Batho ba Kopitsa-le-pata
Nako le nako, esita le sesebelisoa sa boleng bo botle sa web scraping s se ke sa nkela sebaka ho nepahala le katleho ea buka ea motho kopi-le-pata..Sena se sebetsa haholo maemong ao liwebsaete li theha lithibelo tsa ho thibela mechine e iketsang.
2. Tlhaloso ea mekhoa ea litemana
Ena ke mokhoa o bonolo empa o le matla o sebelisoang ho ntša lintlha tse tsoang maqepheng a maqephe. E ka 'na ea itšetleha ka taelo ea grex ea UNIX kapa setsi sa kamehla sa polelo ea puo e fanoang, mohlala, Python kapa Perl.
HTTP Lenaneo le ka sebelisoa maqepheng a mabeli a maholo a maholo le a maholo. Boitsebiso bo hlahisoa ka ho romella likōpo tsa HTTP ho seva sa marang-rang se hōle ha se ntse se sebelisa lenaneo la sesebelisoa.
Liwebsaete tse ngata li atisa ho ba le pokello e kholo ea maqephe a thehiloeng ka matla ho tloha mohloling o ka sehloohong oa mohloli. Mona, lintlha tsa mofuta o tšoanang li kentse ka maqepheng a tšoanang. Ka ho hlahloba HTML, lenaneo le atisa ho lemoha template e joalo mohloling o itseng oa tlhahisoleseding, e fumana se ka hare ho lona mme e e fetolela ka foromo e kopanetsoeng, eo ho thoeng ke wrapper.
Mokhoa ona, lenaneo le kenngoa sebapeng se seholo sa mozilla se kang Mozilla Firefox kapa Internet Explorer ho fumana lihlahisoa tse matla tse hlahisoang ke sesebelisoa sa basebetsi. Liwebsaete tsena li ka boela tsa fetisa maqephe a marang-rang ho ea sefate sa DOM ho itšetlehile ka mananeo a ka hlahisang likarolo tsa maqephe.
6. Ho tsebahala ha Semantic Annotation
Maqephe ao u rerang ho a qeta a ka 'na a kopanya maranete a semantic le lipolelo kapa metadata, e ka sebelisetsoang ho fumana li-snippets tse itseng tsa data. Haeba litlhaloso tsena li kenngoa maqepheng, mokhoa ona o ka nkoa e le boemong bo khethehileng ba DOM parsing. Litlhaloso tsena li ka boela tsa hlophisoa ka mokhoa o entsoeng ka syntactic, ebe li bolokiloe le ho laoloa ka thoko ho maqephe a maqephe. E lumella scrapers hore e fumane setlhophiso sa data hammoho le litaelo tse tsoang ho mposo ena pele e qeta maqephe.