Setsebi sa Semalt - Tataiso ea Moqapi ho Websaete ea ho Tsamaea ka Palo ea Python
Ts'ebetso ea marang-rang e bitsoa mokhoa oa software o sebelisoang ho ntša tlhahisoleseling e tsoang maqepheng a fapaneng Sepheo se ka sehloohong sa mokhoa ona ke ho fetola boitsebiso bo sa rarahaneng (HTML format) ho ea ka boitsebiso bo hlophisitsoeng (spreadsheet kapa database). Ho na le mekhoa e sa tšoaneng ea ho sebelisa websaete ea ho senya, empa mokhoa o tloaelehileng le o bonolo ke ho sebelisa Python. Lebaka ke hore Python e na le lintho tse ngata tse phelang ho lona kaha e na le "laebrari e ntle" e thusang mosebetsing oa ho ntša boitsebiso.
Ho theosa le lilemo, ho 'nile ha e-ba le keketseho e kholo ea tlhokahalo ea ho senya websaete kaha e ipakile e sebetsa hantle ho ba bangata. Ho na le litsela tse 'maloa tseo motho a khonang ho li ntša boitsebiso ba websaete joaloka tšebeliso ea li-API maqepheng a kang Twitter, Google le Facebook empa ena hase mokhoa o tiileng ha ho na le marang-rang a sa faneng ka IPS.
Libraries tse hlokahalang bakeng sa ho senya websaete
Python ke e 'ngoe ea mehloli e khethiloeng ka ho fetisisa ka websaeteng ea ho senya kaha e lumella motho hore a fumane lilaebrari tse ngata tse e ka etsa mosebetsi o le mong hape e na le ts'ebetso e bonolo le e bonolo ho e laola. Mefuta e 'meli e sebelisoang ka ho fetisisa ea mochine oa Python ka ho qeta data e kenyelletsa Urllib2 le BeautifulSoup. Urllib2 ke modula ea Python e ka sebelisoang ho batla li-URL. Ka lehlakoreng le leng, BeautifulSoup ke sesebelisoa se sebelisetsoang ho hula tlhahisoleseding e kang litafole le lirapa ho maqephe a maqephe.
Ho pata leqephe la websaete ka BeautifulSoup
BeautifulSoup ke e 'ngoe ea lisebelisoa tsa bohlokoa ka ho fetisisa tsa websaete tsa scraper..E le hore u khone ho rema leqephe la websaete u sebelisa BeautifulSoup, ho na le mehato e sa tšoaneng eo motho a lokelang ho e latela. Li akarelletsa:
1. Reka lilaebrari tse hlokahalang - ho sena, ho hlokahala hore ho kenngoe lilaebrari tse hlokahalang ho fumana boitsebiso boo ba bo hlokang
2. Sebelisa mosebetsi "prettify "ho sheba mohaho o motle oa leqephe la HTML - ena ke mohato oa bohlokoa o thusang motho hore a tsebe matšoao a fumanehang
3. Sebedisa lebokose la HTML- tse ling tsa li-tags li kenyelletsa taelo ea sopho
4. Fumana litafole tse nepahetseng tafoleng e nepahetseng ke ea bohlokoa ha motho a tla fumana data e nepahetseng.
5. Hlakola tlhahisoleseding ho Data Frame - ena ke mohato oa ho qetela 'me ho sena, motho o khona ho fumana liphello tseo ba li lakatsang.
Ka mokhoa o ts'oanang, BeautifulSoup e ka boela ea sebelisoa ho etsa mefuta e sa tšoaneng ea marang-rang a marang-rang ho latela lithahasello tsa motho.
Ho na le ba nahanang hore ba ka sebelisa polelo e tloaelehileng ho e-na le ho senya websaete e kang BeautifulSoup 'me ba fumane liphetho tse tšoanang. Sena ha se khonehe hobane ho na le phapang e mengata pakeng tsa li-BeautifulSoup le lipolelo tse tloaelehileng le liphello tsa bona tsa ho qetela li boetse li fapane haholo. Ka mohlala, Melao ea BeautifulSoup e batla e le matla ho feta e ngotsoeng ka lipolelo tse tloaelehileng.
Ka hona, ho sebelisa marang-rang ea marang-rang ke mokhoa o atlehang haholo kaha motho o khona ho fumana liphello tse nepahetseng