Semalt e hlahisa ho URLitor - Sebopeho se seholo sa Web Scraping & Data Extraction Tool
URLitor ke sesebelisoa se secha empa se atlehile sa ho senya websaete le lisebelisoa tsa ho tlosoa ha data. E le hore u sebelise URLitor, u hloka feela ho kenya lenane la ma URL ohle a seo u batlang ho se shebella Inthaneteng tempeleng e fanoeng. Ebe o tlameha ho hlakisa sebopeho sa HTML seo u batlang ho se tlosa ho webpages mme o tobetsa konopo ea ho romella. Ho bonolo joalo joalo - venturi eductor design. Ka sesebelisoa sena, ha ho hlokahale hore u etse kopi kapa u pate ho sebapali.
xPath ke puo e sebelisetsoang ho batla boitsebiso ka lifaele tsa XML. E sebelisa lipolelo tse itseng ho khetha li-node-setsho kapa linomoro tsa XML. Lipolelo tseo XPath li li utloisisang li tšoana haholo le tse sebelisoang ka lifaele tse tloaelehileng tsa khomphuta kapa litokomane.
Le hoja XPath e sebelisoa ka lipuo tse 'maloa tsa lenaneo, sesebelisoa sena se hahiloe ho basebedisi ba se nang tsebo ea lenaneo. Kahoo, ha ho hlokahale hore u be moqapi oa thuto ea ho e sebelisa. Ka sesebelisoa sena, o ka ntša dintlha ho tswa ho maqephe a mangata a HTML le a XML.
Bakeng sa mokhoa o bonolo oa ho sebelisa, lipoleloana tse 'maloa tse sebelisoang hangata tsa XPath li' nile tsa boleloa esale pele ho menu ea theoha e le hore basebelisi ba lokela feela ho khetha leha e le efe ea bona ho itšetlehile ka sepheo sa bona. Leha ho le joalo, basebelisi ba nang le phihlelo ba XPath ba na le bolokolohi ba ho sebelisa lipolelo tsa bona ha ba batla..
Sesebelisoa se entsoe ka bokhoni ba li-URL tse 100 sebokeng se le seng sa ho senya, 'me se nka lipolelo tse 10 ka nako e le' ngoe. Ka mantsoe a mang, e ka senya data ho tloha ho tse 100 tsa URL ka nako.
Mantsoe a bohlokoa a tloaelehileng a XPath a ka fetoloang kapa a kenyelitsoe a hlalositsoe ka tlase mona:
1. // div  - Polelo ena e khetholla karolo ea bobeli ea likarolo;
2. // link [@ rel = 'canonical'] / @ href - Polelo ena e khetha sebaka (ref) sa lebo e sebelisetsoang ho beha setho se ikemetseng se lekanang le li-canonical;
3. / html / head / meta [@ name = 'description'] / @ dikahare - Polelo ena e sebelisetsoa ho khetha dikahare; 4. // * [@ class = 'class-name'] - U ka sebelisa polelo ena ho khetha likarolo tsohle tse nang le 'sehlopha-lebitso' CSS sehlopha;
5. // h2 | // title - Polelo ena e ka sebelisoa ho khetha bobeli ba pele H2 le sehlooho sa leqephe;
6. // * [lebitso
= 'h1' kapa lebitso
= 'title'] - Polelo ena e sebetsa hantle joaloka e ka holimo. Leha ho le joalo, polelo e hlahisitsoeng ka holimo e molemo kaha e khutšoanyane;
7. // * [e na le (@class, 'thumb')] - Polelo ena e khetha ntho e 'ngoe le e' ngoe e nang le sehlopha sa CSS hape e na le 'thupa' bakeng sa lekhetho;
8. // motsoali :: * [text
= 'Welcome'] - Polelo ena e khetha motsoali ntho leha e le efe e nang le ' ';
sesebelisoa sena ke phetolelo ea Beta 'me e ntse e ka sebetsa le liphoso tse ling. Leha ho le joalo, e sa ntsane e le sesebelisoa se seholo ho basebedisi ba nang le tsebo e fokolang kapa e seng ea lenaneo joalokaha lipolelo tsohle tse sebelisoang khafetsa li hlophiselitsoe ho menu e boletsoeng pejana.