Gae Setswana go ya go Sekgoa supuga
Thanolo ya supuga ka Sekgoa Scrapinghub ke lenaneo le matla la ho tlosa lintlha tsa leru le thusang baetsi le lenaneo ho fumana lintlha tsa bohlokoa. Lenaneo lena le sebelisa mochine o monyenyane oa proxy o bitsoang Crawlera, o thusang ho khasa palo e kholo ea liwebsaete tse sirelelitsoeng ka bot..
Spinn3r e thusa lenane le ts'oanang le la Google mme e boloka dintlha tsa hau tse nkiloeng ho lifaele tsa JSON. Websaete ena ea marang-rang e tla hlahloba libaka tsa hau kamehla le ho fumana lisebelisoa tse tsoang mohloling o fapaneng ho u fumana lingoliloeng tsa nako ea sebele.
80legs ke thuso e matla, e matla le e feto-fetohang ea websaeteng le setsebi sa data. O ka lokisa lenaneo lena ho ea ka litlhoko tsa hau ha e ntse e fumana chelete e ngata hang-hang.
Scraper ke kgolo e tummeng ea Chrome e nang le likarolo tse ngata. Ho feta moo, ho hotle ho romela ditaba ho Google Drive mme ho na le thuso ho bohle bao e seng lenaneo le lenaneo. Sesebelisoa sena sa mahala se tla hlahisa XPath e nyenyane bakeng sa URL ea hau.
Import.io e fana ka tlhahiso ea ho etsa li-data tse itseng ka ho kenya tlhahisoleseding ho tsoa maqepheng a itseng a maqephe le ho e romella lifaele tsa CSV. Lenaneo lena le sebelisa theknoloji ea boipheliso le ho fumana limilione tsa data letsatsi le leng le le leng.