ઘણાં વર્ષો પહેલા, લોકોએ જાતે જ વેબસાઇટ પરથી તમામ માહિતીને બહાર કાઢવી પડી હતી. તે સરળ પદ્ધતિ ન હોવાથી વેબ સ્ક્રૅપર્સ ને તેઓ ઇચ્છતા સમાવિષ્ટો મેળવવા માટે ઘણાં કલાકો અથવા તો દિવસો વિતાવતા હતા. પરંતુ તે ઘણા વેબ શોધકો અને પ્રોગ્રામરો માટે લગભગ અશક્ય કાર્ય હતું કારણ કે તે ખૂબ અસરકારક ન હતો.