wwwના ઘણા બધા વેબ પુષ્ઠો પરથી માહિતી એક્ઠી કરવામાં આવી હોય છે જે દ્વારા વેબ શોધ એન્જિન કામ કરે છે.આ પુષ્ઠ વેબ ક્રાઉલર (Web crawler)(કેટલીક વખત તેને સ્પાઈડર તરીકે પણ ઓળખાવાય છે) અને એમડાસ દ્વારા મેળવવામાં આવે છે, ઓટોમેટેડ વેબ બ્રાઉઝર દરેક લિંકને અનુસરે છે.રોબોટ્સ.ટીએક્સટી(robots.txt) (robots.txt)ના ઉપયોગ દ્વારા બાકાત રખાય છે. દરેક પૃષ્ઠ પરથી મેળવવામાં આવેલી માહિતીનું વિશ્લેષ્ણ કરાય છે અને નક્કી કરવામાં આવે છે કે તેને કેવી રીતે અનુક્રમણિકા (indexed)માં મુકવામાં આવશે.(દાખલા તરીકે, મથાળું, શીર્ષક, અને સ્પેશિયલ ફિલ્ડમાંથી લેવામાં આવેલા શબ્દોને મેટાટેગ્સ (meta tags)કહેવાય છે. વેબ પૃષ્ઠના ડેટાને બાદની પુછપરછમાં કામમાં આવે તે માટે અનુક્રમણિકા ડેટાબેઝમાં સંગ્રહ કરવામાં આવે છે.કેટલાક શોધ એન્જિન, જેમ કે ગુગલ(Google) (Google) મુળ પૃષ્ઠ(જેને કેચ (cache)કહેવાય છે)ના બધા જ ભાગને તેમજ વેબ પૃષ્ઠ અંગેની માહિતીનો સંગ્રહ કરે છે, જ્યારે અલ્ટાવિસ્ટા (AltaVista)તેઓએ શોધેલા દરેક પૃષ્ઠના દરેક શબ્દને સંગ્રહે છે. કેચ પૃષ્ઠ હંમેશા ચોક્કસ શોધ વાક્યને પકડી રાખે છે જે ખરેખરમાં અનુક્રમણિકામાં સમાવેશ કરાયો હોય છે.જેથી આ ત્યારે વધારે ઉપયોગી થઈ પડે છે જ્યારે ચાલુ પૃષ્ઠના વિષયમાં ફેરફાર કરવામાં આવે તો શોધની જે વ્યાખ્યા હોય છે તે ચાલુ રહેતી નથી. આ સમસ્યાને લિંકરૂટ (linkrot)ની હળવા પ્રકારની સમસ્યા ગણવામાં આવે છે, ગુગલ(Google) તેની વધતી ઉપયોગીતા (usability)ને તેના વપરાશકર્તાઓની અપેક્ષાઓને (user expectations)સંતોષીને મેળવે છે. ગુગલ શોધનો જે શબ્દ હોય છે તે પાછલા પૃષ્ઠ પર પણ ઉપલબ્ધ કરાવે છે. ગુગલ(google) હંમેશા ગ્રાહકને ઓછા આશ્રર્યચકિત કરવા સિંદ્ધાંત (principle of least astonishment)પર કામ કરે છે. સામાન્ય રીતે વપરાશકર્તા આશા રાખે છે કે શોધનો શબ્દ પાછલા પૃષ્ઠ પર હશે જ. હકીકતમાં જે ડેટા હોય છે તે અન્યત્ર પણ ઉપલબ્ધ ન હોવા છંતા, સર્ચના શબ્દની સુસંગતતાથી કેચ પેજ વધારે ઉપયોગી બને છે.