તે કેવી રીતે કાર્ય કરે છે તે સમજવાથી, તમે તેનો અસરકારક રીતે ઉપયોગ કરી શકો છો પરંતુ આખરે, તે એક સાધન છે જે શોધ એન્જિન્સ દ્વારા રજૂ કરવામાં આવ્યું હતું જેથી તેઓ તેમની શોધ અનુક્રમણિકા અપ-ટૂ-ડેટ રાખવામાં મદદ કરી શકે .