એક સ્પાઈડર, જેને રોબોટ અથવા ક્રાઉલર તરીકે પણ ઓળખવામાં આવે છે, તે વાસ્તવમાં માત્ર એક પ્રોગ્રામ છે જે અનુસરે છે, અથવા "ક્રોલ્સ", સમગ્ર ઈન્ટરનેટમાં લિંક્સ, સાઇટ્સમાંથી સામગ્રીને હટાવતા અને એન્જિન ઇન્ડેક્સોને શોધવા માટે તેને ઉમેરી રહ્યા છે.