સ્પાઈડર, જે મૂળભૂત રીતે નાના સૉફ્ટવેર પ્રોગ્રામ્સ છે, સમગ્ર વેબ પર મૂંઝવણ કરે છે, જે પૃષ્ઠોની સરનામાંઓ શોધે છે તે સરનામાંને અનુક્રમિત કરે છે.