શોધ એંજીન્સ સ્વયંચાલિત વેબસાઇટ સૂચિઓને સ્પાઈડર દ્વારા બનાવતા કે જે વેબ પાનાંઓ "ક્રોલ" કરે છે, તેમની માહિતીનું ઇન્ડેક્સ કરે છે, અને અન્ય પૃષ્ઠો પર તે સાઇટના લિંક્સને શ્રેષ્ઠ રીતે અનુસરે છે.