સર્ચ એન્જિનો તેમના રોબોટ્સની સહાયથી નવા વેબ પૃષ્ઠો જુએ છે, જે લિંક્સ તરફ આગળ વધે છે, અને જો તેઓ કંઈક નવું શોધે છે, તો તે ઈન્ડેક્સીંગ માટે કતારમાં આવે છે.