શોધ એન્જિન રોબોટ્સ સ્વયંચાલિત કાર્યક્રમો હોય છે, પરંતુ ઇન્ડેક્સીંગ પ્રક્રિયા આંશિક વેબમાસ્ટર દ્વારા નિયંત્રિત કરી શકાય છે.