1993ના જુન મહિનામાં તે વખતે એમઆઈટી (MIT)માં અભ્યાસ કરતા મેથ્યુ ગ્રે(Matthew Gray)એ સૌપ્રથમ વેબ રોબોટ (web robot) બનાવ્યો જે પર્લ (Perl)બેઝ હતો જેનું નામ વર્લ્ડ વાઈડ વેબ વાન્ડેરેર (World Wide Web Wanderer) અને તેનો ઉપયોગ" વાનડેક્ક્ષ"( 'Wandex'.) કહેવાતા ઈન્ડેક્ષને જનરેટ કરવામાં થતો હતો. વાન્ડેરેરનો હેતુ વર્લ્ડ વાઈડ વેબનું કદ માપવાનો હતો જે તેને 1995 સુધી કર્યું. નવેમ્બર 1993માં અલિવેબ(Aliweb) (Aliweb)શોધ એન્જિન શરૂ થયુંઅલિવેબ વેબમાં વેબ રોબોટ (web robot)નો ઉપયોગ કરતો ન હતો, પરંતુ તેના બદલે વેબસાઈટના સંચાલક દ્વારા ઈન્ડેક્ષ ફાઈલને ચોક્કસ ફોર્મેટમાં સેવ કરવાના કાર્ય પર આધાર રખાતો હતો.