"ફુલ ટેક્સ્ટ " ધરાવતું ક્રાઉલર બેઝ શોધ એન્જિન વેબ ક્રાઉલર(WebCrawler) (WebCrawler) હતું. જે 1994માં બહાર પડ્યું. તેના પુર્વગામી કરતા ભિન્ન, જે દ્વારા વપરાશકર્તાના વેબ પેજના કોઈ પણ શબ્દની શોધ કરી શકતા હતા, જે બધા જ મોટા શોધ એન્જિન માટે એક પ્રમાણ બની ગયું હતું. આ ઉપરાંત તે લોકોમાં જાણીતું હોય તેવું પહેલું શોધ એન્જિન પણ બન્યું હતું. તેમજ 1994માં લાયકોસ(Lycos) (Lycos)(જેનો પ્રારંભ કાર્નેગી મેલોન યુનિવર્સિટી (Carnegie Mellon University)દ્વારા કરાયો હતો.)ને લોંચ કરવામાં આવ્યું અને કમર્શિયલ પ્રયત્નોમાં મોટું સ્થાન મેળવ્યું.