MetaCrawler

Ιστορία

Το MetaCrawler αναπτύχθηκε αρχικά το 1994 στο Πανεπιστήμιο της Ουάσιγκτον από τον μεταπτυχιακό φοιτητή Aaron Collins και τον καθηγητή Oren Etzioni ως Ph.D.έργο του Erik Selberg. Αρχικά, δημιουργήθηκε προκειμένου να προσφέρει ένα αξιόπιστο σημείο έλξης των προγραμμάτων μηχανών αναζήτησης Ιστού, προκειμένου να μελετήσει τη σημασιολογική δομή του Παγκοσμίου Ιστού. Ωστόσο, ήταν μια χρήσιμη υπηρεσία από μόνη της και είχε αρκετές ερευνητικές προκλήσεις. Το MetaCrawler, ωστόσο, δεν ήταν η πρώτη μηχανή μετα-αναζήτησης στον Παγκόσμιο Ιστό. Αυτό το επίτευγμα ανήκει στο SavvySearch, το οποίο αναπτύχθηκε στο Πολιτειακό Πανεπιστήμιο του Κολοράντο, αν και ξεκίνησε μόλις τέσσερις μήνες πριν από το MetaCrawler.  
Το MetaCrawler λειτουργούσε αρχικά σε τέσσερις AlphaStations της Digital Equipment Corporation και επεξεργάζονταν αρκετές εκατοντάδες χιλιάδες ερωτήματα την ημέρα. Αυτό άρχισε να δημιουργεί σημαντικό φορτίο εύρους ζώνης στο Πανεπιστήμιο της Ουάσιγκτον. Έγινε σαφές ότι το MetaCrawler χρειαζόταν να έχει κάποια μέθοδο πληρωμής για τα ερωτήματα που διαβίβαζε προς τις κύριες μηχανές αναζήτησης. Λίγο καιρό μετά την εκκίνηση της μηχανής αναζήτησης, η NetBot, Inc., η οποία συνεζητήθηκε από τον Etzioni,  ξεκίνησε για να εμπορευτεί το MetaCrawler  και τρία άλλα προγράμματα του Πανεπιστημίου της Ουάσινγκτον: Το Ahoy! HomePage Finder, το Occam και το ShopBot. Το Ahoy! και το Occam δεν κυκλοφόρησαν εμπορικά στην πραγματικότητα. Στη συνέχεια, η NetBot συνδύασε τον πυρήνα του MetaCrawler με το ShopBot για να δημιουργήσει μια ιστοσελίδα μετα-αγορών, την Jango. 
Το MetaCrawler ξεκίνησε στις 7 Ιουλίου, 1995.
Από τα τέλη του 1995, η MetaCrawler κατέγραψε πάνω από 7.000 ερωτήματα αναζήτησης την εβδομάδα και είχε πρόσβαση σε έξι υπηρεσίες: Galaxy, InfoSeek, Lycos, Open Text, WebCrawler και Yahoo. Στα τέλη του 1996, πραγματοποιούνταν πάνω από 150.000 ερωτήματα την ημέρα. 
Οι ιδιοκτήτες του MetaCrawler δεν μπόρεσαν να προσδιορίσουν ένα εύλογο επιχειρηματικό μοντέλο, οπότε τον Ιανουάριο του 1997 το πούλησαν σε μια άλλη νεοφυή εταιρεία του Διαδικτύου, την Go2Net, όπου ο συνιδρυτής της Microsoft, Paul Allen αργότερα επένδυσε με ποσοστό 54%.  Το Go2Net δημοσιοποιήθηκε τον Απρίλιο εκείνου του έτους, καθώς εγγράφηκε στο Nasdaq. Το MetaCrawler είχε περίπου 30.000 επισκέπτες ημερησίως στις αρχές του 1997, αλλά μέχρι τα μέσα του 1998 είχε ανέβει στα 275.000.
Το NetBot τελικά θα αγοραστεί από την Excite τον Οκτώβριο του 1997 για 35 εκατομμύρια δολάρια, ενώ το Jango έγινε μέρος του Excite Network Channel. Τόσο ο Selberg όσο και ο Etzioni ξανάρχισαν να εργάζονται για το Πανεπιστήμιο της Ουάσιγκτον μέχρι το 1999, όταν εργάστηκαν για τη Go2Net για ένα χρόνο, ενώ παραιτήθηκαν λίγο πριν την εξαγορά της Go2Net από την InfoSpace Inc., τον Ιούλιο του 2000 για 4,2 δισεκατομμύρια δολάρια. Μέχρι εκείνη την εποχή, το Go2Net είχε αγοράσει μία ακόμη μηχανή μετα-αναζήτησης, το Dogpile. 
Το 2014, το MetaCrawler συγχωνεύθηκε σε μια άλλη από τις μηχανές αναζήτησης της Infospace, της Zoo.com, η οποία είχε αρχικά ξεκινήσει το 2006. Το domain του  MetaCrawler αρχικά ανακατευθυνόταν στο Zoo.com  αλλά στη συνέχεια άλλαξε για να ανακατευθυνθεί προς το msxml.excite.com, τη σελίδα αναζήτησης της Excite, η οποία επίσης λειτουργείται από την InfoSpace.  
Τον Ιούλιο του 2016, η Blucora ανακοίνωσε την πώληση της δραστηριότητάς της InfoSpace στο OpenMail για 45 εκατομμύρια δολάρια, θέτοντας το MetaCrawler υπό την ιδιοκτησία του OpenMail. Το OpenMail μετονομάστηκε αργότερα στο System1.  
Το 2017, η MetaCrawler ξεκίνησε εκ νέου ως τη δική της μηχανή αναζήτησης.