מנוע חיפוש (אינטרנט)
היסטוריה > שנות ה-90: לידת מנועי החיפוש

מנועי החיפוש הראשונים באינטרנט קדמו להופעת הרשת בדצמבר 1990: חיפוש משתמשי WHOIS(אנ') ושירות מידע Knowbot לחיפוש משתמשים רב-רשתי יושם לראשונה ב-1989. מנוע החיפוש המתועד היטב הראשון שחיפש קובצי תוכן, ובפרט קובצי FTP, היה ארצ'י, שהופיע לראשונה ב-10 בספטמבר 1990.
לפני ספטמבר 1993, הרשת העולמית (World Wide Web) אונדקסה כולה באופן ידני. הייתה רשימה של שרתי רשת עולמית שערך טים ברנרס-לי ואירח בשרת CERN. נותר תיעוד אחד של הרשימה מ-1992. ככל שיותר ויותר שרתי רשת החלו לפעול מקוונת, הרשימה המרכזית לא יכלה עוד לעקוב אחר המצב. באתר NCSA הוכרזו שרתים חדשים תחת הכותרת "מה חדש!"
הכלי הראשון ששימש לחיפוש תוכן (לעומת משתמשים) באינטרנט היה ארצ'י. השם מייצג את המילה האנגלית ל"ארכיון" ללא ה-"ון". הכלי נוצר על ידי אלן אמטאג', סטודנט למדעי המחשב באוניברסיטת מקגיל במונטריאול, קוויבק, קנדה. התוכנה הורידה את רשימות התיקיות של כל הקבצים הממוקמים באתרי FTP ציבוריים אנונימיים, ויצרה בסיס נתונים ניתן לחיפוש של שמות קבצים; עם זאת, מנוע חיפוש ארצ'י לא אינדקס את תוכן האתרים האלה מכיוון שכמות הנתונים הייתה כה מוגבלת שניתן היה לחפש בה ידנית בקלות.
עליית פרוטוקול התקשורת גופר (שנוצרה ב-1991 על ידי מארק מק'קאהיל מאוניברסיטת מינסוטה) הובילה לשני מנועי חיפוש חדשים, ורוניקה וג'אגהד. כמו ארצ'י, הם חיפשו בשמות הקבצים והכותרות המאוחסנים במערכות האינדקס של גופר. ורוניקה (אינדקס רשתי קל מאוד להפעלה של ארכיונים ממוחשבים) סיפקה חיפוש מילות מפתח של רוב כותרות התפריט של גופר בכל רשימות הגופר. ג'אגהד (חפירה היררכית אוניברסלית של ג'ונזי ותצוגה שלהם) היה כלי להשגת מידע תפריטי משרתי גופר ספציפיים.
בקיץ 1993, לא היה קיים מנוע חיפוש ברשת, למרות שקטלוגים מקצועיים רבים תחזקו ידנית. אוסקר ניירשטראז מהאוניברסיטה של ז'נבה כתב סדרה של תסריטי Perl שהעתיקו מדי פעם דפים אלה וכתבו אותם מחדש בפורמט אחיד. זה עיצב את הבסיס עבור W3Catalog, מנוע החיפוש הפרימיטיבי הראשון של הרשת, שיצא לאור ב-2 בספטמבר 1993.
ביוני 1993, מתיו גריי, אז ב-MIT, הפיק כנראה את "רובוט הרשת" הראשון, הנודד ברחבי הרשת העולמית בפרל, והשתמש בו כדי לייצר אינדקס בשם "Wandex". מטרת הרובוט הייתה למדוד את גודל הרשת העולמית, מה שעשה עד סוף 1995. מנוע החיפוש השני ברשת, אליווב, הופיע בנובמבר 1993. אליווב לא השתמש ברובוט רשת, אלא הסתמך על הודעה ממנהלי אתרי אינטרנט על קיומו של קובץ אינדקס בפורמט מסוים בכל אתר.
JumpStation (נוצר בדצמבר 1993 על ידי ג'ונתון פלטצ'ר) הוא השתמש ברובוט רשת כדי למצוא דפי רשת ולבנות את האינדקס שלו, והשתמש בטופס רשת כממשק לתוכנת השאילתה שלו. לכן, זו הייתה הכלי הראשון לגילוי משאבי WWW ששילב את שלושת המאפיינים החיוניים של מנוע חיפוש רשת (זחילה, אינדוקציה וחיפוש) כמתואר להלן. בגלל המשאבים המוגבלים שהיו זמינים על הפלטפורמה שפעלה עליה החיפוש שלה הוגבל לכותרות וכותרות שנמצאו בדפי הרשת שמצא הרובוט.
אחד ממנועי החיפוש הראשונים "כל הטקסט" על בסיס רובוט רשת היה WebCrawler, שיצא ב-1994. בניגוד לקודמיו, הוא איפשר למשתמשים לחפש כל מילה בכל דף רשת, מה שהפך לסטנדרט עבור כל מנועי החיפוש הגדולים מאז. זה גם היה מנוע החיפוש שהיה מוכר היטב לציבור. כמו כן, ב-1994, Lycos (שהחל באוניברסיטת קרנגי מלון) הושק והפך למאמץ מסחרי גדול.
מנוע החיפוש הפופולרי הראשון ברשת היה Yahoo! חיפוש. המוצר הראשון מ-Yahoo!, שנוסד על ידי ג'רי יאנג ודייוויד פילו בינואר 1994, היה ספריית רשת בשם ספריית Yahoo! ב-1995 נוספה פונקציית חיפוש, שאיפשרה למשתמשים לחפש בספריית Yahoo! זה הפך לאחת הדרכים הפופולריות ביותר עבור אנשים למצוא דפי רשת מעניינים, אבל פונקציית החיפוש שלו פעלה על ספריית הרשת שלה, ולא על העתקי הטקסט המלא של דפי הרשת.
זמן קצר לאחר מכן, הופיעו מספר רב של מנועי חיפוש והתחרו על פופולריות. אלה כללו מגלן, אקסייט, אינפוסיק, אינקטומי, Northern Light ו-AltaVista. מחפשי מידע יכלו גם לעיין בספרייה במקום לבצע חיפוש מבוסס מילות מפתח.
ב-1996, רובין לי פיתח את אלגוריתם דירוג האתרים RankDex עבור דירוג תוצאות דף מנועי חיפוש וקיבל פטנט אמריקאי על הטכנולוגיה. זה היה מנוע החיפוש הראשון שהשתמש בקישורי היפר-טקסט כדי למדוד את איכות האתרים באינדקס, פטנט דומה מאוד הוגש על ידי Google שנתיים מאוחר יותר ב-1998. לארי פייג' התייחס לעבודתו של לי בחלק מהפטנטים האמריקאיים שלו עבור PageRank. מאוחר יותר לי השתמש בטכנולוגיית Rankdex שלו עבור מנוע החיפוש Baidu, שאותו ייסד בסין והשיק בשנת 2000.
ב-1996, נטסקייפ חיפשה לתת עסקה בלעדית למנוע חיפוש אחד כמנוע החיפוש המוצג בדפדפן הרשת של נטסקייפ. היה כל כך הרבה עניין עד שבמקום זאת, נטסקייפ חתמה עסקאות עם חמישה מנועי חיפוש גדולים: תמורת 5 מיליון דולר בשנה, כל מנוע חיפוש יהיה ברוטציה בדף מנוע החיפוש.