網路搜尋引擎

網路搜尋引擎是設計在全球資訊網上進行搜尋，意思是指自動從全球資訊網蒐集特定的資訊，提供給使用者進行查詢的系統。搜尋結果通常會以行列式的連結展示，亦稱為搜尋結果頁 (Search engine results page，SERP)。這些訊息連結可能是連至網頁、影象、影片、資訊圖表、文章、研究論文或其他型別的檔案。 一些搜尋引擎亦會在其他的資料庫或目錄中搜索可用資料。與依靠人工維持的網站目錄不同，搜尋引擎進行的實時搜尋，是以網路爬蟲 (web crawler)進行執行演算法得出來。而沒法被搜尋出來的是稱為深網 (deep web)。工作原理.搜尋引擎的工作原理大致可以分為蒐集資訊、整理資訊和接受查詢。蒐集資訊.搜尋引擎的資訊蒐集基本都是自動的。搜尋引擎利用稱為網路蜘蛛的自動搜尋機器人程式來連上每一個網頁上的超連結。機器人程式根據網頁鏈到其中的超連結，就像日常生活中所說的“一傳十，十傳百……”一樣，從少數幾個網頁開始，連到資料庫上所有到其他網頁的連結。理論上，若網頁上有適當的超連結，機器人便可以遍歷絕大部分網頁。整理資訊.搜尋引擎整理資訊的過程稱為“建立索引”。搜尋引擎不僅要儲存蒐集起來的資訊，還要將它們按照一定的規則進行編排。這樣，搜尋引擎根本不用重新翻查它所有儲存的資訊而迅速找到所要的資料。想象一下，如果資訊是不按任何規則地隨意堆放在搜尋引擎的資料庫中，那麼它每次找資料都得把整個資料庫完全翻查一遍，如此一來再快的計算機系統也沒有用。接受查詢.使用者向搜尋引擎發出查詢，搜尋引擎接受查詢並向用戶返回資料。搜尋引擎每時每刻都要接到來自大量使用者的幾乎是同時發出的查詢，它按照每個使用者的要求檢查自己的索引，在極短時間內找到使用者需要的資料，並返回給使用者。目前，搜尋引擎返回主要是以網頁連結的形式提供的，這樣透過這些連結，使用者便能到達含有自己所需資料的網頁。通常搜尋引擎會在這些連結下提供一小段來自這些網頁的摘要資訊以幫助使用者判斷此網頁是否含有自己需要的內容。整理資訊及接受查詢的過程，大量應用了文字資訊檢索技術，並根據網路超文字的特點，引入了更多的資訊。發展史.1990年初當時全球資訊網還未出現，為了查詢散佈在各個分散的主機中的檔案，曾有過Archie、Gopher等搜尋工具，隨著網際網路的迅速發展，基於HTTP訪問的web技術的迅速普及，他們就不再能適應使用者的需要。在1994年1月，第一個既可搜尋又可瀏覽的分類目錄EINet Galaxy上線，它還支援Gopher和Telnet搜尋。同年4月，Yahoo目錄誕生，隨著訪問量和收錄連結數的增長，開始支援簡單的資料庫查詢。這就是我們說的早期的目錄導航系統，他們的缺點是網站收錄/更新都要靠人工維護，所以在資訊量劇增的條件下，就不是非常受用了。1994年7月，Lycos推出了基於robot的資料發掘技術，並支援搜尋結果相關性排序，並且他第一個開始在搜尋結果中使用了網頁自動摘要。Infoseek也是同時期的一個重要代表，他們是-{搜尋引擎}-史上一個重要的進步。1995年全球第一個華文搜尋引擎蕃薯藤於臺灣成立。1995年，一種新的搜尋引擎工具出現了——中介搜尋引擎或稱為元搜尋引擎，第一個中介搜尋引擎是華盛頓大學的學生開發的Metacrawler。使用者只需提交一次搜尋請求，由中介搜尋引擎負責轉換處理後提交給多個預先選定的獨立搜尋引擎，並將從各獨立搜尋引擎返回的所有查詢結果，集中起來處理後再返回給使用者。1995年12月才登場亮相的AltaVista推出了大量的創新功能使它迅速到達當時搜尋引擎的頂峰，它第一個支援自然語言搜尋的搜尋引擎，具備了基於網頁內容分析，智慧處理的能力，第一個實現高階搜尋語法的搜尋引擎，同時AltaVista還支援搜尋新聞群組，搜尋圖片等具有劃時代意義的功能。同時期還有inktomi、HotBot等搜尋引擎。1997年8月Northernlight公司正式推出搜尋引擎，它第一個支援對搜尋結果進行簡單的自動分類，也是當時擁有最大資料庫的-{搜尋引擎}-之一。1998年臺灣PChome的前身todo網站成立。1998年10月，Google誕生。它是目前世界上最流行的搜尋引擎之一，具備很多獨特而且優秀的功能，並且在介面等實現了革命性創新。1999年5月，Fast (Alltheweb)公司發布了自己的搜尋引擎AllTheWeb，它的網頁搜尋可利用ODP自動分類，支援Flash和pdf搜尋，支援多語言搜尋，還提供新聞搜尋、影象搜尋、影片、MP3、和FTP搜尋，擁有極其強大的高階搜尋功能。它曾經是最流行的搜尋引擎之一，後在2003年2月被Overture收購。在中文搜尋引擎領域，1996年8月成立的搜狐公司是最早參與作網路資訊分類導航的網站，曾一度自詡“出門找地圖，上網找搜狐”的誇大廣告詞。由於其人工分類提交的侷限性，隨著網路資訊的暴增，逐漸被基於robot自動抓取智慧分類的新一代資訊科技取代。臺灣中正大學吳昇教授所領導的GAIS實驗室1998年1月創立了Openfind中文搜尋引擎，是最早開發的中文智慧搜尋引擎，採用GAIS實驗室推出多元排序核心技術，截止2002年6月，宣佈累計抓取網頁35億，開始進入英文搜尋領域。北大天網是教育網最流行的搜尋引擎，它由北大計算機系網路與分散式系統研究室開發，於1997年10月29日正式在CERNET上提供服務，2000年初成立天網搜尋引擎新課題組，由國家973重點基礎研究發展規劃專案基金資助開發，收錄網頁約6000萬，利用教育網優勢，有強大的ftp搜尋功能。百度中文搜尋由超鏈分析專利發明人、前Infoseek資深工程師李彥宏和好友徐勇2000年1月建立，目前支援網頁資訊檢索，圖片，Flash，音樂等多媒體資訊的檢索。並且百度在中文領域第一個開始使用ppc經營模式。2002年開始很多公司受搜尋市場前景和Google神話的吸引，積極進入搜尋引擎市場，謀求一席之地。但是不幸的是他們當中很多公司尤其是不少中國公司採用流氓手段進行自己搜尋引擎的推廣工作，常用的手段是瀏覽器劫持、惡意捆綁adware/spyware等等，比較惡劣的典型公司是中搜、3721等等。中搜是由慧聰國際主持開發的，自稱是搜尋領域的後起之秀。目前處於起步階段，但是採用流氓軟體手段推廣後，強佔了不少使用者的搜尋引擎選擇。2003年年底慧聰搜尋改名為中國搜尋，推出第三代智慧搜尋引擎。中國搜尋主推桌面搜尋——網路豬，是備受爭議的流氓軟體之一。2003年11月，Yahoo全資收購3721公司。2005年8月，阿里巴巴和Yahoo達成戰略合作，全資收購雅虎中國，並更名為阿里巴巴雅虎，並將其業務重點全面轉向搜尋領域。2004年8月3日，搜狐公司推出中文搜尋引擎搜狗。2006年9月，微軟公司正式推出了擁有自主研發技術的Live Search，宣佈進軍搜尋引擎市場，挑戰Google在網路搜尋領域的霸主地位。2006年12月，網易公司推出中文搜尋引擎有道。2009年6月1日，微軟正式上線原名為Kumo的搜尋引擎Bing，中文名“必應”，但是由於不久後的“六四事件”20週年，Bing只在中國上線了1天即被防火長城封鎖，6月6日，Bing解封。2009年11月，微軟學術搜尋Microsoft Academic Search beta版啟用，該搜尋引擎目前主要提供計算機學科及相關領域的學術論文、作者、會議和學術期刊。2016年12月,LinAsk!恆問推出LinAsk!恆問搜尋引擎。2017年4月,LinAsk!恆問推出應搜搜尋引擎。分類.搜尋引擎按其工作方式主要可分為三種，分別是全文搜尋引擎。全文搜尋引擎.全文搜尋引擎是名副其實的搜尋引擎，歐美具代表性的有Google、Fast/AllTheWeb、 AltaVista、Inktomi、Teoma、WiseNut等，中國著名的有百度而建立的資料庫。檢索與使用者查詢條件匹配的相關記錄，然後按一定的排列順序將結果返回給使用者，因此他們是真正的搜尋引擎。垂直搜尋引擎.垂直搜尋引擎是針對某一個行業的專業搜尋引擎，是搜尋引擎的細分和延伸，是對網頁庫中的某類專門的資訊進行一次整合，定向分欄位抽取出需要的資料進行處理後再以某種形式返回給使用者。垂直搜尋是相對通用搜索引擎的資訊量大、查詢不準確、深度不夠等提出來的新的搜尋引擎服務模式，透過針對某一特定領域、某一特定人群或某一特定需求提供的有一定價值的資訊和相關服務。例如，著名的百度圖片搜尋，互聯統計網等都是針對某一領域而採用的垂直搜尋引擎。元搜尋引擎.元搜尋引擎在接受使用者查詢請求時，同時在其他多個引擎上進行搜尋，並將結果返回給使用者。著名的元搜尋引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜尋引擎中具代表性的有搜星搜尋引擎。在搜尋結果排列方面，有的直接按擎排列搜尋結果，如Dogpile，有的則按自定的規則將結果重新排列組合，如Vivisimo。市場佔有率.搜尋引擎的商務是一種新的商業模式，在中國大陸還有很多人用網址大全去尋找商業平臺網站的時候，搜尋引擎營銷的方式慢慢的興起，越來越多的買家又或賣家透過搜尋引擎來尋找自己的需要。直至2019年9月，Google是全球最多人使用的搜尋引擎，佔有市場92.96%。Google以其優秀的搜尋演算法，不被競價排名所籠罩的搜尋引擎。東亞和俄羅斯在一些東亞國家和俄羅斯，Google並不是最多人使用的搜尋引擎。在俄羅斯，Yandex 擁有61.9%市場佔有率，而Google只有28.3%。在中國大陸，百度是最受歡迎的搜尋引擎。而在南韓，Naver的佔有率達70%。在日本和臺灣，Google是最多人使用的搜尋引擎。歐洲大部分西方國家最多人使用的搜尋引擎是Google。在捷克，Google並不是最多人使用的搜尋引擎，Seznam.cz 也擁有不少支持者。未來展望.隨著網際網路的發展，網上可以搜尋的網頁變得愈來愈多，而網頁內容的質素亦變得良莠不齊，沒有保證。所以，未來的搜尋引擎將會朝著知識型搜尋引擎的方向發展，期以為搜尋者提供更準確及適用的資料。目前，網上的百科全書如雨後春筍般發展起來；另一方面，近年來亦有不少公司嘗試在搜尋方面改進，務求更符合使用者的要求。當中諸如Copernic Agent之類的搜尋代理就是其中之一。消費者保護.2013年6月25日，美國聯邦交易委員會釋出新版的消費者保護命令，要求搜尋引擎必須要能夠明顯區分出搜尋結果及廣告。