停用詞

在信息檢索中 ， 爲節省存儲空間和提高搜索效率 ， 在自然語言處理數據 （ 或文本 ） 之前或之後會自動過濾掉某些字或詞 ， 這些字或詞即被稱爲Stop Words 。 不要把停用詞與安全口令混淆 。 這些停用詞都是人工輸入 、 非自動化生成的 ， 生成後的停用詞會形成一個停用詞表 。 但是 ， 並沒有一個明確的停用詞表能夠適用於所有的工具 。 甚至有一些工具是明確地避免使用停用詞來支持短語搜索的 。 對於一個給定的目的 ， 任何一類的詞語都可以被選作停用詞 。 通常意義上 ， 停用詞大致分爲兩類 。 一類是人類語言中包含的功能詞 ， 這些功能詞極其普遍 ， 與其他詞相比 ， 功能詞沒有什麼實際含義 ， 比如'the' 、' is' 、' at' 、' which' 、' on'等 。 但是對於搜索引擎來說 ， 當所要搜索的短語包含功能詞 ， 特別是像The Who 、 The The或Take That等複合名詞時 ， 停用詞的使用就會導致問題 。 另一類詞包括詞彙詞 ， 比如'want'等 ， 這些詞應用十分廣泛 ， 但是對這樣的詞搜索引擎無法保證能夠給出真正相關的搜索結果 ， 難以幫助縮小搜索範圍 ， 同時還會降低搜索的效率 ， 所以通常會把這些詞從問題中移去 ， 從而提高搜索性能 。 作爲信息檢索的先驅者之一 ， 創造了這個短語 ， 並在他的研究中應用這個概念 ， 推動了這個概念的使用 。