停用词 在信息检索中为节省存储空间和提高搜索效率在自然语言处理数据或文本之前或之后会自动过滤掉某些字或词这些字或词即被称为Stop Words停用词不要把停用词与安全口令混淆 这些停用词都是人工输入非自动化生成的生成后的停用词会形成一个停用词表但是并没有一个明确的停用词表能够适用于所有的工具甚至有一些工具是明确地避免使用停用词来支持短语搜索的 对于一个给定的目的任何一类的词语都可以被选作停用词通常意义上停用词大致分为两类一类是人类语言中包含的功能词这些功能词极其普遍与其他词相比功能词没有什么实际含义比如theisatwhichon等但是对于搜索引擎来说当所要搜索的短语包含功能词特别是像The WhoThe The或Take That等复合名词时停用词的使用就会导致问题另一类词包括词汇词比如want等这些词应用十分广泛但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果难以帮助缩小搜索范围同时还会降低搜索的效率所以通常会把这些词从问题中移去从而提高搜索性能 作为信息检索的先驱者之一Hans Peter Luhn英语Hans Peter Luhn创造了这个短语并在他的研究中应用这个概念推动了这个概念的使用