1 个关键词的出现概率与信息量的比较研究。本文基于网络信息检索背景,运用等级排序法比较研究单个检索词出现概率与其蕴含的信息量。分析了实际检索中高频关键词在需求信息量上对于低频异维关键词的排挤效应,并提出了相应的改进方案。2 单个关键词出现概率与信息量原理分析信息论中香农将信息定义为用于消除不确定性的消息,信息量则是所消除的不确定性的多少即随机变量的不确定度,用熵度量。每次信息获取都是人们对于外界事物的不确定性的减少或完全消除过程【3】 。实物本身的语法信息基本上是相对稳定不变的,其信息量主要体现在语义层面上,即具体时间、空间点上的该事物的出现与否所蕴含的不确定性。在准确校验之前,认知者往往无法完全确定该实物在某一具体时间点上的状态取值,但可以通过经验和逻辑推理用取值集上的概率分布来度量。实物E,设其状态取值为V,V={v 1 ,v 2 ,v 3 ,…,v N }.对应的概率分别为P(n),n=1,2,3,…,N;则该实物的分布为:E~ éëêùûúv1,v2,v3,…,vNp1,p2,p3,...,pn,其中 ∑n=1Np(n)=1 .那么结局未出现之前的不确定程度H与N的自然对数成正比,即:H=KlnN=Kln1/p=-klnP,K 为常数.则该信息熵的加权平均值为:H=-K(N1lnp1+N2lnp2+...+Nilnpi+...+Nnlnpn)∑i=1nNi=-k ∑i=1npilnpi另外B·C·布鲁克斯提出对数透视理论(Loga⁃rithmic Perspective Principles)在认知的基础上考察用户感知到的信息。则对于实物E其不确定性消除所蕴含的信息量 I=ρlogéëêêêêêêùûúúúúúú11+ ∑n=1Np(n)logp(n)-1 ,ρ为该实物所处信息空间中潜在信息的均匀分布密度。可见,在一定程度上对于单个具体关键词其出现概率越高蕴含的信息量可能越小。3 单个关键词出现概率与检索信息量检验信息空间中基于共词理论人们常以关键词集合来表征文献的信息涵义,对于那些高频率出现的关键词其本身对于资源的唯一标识作用往往越低。例如图情领域大量出现的信息、知识、组织、检索等词汇对于信息资源的区分度却很低。是否关键词出现概率与其所蕴含的信息量间存在一定直接相关影响。考虑到关键词信息量度量的模糊性,本文通过关键词出现秩序与信息量秩序的相对大小来描述关键词出现概率与信息量的相对关系。以竞争情报为检索词,在国家工程技术图书馆NSTL中搜集2010年学术期刊论文数据,以此478篇论文为基础进行关键词出现概率次序与信息量次序分析。这些论文分布在141种期刊上,前三位是“竞争情报”, “情报理论与实践”, “图书情报工作”,分别载文61,38,36篇。该论文集合中总共有981个非重复关键词,其中部分关键词及其频率参见表1。在万方数据库2010年竞争情报的472篇文献(不含学位论文)范围中分别用以上词汇作为关键词入口在结果中进行检索,得到的实际检索到的论文数量。假设文档集合中某关键词出现N次,该主题相关的文献为N篇,实际检索到n篇,根据对数透视原理,在一维空间中距离观察者N到n处的感知信息量分别为:I=ρlog[n/N]。从DOCN到DOCn的透视信息感知率应该为:R=lg[(n+1)/1]/ lg[(N+1)/1]。计算得到各个关键词的感知信息率,参见表2。