图2 关键词在用户需求概念空间分布状况4.2 高频关键词在需求表达量上对低频关键词的排挤作用在图1所示需求概念空间中,用户信息需求由X、Y、Z 三个子维需求组成,对应权重分别为α,β,λ;且α+β+λ=1 。对应关键词分别为:a,d; c;d。若用S a ,表示关键词a的信息量,S a,b 表示关键词a,b重叠的信息量,则用户的需求量可表示为:I =(S a + S b - S a,b )* α + S c * β - (S a,c + S b,c + S a,b,c )*α+β2+S d* λ =(S a +S b )* α +S c * β +S d* λ -S a,b * α - (S a,c +S b,c +S a,b,c )*α+β2;实际检索系统中常用词频f a 度量关键词在文档中的信息量S a ,则加权信息检索中用户需求量被表述为I=(S a +S b )* α +S c * β +S d* λ ,普通信息检索中被描述为I= S a +S b +S c +S d。 它们都忽略了关键词间的概念重叠效应即:-S a,b * α +(S a,c +S b,c +S a,b,c )*α+β2部分。这在无形中放大了X维的需求效度。尤其是当a为高频关键词时,与它同维或近维的相似相近词b,c出现频率也较高,因重叠效应引发的需求失真将更大。倘若此时Z维的关键词d为低频词,则将受到高频词a,b的排挤。致使检索结果中以包含大量a,b的文献为主充分满足了X维需求,但缺乏综合蕴含各个关键词的文献,难以保障对Z维需求甚至是整个需求的充分满足。5 基于词间关系归类的关键词排挤效应改进方案解决上述关键词在需求表达上的覆盖排挤效应,需要根据检索词相似、相关性对不同检索词进行维度识别,再计算排除相应的概念重叠部分。