語間の「意味の広さ」の差だけを統計的に検定する手法

文脈化埋め込みは，NLPにおける語彙意味の標準的表現となっており，文脈やコーパスに伴う意味の変化を精密に分析するために広く用いられている[2,3,4]．従来研究の多くは，たとえば2つの用法が同一語義かどうか，あるいは領域や時間によって語の意味がどう変化するかといった意味差の検出に焦点を当ててきた．こうした課題は，母語話者に意味類似度の判断を求めるなど，直接アノテーションしやすい場合が多い．一方で，意味の広がり（語が多様な文脈実現にどれほど広くまたがるか）を即時に見抜くことは難しい．話者が用法間の差異を感じ取れても，語が「広い」かどうかを判断するには，多数の自然用例を見比べる必要があることが多い．このため近年は，BERT[5]などのマスク言語モデルを用いて，文脈化トークンベクトルの幾何学（トークン点群）から得られる文脈多様性を，意味の広がりのコーパス駆動な近似量として用いる研究が提案されている[1]．語・コーパス・モデル間でこうした広がり指標を比Householder整列化による解消の模式図．各円は単位球面（2次元に投影して表示）を表し，黒点・白点は2つの語タイプから得たℓ2正規化埋め込みである．上段（素朴な検定）：(a)2群は球面上の異なる領域（平均方向が異なる）を占めるが，分散は同程度である．(b)ラベルを無作為に入れ替えると，黒点が両領域に跨って配置され，見かけ上分散が過大になる．この見かけの分散増大が偽陽性（第一種過誤）を引き起こす．下段（Householder整列化検定）：(c)Householder反射を適用して平均方向を一致させると，2群は同一領域に整列する．(d)整列後のデータでラベルを入れ替えると真の分散が保たれ，較正された𝑝値が得られる．較するには，差が小さい領域でも信頼できる統計検定が必要である．文脈化トークン埋め込みの分布は不明であるため，非パラメトリックな検定を用いたい．このための方策としてNLPでも置換検定を用いることが行われてきたが，計算コストが大きい問題が指摘されている[6]．さらに，文脈化トークンベクトルの2つの埋め込み集合の散らばりを比較する目的で置換検定をそのまま適用すると，第一種過誤が増大し，実際には広がりが等しい場合でも「有意差あり」とThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).[1]では，語タイプ𝑤のコーパス中の𝑑次元文脈化埋め込みベクトルh𝑤,𝑖∈ℝ𝑑集合に対し，まず各ベクトルをノルム1になるよう正規化したベクトル集合x𝑤,𝑖=h𝑤,𝑖/∥h𝑤,𝑖∥2∈𝕊𝑑−1を考える．そして，こ𝑛Í𝑖x𝑖のユークリッドノルの語の平均ベクトル¯x=1𝑛Í𝑖x𝑖||を意味の広がりの近似量とみなす．ム𝑙:=||1𝑙はMeanResultantLength(MRL)と呼ばれ，一般に方向ベクトルの散らばり度合いを与える方向統計の基礎的な統計量であり，分散と異なり小さいほど散らばり度合いが大きい．[1]では，頻度や語義数との相関を取るため，von-MisesFisher(vMF)分布の集中度パラメタの近似値𝜅≈𝑙(𝑑−𝑙2)1−𝑙2の逆数𝑣=1𝜅が平均的にはWordNet語義数と相関することを多数の実験を通じて示している．しかし，初頭的な計算により[0,1]の範囲で𝑑固定の𝑣は𝑙の単調関数であることが示せるので，𝑙と𝑣の大小関係は逆だけなので2語の検定の目的では𝑙の大小さえわかれば良い．重要な点として𝑙と大小関係が一致する𝑙2は各埋め込みベクトルの線形計算で求められるのでGPUを活用することができる．この点が，MRLに基づく「意味の広さ」の指標について，GPUを用いて置換検定を高速化できる理由である．3提案手法Householder整列化置換検定語タイプ𝑤の文脈化埋め込みベクトルh𝑤,𝑖∈ℝ𝑑から，x𝑤,𝑖=h𝑤,𝑖/∥h𝑤,𝑖∥2∈𝕊𝑑−1を得て，方向分散を意味の広がりの近似量とみなす．2語𝑢,𝑘の標本を𝑋={x𝑖}𝑛𝑖=1,𝑌={y𝑗}𝑚𝑗=1（必要なら共通サイズにサブサンプル）とし，帰無は「分散は等しいが平均方向は異なり得る」とする．平均方向差で置換の交換可能性が崩れるため，Householder反射で𝑋の平均𝑛Í𝑖x𝑖,¯y=1𝑚Í𝑗y𝑗,ˆ𝝁𝑥=¯x/∥¯x∥2,ˆ𝝁𝑦=¯y/∥¯y∥2,u=(ˆ𝝁𝑥−ˆ𝝁𝑦)/∥ˆ𝝁𝑥−ˆ𝝁𝑦∥2,方向を𝑌へ整列化する：¯x=1H=I−2uu⊤,x′𝑖=Hx𝑖（𝑌は不変）．分散統計は|𝐴|Ía∈𝐴a∥2を用い，単調写像𝜅=𝑔𝑑(𝑟)MRL𝑟(𝐴)=∥1を介して広がり𝑣(𝐴)=1/𝑔𝑑(𝑟(𝐴))を定義，統計量は𝑇obs=log𝑣(𝑋′)−log𝑣(𝑌)（片側は𝑇obs>0）．置換では𝑍=𝑋′∪𝑌を𝐵回ランダムに(𝑛,𝑚)へ再割当てして𝑇(𝑏)を計算し，𝑝=(1+Í𝐵𝑏=1𝕀[𝑇(𝑏)≥𝑇obs])/(𝐵+1)を返す．整列化のラベル依存はクロスフィット（半分でH推定→残り半分で検定）で緩和する．GPUによる置換推論の高速化置換は素朴に𝑂(𝐵𝑁𝑑)（𝑁=𝑛+𝑚）だが，プール行列X∈ℝ𝑁×𝑑と，置換𝑏を表す符号s(𝑏)∈{+1,−1}𝑁（+1が𝑛個）で一括化できる．S∈{+1,−1}𝐵×𝑁を用意し，t=1⊤X，U=SX（単一GEMM）を計算すると，各置換の群和は𝝈(𝑏)1,2=(t±U𝑏,:)/2で復元でき，平均・MRL・𝑇(𝑏)はバッチ要素演算で計算できる．Sは𝐵0行ずつ生成して超過カウントのみ更新すればメモリは𝑂(𝑁𝑑+𝐵0𝑑)．Householderは行列を明示せずx′=x−2u(u⊤x)（バッチならX′=X−2(Xu)u⊤）で高速に適用できる．4実験主実験検定はそもそも意味の広がりの差が微妙であるときに用いられるものであるので，2語の間の「意味の広さ指標」の差が小さい語のペアの間での性能を計測する必要がある．本研究では次の方法でこのペアを作成する．まず，すべての語について前述のMRLを求め，その昇順のランキングを作る．そして，順位差(gap)を用いて近い順位の語のペアを測る．例えば[1]では100語でビン化している．まずはWordNet語義数を意味の広さの真の指標とし，WordNet語義数が同じ語ペアを誤って棄却してしまう率（第一種の過誤）と，WordNet語義数が異なるものをどれだけ検出できるか（検出率）が基本的な検定の性能評価となる．BNC[13]にModernBERT[8]を適用し，MRL指標順位差10位以内かつWordNet[14]の語義数に差が無い500ペアを「意味の広さに差がない」ペアとして第一種の過誤を，語義数に差がある500ペアで「検出力」を評価した．比較は(i)整列化なし（Baseline）と(ii)Householder反射で整列化後に検定（Proposed）である．表1に結果を示す．差があるかを見る検定である以上，第一種過誤大きいものは使いづらい．提案手法により，𝑝<0.01のとき第一種の過誤が2.09%から0.79%まで62%削減できていることがわかる．検出力は𝑝<0.01のときには既存手法と変わらない．これにより提案手法の有用性が示された．適合率実験更に順位差1-10において詳細な分析を行った．既存法と提案法で検定で有意になった語ペアのうち，実際にWordNet語義数が異なっているものの比率を正解だと思うと，NLPに馴染み深い「適合率(precision)」で評価することができる．やはりBNCとModernBERTで𝛼=0.01，各gapで300ペアについて実験した結果を表2に示す．Proposedは概ね第一種過誤を悪化させず，Gap=5,10では第一種過誤を下げつつ適合率も改善した（例：Gap=10で第一種過誤0.040→0.027，org/licenses/by/4.0/).有意水準手法第一種過誤検出力𝑝≤0.05Baseline3.40%1.91%Proposed1.57%1.50%𝑝≤0.01Baseline