# 単語ベクトルの平行四辺形を特徵づける図形距離

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1
1 北陸先端科学技術大学院大学 2 東京電機大学
\{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp

## 概要

単語の意味的・統語的関係を表わす単語ベクトルが四項類推課題を解くことはよく知られている．そのベクトル演算は類推関係にある単語べクトルが平行四辺形をなしていることを示唆している.これに着目して高次元空間にある単語ベクトルの配置を図形の幾何的性質により特徴づけることを試みる。四つの単語からなる単語群の平行四辺形らしさを測定するメトリックとして図形距離を提案し，これを用いて類推関係にある単語群が平行四辺形に近い配置にあることを実証する。図形距離は単語群の関係性を定量的かつ精緻に特徴づける性能を有しており，新たな研究ツールとなるとともに言語構造の解明に幾何的にアプローチすることを可能にする.

## 1 はじめに

## 1.1 単語ベクトルによる四項類推課題

単語埋め込み（単語ベクトル）は単語間の意味的・統語的関係を表していることが知られ，四項類推課題はその代表的な現象である. 例えば， king:queen::man:woman のような類推関係に対して, それぞれの単語べクトル間に $\boldsymbol{v}_{\text {king }}-\boldsymbol{v}_{\text {queen }}+\boldsymbol{v}_{\text {woman }} \approx$ $v_{\text {man }}$ という演算が成り立つ. Mikolov et al. [1] 等の先行研究では典型的にコサイン類似度により両辺が比較されるが, 同時に king:man::queen:woman の語順の平行関係も成り立つことから四項類推関係は平行四辺形の存在を示唆すると考えられる $[2,3]$.

## 1.2 平行四辺形は存在するか？

単語ベクトルは高次元空間の点であるが，その 4 点が平行四辺形のような平面図形をなしているとはどの様な状態であろうか. ユークリッド距離やコサイン類似度は 2 つの単語ベクトル間の関係性を評価するものであるが，3 以上の単語間にも関係性や対称性があると考えられる。また構造言語学の立場か
らは単語の意味関係は絶対的なものではなく差異により特徵づけられるとされる [4]. 図形のもつ幾何的性質を用いて高次元空間に住む単語べクトルの集まりが持つ関係性を特徴づけたいというのが本研究の動機である.

## 1.3 単語関係を幾何的に捉える

本研究では類推関係にある単語ベクトルが示唆する平行四辺形に着目して, まず高次元ベクトル空間における平行四辺形を数学的に定義する. その上で四つの単語ベクトルが平行四辺形をなす条件を導出して, 平行四辺形らしさを表す新しい指標として図形距離を提案する. さらに図形距離を実コーパスから生成された単語ベクトルに適用してその幾何的性質を定量的に評価する．単語ベクトル間の関係を幾何的に捉えることで言語の豊かな対称性を抽出する。

## 2 図形距離

## 2.1 高次元空間の平行四辺形

ユークリッド幾何における図形とは任意の相似変換によって不変に保たれる幾何学的性質を持つ対象として定義される [5]. 従って，高次元空間内の図形も相似変換群の全ての変換に対して不変に保たれる性質によって定義できる。

平面における平行四辺形は複数の性質1)を持つが，本論文では高次元ベクトル空間における平行四辺形を次のように定義する。

定義 $d$ 次元ベクトル空間における 4 つのべクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ について,

$
\mathbf{x}_{1}-\mathbf{x}_{2}=\mathbf{x}_{3}-\mathbf{x}_{4}
$

が成り立つ時 4 つのベクトルは平行四辺形をなす.

1） 平行四辺形は (i)2 組の対辺がそれぞれ平行，(ii) 1 組の対辺が平行かつ同じ長さ，(iii)2 組の対角がそれぞれ等しい，(iv)対角線の中点が一致するという性質を持つ.

## 2.2 頂点の選び方

任意に与えられた 4 つのベクトルを定義の式 (1) にある $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ へ割り当てる選び方は $4 !=24$ 通りあり, 頂点の置換は 4 次対称群 $S_{4}$ をな. このうち式 (1)を不変とする置換は, ベクトルの添字を置換の対象として表せば $\{(14),(23)$, (12)(34）\}を生成元とする $S_{4}$ の部分群である. 位数は $2 \times 2 \times 2=8$ であるので，4つの頂点に対して異なる四角形をなす頂点の選び方は $24 / 8=3$ 通り存在する.

図 1 は， 3 通りの頂点の選び方に対応した平行四辺形を表しており，パタン 1 は $\mathbf{x}_{1}$ と $\mathbf{x}_{4}$ が対角となる頂点の選び方であり, パタン 2 では $\mathbf{x}_{1}$ と $\mathbf{x}_{3}$ が対角, パタン 3 では $\mathbf{x}_{1}$ と $\mathbf{x}_{2}$ が対角をなす.

図 1 四角形の頂点の選び方

## 2.3 平行四辺形の必要十分条件

4 つの単語 $w_{1}, w_{2}, w_{3}, w_{4}$ を表す単語ベクトルをそれぞれ $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4} \in \mathbb{R}^{d}$ とし, 行方向に沿って並べた行列 $X=\left[\begin{array}{llll}\mathbf{x}_{1} & \mathbf{x}_{2} & \mathbf{x}_{3} & \mathbf{x}_{4}\end{array}\right]$ を単語べクトル群と呼ぶ. $X$ は $d$ 行 4 列の行列である. このとき単語ベクトル群 $X$ が定義 (1)を満たすための必要十分条件は, 3 つの頂点の選び方を考慮して

$
\mathbf{p}_{1}=\left[\begin{array}{c}
1 \\
-1 \\
-1 \\
1
\end{array}\right], \quad \mathbf{p}_{2}=\left[\begin{array}{c}
1 \\
-1 \\
1 \\
-1
\end{array}\right], \quad \mathbf{p}_{3}=\left[\begin{array}{c}
1 \\
1 \\
-1 \\
-1
\end{array}\right]
$

とすると，

$
X \mathbf{p}_{1}=\mathbf{0}_{d}, \quad X \mathbf{p}_{2}=\mathbf{0}_{d}, \quad X \mathbf{p}_{3}=\mathbf{0}_{d}
$

のいずれかが充されることである. $\mathbf{0}_{d}$ は $d$ 次元のゼロベクトルである ${ }^{2}$.

式 (3) の形より 4 つのベクトルは $d$ 次元空間内の超平面上にあることが直ちにわかる.

2）単語ベクトル間の関係性を行列により表現することの利点は, 幾何学・線形代数・群論などの数学的操作を言語構造に対して行うことが可能となることである [6].

## 2.4 平行四辺形らしさの定量化

次に単語ベクトル群の平行四辺形までの距離を定める．考え方としては，単語べクトル群 $X$ を $d$ 次元空間 $V$ 上の 4 つのベクトルの集まりではなく, $4 d$次元空間 $W$ 上の 1 点 $\mathbf{x}:=\operatorname{vec}(X) \in W$ とする ${ }^{3)}$. 平行四辺形をなしている単語ベクトル群を表すすべての点の集まりを $W$ の部分空間 $U$ とすれば，点 $\mathbf{x}$ から部分空間 $U$ までの距離（ユークリッド距離）を算出でき，これを平行四辺形までの距離（図形距離） と定義できる.

図形距離がゼロであるとき単語ベクトル群は平行四辺形をなし, 図形距離（正值）が大きくなるほど平行四辺形から遠くなる. 平行四辺形をなす全ての単語ベクトル群の集合は， $W$ の部分空間（カーネル） $K_{i}$ として次式で表される ${ }^{4)}$.

$
\begin{aligned}
K_{i} & =\left.\{X \in V^{4} \mid X \mathbf{p}_{i}=\mathbf{0}_{d}\right.\} \\
& =\left.\{\mathbf{x} \in W \mid\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \mathbf{x}=\mathbf{0}_{d}\right.\} \quad(i=1,2,3)
\end{aligned}
$

点 $\mathbf{x}$ から 3 つのカーネルまでの距離 $d_{i} \quad(i=1,2,3)$ は次の通りである.(導出は AppendixAを参照)

$
\begin{aligned}
& d_{1}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\| \\
& d_{2}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{3}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{4}}{2}\right.\| \\
& d_{3}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{2}}{2}-\frac{\mathbf{x}_{3}+\mathbf{x}_{4}}{2}\right.\|
\end{aligned}
$

このうち最短距離を与えるものを平行四辺形までの距離 $d$ とする．幾何学的には 2 組の対角線の中点の間の距離を意味しており, 中点が一致するとき距離はゼロとなり図形は平行四辺形となる.

$
d=\min \left.\{d_{1}, d_{2}, d_{3}\right.\}
$

## 2.5 平行四辺形距離の正規化

合同・相似な図形には同じ平行四辺形距離を付与したい. 平行移動，拡大（縮小), 回転に対して不変となるよう正規化するための正規化項 $Z$ は次の通りである ${ }^{5)}$ (AppendixB)

$
Z=\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \quad \text { where } \mathbf{m}:=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}
$

3）vecオペレータは行列を列ベクトルに並べ替える作用素.
4) $t$ は転置, $\otimes$ はクロネッカー積, $I_{d}$ は $d$ 次元の単位行列.

5） 幾何学的には，4つのべクトルをその重心が原点となるよう平行移動して（中心化して） $4 d$ 次元空間におけるノルムを正規化項としている.

## 3 実験手法

## 3.1 目的とアプローチ

実コーパスから生成された単語ベクトルにおいて類推関係にある単語群を判別できるか平行四辺形距離を用いて評価する. 類推関係にある 4 つ組の単語群を 1 群，無作為に抽出した 4 つ組を 2 群として， それぞれについて算出された正規化済みの平行四辺形距離の分布について $\mathrm{t}$ 検定を行う.

## 3.2 単語ベクトル生成のためのデータ

単語共起カウントによる単語ベクトル実コーパスより単語共起頻度をカウントして単語ベクトルを生成する. English wikipedia dump(20171001 時点)を使用した. トークン数は約 79 億語，語彙数は約 260 万語，前後 5 語以内に生起した単語を共起単語としてカウントする. テストセットの語彙との共起頻度上位 10000 語と，テストセットの語彙の和集合になる計 10072 語の単語共起行列について，その成分を対数化したものを logfreq10000 とする [7]. さらに, logfreq10000 に対して特異值分解を行い 300 次元へ次元削減したものを svd10000 とする.

logfreq10000 と svd10000 の行ベクトルをそれぞれの行に対応する単語の単語ベクトルとする

Word2vec また，ニューラルモデルにより生成された単語ベクトルとして wor2vec[8] の学習済みモデル (spaCy en-core-web-lg[9]) より logfreq10000 と同じ語彙の単語ベクトルを抽出してw2v10000 とする.

## 3.3 正解テストセット

類推関係にある単語群として, Google Analogy Test Set[1] を用いる.これには 19,544 組の単語 4 つ組（例：king-queen-man-woman）が含まれており，14 のカテゴリー（うち9つは統語的な類推関係，5つは意味的な類推関係）に分類されている。

単語 4 つ組は，2つの単語ペアの組み合わせ (例： king-queen と man-woman)からなっており, ユニークな単語ペアとしては 573 組を含む. Google Analogy Test Setでは，全ての単語ペアの組み合わせを網羅していないため，あらためて各カテゴリーごとに全ての単語ぺアを組み合わせて 15,247 組の4つ組を得た (「正解テストセット」という).

## 4 実験結果

## 4.12 群間の比較

図 2 に，類推関係を持つ単語群 (“analogy_testset”) と無作為に抽出した 4 単語 (“random_sampling”) について算出された平行四辺形距離の分布を示す.

logfreq10000では類推関係の単語群の図形距離は平均 0.321 であるのに対して，無作為抽出は平均 0.436 であり,その差は 0.115 で統計的に有意な違いが見られた $(t(15246)=114.7, p<$ 0.001). 同様に svd10000 では analogy-testset $の$ 平均値 0.322 と random_sampling の平均値 0.435 の差は $0.113(t(15246)=112.1, p<0.001)$ と有意である.

また，w2v10000 においても analogy_testset の平均値 0.391 に対し random_sampling の平均値 0.535 と類推関係にある単語群の距離は 0.144 小さく有意な差を示した $(t(8576)=145.6, p<0.001)$ が，その分布形状の差は著しい。なお，w2v10000 に欠けている語彙を含むカテゴリー capital-word を除外したためサンプル数が異なる.

図 2 図形距離の比較

## 4.2 分析

カテゴリーごとに比較すると, 最も平行四辺形に近いカテゴリーは family (平均 0.257), 次いで gram4superlative(平均 0.277) であった. 反対に平行四辺形から遠いカテゴリーは gram1-adjective-to-adverb（平均 0.369), 次いで opposite(平均 0.358) であった.

平均図形距離が最小の family についてカテゴリー 内の順位を見ると，最も平行四辺形に近い単語群は “his-her-nephew-niece” の 4 つ組であり，その図形距離 0.095 は全カテゴリーの中でも最小であった. 反対に, 最も平行四辺形から遠い単語群は, "policeman-policewoman-stepbrother-stepsister" であり, その平行四辺形距離は 0.549 である. 無作為抽出を含めて算出した値の中での最大值に近い値である.

$\mathrm{t}$ 検定の結果は平行四辺形距離が類推関係にある単語群を有意に特徴づけることを示しているが，そ
表 1 頂点の配置パタン占率 (\%)(logfreq10000)

の順位を見ると低頻度の単語を含む場合に特に平行四辺形距離のばらつきが大きく, 識別精度に課題がある. 本論文では紙面の都合上割愛するが正規化項を通じてノルムが過大な影響を及ぼしていると思われ，今後の研究課題である.

## 5 考察

## 5.1 ベクトルの逆転現象

式 (9) により平行四辺形距離を算出する際に，最小距離を与える頂点配置のパタンを各カテゴリーごとに示したのが表 1 である.

正解テストセットに含まれる単語ぺアは関係の方向を反映した並びとなっており，例えば family カテゴリーでは father-mother のように男性・女性の並びである。このような単語ペアを組み合わせて4つ組を作ると, 単語ベクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ はペア 1 の男性, 女性, ペア 2 の男性, 女性という並びとなる。従って類推関係が成立していれば $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{3}-\mathbf{x}_{4}$ が成り立って，3つのカーネルまでの距離のうち $d_{1} \simeq 0$ が最短距離となる (パタン 1 に対応).

しかるに, family など 4 つのカテゴリーでパタン 2 が 2 割以上を占める. つまり式 (7) が適用され $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{4}-\mathbf{x}_{3}$ が成り立っていることになる. これが示唆するのは, 男性単語と女性単語の間の差べクトルの向きが 2 つのぺア間で逆転する現象が起きているということである.

表 2 に差ベクトルの方向に対応するペアを例示する. 順方向のペアを組み合わせた 4 つ組の場合,例えば $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {father }}-\boldsymbol{v}_{\text {mother }}$ が成り立つので $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {mother }}=\boldsymbol{v}_{\text {father }}$ の演算により左辺の 3 単語から fatherを推定できるが, 逆転が起きているぺア表 2 順方向と逆方向の差分ベクトルを持つ単語ペア事例

 &  \\

の場合 $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {wife }}-\boldsymbol{v}_{\text {husband }}$ が成立しているので, 四項類推演算を行う場合には $\boldsymbol{v}_{h e}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {wife }}=$ $v_{\text {husband }}$ ではなく $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {husband }}=\boldsymbol{v}_{\text {wife }}$ の演算が成り立つ.

## 5.2 逆転現象の要因

単語ペアの差ベクトルが反転する原因は，単語ベクトルのノルムの逆転が起きているからである. 例えば family カテゴリーの多くのペアでは男性単語べクトルのノルムは女性単語のそれよりも大きいが,反転しているぺアの場合に女性単語のノルムの方が大きい。言語現象上の要因としては，コーパス中の出現頻度において男女バイアスが存在しているからであり，一般に男性単語の方が頻度が高いが，逆転しているぺアでは，例えば husband よりも wifeが頻出するのは his wife のように男性の文脈において wife が出現することの方が her husband よりも多いということが想定される.

同じカテゴリーの中に異なる関係性を持つぺアが存在してサブカテゴリーをなしていることを示唆しており, 平行四辺形距離はそのような単語間の関係性を定量的に測定する機能を有している。

## 6 おわりに

本研究では単語群の持つ意味的・統語的関係を幾何的性質として捉え，新たなメトリックとして図形距離を提案した. そして類推関係にある単語群が高次元空間内で平行四辺形に近い配置にあることを実証した. 精度の改善のため正規化手法の見直しが必要であるが，図形距離を用いることで，半自動的な類推関係の発見や，類推関係の種類の細分化などが期待される. また図形距離は本稿で対象とした平行四辺形以外の図形にも拡張できる. そのため他の立体図形をなす単語群の研究も進行中である. ${ }^{6)}$.


## 謝辞

本研究は JST さきがけ JPMJPR20C9 の助成を受け

て行われた。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeff Dean. Efficient estimation of word representations in vector space. pp. 1310-4546, 2013.

[2] Dawn Chen, Joshua C. Peterson, and Thomas L. Griffiths. Evaluating vector-space models of analogy. CoRR, Vol. abs/1705.04416, , 2017.

[3] Joshua C. Peterson, Dawn Chen, and Thomas L. Griffiths. Parallelograms revisited: Exploring the limitations of vector space models for simple analogies. Cognition, Vol. 205, p. 104440, 2020

[4] 丸山圭三郎. ソシュールを読む. 岩波書店, 1983.

[5] 河田敬義. アフィン幾何・射影幾何. 岩波書店, 1967.

[6] 前田晃弘, 鳥居拓馬, 日高昇平. 単語共起行列の内部構造解明のための構成論的アプローチ. 2022 年度日本認知科学会第 39 回大会, 2022.

[7] Takuma Torii, Akihiro Maeda, and Shohei Hidaka. Embedding parallelepiped in co-occurrence matrix: simulation and empirical evidence. In Joint Conference on Language Evolution (JCoLE2022), 2022.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 1310-4546, 2013.

[9] spaCy. Models and language, 2023. https:spacy.io/ usage/models.

## A カーネルまでの距離の導出

平行四辺形の必要十分条件を示す式 (3) は，次のようにべクトル化することができる.

$
\operatorname{vec}\left(X \mathbf{p}_{i}\right)=\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \operatorname{vec}(X)=A_{i} \mathbf{x}
$

ただし, $A_{i}:=\mathbf{p}_{i}^{t} \otimes I_{d}, \operatorname{vec}(X)=\mathbf{x} \in \mathbb{R}^{4 d}$ である.

平行四辺形をなすすべての点の集合は $A_{i}$ のカーネル $K_{i}$ として次の通りである.

$
K_{i}=\left.\{\mathbf{x} \in \mathbb{R}^{4 d} \mid A_{i} \mathbf{x}=\mathbf{0}_{d}\right.\}
$

頂点パタン $i$ の平行四辺形までの距離を点 $\mathbf{x}$ からカーネル $K_{i}$ までの距離として求める. $K_{i}$ は行列 $A_{i}$ の行空間 $C\left(A_{i}\right)$ の補空間であることを踏まえ $\left(\mathbb{R}^{4 d}=K_{i} \oplus C\left(A_{i}\right)\right)$, まず $C\left(A_{i}\right)$ への射影行列 $\Pi_{i}$ を考える. $\mathbf{x}$ を $C\left(A_{i}\right)$ へ直交射影した点を $\mathbf{z}_{i}$ とする. すなわち， $\Pi_{i} \mathbf{x}=\mathbf{z}_{i}$ である. $\mathbf{z}_{i} \in C\left(A_{i}\right)$ であるので， $A_{i}^{t} \mathbf{w}=\mathbf{z}_{i}$ なる $\mathbf{w}$ が存在する.

点 $\mathbf{x}$ と点 $\mathbf{z}_{i}$ を結ぶ直線は部分空間 $C\left(A_{i}\right)$ への垂線となるので $A_{i}\left(\mathbf{x}-\mathbf{z}_{i}\right)=\mathbf{0}$ が成り立ち，これを展開すると $\mathbf{w}=\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}$ を得て次の式に代入する.

$
\begin{aligned}
\Pi_{i} \mathbf{x} & =\mathbf{z}_{i} \\
& =A_{i}^{t} \mathbf{w} \\
& =A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}
\end{aligned}
$

この式は任意の $\mathbf{x}$ について成り立つので $\Pi_{i}=$ $A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i}$ である. $A_{i}=\mathbf{p}_{i}^{t} \otimes I_{d}$ を用いて, さらに式を展開する. $i=1$ の場合，

$
\begin{aligned}
\Pi_{1} \mathbf{x} & =A_{1}^{t}\left(A_{1} A_{1}^{t}\right)^{-1} A_{1} \mathbf{x} \\
& =\left(\frac{1}{4}\left(\mathbf{p}_{1} \mathbf{p}_{1}^{t}\right) \otimes I_{d}\right) \mathbf{x} \\
& =\frac{1}{4}\left[\begin{array}{cccc}
I_{d} & -I_{d} & -I_{d} & I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
I_{d} & -I_{d} & -I_{d} & I_{d}
\end{array}\right]\left[\begin{array}{l}
\mathbf{x}_{1} \\
\mathbf{x}_{2} \\
\mathbf{x}_{3} \\
\mathbf{x}_{4}
\end{array}\right] \\
& =\frac{1}{4}\left[\begin{array}{c}
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4}
\end{array}\right]
\end{aligned}
$

となるので

$
d_{1}=\left.\|\Pi_{1} \mathbf{x}\right.\|=\frac{1}{2}\left.\|X \mathbf{p}_{1}\right.\|=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\|
$

である. $i=2,3$ の場合も同様である.

## B 正規化項の導出

点 $\mathbf{x}$ からそれをカーネル $K_{i}$ へ直交射影した点までの垂線の距離を, 原点 $O$ から点 $\mathbf{x}$ までの斜辺の距離で正規化すれば正弦が得られるが，その方法では図形の平行移動の影響を受けてしまう。これを避けるために，空間 $V=\mathbb{R}^{d}$ における 4 点を任意のべクトル $\mathbf{b} \in V$ で平行移動したものと同一視する. これは空間 $W=\mathbb{R}^{4 d}$ においては, $\mathbf{x} \in W と \mathbf{x}+\mathbf{1}_{4} \otimes \mathbf{b} \in W$ を同一視することに等しい.

任意の点 $\mathbf{x}$ に対して，原点と同一視できる点の中で最短距離を与えるものをその原点して選ぶこととして，平行移動 $b^{\prime}=\mathbf{1}_{4} \otimes b$ を次のように求める.

$
\begin{aligned}
\min _{\mathbf{b}^{\prime}} \delta & =\min _{\mathbf{b}^{\prime}}\left.\|\mathbf{x}-\mathbf{b}^{\prime}\right.\| \\
& =\min _{\mathbf{b}}\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{b}\right.\| \\
& =\min _{\mathbf{b}}\left(\sum_{i=1}^{4}\left(\mathbf{x}_{i}-\mathbf{b}\right)^{2}\right)^{1 / 2}
\end{aligned}
$

$\delta^{2}$ を b で偏微分する.

$
\frac{\partial \delta^{2}}{\partial \mathbf{b}}=-2 \sum_{i=1}^{4} \mathbf{x}_{i}+8 \mathbf{b}=0
$

従って,

$
\mathbf{b}=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}:=\mathbf{m}
$

すなわち，空間 $V$ における 4 つの単語ベクトルの中点を $\mathbf{m}$ とすると，空間 $W$ においてこれに対応する $\mathbf{1}_{4} \otimes \mathbf{m}$ が $\mathbf{x}$ に最も近い原点 (平行移動により原点と同一視される点)ということになる.

以上より，図形距離の正規化に用いる正規化項 $Z$ は， $\mathbf{1}_{4} \otimes \mathbf{m}$ までの距離ということになる.

$
\begin{aligned}
Z & =\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{m}\right.\| \\
& =\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \\
& =\left(\sum_{i=1}^{4}\left.\|\overline{\mathbf{x}_{i}}\right.\|^{2}\right)^{1 / 2}
\end{aligned}
$

$\overline{\mathbf{x}_{i}}$ は， 4 点の重心 $\mathbf{m}$ で中心化したべクトルと考えることができるので，これは結局，4つのベクトルを重心の分だけマイナスに平行移動していることであり，合同となる図形を同一視して，その正規化項を導出していることになる.