# 語彙の概念化と Wikipedia を用いた英字略語の意味推定方法

後藤 和人 $\dagger \cdot$ 土屋 誠司 $\dagger+$ ・渡部 広一 $\dagger \dagger$
}

元来から日本は外来語を受け入れやすい環境にあるといわれており，外来語が益々増加する中，特に，英語の場合，外国語の表記を利用するシーンも増えている。ま た，英単語など頭文字をつなげて表記する略語も利用されている。しかし, 英字略語は別のことを表現しても，表記が同じになる多義性の問題を持っている．そこで，本稿では，英字略語の意味を推定する方法を提案する，提案手法では，英字略語の 意味推定を未知語の意味推定とみなし, ある概念から様々な概念を連想する語彙の 概念化処理を可能とする概念べースと, 概念化した語彙の意味的な近さを判断でき る関連度計算または Earth Mover's Distance を用いる. さらに, 英字略語ゆえの情報の欠如を, 世界で最も収録語数が多いとされているWikipedia を使用することで 補完する。これらを用いることで, 英字略語の多義性を解消し, 英字略語の本来の 意味を推定する。提案手法は, 129 件の新聞記事に対して, 最高で $80 \%$ 近い正答率 を示したことに加え，比較方法より良好な結果を得ることができた。

キーワード：意味推定，英字略語，概念化，Wikipedia
## Meaning Estimation Scheme of Alphabetical Abbreviations using Conceptualization of Words and Wikipedia

\author{
Kazuto Goto $^{\dagger}$, Seiui Tsuchiya ${ }^{\dagger \dagger}$ and Hirokazu Watabe ${ }^{\dagger \dagger}$
}

\begin{abstract}
It is believed that Japan is open to loanwords, and they are often used in daily activities. Particularly, in English, scenes using foreign language notation are increasing. In addition, alphabetical abbreviations, which comprise initials of each English word, are used. However, polysemy is a major concern for the alphabetical abbreviations. In this paper, we propose a scheme to estimate the meaning of an alphabetical abbreviation. The proposed scheme considers the meaning estimation of an alphabetical abbreviation as the meaning estimation of an unknown word. This scheme uses the concept base, and, Calculation of Degree of Association or Earth Mover's Distance. The scheme allows for the conceptualization of a word and the evaluation of semasiological association between conceptualized words. In addition, Wikipedia is used to complement the lack of information due to alphabetical abbreviations. This paper makes use of 129 articles to evaluate the proposed scheme. The experiments showed that the accuracy of the proposed scheme was nearly $80 \%$ and that the scheme was more effective than other schemes.
\end{abstract}

Key Words: Meaning Estimation, Alphabetical Abbreviation, Conceptualization, Wikipedia


## 1 研究背景

元来から日本は，外来語を受け入れやすい環境にあるといわれており，数多くの外国の言葉を片仮名として表記し，そのまま使用している。近年になり，今まで以上にグローバル化が進展すると共に, 外来語が益々増加する中, 外来語の発音を片仮名表記にしないケースが見受けられる. 特に，英語の場合，外国語の表記をそのまま利用することも増えてきている．また，英単語などの頭文字をつなげて表記する，いわゆる略語もよく利用されるようになっている．例えば，「IC」といった英字略語がそれにあたる.

しかし, 英字略語は英単語の頭文字から構成される表現であるため, まったく別のことを表現しているにも関わらず，同じ表記になることが多い，先の英字略語「IC」には，「集積回路」 という意味や高速道路などの「インターチェンジ」という意味がある。 さらには，ある業界では，これらとはまた別の意味で使用されることもある.

このように, 英字略語は便利な反面, いわゆる一般的な単語よりも非常に多くの意味を有する多義性の問題を持つ, そのため, 英字略語が利用されている情報は, すべての人が容易に, また，正確に把握できるとは言い難い.

そこで，例えば，新聞記事などでは，記事の中で最初に英字略語が使用される箇所において，括弧書きでその意味を日本語で併記する処理をとっていることが多い. しかし，よく知られている英字略語にはそのような処置がとられていないなど, 完全に対処されているわけではない. また, 記事中の最初の箇所にのみ上記のような処置がとられており, それ以降はその意味が併記されていないことが多い. そのため, 記事の途中から文書を読んだり, 関連する記事が複数のページに渡って掲載されている時に先頭のページではない部分から記事を読んだりした場合には, 最初にその英字略語が出現した箇所を探さなくてはならず，解読にはひと手間が必要となり, 理解の妨げとなる。 さらに，一般的な文章の場合では，このように英字略語の意味を併記するという処置をとる方が珍しいと言える.

## 2 関連研究

上記を踏まえて本論文では, 英字略語の意味を推定する方法について提案する．本研究と同様の主旨の研究には, (岡崎, 石塚 2007)の研究が報告されている. この方法では, 新聞記事などの文章では, 英字略語の意味を括弧書きで併記する表現に着目し, 英字略語の意味の自動推定を実現している。しかし，すべての英字略語に対してこのような表現が適用されているわけではない，そのため, うまく自動推定できない場合がある。また, (吉田, 遠間, 増山, 酒井 2005) では, 片仮名表記の外来語を英語に復元した後に, 辞書を用いて日本語訳を獲得する方法が提案されている。しかし, 本方法では, 対象が片仮名に限定されており, かつ, 多義性を有する
語彙には対応できない問題がある. さらに, (Stevenson, Guo, Amri, and Gaizauskas 2009) や (Okazaki, Ananiadou, and Tsujii 2010) は, 英字略語が頻出する生物医学の分野に着目し, 医学関連のデータベースから抽出したデータセットをもとに作成したコーパスやクラスタリング技術を適用することに加え，語の共起情報を有効に活用することで，英字略語の意味を推定している。しかし，本方法は医学領域に特化した情報源を利用しているからこそ，語の共起情報が生物医学に関する英字略語の曖昧性解消に対して有効に機能していることに加えて, 英字略語の意味を推定する教師データを自動生成するために大規模な文書集合を必要とすることから，汎用的に活用することは難しい.

また，英字略語を対象としているわけではないが，単語（語義）の曖昧性を解消する方法が研究されている。(Mihalcea 2007) は, Wikipedia における各記事の参照情報であるハイパーリンクを利用することで，一般的な単語と当該単語を含む文章を入力した際に，当該単語の曖昧性を解消し, 意味推定を実現している。本方法は品詞情報を利用して意味推定を実施しており,有効に機能する単語が限定（当該論文では曖昧性を有する普通名詞の意味推定を実施）されるという問題がある，他には，文章内の単語を知識べースのエントリにマッピングすることで曖昧性を解消する技術 (Entity Disambiguation) として, (Sun, Lin, Tang, Yang, and Wang 2015) は Wikipedia から収集した情報をもとにニューラルネットワークを構築し, 入力単語と入力文書のペアとエントリ間の類似性を判断している。しかし，本方法は 2 つのニューラルネットワー クのトレーニング及びメンテナンスが必要であり, 対象領域などに応じた適切な運用が要求される。

一方，従来の情報検索でよく用いられるべクトル空間モデル (Salton, Wong, and Yang 1975) などでは，文書における単語の出現頻度や統計情報などを利用して単語と文書間の類似性を判断している。このような方法は単語と文書内の各単語の表記が一致しない場合は関連性がないとの仮定に基づいている。そのため，多義性を持つ単語をはじめ，表記摇れや類義性を持つような単語に対して意味の推定を行うことは困難である。

そこで，本論文では，多義性を有する英字略語に対して，意味の推定を実現する方法を提案する. 提案方法では, 我々がすでに提案している, あらゆる語彙の意味的な近さを判断できるメカニズムを組み合わせ，英字略語の意味を推定する，具体的には，ある概念から様々な概念を連想する語彙の概念化処理が可能な概念ベース (小島, 渡部, 河岡 2002; 広瀬, 渡部, 河岡 2002;奥村, 土屋, 渡部, 河岡 2007), 及び, 世界で最も収録語数が多いとされる Wikipedia (ウィキメディア財団) を使用する。 さらに，概念化した語彙の意味的な近さを判断するため，関連度計算 (渡部, 奥村, 河岡 2006), または, Earth Mover's Distanceを応用した文章間関連度計算方法 (藤江, 渡部, 河岡 2009) を用いる. これらを用いて英字略語の多義性を解消し, 英字略語の本来の意味を推定する．この技術により，英字略語の意味を理解しやすくすることができ，情報検索や自動要約, 情報推薦や自動翻訳など多くのアプリケーションの性能向上に加え, 知能

を有するロボットの研究開発における自然な知的対話の実現に寄与することも期待できる.

## 3 提案方法の概要

図 1 に提案方法である英字略語の意味推定方法の概略図を示す.

英字略語が含まれる文章を入力として，入力文章から英字略語を抽出する。当該英字略語を Wikipedia で検索し, 意味が 1 つであれば，その意味を出力する．意味が複数ある場合には，それらの意味と入力文章との意味的な近さを判断し, 最も近いと判断した意味を決定する。この際, 当該意味と英字略語（が含まれる文章）の意味的な近さを判断するために, 語彙の概念化を行う，なお, ここで述べる「意味」とは, 英字略語の意味を表現する語, つまり, 英字略語のもととなっている英単語の日本語での表現を「意味」と定義している. 例えば，前述した英字略語「IC」の意味を推定する場合,「集積回路」や「インターチェンジ」という語を「意味」 として出力する.

4 章では, 本論文において使用した要素技術として, 語彙を概念化する方法と, 概念化した語彙の意味的な近さを判断する方法に関して詳細に説明する.

図 1 英字略語の意味推定方法の概略図

## 4 使用要素技術

## 4.1 語彙の概念化処理

## 4.1.1 概念ベース

概念ベース (小島他 2002; 広瀬他 2002; 奥村他 2007) とは, 複数の電子化国語辞書などの見出し語を概念, その語義文に使用されている自立語を概念の意味特徴を表す属性と定義して構築された大規模なデータベースである。本論文で使用した概念べースは自動的に概念および属性を構築した後，人間の常識に沿った属性の追加や削除を人手で行ったものであり，概念数は約 9 万語である.

概念べースでは, ある概念 $A$ は $m$ 個の属性 $a_{i}$ とその属性の重要性を表す重み $w_{i}$ の対によって構成されており，以下のように表現することができる。ここで，属性 $a_{i}$ を概念 $A$ の一次属性と呼ぶ.

$
\text { 概念 } \mathrm{A}=\left.\{\left(a_{1}, w_{1}\right),\left(a_{2}, w_{2}\right), \cdots,\left(a_{m}, w_{m}\right)\right.\}
$

概念べースの大きな特徴として, 属性である単語は概念として必ず定義されている点がある. これにより, 概念 $A$ の一次属性である属性 $a_{i}$ を概念とみなし, 更に属性を導くことができる.概念 $a_{i}$ から導かれた属性 $a_{i j}$ を，元の概念 $A$ の二次属性と呼ぶ．概念べースの具体例を表 1 に示す.

例えば，表 1 のように，概念「医者」の一次属性である「患者」は，概念「患者」としても定義されている。また, この概念「患者」の一次属性である「病人, 看病, 治療, ㄱ」は, 元の概念「医者」の二次属性ということになる。このように，概念ベースにより概念の意味特徴を定義し，連鎖できる構造を利用することで語彙の意味の近さを評価できる。詳細は 4.2 節で説明する。

## 4.1.2 未定義語の概念化

前節で述べた通り，概念べースは複数の電子化国語辞書などを用いて構築されており，大規模かつ品質が高いというメリットがある。しかし，すべての語彙を網羅できていないという欠

表 1 概念ベースの例

点もある。そのため，概念ベースに登録されていない未定義語は概念化されておらず，意味の近さを評価することはできない.

そこで，未定義語については，Web上の言語情報を利用し，自動的に概念化すること (辻,渡部, 河岡 2004; 後藤, 土屋, 渡部, 河岡 2008) で対処する. 具体的には, Web 検索エンジン (Google, Inc.) により未定義語をキーワードとして情報検索し, 検索結果の上位 100 件の検索結果ページの内容を取得する。その内容から概念べースに登録されている自立語のみを抽出し, それらを未定義語の一次属性とする。また，一次属性に対する重みは，情報検索の分野で広く用いられている $t f \cdot i d f($ 徳永 1999) の考え方を応用することで算出する.

語の網羅性である $t f$ 值は, 検索結果ページ $A$ 中に出現する自立語 Word $_{A}$ の出現頻度 $t f r e q$ $\left(\operatorname{Word}_{A}, A\right)$ を, 検索結果ページ $A$ 中のすべての自立語の語数 $\operatorname{tnum}(A)$ で割ることで算出される. 算出式は以下のようになる.

$
t f\left(\operatorname{Word}_{A}, A\right)=\frac{\text { tfreq }\left(\operatorname{Word}_{A}, A\right)}{\operatorname{tnum}(A)}
$

次に, 語の特定性である $i d f$ 値は, Statics Web-Inverse Document Frequency (SWeb-idf) 值を用いる (辻他 2004; 後藤他 2008)． idf 值の算出には，対象となる全文書空間の情報が必要になる。しかし，Webを利用する場合，Web上のすべての情報が必要ということになり，正確な $i d f$ 值を算出することは現実的には不可能である。そこで，無作為に選択した固有名詞 1,000 個をそれぞれキーワードとして，Web 検索エンジン (Google, Inc.) で検索する。続いて，検索結果の上位 10 件の検索結果ページの内容を取得する。そして，それらの内容に含まれるすべての自立語の集合を疑似的な Web の全情報空間とみなし $S W e b$-idf 值を算出する. $S W e b$ - idf 値の算出式は以下のように定義される。ここで $N$ は固有名詞 1,000 個を検索キーワードとした際の各検索結果上位 10 件の合計ぺージ数 $(N=10,000), d f\left(W o r d_{A}\right)$ は $\operatorname{Word}_{A}$ が出現する検索結果ページ数である.

$
S W e b-i d f\left(\operatorname{Word}_{A}\right)=\log \frac{N}{d f\left(\text { Word }_{A}\right)}
$

この 10,000 ページから，複数の電子化国語辞書などから概念を抽出したデータベースである概念ベースの収録語数である約 9 万語を超える単語数が得られたことから，獲得した 10,000 ペー ジをWebの全情報空間とみなしている。なお，固有名詞の選び方を変えても SWeb-idf 值に大きな変化は見られないことが報告されている (辻他 2004).

以上に示した式より，自立語 Word $_{A}$ へ付与する重み $w$ は次の式で定義される.

$
w=t f\left(\text { Word }_{A}, A\right) \cdot S W e b-i d f\left(\text { Word }_{A}\right)
$

つまり，ある自立語の重みは，網羅性を表す $t f$ 値と特定性を表す $S W e b$ - $i d f$ 値を掛け合わせる

ことで与えられる。

Web 上の言語情報を利用するため, 品質は概念べースより劣るというデメリットはあるが, すべての語彙を概念化できるという大きなメリットがある。また，（辻他 2004；後藤他 2008) などの研究成果から，Web 情報を利用して未定義語を概念化する方法の有効性が確認されており，本論文での処理においても十分な性能を確保していると考えられる。

## 4.2 意味的関連性評価方法

## 4.2.1 関連度計算

関連度計算とは，概念と概念の関連の強さを定量的に評価する計算である。概念間にある関連性を定量的に評価する方法として, ベクトル空間モデルが広く用いられている。しかし, 本論文では，概念を定義する属性集合とその重みを含めた一致度に基づいた関連度計算方式を利用する。これは，関連度計算方式が有限ベクトル空間によるべクトル空間モデルよりも良好な結果が得られるという報告がなされているためである (渡部，河岡 2001)．本論文では，重み比率付き関連度計算方式を使用する (渡部他 2006).

任意の概念 $A, B$ について, それぞれ一次属性を $a_{i}, b_{j}$ とし, 対応する重みを $u_{i}, v_{j}$ とする. また, 概念 $A, B$ の属性数を $L$ 個, $M$ 個 $(L \leq M)$ とする。なお, 各概念の一次属性の重みは, その総和が 1.0 となるよう正規化している.

$
\begin{aligned}
& A=\left.\{\left(a_{i}, u_{i}\right) \mid i=1 \sim L\right.\} \\
& B=\left.\{\left(b_{j}, v_{j}\right) \mid j=1 \sim M\right.\}
\end{aligned}
$

このとき, 重み比率付き一致度 (Degree of Match) は以下のように定義される.ここで, $\operatorname{DoM}(A, B)$ は概念 $A, B$ の重み比率付き一致度である.

$
\begin{array}{r}
D o M(A, B)=\sum_{a_{i}=b_{j}} \min \left(u_{i}, v_{j}\right) \\
\min (\alpha, \beta)= \begin{cases}\alpha & (\beta>\alpha) \\
\beta & (\alpha \geq \beta)\end{cases}
\end{array}
$

この定義は, 概念 $A, B$ に対し, $a_{i}=b_{j}$ となる属性（概念 $A, B$ に共通する属性）があった場合, 共通する属性の重みの共通部分, つまり, 小さい重み分のみ一致するという考えに基づいている.

次に，属性数が少ない方の概念を $A$ とし $(L \leq M)$, 概念 $A$ の属性を基準とする.

$
A=\left.\{\left(a_{1}, u_{1}\right), \cdots,\left(a_{i}, u_{i}\right), \cdots,\left(a_{L}, u_{L}\right)\right.\}
$

そして, 概念 $B$ の属性を, 概念 $A$ の各属性との重み比率付き一致度 $\operatorname{DoM}\left(a_{i}, b_{x i}\right)$ の和が最大になるように並び替える。

$
B_{x}=\left.\{\left(b_{x 1}, v_{x 1}\right), \cdots,\left(b_{x i}, v_{x i}\right), \cdots,\left(b_{x L}, v_{x L}\right)\right.\}
$

これによって，概念 $A$ の一次属性と概念 $B$ の一次属性の対応する組を決める．対応にあふれた概念 $B$ の属性は無視する。ただし，一次属性同士が一致するものがある場合（概念表記が同じ : $a_{i}=b_{j}$ ）は別扱いにする.これは概念べースには約 9 万語の概念が存在し, 属性が一致することは稀であるという考えに基づく，従って，一致した属性の扱いを別にすることで，属性が一致した場合を大きく評価する，具体的には，対応する属性の重み $u_{i}, v_{j}$ の大きさを重みの小さい方にそろえる。このとき，重みの大きい方はその值から小さい方の重みを引き，もう一度, 他の属性と対応をとる．例えば， $a_{i}=b_{j} て ゙ ~ u_{i}=v_{j}+\alpha$ とすれば，対応を決定する箇所は $\left(a_{i}, v_{j}\right)$ と $\left(b_{j}, v_{j}\right)$ であり, $\left(a_{i}, \alpha\right)$ はもう一度他の属性と対応させる. このように対応を決め, 対応がとれた属性の組み合わせの数を $T$ 個とする.

重み比率付き関連度とは, 重み比率付き一致度を比較する概念の各属性間で算出し, その和の最大值を求めることで計算する。重み比率付き関連度 (Degree of Association) は以下の式で定義される。ここで, $\operatorname{Do} A(A, B)$ は概念 $A, B$ の重み比率付き関連度である。

$
D o A(A, B)=\sum_{i=1}^{T}\left.\{D o M\left(a_{i}, b_{x i}\right) \cdot\left(u_{i}+v_{x i}\right) \cdot\left(\min \left(u_{i}, v_{x i}\right) / \max \left(u_{i}, v_{x i}\right)\right) / 2\right.\}
$

以下, 重み比率付き一致度を一致度, 重み比率付き関連度を関連度と略し, この関連度 (渡部他 2006)を用いる。関連度は概念間の関連の強さを 0〜1の間の連続値で表す.

## 4.2.2 Earth Mover's Distance

前節において，概念間の関連の強さを評価する方法として関連度計算について説明した。関連度計算は関連性が高い順に属性の対応をとることで計算を行う，つまり，1 対 1 で対応をとる方法である。そのため, 両概念に対して, 少ない方の属性数分しか対応がとれない. 例えば,概念 $A$ が持つ属性が 3 語, 概念 $B$ が持つ属性が 100 語であった場合, 概念 $B$ の属性 97 語は計算の対象外となる。そこで，本論文では，両概念の属性数に差がある状況にも対応するため, 関連度計算に加えて，M対 N で対応をとることができる Earth Mover's Distance (EMD) を用いて意味的な関連性を評価する方法を利用する.

EMD を用いた意味的な関連性評価方法は, ヒッチコック型輸送問題 (Hoffman 1963)（需要地の需要を満たすように供給地から輸送を行う際の最小輸送コストを解く問題）で計算される距離尺度である EMD を概念間の関連性評価に適用したものである。EMDは，2つの概念間の関連性を定量的に表現することが可能であり, (藤江他 2009)の研究によりその有用性が報告さ

れている.

EMD とは，2つの離散分布があるとき，一方からもう一方の分布への変換を行う際の最小コストを指す。離散分布は当該分布を構成する要素と重みの対の集合で表現される。コスト算出の際には，変換前の離散分布の要素が持つ重みを供給量，変換先の離散分布の要素が持つ重みを需要量と考え，要素間の距離を供給量，需要量にしたがって重みを運送すると考える。できるだけ短い距離で，かつ，需要量に対して効率的に重みを運送する経路が EMD となる．

これを概念間の関連性評価に適応させる場合，概念の一次属性を要素として捉え，一次属性の集合を離散分布と考える。ある概念の離散分布を違う概念の離散分布へ変換すると考えると， その際のコストが最小となる概念が元の概念に最も近い概念となることから，概念間の関連性評価へ適用することが可能となる。

EMD を用いた意味的な関連性評価方法について，図 2 に示す簡略図を用いて説明する。ある概念 $A$ と $B$ があったとき，概念 $A$ を概念 $B$ に変換する際のコストを考える。それぞれの概念をそれらの一次属性 $a_{i}, b_{j}$ の離散分布と考える．EMDでは変換コストの算出を行う際に離散分布を構成する要素同士の距離を用いる．EMDを用いた意味的な関連性評価方法では，この距離を一次属性同士の関連性であると考え，一致度によってこれを求める。

属性 $a_{i}, b_{j}$ の距離 $\operatorname{dis}\left(a_{i}, b_{j}\right)$ は次の式で表される。一致度は関連性が高いと値が大きくなる. また, 一致度の最大值は 1 であるため, 1 から一致度を引いた値を距離としている。

$
\operatorname{dis}\left(a_{i}, b_{j}\right)=1-\operatorname{DoM}\left(a_{i}, b_{j}\right)
$

ここで，図 2 の例における $a_{1}$ と $b_{1}$ の間の変換コスト $\operatorname{cost}\left(a_{1}, b_{1}\right)$ は次の式で算出される. これは $a_{1}$ と $b_{1}$ の距離に重みを掛けたものである． $a_{1}$ と $b_{1}$ が持つ重みは同じく 0.3 であるため供給量と需要量が合致し, $a_{1}$ からの重みの運送はこの時点で終了する.

$
\operatorname{cost}\left(a_{1}, b_{1}\right)=\operatorname{dis}\left(a_{1}, b_{1}\right) \cdot 0.3
$

同様にコストの計算を行い，最終的にすべての運送経路のコストを足し合わせたものが EMD

図 2 EMD を用いた意味的な関連性評価方法

となる. 図 2 の例では概念 $A, B$ 間の EMD は次のように表される.

$
E M D(A, B)=\operatorname{cost}\left(a_{1}, b_{1}\right)+\operatorname{cost}\left(a_{2}, b_{2}\right)+\operatorname{cost}\left(a_{2}, b_{3}\right)
$

以上の式で算出された EMD の最小值を最適化計算で求め, 概念間の関連性（意味的な近さ） を算出している.

## 5 英字略語の意味推定方法

## 5.1 英字略語の抽出

本論文で提案する英語略語の意味推定方法の処理対象として扱う英字略語は, 英単語の頭文字から構成される表記とする，例えば，商品の型番や「W杯」のように記号や数字，日本語などアルファベット以外の文字が混じる表記の場合，それらは英字略語ではないものとする。また，1 文字で構成される英字略語の場合，英単語の頭文字ではなく，例えば， $\mathrm{S}$ 字カーブの「 $\mathrm{S}\rfloor$ のように，アルファベットの形状などに起因する意味で使用されることがある．本研究は，語彙の意味に着目し，多義性を有する英字略語の意味推定を目的としている．また，英字略語は大文字のアルファベットで構成されることが多いため, 本論文では， 2 文字以上の大文字アルファベットのみで構成されている語を英字略語として扱うこととする。

入力として受け付ける情報は，英字略語が含まれている文章とし，その文章から 2 文字以上の大文字アルファベットの羅列を英字略語として抽出する.

## 5.2 Wikipedia による意味候補の検索

5.1 節で抽出した英字略語を Wikipedia (ウィキメディア財団) で検索する。検索の結果，当該英字略語を説明する意味が 1 つであった場合には，その意味を出力する．意味を複数有する場合には，次節で述べる意味的な近さに基づく多義性の解消を行うため，それぞれの意味を概念化する。概念化には，4.1.1 節で述べた概念べースと 4.1.2 節で述べた Webを用いた未定義語の概念化方法を用いる．今回， 6.1 節にあるように，英字略語の概念化は新聞記事を用いて実施しているため, Wikipedia から取得した意味候補の概念化も新聞記事を利用して実施したいが，各意味候補が新聞記事に含まれているとは限らない。一方, Wikipedia 内の情報は辞書的に構成されており，新聞記事内の情報とは系統が異なる。そこで，今回は新聞記事と同様に雑多な情報から構成される Web 情報を利用して意味候補の概念化を実施することにした.

一例として，英字略語「IC」をWikipedia で検索した際の結果を表 2 に示す。英字略語「IC」 の場合， 13 種類の意味を有していた。

Wikipedia から抽出した意味には，当該意味を説明・補助する情報（例えば，表 2 の 3 番における「-」以降の記述）が含まれるが，当該情報は意味の概念化処理における雑音となる。そこ

で, Wikipedia から抽出した意味に表 3 に示した規則を上から順に適用することで雑音を削除する. さらに, Wikipedia に掲載されている意味の中には, 商品の型番やある種のコードなど英字略語ではないアルファベットの羅列（表 2 の例では 10 番と 11 番）が多数含まれているため,表 4 に示したストップワードを適用することで当該意味を削除した上で意味候補を取得する。

## 5.3 英字略語の多義性解消

5.2 節で検索した英字略語が複数の意味を有した場合，その多義性を解消する必要がある．具体的には，5.2 節で概念化された意味候補と入力された英字略語を含む文章との意味的な近さを評価することで実現する。この際，概念化された意味候補と英字略語の意味的な近さを評価す

表 2 英字略語「IC」をWikipedia で検索した際の結果

1. 集積回路 (Integrated Circuit) - 電子機器に用いられる部品。関連：IC カード

2. インタークーラー (Inter Cooler)

3. インターチェンジ (Inter Change) - 道路交通同士が接続するための合分流構造。

4. イメージカラー (Image Color)

5. イオンクロマトグラフィー (Ion Chromatography) の略

6. インフォームド・コンセント (Informed Consent)

7. インターシティ (InterCity) - （特にヨーロッパの）都市間特別急行列車

8. インターシティ（ドイツ）－そのうちドイツにおける都市間列車について

9. インデックスカタログ - 星団や星雲、銀河を収載した 2 つの星表のこと (Index Catalogue)

10. NHK 富山放送局のラジオ第 2 放送・教育テレビのコールサイン (JOIC/JOIC-DTV)

11. イリノイ・セントラル鉄道の報告記号 (Illinois Central railroad)

12. インターコンチネンタル (Inter Continental) の略

13. 間質性膀胱炎 (Interstitial cystitis) の略

表 3 Wikipedia から英字略語の意味候補を取得する規則

・意味候補にストップワード（表 4 参照）が含まれる場合，意味候補から除外

・意味候補内の括弧開き $(\Gamma)$, 右矢印 $(\rightarrow)$, ハイフン $(-)$ より後ろの語を削除

$\cdot$意味候補内の「など」を削除
- 意味候補内の「のこと」,「の略」,「の略符」,「の通称」,「の愛称」,「の名称」,「の英文略称名」 より前の語を取得

$\cdot$意味候補内の「の一つ、」より後ろの語を取得

表 4 設定したストップワードのリスト

型番, 型式, 形式, シリーズ, 略号, 単位, ドメイン, 拡張子, 記号, 符号, 係数, コマンド, 国名コード, 行政区画コード, 県名コード, 郵便コード, 空港コード, 港コード, IATAコード, 航空会社コード, 形式コード, 通貨コード, 言語コード, 作品, 楽曲, 登場, アルバム, コールサイン, 一覧, 上記, その他, 以下

るため，英字略語も概念化する必要がある.

入力された文章に含まれる自立語をすべて抽出し，それを英字略語の一次属性と見立てる. これにより，英字略語を疑似的に概念化できる。なお，英字略語の一次属性とした自立語の中には概念べースに登録されている語と登録されていない語（未定義語）が存在する.未定義語については，4.1.2 節で説明した方法により概念化を行う．この処理により，英字略語を概念とし，一次，二次へと属性を展開することができ，意味的な近さを評価することが可能になる．

なお，英字略語を疑似的に概念化する際，一次属性として抽出した自立語が未定義語であった場合，当該一次属性に対する重みは，4.1.2 節で説明した未定義語の概念化における属性への重み付けの考え方と同様にして付与する.

具体的には, 語の網羅性である $t f$ 値は, 入力された文章 $A$ 中に出現する自立語 Word $_{A}$ の出現頻度 $t$ freq $\left(W\right.$ ord $\left._{A}, A\right)$ を文章 $A$ 中のすべての自立語の語数 tnum $_{A}$ で割ったもので算出される.算出式は以下のようになる.

$
t f\left(\operatorname{Word}_{A}, A\right)=\frac{\text { tfreq }\left(\text { Word }_{A}, A\right)}{\text { tnum }_{A}}
$

語の特定性である $i d f$ 値は $S W e b$-idf ではなく Statics Article-Inverse Document Frequency $(S A$-idf $)$ を用いる。これは，疑似的な全文章空間の情報として， tf 值を算出する際に使用した文章と同じカテゴリ，ジャンルである文章集合を利用する必要があるためである． SA-idf 値の算出式は以下のように定義される。ここで， $N$ は利用する文章集合の全文章数, $d f\left(W o r d_{A}\right)$ はその文章集合の中で Word $_{A}$ が出現する文章数である.

$
S A-i d f\left(\operatorname{Word}_{A}\right)=\log \frac{N}{d f\left(\operatorname{Word}_{A}\right)}
$

以上に示した式より，自立語 $\operatorname{Word}_{A}$ へ付与する重み $w$ は次の式で定義される.

$
w=t f\left(\operatorname{Word}_{A}, A\right) \cdot S A-i d f\left(\operatorname{Word}_{A}\right)
$

このように，概念化された英字略語と意味候補との意味的な近さを 4.2 節で説明した語彙の意味的な近さを評価する方法により評価する。その結果, 最も意味的に近いと判断された意味候補を英字略語の意味とする。

## 6 評価実験

## 6.1 実験条件

本論文では，新聞記事から英字略語を抽出し，当該英字略語が含まれている記事を入力文章とすることで評価を実施した。今回使用した新聞記事は全国紙 1 か月分（約 12,000 記事）であ

り，2 文字以上の大文字アルファベットの羅列が含まれる記事は約 3,700 記事であった. 当該約 3,700 記事から表 4 に示したストップワードに該当する略語として意味がない文字列を含む記事を人手で削除した上で，無作為に 129 記事を抽出し，評価実験データとして使用した。なお， その中で, 表記が異なる英字略語の数は 58 個であった. つまり, 129 種類の英字略語の意味と 58 種類の英字略語の表記が含まれる記事を評価実験データとして使用した．また，当該 58 個の英字略語の表記を Wikipedia で検索し, 表 3 と表 4 に示した規則を適用した結果, 707 個の意味を取得できた（1つの英字略語の表記につき，平均で 12.2 個, 最少で 2 個, 最多で 29 個の意味が存在).

提案方法により推定した英字略語の意味が，当該英字略語を含む新聞記事における意味と一致した場合を正答として評価した。なお，意味の一致に関する判定は人手で実施しており， Wikipedia から取得した意味候補の中に正解となる候補が複数含まれることもある（例えば，表 2 における 7 番と 8 番の候補「インターシティ」は両方ともヨーロッパにおける都市間列車を指しており，どちらを選択しても正解と判定している)，今回は評価の簡略化のため, 英字略語として扱う 2 文字以上の大文字アルファベットの羅列が 1 つ含まれる記事を評価対象としている.

5.3 節で述べた通り，入力した文章を用いて英字略語を疑似的に概念化する際には, 4.1 .2 節での考え方に基づき属性に重み付けを行う，今回の実験における入力対象は新聞記事である. そのため, 概念べースに登録されていない未定義語である一次属性に対する重み付けに必要な $S A$-idf 値の算出には, 1 か月分の新聞記事集合を使用した. この 1 か月分の新聞記事集合から,概念べースの収録語数である約 9 万語を超える単語数が得られたことから，当該集合を疑似的な全文章空間の情報とみなしている.

## 6.2 比較方法

本節では, 本論文における提案方法の比較に使用するべクトル空間モデル (Salton et al. 1975) について述べる.

ベクトル空間モデルは，情報検索の分野で幅広く利用されている検索モデルである．各語の重みから構成されるべクトルとして入力語と文書をそれぞれ表現し, 二つのベクトルの成す角度の余弦によって類似度を計算する点に特徴がある。 ベクトル空間モデルにおいて使用される重みにはいくつかの種類があるが, 本評価では, 情報検索の分野で広く用いられている $t f \cdot i d f($ 徳永 1999)を使用する．5.2 節で概念化された英字略語を含む入力文章を $q$, 同様に概念化された意味候補を $d_{i}$, 両者における自立語の語の総数（異なり）を $M$ とすれば， 入力文章 $q$ と意味候補 $d_{i}$ はそれぞれ以下のような $M$ 次元のベクトルで表現できる.

$
\begin{aligned}
q & =\left(w_{q 1}, w_{q 2}, \cdots, w_{q M}\right) \\
d_{i} & =\left(w_{i 1}, w_{i 2}, \cdots, w_{i M}\right)
\end{aligned}
$
入力文章 $q$ に対する意味候補 $d_{i}$ の得点 $s_{q}\left(d_{i}\right)$ は二つのベクトルの余弦により求まる. 式を以下に示す.

$
s_{q}\left(d_{i}\right)=\frac{\sum_{j=1}^{M} w_{i j} w_{q j}}{\sqrt{\sum_{j=1}^{M} w_{i j}^{2}} \sqrt{\sum_{j=1}^{M} w_{q j}^{2}}}
$

## 6.3 評価結果

本論文では, 提案方法に対して, 以下に示す 3 種類の入力文章 $(\mathrm{A}, \mathrm{B}, \mathrm{C})$ および 3 種類の関連性評価方法 $(1,2,3)$, つまり, 合計 9 パターンの評価を行った.評価方法（入力文章）
- (A) 英字略語を含む記事全体
- (B) 英字略語を含む一文とその前後一文
- (C) 英字略語を含む一文のみ

評価方法（関連性評価方法）
- (1) 関連度計算（関連度）
- (2)Earth Mover's Distance (EMD)

・ (3) ベクトル空間モデル (VSM)

評価結果を表 5 に示す. 表 5 における数値は正答率を示す. なお， 2 章で紹介した先行研究 (岡崎, 石塚 2007; 吉田他 2005) は, 適用可能な英字略語に制約条件（英字略語の意味を括弧書きで併記することが必要, 片仮名表記が必要）がある，今回の評価で使用した 129 記事に対して, 当該先行研究が適用できた英字略語はそれぞれ $35 \%$ 程度であったため, これらの先行研究の正答率は最高でも $35 \%$ 程度となる.

表 5 より，関連度計算はベクトル空間モデルよりも正答率が $5-8 \%$ 高く, EMD はべクトル空間モデルよりも正答率が 8-12\%高くなっており，提案方法が既存方法であるべクトル空間モデルよりも優れた結果を示した。また，EMDは関連度計算よりも 3-4\%と若干ではあるが高い正答率を獲得した，他には，入力文章が長い（入力情報量が多い）ほど高い正答率を得ていることが分かる。意味推定結果の一例を図 3 , 図 4 , 図 5 に示す.

表 5 評価結果

 &  &  & 入力文章 &  & 評価手法 & 推定結果 & 判定 \\

図 3 英字略語の意味推定結果一例（その 1）

 &  &  & 入力文章 &  & 評価手法 & 推定結果 & 判定 \\

図 4 英字略語の意味推定結果一例（その 2)

図 3 では, 英字略語 AFC に対して, Wikipedia から取得した 13 個の意味候補から，9つのすベてのパターンにおいて正しい意味を推定できており，英字略語の意味を十分に理解できていることが分かる.

次に, 図 4 では, 英字略語 HD に対して, 20 個の意味候補から, 入力文章に英字略語を含む

 &  &  & 入力文章 &  & 評価手法 & 推定結果 & 判定 \\

図 5 英字略語の意味推定結果一例（その 3）

記事全体を使用した場合（パターン (A)）は正しい意味を推定できた一方，推定に失敗したパターンがある，具体的には， ベクトル空間モデルを使用し，かつ，入力文章に英字略語を含む一文とその前後一文または英字略語を含む一文のみを使用した場合（パターン (B)-(3), パター ン (C)-(3)）と, 関連度計算を使用し, かつ, 入力文章に英字略語を含む一文のみを使用した場合（パターン (C)-(1)）に失敗している。前者（パターン (B)-(3), パターン (C)-(3)）は, 単語の表記をもとに関連性を判断するべクトル空間モデルより，単語の意味を考慮して関連性を判断する関連度計算や EMD が有効に機能したためだと考えらえる。後者（パターン (C)-(1)）は,関連性の高い属性を 1 対 1 で対応をとって計算を行うために他の関連性の高い属性を除外する可能性がある関連度計算より，すべての属性を計算に利用する EMD が有効に機能したことが考えられる。

最後に，図 5 では, 英字略語 $\mathrm{FB}$ に対して， 16 個の意味候補から，9つのすべてのパターンにおいて正しい意味を推定することができなかった。これは, 入力文章に金銭に関連する語が多く含まれていたため, 正しい意味である「フェイスブック」より金銭に関連する意味候補である「政府短期証券」のほうが意味的に近いと判定されたためだと考えられる。

Wikipedia は現存する辞書の中で収録語数が最も多いとされるが, 提案方法は, 処理の拠り所である辞書に登録されていない単語には対応できないという問題がある。これは，辞書を使用する以上，避けられない問題である。たたし， 評価実験で使用したデータとは異なる 100 件の新聞記事を無作為に調査した結果, Wikipedia に登録されていない英字略語の出現頻度は約 $4.5 \%$ てっった. よって, 新聞記事に登場するような比較的一般的な英字略語を対象とする場合, Wikipedia に未登録の語があることに起因する正答率の低下は $5 \%$ 程度であると考えられる。な

お，今回実施した評価に関しては，Wikipedia に登録されていない英字略語は評価実験データから除外している。

## 7 まとめ

本論文では，英単語の頭文字から構成される表現である英字略語に焦点を当て，その意味を推定する方法について提案した．提案方法では，英字略語の意味推定を未知語の意味推定とみなし，語彙の概念化方法と語彙の意味的な近さを評価できる関連性評価方法を使用する。さらに，英字略語ゆえの情報の欠如をWikipedia を辞書として用いて補完することで，英字略語の多義性を解消し, 英字略語の本来の意味を推定することを実現した。

提案方法に対して， 129 件の新聞記事を入力文章として評価を行った。評価結果より，最高で $80 \%$ 近い正答率を示したことに加え, 表記に頼る比較方法より良好な結果を得ることができた. 本論文で提案した技術により, 英字略語の意味を理解しやすくすることができ, 情報検索や自動要約など多くのアプリケーションの性能向上や知能ロボットの研究開発における自然な知的対話の実現に寄与することができると考えられる.

今後の研究課題としては, 近年, 盛んに研究が行われている Word2Vec(Mikolov, Chen, Corrado, and Dean 2013)のようなニューラルネットワークを応用したべクトルモデルを適用する方法の検討が考えられる。ベクトルモデルを構築するために使用する情報源を適切に選択・構築することで，概念べースそのものを拡張（性能向上）できる可能性がある。このような検討により，語彙の概念化処理を発展させ，より円滑な自然言語処理の実現が期待できる.

## 謝 辞

本研究の一部は, JSPS 科研費 $16 \mathrm{~K} 00311$ の助成を受けたものです.

## 参考文献

藤江悠五, 渡部広一, 河岡司 (2009). 概念ベースと Earth Mover's Distance を用いた文書検索.自然言語処理, $16(3)$, pp. 25-49.

Google, Inc. "Google." http://www.google.co.jp.

後藤和人, 土屋誠司, 渡部広一, 河岡司 (2008). Web を用いた未知語検索キーワードのシソー ラスノードへの割付け手法. 自然言語処理, 15 (3), pp. 91-113.

広瀬幹規, 渡部広一, 河岡司 (2002). 概念間ルールと属性としての出現頻度を考慮した概念ベー スの自動精錬手法. 信学技報, NLC2001-93, pp. 109-116.

Hoffman, A. J. (1963). "On Simple Linear Programing Problems." In Proceedings of the 7th Symposium in Pure Mathematics of the AMS, Vol. 7, pp. 317-323.

小島一秀, 渡部広一, 河岡司 (2002). 連想システムのための概念べース構成法一属性信頼度の考え方に基づく属性重みの決定. 自然言語処理, 9 (5), pp. 93-110.

Mihalcea, R. (2007). "Using Wikipedia for Automatric Word Sense Disambiguation." In Proceedings of NAACL HLT, pp. 196-203.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." arXiv preprint, arXiv:1301.3781, pp. 1-12.

岡崎直観, 石塚満 (2007). 日本語新聞記事からの略語抽出. 第 21 回人工知能学会全国大会論文集, 2G4-4, pp. 1-3.

Okazaki, N., Ananiadou, S., and Tsujii, J. (2010). "Building a High-quality Sense Inventory for Improved Abbreviation Disambiguation.” Bioinformatics, 26 (9), pp. 1246-1253.

奥村紀之, 土屋誠司, 渡部広一, 河岡司 (2007). 概念間の関連度計算のための大規模概念べー スの構築. 自然言語処理, 14 (5), pp. 41-64.

Salton, G., Wong, A., and Yang, C. S. (1975). "A Vector Space Model for Automatic Indexing." Communications of the ACM, 18 (11), pp. 613-620.

Stevenson, M., Guo, Y., Amri, A. A., and Gaizauskas, R. (2009). "Disambiguation of Biomedical Abbreviations." In Proceedings of the Workshop on BioNLP, pp. 71-79.

Sun, Y., Lin, L., Tang, D., Yang, N., and Wang, X. (2015). "Modeling Mention, Context and Entity with Neural Networks for Entity Disambiguation." In Proceedings of the 24th International Joint Conference on Artificial Intelligence (IJCAI 2015), pp. 1333-1339.

徳永健伸 (1999). 情報検索と言語処理. 東京大学出版会.

辻泰希, 渡部広一, 河岡司 (2004). wwwを用いた概念べースにない新概念およびその属性獲得

手法. 第 18 回人工知能学会全国大会論文集, 2D1-02, pp. 1-4.

渡部広一, 河岡司 (2001). 常識的判断のための概念間の関連度評価モデル. 自然言語処理, $8(2)$, pp. 39-54.

渡部広一, 奥村紀之, 河岡司 (2006). 概念の意味属性と共起情報を用いた関連度計算方式. 自然言語処理, 13 (1), pp. 53-74.

ウィキメディア財団. ウィキペディアフリー百科事典. https://jp.wikipedia.org.吉田辰巳, 遠間雄二, 増山繁, 酒井浩之 (2005). 可読性の向上を目的とした片仮名表記外来語の換言知識獲得. 電子情報通信学会論文誌, J88-D-II (7), pp. 1237-1245.

## 略歴

後藤和人：2008 年同志社大学大学院工学研究科博士前期課程修了. 同年, 日本電信電話株式会社入社. 知識情報処理等の研究に従事. 電子情報通信学会会員.

土屋誠司 : 2007 年同志社大学大学院工学研究科博士後期課程修了. 工学博士. 2017 年同志社大学理工学部教授. 意味解釈等の研究に従事. 言語処理, 人工知能, 情報処理, 電子情報通信, 日本認知科学会各会員.

渡部広一：1987 年北海道大学大学院工学研究科博士後期課程中途退学. 工学博士. 2006 年同志社大学工学部教授. 概念処理等の研究に従事. 言語処理,人工知能, 情報処理, 電子情報通信, システム制御情報, 精密工学会各会員.

(2016 年 11 月 21 日受付) (2017 年 2 月 2 日再受付) (2017 年 3 月 28 日採録)