前後段落を用いて生成した単語分散表現による日本語語義曖昧性解消の検証

言語には同じ単語に複数の意味が紐づく多義語が存在する。例として「頭」という文字を岩波国語辞典第五版で調べてみる。「頭」という漢字の読みとしては「あたま」「かしら」「ず」「がしら」の4種類が存在しており、それぞれに語義が定義されている。「あたま」という読みには「動物の脳（や目・口・耳・鼻）がある部分。かしら。こうべ。」や「頭と関係が深い次のもの。」「頭に似たもの。」「あたまかず。人数。」といった４語義が存在する。さらに、4語義の中でも「頭と関係が深い次のもの。」と「頭に似たもの。」にはより細かい語義が定義されており、一番細かく分類されている語義数で「頭」の語義を数えると、合計13語義が存在する(表1)。「頭が追い付かない」という文章の場合、文章に出てきた「頭」という文字が「動物の脳がある部分」として使われているわけではなく、「脳の動き」という語義として使われている。人間にとっては文章読み語義動物の、脳（や目・口・耳・鼻）がある部分。かしら。こうべ髪脳の動き。考え方。心。物の上部。てっぺん。上に立つ人。首脳。かしら。うわまえ。最初。あたまかず。人数。あたまあたま。文語的。一族の長。首領。特に、仕事師・街火消の棟梁かしらがしら...したとたん。一番...した人。ずあたま※「頭」の漢字に関する項目は省いた。中に使われている単語の語義を、文脈から判断することは比較的容易であるが、コンピュータにとってはまだ難しい課題となっている。自然言語処理における語義曖昧性解消(WordSenseDisambiguation,WSD)とは文章中で使用されている多義語の文章中での語義を判定するを正しく判別することをいう。WSDはコンピュータによる文章の意味理解の精度を向上させるために重要なタスクであると言える。本研究ではWSDを目的とした分散表現の生成方法を提案する。分散表現の生成方法としては「文脈埋め込みの分散表現」であるBERTを用いる。Transformers[1]で提供されている基本的なモデルであるBertModelを継承した提案モデルを作成し、新たに学習をするわけではなく、事前学習モデルを利用した上で、分散表現を生成したい多義語を含む段落の前後段落を提案モデルに入力し、分散表現を生.成する。分散表現を利用してWSDを目指した研究は過去にもいくつか報告されている。菅原ら[2]はWord2Vecによって生成された分散表現を用い、多義語の素性を前後の分散表現を並べたものとした。提案した素性を用いて語義曖昧性解消タスクを行ったところ、従来の単語の素性を用いた場合に比べ高い精度を達成した。また、曹ら[3]はBERTが文脈埋め込みの分散表現であることに注目し、生成された分散表現を教師あり学習を行った分類器でWSDを行ったところ、高い精度であったことを報告した。本研究では多義語が持つ語義をそれぞれ一つのクラスタとし、文中に出現する単語を要素とする。単語に分散表現を紐づけることで、クラスタ内分散やクラスタ間分散の計算が可能となる。また、目標としては語義のクラスタ内分散を小さく、同時に語義同士のクラスタ間分散を大きくすることで、語義の判別を行いやすくすることである。提案手法と従来のBertModelで分散表現を生成したのち、語義のクラスタに関してPseudoFの値を計算し、比較する。