言語処理学会 第25回年次大会 発表論文集 (2019年3月)

トピック分析と tf-idf による単語の専門性推定
川本 峻頌

高木 友博

明治大学大学院理工学研究科情報科学専攻{syunyo, takagi}@cs.meiji.ac.jp

はじめに

1

易度は一般コーパス全体に対して測るため, ユーザの嗜好を反映するものではない.

本研究の潜在的な目標は, ユーザごとにターゲティングした文生成モデルの構築である. 近年, 大規模データを利用することで, 深層ニューラルネットワークを用2.2いた手法が高い性能を示している. さらに強化学習と組み合わせることで, BLEU や ROUGE 等の評価指標を報酬として直接最適化するモデルが注目されており,高い性能を実現している. しかし, 報酬となる BLEUや ROUGE は参照文との一致度しかみておらず, 人による評価との相違が問題として挙げられている. また
文生成における他の報酬として, 原文との意味の関連性や, 文の流暢性, 一貫性等の評価が提案されているが, これらはターゲティングした文生成モデルを目的とした評価値ではない. ユーザはプログラミングや政治等のトピックに対してそれぞれ専門性をカテゴリ分布のような形で持っており, 文も同様に専門性を持っている. ユーザの専門性に近づくように生成された文は, ユーザにとってわかりやすい文になっていると考えられる.
本研究では LDA によるトピック分析と tf-idf を用いた単語の専門性を推定する手法を提案し, その有効性を示す. 以下, 2 節では専門性に関する関連研究について述べる.3 節では提案手法の詳細, 4 節では評価実験,5 節では考察について述べ, 6 節で本稿を締めくくる.

2

先行研究

2.1

文書の難易度

専門単語の専門性は文書の読みやすさに関わるため,文書の難易度と関連する. 既存研究では, 教科書などの一般コーパスから文字種の頻度や文長を基準とし推定するもの [1][2] や, 難易度つきコーパスを用いて教師あり学習を行うもの [3] などがある. しかしこれらの難特定のトピックに対する単語重要度専門性に関する既存研究として, 特定のトピックにおける単語の重要度を計算する手法が提案されている.
片山ら [5] はユーザの特定分野に関する知識の推定に LDA を用いたトピック適応を行なっている.[5] では, トピックにおける用語の頻度と親密度には高い相関関係があるとして, LDA での各トピックにおける単語の生起確率を, トピックにおける難易度としている.
滝川ら [4] は特定分野にどれだけ精通しているかを判断することを目的とした単語重要度計算手法として CrRv(Category relevance Rarity value) を提案している.CrRv では, 専門辞書には一般人も使用する単語（例えばプログラミングの場合, 「java」など）が含まれているのが一般的であり，専門辞書に含まれる単語の中でも一般人があまり用いない単語に高い重要度を付与する．つまり， 特定分野にどれだけ精通しているかを判断するために，該当分野に精通していないと知り得ない単語に高い重要度を与える．

3提案手法

CrRv[4] では特定分野に関する大量の辞書を用意する必要がある. 滝川らは分野をプログラミングに絞り,Web サイトや用語集, 辞典などから辞書を構築していた. しかし, この場合, 特定の分野各々に対し辞書を構築する必要があり, 分野の選定や収集コストを要する.
我々は上記の問題を解決するために, 一般コーパスから, 分野の分割, 選定, 単語と分野の紐付けを自動化する手法を提案する. 提案手法では, 文書と専門用語とトピックの関係を以下として仮定する.

― 288 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

• 文書は潜在的にトピックを複数保有しているが,1. 一般コーパスを収集する.

その中である一つのトピックに関して主張するも2. LDA によるトピック分析を行い, 最も所属確率ののとして書かれている.

高いトピックを, 文書のトピックとする. トピック

• 専門用語は, 一般的にも該当トピック内でもあまごとに文書を集計し専門辞書を構築する.

り使用されない単語である.

3. 各トピックにおける単語の DF 値と, そこに含ま• 専門用語は, 他のトピックと比較して該当トピッれる各文書における単語の TF 値を集計する.

ク内での出現頻度が高い単語である.

4. 集計した DF, TF 値から TrRv を求め, これを専門性を表す評価とする.

トピック分析による専門辞書構築

3.1

文書は潜在的にトピックを複数保有しているが, その中である一つのトピックに関して主張するものして評価実験

4

書かれている, という仮定の下, 文書の主張するトピッ

本節では評価実験で使用したデータの内容と, 実験

クを LDA により 1 つに特定する. 特定したトピック

概要, 評価方法について説明した後, 実験結果とそのより, トピックごとに文書を集計し, 専門辞書を構築考察を述べる.

する.

4.1
専門性推定

3.2

実験では livedoor ニュースコーパスを用いた. 当コー

提案手法を式 (3.2.1) に示す.

DFP (t)|Dp |T rRv(t, p) =DFN (t)DFP (t)
+α∗
|Dp |
|Dn |
∑T′′ DFP (t )/|Dp |α = ∑Tt′t′ DFN (t )/|Dn |使用データ

パスは NHK Japan 株式会社が運営する「livedoor ニ
ュース」のうち, 9 つのクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し, 可能な(3.2.1)

限り HTML タグを取り除いて作成されたものである.
総記事数は 7,367 件である.

(3.2.2)

前処理として, 本文では 1 行目に該当記事 URL, 2行目の投稿日付を除去した. さらに, 記事本文に含まれる URL 除去の上, 名詞のみを抽出し, 3 文字以上かつ上式において, 単語を t, 対象とするトピック p の文書

DF 値が 30 以上の単語を使用した. 総単語数は 77,674,集合を Dp , 対象トピック以外の文書集合を Dn , 全文書処理後の単語数は 5,196 である.

集合を D(= Dp + Dn ) で表す.T rRv はトピック p における単語 t の専門性を示す.全単語集合を T, Dpの文書数を |Dp |, 単語 t の Dp における文書出現頻4.2

度 を DFp (t), 単 語 t の Dn に お け る 文 書 出 現 頻 度
を DFN (t) としている.

評価方法

処理後の単語を 500 件サンプリングし, コーパスから想定される特定のトピックに関して「専門度」を 0-5

式中, T rRv(t, p) は単語 t のトピック p への出現頻段階で作業者 5 名にてアノテーションを行なった. こ度の偏り具合を示し, p への偏りが強い単語に大きなのアノテーションの平均値と各手法における専門性の値をとる.|Dp | と |Dn | は同一ではないため正規化して評価値とのピアソン相関を計測し評価する. 有意水準

いる.αは単語 t が p 以外のトピックに出現した際に重は 5%とした. 比較手法として 2.2 で示した [5] を参考

要度を下げる割合を調整するパラメータである.に LDA による生起確率を用いる.

3.3

専門性推定の流れ

単語の専門性を推定する全体の流れは以下の通りである.

― 289 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 4.1: トピック 1 における評価値のピアソン相関手法
提案手法 LDA による生起確率
ピアソン相関0.57

0.28

図 4.1: LDA でのトピック毎の文書頻度

4.3

図 4.2: トピック 1 における提案手法と人の評価値

実験結果

体的に提案手法は高い評価値を与えやすいことがわか

LDA の潜在トピック数は 5 とした.LDA によるトる. 特に, 提案手法では高い評価値を与えているが, 人ピック分析の結果, トピックごとの記事の頻度分布はは低い評価値を与えている単語が多い. これらの単語

図 4.1 のようになった. トピック 1 では IT, 家電に関例を表 4.2 に示す.

する記事が多く, トピック 2 では女性向けニュース, ト

表 4.2 中, 「Sleep, スロット, プッシュ, リーダー」

ピック 3 ではスポーツ, 芸能関連, トピック 4 では映などの単語では多義性による影響が確認できる. 例え

画情報に関する記事が多い.

ば「スロット」は一般的にパチンコスロットの意味で以降トピック 1 に着目する. トピック 1 における各使用されやすいが, IT, 家電トピックでは PC でのマ手法での単語重要度と, アノテーション値とのピアソザーボードを挿す穴の名称として用いられる. このよン相関値を表 4.1 に示す.

うに, 使い方によっては専門性が高くなるような多義語に, 提案手法は高い評価値を与えている. 一方で, これらの単語は一般的に専門性の低い意味の方が想起さ

5

考察れやすいため, 人の評価値は低くなり, 提案手法との表 4.1 の結果から, 提案手法の方が高い精度で専門性を推定ができていることがわかる. このことから, ある単語の特定のトピックにおける専門性は, トピックでの出現頻度に加えて, 出現頻度の低さや, 他トピックにおける出現頻度も考慮するべきであることがわかる.
図 4.2 は単語に対する提案手法による評価値と, 人ずれが生じたと考えられる.
また, 「新生活, 当たり, お祭り, プレミアム」などの単語は, 意味としては専門性は低いが, IT, 家電ト
ピック内の文書では「ハイテク家電で新生活」や「新生活に向けて」などの決まり文句が頻繁に使用されるため, 提案手法では高い評価値を与えている.の評価値との散布図である. 図 4.2 より, 人の評価値が大きくなるほど精度の高い推定ができているが, 全

6

おわりに
本稿では, トピックにおける単語の専門性の推定を

表 4.2: 提案手法で高く, 人は低く評価している単語例
Sleep, スロット, 最新情報, 世界初, 大きめ,手書き, プッシュ, オススメ, 新生活, リーダー,
当たり, お祭り, ユニーク, スマート, 現地時間,プレミアム, ローカル, 株式会社, ホット, note,

行なった. 既存の計算手法では, トピックの選定や, 特定トピックに対しての専門辞書の収集が必要であった.
本稿では, LDA によるトピック分析を行い自動で専門辞書を構築することで, 上記の問題を解決した. 提案
手法をニュース記事における IT への専門性評価で実― 290 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

験を行なった結果, 既存手法と比較して, 提案手法の方が高いピアソン相関を得ることができた.
一方で, 提案手法では多義語に対して上手く対応できていない. 今後, 文の専門性を推定する際には, 前後単語等の文脈情報を考慮するなど, 語義曖昧性について検討する必要がある. また, 該当トピック内で意味に関わらず, 決まり文句のように頻繁に用いられる単語にも適切な重みを与えることも今後の課題である.
本研究の潜在的な目標は, ユーザごとにターゲティングした文生成モデルの構築であるため, この後のステップとして, 提案手法を応用しユーザと文の専門性を評価し, 報酬設計を行う. その後, 強化学習を用いた文生成モデルへの組み込みを行い, 特定のユーザにとってわかりやすい文生成を目指す.

参考文献[1] 近藤陽介, 松吉俊, 佐藤理史. 教科書コーパスを用いた日本語テキストの難易度推定. 言語処理学会
第 14 回年次大会論文集, pp. 1113–1116, 2008.

[2] 小島健輔, 佐藤理史, 藤田篤. 文字 bigram モデルを用いた日本語テキストの難易度推定. 言語処理学会第 15 回年次大会論文集, pp. 897–900, 2009.

[3] 水谷勇介, 河原大輔, 黒橋禎夫. 日本語単語の難易度推定の試み. 言語処理学会第 24 回年次大会論文集, pp. 670–673, 2018.

[4] 滝川真弘, 山名早人. 和英短文を対象とした著者専門性推定への応用. 第 10 回データ工学と情報マネジメントに関するフォーラム (DEIM Forum2016), 2018.
[5] 片山太一, 小林のぞみ, 牧野俊朗, 松尾義博. トピッ
ク情報を利用したユーザの知識推定. 人工知能学会全国大会予稿集, 2013.

― 291 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.