サポートベクタマシンを用いたキーワードからの文生成
肥塚 真輔 岡本 紘幸 斎藤 博昭
慶應義塾大学 理工学部
Email: {shizuka,motch,hxs}@nak.ics.keio.ac.jp

1

ベクタマシン（SVM）[3] を用いて確率モデルを獲得，はじめにキーワードからの文生成とは，{ 国, 政策, 発足 } のようなキーワード集合を入力に受け，各キーワードに機能語付加などの整形を加えることで表層文を生成するタスクである．入力からは目的とする文の意味が取得不可能であることから，本タスクは文法的に正しく意味が理解可能な文の生成を目的とする．これは自然言語生成の基本タスク（text planning, sentence planning,realization）[1] のうち，主に realization に該当する．
自然言語生成は機械翻訳や対話システムなど，多くの自然言語処理アプリケーションの構成要素である．
各々の自然言語処理アプリケーションによって入力形利用するシステムを提案する．SVM はデータスパースネスに頑健な統計的機械学習法であり，質問応答の分野では最大エントロピー法より優れているという報告もなされている [4]．

3システム概要本システムは，大きく二つのモジュールにより構成されている．一つ目はキーワード集合を入力に受けて候補文の集合を出力する候補文生成部，二つ目は候補文の集合を受けてそれらを順位付けし，上位 λ 文を出力する評価部である．本システムの概要を図 1 に示す．

式など自然言語生成部への要求は異なるが，その中には語彙選択以降のタスクを自然言語生成部に要求するアプリケーションも考えられる上，発想支援などを目的とした情報の補完にも利用可能である．

2

先行研究
内元らはキーワードからの文生成を，順序付きキーワード集合 K ，順序付き形態素集合 M ，順序付き依存関係集合 D，テキスト T を用い，式 (1), (2) のように定式化した [2]．定式化に際し内元らは，テキストが
図 1: キーワードからの文生成システム概観

与えられた時，キーワード集合を生成する品詞の列と係り受け関係は一意に決まると仮定している．
Tbest

P (K|T )3.1=arg max P (T |K)=

arg max{P (K|T ) × P (T )}≈P (K, D, M |T )=P (K|D, M, T ) × P (D|M, T ) × P (M |T ) (2)

本節では，本システム候補文生成部の処理を示す．

TT

候補文生成部(1)

式 (2) 右辺の確率モデルは左からそれぞれキーワー

3.1.1

ステージ 1

図 2 は，本稿における日本語文法の定義を表現したものである．本稿ではキーワードを，各文節内の主辞単語と定義する．文節は，いくつかの内容語とそれにド生成モデル，係り受けモデル，形態素モデルである． 続くゼロ個以上の機能語により構成され，主辞単語は式 (2) により，キーワードからの文生成は，これらの文節内で文末に一番近い内容語と定義する．内容語は，確率モデルを用いて候補となる表層文の尤度を算出， その品詞が動詞，形容詞，名詞，指示詞，副詞，接続
順位付けるタスクに置き換えられる．候補文は各キー詞，連体詞，感動詞，未定義語である形態素とし，それワードが含まれる文節をコーパス内から取り出して組以外の品詞である形態素を機能語とする．但し，サ変み合わせることにより生成されるため，式 (1) の言語

動詞，動詞「なる」，形式名詞「の」については，文節モデル P (T ) は無視される．

内に他の内容語が存在しない場合には内容語とみなす．

内元らは式 (2) 右辺の確率モデルを最大エントロピー法を用いて獲得した．これに対し本稿では，サポート品詞の体系は京都大学テキストコーパス version3.0[6]に従った．

たキーワードが 3 個であった場合，生成される構文木
キーワード::=

主辞単語 1 | 主辞単語 2

主辞単語 1::=

内容語

主辞単語 2::=

サ変動詞 | 動詞「なる」| 形式名詞「の」内容語::=

動詞 | 形容詞 | 名詞 | 指示詞 | 副詞 | 接続詞 | 連体詞 | 感動詞 | 未定義語

機能語

::=

判定詞 | 助動詞 | 助詞 | 接頭辞 | 接尾辞

文節

::=

内容語

文::=

∗

主辞単語 1 機能語

文節 文節 文節∗| 主辞単語 2 機能語

は，キーワード kj を含む文節 cj を用い，((c1 , c2 ), c3 ),(c1 , (c2 , c3 )) のように表される．

3.1.4

∗

∗

ステージ 4システムは次に，ステージ 3 で生成した各構文木の葉をステージ 2 で選択した候補文節で置換することで，

図 2: 本稿における日本語文法定義
この定義のもとに本システムは，入力として与えられたキーワード集合から候補文節を生成する．候補文候補文を生成する．

3.2

評価部

節の生成は，コーパス中に現れた文節のうち，キーワー

最後にシステムは，あらかじめ用意された確率モデ

ドを主辞単語として含む全ての文節を抽出することでルを用い，候補文生成部が出力した候補文を評価する．

実現する．そのため，キーワードを見出しとして，そ確率モデルの詳細は，4 章に示す．

れを主辞とする全ての候補文節を引くことが可能な文節辞書をあらかじめ用意する．

4言語モデルしかしながら，図 2 に示した文節の定義をそのまま2 章で述べたように，内元らはキーワードからの文適用すると，入力されたキーワード以外の内容語が含生成を，式 (1), (2) のように定式化している．しかし，まれた候補文節も生成される．そこで本稿では，図 2

係り受け関係が形態素の活用形にも依存することや，に示した文節を以下のように再定義した．

文の尤もらしさが文節区切りにも依存することが考え

文節::=

キーワード 機能語∗

(3)

ステージ 1 において，システムは入力として与えられた各キーワードを文節辞書にて調べ，式 (3) を満たす全ての候補文節を抽出する．例えば，キーワード群られることから，本稿では式 (2) に順序付き活用形集
合 I ，順序付き文節区切り集合 C を挿入，キーワードからの文生成を以下のように定式化した．
P (K|T )として { 国, 政策, 発足 } が与えられた場合，システム≈

P (K, D, I, M, C|T )=P (K|D, I, M, C, T ) × P (D|I, M, C, T ) ×P (I|M, C, T ) × P (M |C, T ) × P (C|T )(4)

は以下のような候補文節を獲得する．

• 国 → 国の，国側の，国からの，...
• 政策 → 政策に，政策などを，政策を，...
• 発足 → 発足した，発足させる，...
3.1.2

ステージ 2システムは次に，ステージ 1 で獲得した候補文節を

式 (4) 右辺に示された各確率モデルは左から，キーワード生成モデル，係り受けモデル，活用モデル，形態素モデル，文節生成モデルである．本システムはこれらの確率モデルのうち，文節生成モデルを候補文生成部の文節選択に利用，残り 4 つのモデルを評価部における表層文評価に利用した．

あらかじめ用意した確率モデルを用いて評価し，上位

本稿では文節生成モデルの一部を除いたこれら全て² 個を選択する．これは，ステージ 1 で獲得した全候補文節を用いた場合の組み合わせ爆発を回避するためである．確率モデルの詳細は 4 章に示す．の確率モデルを，TinySVM[5]（2 次多項式カーネル）を用いて学習した．本来 SVM は二値分類器であるこ

3.1.3

本稿では，候補文を表す各事例ベクトルの超平面から

ステージ 3

続いてシステムは，とり得る全ての構文木を生成すとから，分類の尤度としての確率は返さない．そこでの距離を最も超平面から遠い事例の距離で正規化し，る．本稿では，各文節の間に依存関係があると仮定しそれを分類の尤度確率とみなした．て日本語の係り受け関係を以下のように定義し，二分4.1

木で表現することとした．

キーワード生成モデル

キーワード生成モデルは，入力として与えられたキー• 係り受けは前方から後方に向いている（後方修飾） ワードが表層文中で「鍵」になる単語かどうかを，キー• 係り受け関係は交差しない（非交差条件）
ワードにかかる文節の格に注目して評価するモデルで• 係り要素は受け要素を一つだけ持つある．本稿では，T, C, M, I, D が与えられた時に K が生成される構文木の形態と数は，入力として与えら 与えられる確率を，各々のキーワード kj (1 ≤ j ≤ κ)
れたキーワードの数により変化する．例えば入力され がそれに係る文節のうち最も文末側の文節の末尾二単

語 wl , wl−1 にのみ依存すると仮定し，以下のように定ある．これらの文は連接文節の末尾文字の不自然な連義した．
P (K|D, I, M, C, T ) =4.2

本モデルの主な目的は，以下のような非文の排除で³Q

κP (kj |wl , wl−1 )j=1´ κ1(5)

続や不完全な文節，文中の文末表現の挿入，不完全な文末などの文法的非整合性を伴っている．

係り受けモデル• 私は家は行く• 私家に行って係り受けモデルは，システムが構文木として自動生成した文節間の係り受けが文として尤もらしいかを評価するモデルである．本稿では，T, C, M, I が与えら

5

実験・結果れた時に D が与えられる確率を，各々の係り受け関係システムの評価にあたり本稿では，独自に規定した

dj (1 ≤ j ≤ κ − 1) が独立であると仮定し，以下のように定義した．
1´ κ−1³Q
κ−1

以下の評価項目を全て満たす文を正解文と定義し，精P (D|I, M, C, T ) =4.3

j=1

P (dj |I, M, C, T )

(6)

活用モデル

活用モデルは，各形態素の活用形の並びが文として尤もらしいかを評価するモデルである．本稿では，T, C, M が与えられた時に I が与えられる確率を，各々の活用形 ij (1 ≤ j ≤ ι) が後方に連接した形態素活用形にのみ依存すると仮定し，以下のように定義した．
³Q
´ 1ι
ι
P (I|M, C, T ) =4.4

P (ij |ij+1 , M, C, T )
j=1

(7)

度の算出および先行研究との比較を行った．

• 文末で文が完結していること（体言止め不可）• 文の途中で完結していないこと• 文節の意味役割に重複がないこと• 存在すべき機能語が存在すること• 2 文節の機能語の関係が自然であること• 文意が理解可能であること

5.1

精度

本稿では，正解文がどの程度上位に集められているかを，生成された候補文集合における精度，R 精度，1位の精度の比較により評価した．またベースラインと形態素モデル

して，候補文節の全ての組み合わせにより生成された

形態素モデルは，各形態素の品詞の並びが文とし候補文集合の精度も算出した．情報検索タスクにおけて尤もらしいかを評価するモデルである．本稿では， る R 精度の R は「全文書集合」中の適合文書数であT, C が与えられた時に M が得られる確率を，各形態 るが，キーワードからの文生成タスクにおいては「全素 mj (1 ≤ j ≤ µ) が前方及び後方に連接した形態素文集合」の再現が不可能なことから，「生成された候補にのみ依存すると仮定し，以下のように定義した．

文集合」をその代わりとみなした．

P (M |C, T ) =³Qµ(P (mj |mj−1 , C, T ) × P (mj |mj+1 , C, T ))
j=1

´ µ1

実験は，無作為に選択された文の 2 キーワード 60 通(8)りの入力で，本稿で評価部に新たに提案した活用モデルの有無を区別して行った．使用したコーパスは京大

4.5

文節生成モデル

コーパスの 1995 年 1 月 1 日および同月 3 日〜11 日分

文節生成モデルは，候補文生成部で文節辞書から獲で，1 月 6 日分をテストデータとし，残りを学習デー得した文節の尤度を算出するモデルである．本稿では， タとした．
j 番目の文節 cj が尤もらしい文節となるには，cj の末表 1 に，精度実験の結果を示す．結果より，本シス
尾文字 tj が後方に隣接した文節 cj+1 の末尾文字 tj+1

テムの候補文生成部が尤もらしい文を構成する文節をに対して尤もらしいことが必要であると仮定し，文節選択して文を生成していること，評価部が正解文をよ生成モデルを文節末尾文字 bigram として定義した． り上位に順位付けしていること，ならびに活用モデル
また，文末の文節 (j = κ) の後方連接尤度は算出でき の有効性が確認された．
ないため，代わりに文末文節生成モデル Pe (cj |T ) を用意した．これを以下に示す．
κYP (C|T )

=(9)

j=1

P (cj |T )=Pe (cj |T )P (tj |tj+1 )先行研究との比較

本稿では精度に加え，先行研究である内元らの手法

P (cj |T )n

5.2

if j = κotherwiseとの比較を行った．内元らは出力文を意味的・文法的な観点で主観評価し，以下の 2 つの基準を用いてシス(10)テムを評価している．

a. 1 位の候補文が意味的・文法的に適切である
b. 上位 10 位に意味的・文法的に適切な候補文がある成モデルである．出力文の上位には「疑いを逮捕した」

実験は，京大コーパス 1 月 1 日分の記事に 10 回以上のような，各文節の意味役割が誤った文が多く生成さ現れた主辞単語の集合から選択されたキーワードの 2れた．これは，文節生成モデルの文字 bigram が文節および 3 語の組み合わせ各 30 通りを，内元らの実験を表層的な尤度でしか評価せず，文節間の意味的関係と同じ組み合わせで行った．確率モデル学習用のコーを考慮しないことに原因があると考えられる．

精度低下の原因として次に考えられるのは，文節生

パスは，以下の表 2 の構成とした．

この問題の解決には，キーワードの意味的関係をシ

表 3 に，比較実験の結果を示す．結果より，本シスソーラスなどの利用で獲得し，誤った意味役割の候補文

テムは内元らの手法と比較して基準 a（上位 1 位）の節を排除する手法が考えられる．しかしながら，キー性能は劣るが，基準 b（上位 10 位）の性能は同等もしワード集合という限られた入力から語彙間関係を決くは優れていることがわかった．
表 1: 精度実験の結果定することは困難であることが予想される．sentence

項目

活用モデルなし

活用モデルあり

0.11
0.28
0.30
0.33

ベースライン
候補文集合の精度
R 精度
1 位の精度0.31
0.37

表 2: 比較実験の環境
内元らのシステム

項目本システムセット 1セット 2

1月1日
3〜11 日1 月 1，3〜9 日
3〜11 日（モデルなし）3〜11 日1 月 1，3〜9 日
3〜11 日（モデルなし）3〜11 日1 月 1，3〜16 日

キーワード生成モデル
係り受けモデル
活用モデル
形態素モデル
文節生成モデル
文節辞書

表 3: 比較実験の結果
キーワード数

評価基準

2abab

3

6

内元らの
システム

0.90
0.96
0.63
0.80

本システム
セット 1
セット 2

0.63
0.96
0.50
0.83

0.73
0.96
0.53
0.83

考察
本章では，実験結果について考察する．

6.1

精度

実験より，本システムは正解文を上位に出力していplanner との接続を考えるならば，そちらでキーワードに意味役割を付与し，生成される文節に制限をかけることは可能である．

6.2

先行研究との比較実験により，本システムは内元らの手法と比較して，基準 a の性能に劣り，基準 b の性能は同程度もしくはそれ以上であることがわかった．
基準 a が劣る原因としては，6.1 節で述べた文節の意味役割の誤りを評価部が補正できなかったことにあり，特にキーワードの格との結び付きを重視して学習しているキーワード生成モデルに改善の余地がある．
また，基準 b の性能が同程度となったのは，内元らのシステムに定義されていない文節生成モデルが表層的な特徴を重視して学習し，文として尤もらしい文字列を上位に順位付けたためと考えられる．

7

おわりに
本稿では，キーワードからの文生成，特に文法的にることが確認できたが，精度には改善の余地がある． 整合性のある文の生成について，コーパスに記載され精度低下の原因としてまず考えられるのは，文節辞書 た文の表層的な情報を統計的に用いる手法の有効性をのデータ不足である．個別の結果を見ると，文節辞書示した．今後取り組むべき課題として，入力キーワーから候補文節が得られなかった場合が 11 通り，文節ドの意味情報に基づいた候補文生成や順位付け，意味生成モデルの閾値を越える評価の候補文節が得られな表現を入力に受ける自然言語生成システムへの拡張なかった場合が 6 通り，候補文は生成されたが正解文はどが挙げられる．

生成されなかった場合が 8 通りと，候補文生成で精度参考文献を落していることが分かる．このことから，本システ[1] Owen C. Rambow, and Tanya Korelsky: Applied text generation, in Proceedings of Conference on Applied Natural Language Processing, pp. 40–47, 1992.
[2] Kiyotaka Uchimoto, Satoshi Sekine, and Hitoshi Isahara: Text
generation from keywords. in Proceedings of the Main Conference on COLING, 2002.
[3] Vladimir N. Vapnik: The Nature of Statistical Learning Theory. Springer, 2nd edition, 1999.
[4] Jun Suzuki, Yutaka Sasaki and Eisaku Maeda: Svm Answer
selection for open-domain question answering. in Proceedingsof the Main Conference on COLING, 2002.
[5] 工藤 拓: TinySVM: Support Vector Machines,
http://cl.aist-nara.ac.jp/˜taku-ku/software/TinySVM/, 2002.
[6] 黒橋 禎夫, 長尾 眞: 京都大学テキストコーパス・プロジェクト. 人工知能学会 第 11 回全国大会, pp. 58–61, 1997.

ムは文節辞書の改善により，精度向上が見込める．尚，正解文が生成された場合のみの精度は，候補文集合の精度 0.49，R 精度 0.54，1 位の精度 0.65 であった．
文節辞書生成の改善手法としては，本システムの単独利用の場合はキーワードを品詞などの構文情報でクラスタリングして不足した文節データを補う手法が，sentence planner と連結する場合はそちらでの意味情報を考慮した文節データの補完が考えられる．