情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

フローグラフからの手順書の生成山崎 健史1,a) 吉野 幸一郎2 前田 浩邦3,∗ 笹田 鉄郎4
橋本 敦史5 舩冨 卓哉2 山肩 洋子6 森 信介4,b)
受付日 2015年6月30日, 採録日 2015年12月7日

概要：コンピュータから人間へ情報を伝達するためには，コンピュータが処理しやすい表現を，人間に理解しやすい自然言語文に変換する技術が重要である．本研究では，構造化された情報であるフローグラフ
から自然言語文を自動生成する手法を提案する．手順書のドメインとしてレシピを扱う．まず，実際の手順書に対して重要語とその種類を表すラベルを自動認識し，固有表現に置き換えることで，統計的なテンプレートの自動生成を行う．次に，フローグラフを 1 つの動作を含む最小手順部分グラフに分割する．最後に，最小手順部分グラフに最もマッチするテンプレートを選択して文生成を行う．テンプレート選択の指標として，負対数確率，内容語残存コスト，エントロピーを用いる．実験では，正解として用意されたフローグラフを表現する自然言語文章と生成された文章を比較評価した．具体的には BLEU 値による自動評価と主観評価を行い，提案手法が精度向上に寄与し，BLEU が人手による主観評価と相関があることを確認した．
キーワード：自然言語生成，手順書，テンプレート

Procedual Text Generation from a Flow Graph
Takeshi Yamasaki1,a) Koichiro Yoshino2 Hirokuni Maeta3,∗ Tetsuro Sasada4
Atsushi Hashimoto5 Takuya Funatomi2 Yoko Yamakata6 Shinsuke Mori4,b)Received: June 30, 2015, Accepted: December 7, 2015

Abstract: Algorithms that convert a computational representation to human-readable natural language sentences are essential for communications. In this paper, we propose a method that automatically generates
natural language sentences from a structured flow graph. We demonstrate this method in the domain of
cooking recipes. Firstly, we automatically generate templates from real recipe texts by recognizing keywords
and their type label, and replacing the words with named entity labels. Secondly, we divide the flow graphinto minimum procedural subgraphs, each of which has one action. Finally, we select the most suitable
template for each subgraph. When selecting a template, we use three measures: a negative logarithmic probability, a remaining content word cost, and a sentence entropy. In the experiments we generate recipe texts
from flow graphs and evaluated them through both an objective metric BLEU and a subjective evaluation
by human examines. The results showed that our method improves both metrics and BLEU is correlated tothe subjective metrics.
Keywords: natural langugage generation, procedural text, template

1

2

3
4

京都大学大学院情報学研究科
Graduate School of Informatics, Kyoto University, Kyoto
606–8501, Japan
奈良先端科学技術大学院大学情報科学研究科
Graduate School of Information Science, Nara Institute of
Science and Technology, Ikoma, Nara 630–0192, Japan
サイボウズ株式会社
Cybozu, Inc., Chuo, Tokyo 103–6028, Japan
京都大学学術情報メディアセンター
Academic Center for Computing and Media Studies, Kyoto
University, Kyoto 606–8501, Japanc 2016 Information Processing Society of Japan

5

京都大学大学院教育学研究科
Graduate School of Education, Kyoto University, Kyoto 606–
8501, Japan
6東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology,
The University of Tokyo, Bukyo, Tokyo 113–8656, Japana)yamasaki@ar.media.kyoto-u.ac.jpb)mori@ar.media.kyoto-u.ac.jp∗
本研究への貢献は，京都大学大学院情報学研究科修士課程に在籍中になされた．

849

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

1. はじめにこれを入力として文生成を行う．映像から意味表現を得る研究として，調理映像の認識結果 [4], [5], [6]，映

言語は人間にとって最も自然に扱えるインタフェースの像認識研究としては調理や理科実験の作業映像に対す

1 つである．コンピュータが日々の生活に浸透していくとる単独の物体や動作の認識 [7], [8] をはじめとして，動ともに，コンピュータから人間への情報伝達の一手段とし作と対象を同時に認識し述語項構造を出力する研究 [9]て自然言語生成技術に対する需要が高まってきた．たとえなどがある．

ば，コンピュータが手順書を理解し，理解した内容と実施

フローグラフ間の演算 複数のフローグラフに対して演算している作業の状況を認識するシステムを組み合わせるこを行うことが提案されている．演算結果の例として，とを想定したとき，言語による提示は，画面表示や音声と同じ料理名の複数のレシピのフローグラフから計算さいった作業中でも利用可能な伝達手段によって手順を伝えれる典型的な手順のフローグラフ [10] などがあげられることができるため有用である．しかし，コンピュータがる．これを入力とすれば，ある料理名の典型的な作り扱うことに最適化された表現を人間が一目で把握するこ方のレシピを生成することができる．

とは難しい．そこで，どのようにしてコンピュータが持つ調理者への作業の教示 コンピュータが調理者に次の動作情報を人間に伝えるかということが問題となる．本研究でなどを教示する補助システムが考えられている（Smart

は，コンピュータが持つ情報が定まっている中で，どのよ

Kitchen [11]）．あらかじめ料理のフローグラフを記憶うな表現で言語生成を行うかに主眼を置き，こうした意味

しておき，調理の進行状況と調理者の振舞いに応じて，表現から音声での伝達が可能な表現への変換として，自然次の動作を部分グラフから生成した自然言語文で教示

言語文の生成（以下，文生成と呼ぶ）を扱う．

する．

本研究では，何らかの処理を行うために一連の手続きがフローグラフ節点の翻訳による手順書の生成 フローグラ

記述されている文書を手順書とし，これを生成の対象とす

フの各接点を表す単語列を別の言語に翻訳し，その結る．コンピュータが持つ情報として，フローグラフで表現果得られるフローグラフから手順書を生成することされた手順書の意味表現 [1], [2] を想定して文生成を行う．

で，その言語で書かれた手順書を生成する．

フローグラフは物体や動作に対応する節点とその関係を本研究では，大量のコーパスからテンプレートを作成し示す枝によって手順を表現し，映像の理解結果など，様々ておき，コンピュータに最適化された情報であるフローグ

なものから生成されることを想定している．手順書を対象

ラフを入力として統計的な文生成を行う手法を提案する．

とする理由として 2 点あげられる．1 つ目は，手順書は文こうした学習コーパスからテンプレートを学習する枠組み

書の中でも存在する節点や枝に曖昧性が少なく，フローグ

は，少量の対話データに対して行われてきた [12], [13], [14]ラフなどの意味表現で扱いやすい点である．2 つ目は，フが，本研究では発話ではなく手順書からテンプレート学習

ローグラフは物体（中間生成物を含む）と動作の半順序関を行い文生成を行う．提案手法では，より大規模な生テキ係を表すため，文の順序が重要である手順書に適する点でストの自動解析結果を用いて自動的にテンプレートプール

ある．本論文における生成文の順序関係の評価は，6.4 節を作成する．提案手法の設計と概要については 2 章で，フの主観評価で間接的に考慮している．フローグラフの応用

ローグラフについては 3 章で述べる．また，提案手法の詳を想定した場合，モデルの学習に用いるテキストとモデル

細については 4 章と 5 章で述べる．実験により，学習デーの適用対象のドメインは一致することが望ましい [3]．そ

タ量が生成される文章の質に大きく影響することを示し，

こで本研究では，テンプレート生成に用いるコーパスやフ

実際にそれを検証した．

ローグラフでの表現をレシピドメインに限定して議論す本システムによって自動生成された文の評価を行う際に，る．ここでレシピとは，ある特定の料理を完成させるため

意味的な正しさを自動的に評価することは困難であり，大に必要な一連の手続きを表す．様々な手順書が存在する中規模な評価を行うことが難しい．そのため，本研究では本でレシピドメインを選択した理由として，大量のコーパス

来は機械翻訳の評価に使われていた BLEU [15] が生成文のが容易に入手できる点と，我々の調査によれば，他の多く評価にも適用可能であるかどうかについても検討を行った．

の手順書ドメインよりも表現がより多様で，かつ，語彙サ

BLEU による自動評価と人手による主観評価の両方で本手イズが比較的大きいことから，レシピドメインで利用可能法の評価を行い，自動評価と主観評価の相関を調査した．

な手法を構築できれば，他のドメインへの応用が容易であ

手順書を生成するにあたっては，どのように表現するかることが想定される点があげられる．
フローグラフからの手順文の生成の応用として，以下のの前に，そもそも話す内容を意味表現として作成する必要がある．本研究では，先行研究 [2], [10] により，話す内容

例があげられる．

の意味表現が得られていることを前提とする．本研究の貢

映像認識からの文生成 映像（Computer Vision）からの献は，文献 [2], [10] から得られた意味表現の自然言語への認識結果を意味表現として部分フローグラフに変換し，変換であり，より詳細には次の ( 1 )〜( 3 ) である．本研究c 2016 Information Processing Society of Japan

850

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)の貢献は以下のとおりである．

削減できる．しかし，適切な活用語尾の推定 [16] を行う必( 1 ) 大規模な自動テンプレートの自動学習・選択による手

要があることから，特に未知語に対して脆弱であり，ドメ

順書の生成．

イン依存性の高い手順書に適さないと考えられる．提案手( a ) テンプレートを獲得する手法の提案（4.2 節）

法では，言語ごとに異なる特有の知見を用いることを避け( b ) テンプレートを選択する手法の提案（4.3 節）られるため，活用形を生成する規則の記述が不要で，未知( c ) 活用語に対する活用形の言語モデルによる自動選

語の活用型を推定する必要がない．そのため，語幹に文字

択（5.3 節）を接続することで活用形の文字列が得られる言語に本シス( 2 ) ( 1 ) が実験的にうまくいくことを示した（6.5 節）．

テムを適用することは容易であると考えられる．短所とし( 3 ) 本タスクにおいて BLEU による自動評価と人によるて，テンプレート数が多くなり，活用語の語幹と活用語尾

生成文の理解に相関があることを示した（6.4 節）．

が適切に接続できなくなる可能性があるが，本研究ではこ2. 手順書のための文生成システムの設計
本章では，手順書を自動生成するための文生成システムの問題に対して，学習データ量に対するテンプレートのカバレージを 6.3 節で，活用語尾の接続の精度を 6.6 節で提示し，問題が起こらないことを実験的に示す．

の設計について述べる．手順書においていうことは，材料や道具などの物理実体（主に名詞句），その様態の表現（主2.2 最小手順部分グラフ抽出に形容詞句），さらに何をするか（動詞句）である．大量の本研究では，入力に意味構造を表すフローグラフを想定

実例に対してこれらを自動認識することで，いうことをそしている．文書の大域構造については，1 文で 1 つの指示の種類を表すクラスに置き換え，いい方だけを含む文骨格とし，手続きの実施順に文とすることで十分であろう．なを自動的に大量に生成する．この文骨格は，人手で記述さぜなら，手順書における文には，1 からたかだか数個の手れる場合にテンプレートと呼ばれており，本研究でもテン続きしか含まれておらず，また，手続きどうしの関係が明プレートと呼ぶ．文生成における課題は，いうことの自動快だからである．そこで，手順書を自然言語として生成す認識における誤りの影響をどう低減させるか，どの程度のるために，入力されたフローグラフを実施者を主語とする量の実例があれば本研究で提案する文生成システムが機能

1 つの動作（述語）を含む最小手順部分グラフに分割する．

するのかであり，本論文の後半 6.3 節，6.5 節でこれらのこれは，手順書を 1 つ 1 つの手順へと分割することを想定

疑問に答える．本システムの概要を図 1 に示す．以下でした場合，動作を基準とした単位が意味的に最小となるかは，図 1 の各部分について概説する．

らである．フローグラフについては 3 章，最小手順部分グラフ抽出については 4.1 節で詳しく述べる．

2.1 テンプレート生成
本手法では，あらかじめ収集したコーパスから自動的に

2.3 テンプレート選択

テンプレートプールを作成する．収集したレシピコーパス

フローグラフから分割した最小手順部分グラフの中に含に対して自動重要語認識を行い，その部分を重要語のクラ

まれる重要語タグから，重要語タグ列を作成する．この重スを表す重要語タグで置き換える．この際，活用語の活用

要語タグ列が使われるテンプレートを選択候補にあげる．

語尾をテンプレートに含めることを提案する．テンプレー

本研究で提案する文生成システムでは，負対数確率（テント生成については 4.2 節で述べる．一般に，テンプレート

プレートの出現頻度），内容語残存コスト，エントロピーには活用語尾を含めず，テンプレートに活用語を埋めるとの 3 指標を統合したテンプレート選択コストを用いて最適きに適切な活用語尾を推定し付加する設計が行われてきた．

なテンプレートを選択する．テンプレート選択については

この設計は，異なる活用形からなるテンプレートを統合す

4.3 節で，テンプレート選択コストについては 5 章で詳しることができるため，必要となるテンプレート数を大幅にく述べる．

2.4 文生成選択したテンプレートに，入力の最小手順部分グラフの重要語を代入し，手順文を生成する．文生成については

4.4 節で述べる．また，生成した手順文の評価を 6.4–6.6 節
で行う．

3. フローグラフ
図 1

本システムの概要図

Fig. 1 Summary of our system.

c 2016 Information Processing Society of Japan

本研究で提案するシステムでは，入力としてフローグラ
フを用いる．フローグラフは物体や動作に対応する節点と851

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

行が可能な場合も存在する．
以下では，各 r-NE タグについて順に簡単に説明する．

F：食材 食材は，材料リストに記載されているような材料名に加えて，「タネ」「生地」といった中間食材名や，料理の完成品が含まれる．食せる，捨てる，量が変化するならば F と判定される．ただし修飾句は F に含まれない．

T：道具 鍋，蓋，包丁，コンロなど，調理道具や器を道具としている．手や指などの調理者の身体の一部も道具のような振舞いをする場合は，T と判定される．食
せない，量が変化しない点以外は，おおむね「食材」の判定と同じである．
図 2 レシピテキストのフローグラフの例

Fig. 2 The flow graph of the example recipe.

D：継続時間 加熱時間や冷却時間など，加工の継続時間を示している．数字と単位のほか，それらに対する概数表現なども含まれる．

レシピ固有表現の種類

Q：分量 食材の量を指定する表現を分量としている．数

Table 1 Types of r-NE.

字部分や単位に加えて，それらに対する概数表現など

表 1も含まれる．

タグ

意味

備考

F

食材

中間・最終生成物を含む

T

道具

調理道具や器など動詞である．文生成時の活用形の選択をテンプレート

D

継続時間

概数表現を含む

Q

選択によって実現する設計のため，活用語尾は含まな分量概数表現を含む

Ac

調理者の動作

語幹のみ

Af

食材の動作

語幹のみ

Sf

食材の状態

している．Ac と同じく，活用語尾は含まない．

St

道具の状態

Sf：食材の様態 用意された食材様態の初期状態を表す表

Ac：調理者の動作 調理者が主語となる用言で，主に他い．また，補助的動詞は含まれない．

Af：食材の動作 食材が主語となる用言は，食材の動作と現，ならびに Ac や Af の影響で遷移する（した）状態
その関係を示す枝によって手順を表現するものであり，本を表す表現を食材の様態としている．

研究ではドメインをレシピに限定したレシピフローグラ

St：道具の様態 用意された道具様態の初期状態を表す表

フ [2] を用いる．レシピフローグラフとは，レシピの意味

現，ならびに Ac や Af の影響で遷移する（した）状態

構造を単語ごとの関係で表した無閉路有向グラフであるを表す表現を道具の様態としている．

（図 2）．また，枝ごとに順序がない無順序グラフである．
フローグラフの各節点のラベルは，単語列とレシピ用語タ

4. 手順書の生成システムグ（r-NE タグ [2]）の組である．r-NE タグは調理を行うう

本章では，本研究で提案する手順書生成システムについえでの各単語列の役割を表しており，食材や道具などの名て述べる．本システムはフローグラフを入力としてレシピ

詞句や調理者の動作といった用言などに付与されている．

文章を生成するシステムである．

フローグラフの各枝には述語項構造や共参照関係を表すた

本研究が扱う問題の難しさは，r-NE に接続される単語

めの r-NE の関係を表すラベルが付与されている．しかし，の自動選択にある．たとえば，T：道具の後にくる単語の1 章のフローグラフの応用例（映像認識からの文生成，フ分布の上位は，に：41.1%，で：31.0%，を：13.8%であっ

ローグラフ間の演算 [10]）では枝のラベルを用いることがた．この分布から，最頻値をとった場合でも 6 割は誤って想定されていないため，本研究では単語どうしの親子関係しまうため，決定的な手法は不適切であると考えられる．

のみを用い，枝のラベルは用いない．表 1 に r-NE タグの

まず 4.1 節でシステムに与える入力について説明し，そ一覧を示す．
フローグラフの節点どうしは有向枝によって接続されての後システムの動作内容について述べる．本システムは
大きく 3 つの工程に分かれており，（1）テンプレート生おり，作業の依存関係を表す．たとえば，図 2 中で，“/加成（4.2 節），（2）テンプレート選択（4.3 節），（3）文生成え/Ac” 節点は，“/熱/Ac” の作業の結果と “/セロリ/F”，（4.4 節）からなる．

“/青 ねぎ/F”，“/ニンニク/F” を前提とした作業であることを表す．調理者の動作（Ac）間の有向枝は，その性質
上ほぼ時間的順序を表すが，複数の作業者がいれば同時進

c 2016 Information Processing Society of Japan

4.1 入力：最小手順部分グラフ抽出
本システムに与える入力は，レシピドメインの意味表現

852情報処理学会論文誌

図 3

Vol.57 No.3 849–862 (Mar. 2016)

フローグラフの最小手順部分グラフによる分割例

Fig. 3 Division of the example flow graph with minimum procedual subgraph.

であるフローグラフの Ac（調理者の動作）節点を基準に分割した最小手順部分グラフ（以下，単に部分グラフと呼ぶ）である．これは，自然言語における意味表現を考える
際に，動作（述語）を基準とする単位が意味的に最小となるからである．また，映像認識の出力結果を利用するような場合でも，調理者の個々の動作を基準に出力が分割されることが多い．以下の手順を行うことで，フローグラフから本システムの入力形式を得る．

( 1 ) Ac 節点を探索し，Ac 節点のリストを得る．
( 2 ) Ac 節点の出現順に，各 Ac 節点に対して，Ac 節点が根節点となるように部分グラフを構築する．このとき，1 度使用した節点は再び使用しないようにする．
図 2 のフローグラフにおける第 1 手順から部分グラフによって分割グラフを抽出した例を図 3 に示す．
なお，元のフローグラフコーパスは，作成する段階で元のレシピに出現する NE の順序で作成されている．そのた

図 4め，Ac 節点を出現順に探索して部分グラフの構築を行う

テンプレート生成

Fig. 4 Generation of templates.

本手法では，フローグラフにない情報（元のレシピの NEの順序）を用いて文生成を行っているといえる．一方，フ語間の関係を新しくフローグラフにラベルとしてアノテー

ローグラフの NE の順序が元のレシピの順序ではなかった

ションするなどの対応が考えられる．

としても，フローグラフの作業順序を整理し，あらかじめ並べ替えを行うことで，本手法を追随することができる．

4.2 テンプレート生成

このとき，並列の関係にある作業どうしの順序は，元のレ

本節では収集した手順書からテンプレートプールを作成

シピの NE の順序が保証されないため，評価実験に用いるする手法について述べる．テンプレートプールとは，r-NE

BLEU [15] の値は本手法に比較して低下する可能性がある．

の単語列を r-NE タグで置き換えた文骨格（テンプレート）

本研究では述語間の関係を含むラベルの情報を用いておの集合である．本手法では，テンプレート生成部では r-NE

らず，順接やそれ以外の関係のラベルはフローグラフではタグに該当しない内容語を含むテンプレートを除去せず，定義されていない [2], [10]．順接以外の述語間の関係の例

テンプレート選択時に内容語を含むテンプレートに対してとして，コストを設けて，選択される可能性を下げている．このよ• 選 択（ 例：ミ ョ ウ ガ/F は 小 さ/Sf く 輪 切 り/Ac
もしくは みじん切り/Ac する）

うな手法を選択する理由として以下の 2 点があげられる．

• 内容語の判別に用いる品詞推定は自動推定のため，不• 条件（例：ワンタン/F の 皮/F を 入れ/Ac る なら この 時 に）

要な内容語を誤りなく特定できない．

• テンプレート除去によるカバレージの低下を避ける．

などがあげられる（詳細は文献 [10] を参照）
．本研究で用い以下の手順で，レシピ文章を学習コーパスとして与え，ているフローグラフにおいて，上記の例に関してはすべて

自動的にテンプレートに変換する．また，一連の流れの具の Ac をフローグラフに含めて，すべて順接の関係として体例を図 4 に示す．

いる．この例の場合は，実際に行わない作業が生成された( 1 ) レシピ文章をテキスト解析ツール KyTea *1 [17] を用文に含まれる．この問題を回避するために，このような述*1c 2016 Information Processing Society of Japan

http://www.phontron.com/KyTea/index-ja.html

853

Vol.57 No.3 849–862 (Mar. 2016)

情報処理学会論文誌

いて単語単位に分割し，品詞を付与する．

( 2 ) 単語列に対して r-NE 認識器：PWNER *2 [18] を用いて r-NE タグを付与する．

択する．
なお，( 2 ) の手順は，最初にテンプレートを発見できた
キーのみ処理を行った．

( 3 ) r-NE を r-NE タグで置き換える．
( 4 ) 同じテンプレートを統合し，テンプレートの出現頻度

4.4 文生成と，( 1 ) の品詞情報をもとにテンプレートの内容語（後Ac 節点を頂点とするある部分グラフが与えられたとき，

述：5.2 節）の個数をテンプレートの付随情報とする．

4.3 節で述べたテンプレート選択によって，入力に対するテンプレートの出現頻度，および r-NE タグで置き換え

単一のテンプレートが得られる．その後，以下の手順で本られない内容語の個数を併記する．これらの情報は，テンシステムの出力となるレシピ文が得られる．

プレート選択（4.3 節）で用いる．なお，各テンプレート ti( 1 ) 4.3 節 ( 1 ) で得た r-NE 列群の中から，テンプレート

はテンプレートのキー k(ti ) で参照できるようにする．テンプレートのキー k(ti ) は，ti 中に出現する r-NE タグを並べたものである．たとえば，図 4 (4) の第 1 文の k(ti ) は“Sf-F-Ac” となる．

内の r-NE タグの順に並ぶものを選択する．

( 2 ) テンプレート内の r-NE タグを，入力により与えられた r-NE 列に対応する単語列で置き換える．

( 1 ) において，部分グラフの木構造の入替えが可能な場
合，その各々のキーの順序でテンプレートに代入しコス

4.3 テンプレート選択

トを評価している．たとえば，“切/Ac (じゃがいも/F 人

4.2 節で作成したテンプレート群の中には，入力となる

参/F)” といった木構造の場合，それに対するキー群は，“F同一のフローグラフに対応するテンプレートが複数存在す- F - Ac” (じゃがいも - 人参 - 切) と，“F - F - Ac” (人参る．また，表現の適切さや一般性などが与えられておらず，- じゃがいも - 切) が得られるため，“F - F - Ac” をキーとこのままでは一意にテンプレートを決定し文生成を行うこするテンプレートに両方の単語列を代入し，コストを計算とができない．そこで本研究では各テンプレートに対するしている．

コストを定義し，このコストによって適切なテンプレートを選択する．コストの定義の詳細については 5 章で述べる．テンプレート選択では，以下の処理でテンプレートを

5. テンプレート選択基準
学習テキストから自動生成されたテンプレートは膨大で選択する．

あり，入力されたフローグラフに複数のテンプレートが( 1 ) 入力の部分グラフから，キーを生成する．フローグラ

マッチすることが多い．また，自動解析されたテンプレー

フは無順序木なので，図 5 のように木構造の入替えがトの中には認識されなかった内容語を含むなど，文生成に可能な場合，キー群として得る．

適さないテンプレートが存在する．そこで本研究では，最( 2 ) 各キーに対して，キーにマッチするテンプレート群を適なテンプレートを選択するためのコストを定義し利用す

得て，各テンプレートのコストを計算する（5 章）．

る．コストの計算には，負対数確率（5.1 節），内容語残存( 3 ) ( 2 ) で計算したコストが最小となるテンプレートを選コスト（5.2 節），エントロピー（5.3 節）を用いる．最後に，テンプレート選択コスト（5.4 節）でこれら 3 つのコ
ストを統合し，1 つのテンプレートに対するコストを計算
する．

5.1 負対数確率頻出するテンプレートほど妥当なテンプレートと考えられるので，これをコストに反映する．各テンプレート ti の負対数確率によるコスト L(ti ) を，学習されたテンプレー
ト全体に対するテンプレート ti の出現確率で計算する．

F (ti )L(ti ) = − log2 (1)F (ti )
ここで F (ti ) は，学習コーパス内で ti の出現回数を示し，

L(ti ) は小さいほうが頻出するテンプレートであり，より文生成に適していることが期待される．
図 5

r-NE 列群の生成

Fig. 5 Generation of a group of r-NE sequence.
*2

http://plata.ar.media.kyoto-u.ac.jp/kadowaki/c 2016 Information Processing Society of Japan


5.2 内容語残存コスト
4.2 節で作成したテンプレートプールの中には，次のよ854情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

うな内容語を含むテンプレートが存在する．

プレートが選択されることがある．

( 1 ) r-NE 認識器の誤り

卵/F を ほぐ/Ac る 。

( 2 ) r-NE ではない内容語

イカ/F に 皮/F を む/Ac る 。

( 1 ) の例としては，
この問題に対処するために，単語 n-gram モデルによる“最後 に /塩/F で /味/Sf を /調え/Ac る 。”
があげられる．この例では，“最後” という内容語が r-NE

エントロピー [21] を導入する．エントロピーの導入によとして認識されずに残存している．こういった内容語が残り，生成文内の自然な単語連接を評価することができる．

存したテンプレートを選択することを抑制するために，残また，活用語の活用形や助詞を選択するための特別なメカ存している内容語の個数に応じてテンプレートに対してコ

ニズムが不要となる．

ストを与える．( 2 ) は，たとえば調理者の動作を修飾する

以下の手順で，エントロピーによるコストを求める．

副詞があげられる．たとえば，“好み”，“よく” が残存した( 1 ) 収集した手順書から単語 3-gram モデル [22], [23] を構築する．

テンプレートの例を示す．

( 2 ) 各 テ ン プ レ ー ト ti に r-NE の 単 語 列 を 代 入 し ，文• 好み で F を Ac る 。
• よく F を Ac する 。

Si = BT · BT · w1 w2 · · · wn · BT を生成する．ここで，BT

内容語が残存しているかどうかは，形態素解析を行ったは文区切りを表す特殊記号である．

際の品詞で判別する．解析器（KyTea [19]）が採用している品詞体系 [20] に従って，以下のとおり内容語，およびテ( 3 ) 以下の式で文 Si における文字あたりのエントロピー
H(ti ) を計算する．

ンプレートの骨組みに必要な機能語を定義した．

1
H(ti ) = n+1

内容語：名詞, 動詞, 副詞, 形容詞, 形状詞, 接尾辞, 接頭辞,n+1
k=1 |wk | k=1

連体詞, 代名詞, 接続詞, 感動詞, URL, 英単語, 言いよ− log2 P (wk |wk−2 wk−1 )(3)

どみ, ローマ字文
ここで，|wk | は，単語 wk の文字数を表す．

機能語：助詞, 補助記号, 語尾, 助動詞, 空白, 記号
テンプレート作成過程における自動品詞付与後（図 4 のw1 w2 · · · wn は H(ti ) が小さいほど学習コーパス中に現上から 2 番目）と重要語タグで置換後（図 4 の上から 4 番

れやすい単語の並びとなるため，より自然な文であること目）の内容語，機能語，r-NE の割合を表したものが表 2が期待される．

である．r-NE タグで置き換えたテンプレートの中に，依然として 10.3%内容語が残存しており，内容語残存につい

5.4 テンプレート選択コスト
5.1–5.3 節によって得られたコストを用いて，各テンプて考慮する必要があることが分かる．
テンプレート ti に対する内容語が残存しているコスト

C(ti ) を以下の式で定義する．

レートから生成された文 ti のコスト Cost(ti ) を以下の式で計算する．

C(ti ) = N(2)

Cost(ti ) = WL · L(ti ) + WC · C(ti ) + WH · H(ti ) (4)

ここで，N は ti の中に含まれる内容語の個数を表す．内

ここで，WL ，WC ，WH は，L(ti )，C(ti )，H(ti ) に対する

容語残存コスト C(ti ) が小さいほど，内容語を含まないテ

重みであり，学習コーパスを用いてグリッドサーチで決定

ンプレートを選択していることが期待される．

する．各 ti に対して，式 (4) により Cost(ti ) を計算し，式(5) により，最も選択コストが低いテンプレート tˆi を選択

5.3 エントロピー

する．

単純にテンプレート頻度に従ってテンプレートを選択す
ると，以下の例のように，活用語尾や助詞が不適切なテン
表2

自動品詞付与後と重要語タグで置換後の内容語，機能語，r-NEtˆi = argmin Cost(ti )

(5)

ti

6. 評価実験の割合

Table 2 The ratio of content words, function words and r-NE

本システムはフローグラフを入力としてレシピ文章を生

after giving word automatically and after replacing

成する．本章では，提案手法の有効性を確かめるために，

each word with keyword tag automatically.

手順文書の生成を行い，生成された文を評価する．

品詞付与後

重要語タグ置換後

内容語

44.6%

10.3%

機能語

55.4%

55.2%

テンプレート作成（4.2 節），およびエントロピー計算

r-NE

-

34.5%

（5.3 節）のための言語モデル構築に用いる学習コーパス

c 2016 Information Processing Society of Japan

6.1 実験環境855

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

表 3

コーパスの諸元

Table 3 Corpus specifications.
用途

レシピ数

文数

r-NE 数

単語数

文字数

Ftest

40

162

1,337

3,709

18,254

Fdev

160

674

6,539

18,742

94,249

NER 学習360

2,813

12,101

51,847

97,911

429,483

2,173,516

17,613,471

51,099,450

254,124,935

テンプレート学習

表 4 各学習コーパスサイズに対するグリッドサーチの結果（BLEU 上位 10 通りの組合せ）

Table 4 A result of grid search for each corpus size (A list of top 10 BLEU values).
学習コーパスの文数

33,961(1/64)

135,844(1/16)

543,379(1/4)

2,173,516
(1/1)

BLEU

WL

WH

WC

BLEU

WL

WH

WC

BLEU

WL

WH

WC

BLEU

WL

WH

WC

14.25

0.2

0.9

0.6

17.85

0.2

0.8

0.5

21.80

0.2

0.9

0.4

23.65

0.1

0.5

0.2

14.23

0.2

0.8

0.5

17.81

0.2

0.7

0.4

21.79

0.2

1.0

0.5

23.61

0.1

0.6

0.3

14.23

0.1

0.6

0.4

17.78

0.2

0.9

0.5

21.73

0.1

0.5

0.3

23.59

0.1

0.6

0.2

14.22

0.3

1.0

0.7

17.76

0.1

0.4

0.2

21.73

0.2

1.0

0.6

23.58

0.1

0.6

0.4

14.22

0.1

0.5

0.3

17.76

0.2

0.8

0.4

21.70

0.2

0.9

0.3

23.46

0.1

0.5

0.1

14.22

0.2

1.0

0.6

17.75

0.2

0.7

0.5

21.69

0.2

0.9

0.5

23.43

0.1

0.5

0.3

14.20

0.1

1.0

0.9

17.70

0.1

0.8

0.5

21.69

0.1

0.5

0.2

23.37

0.1

0.6

0.1

14.20

0.1

1.0

0.7

14.20

0.1

0.7

0.5

21.69

0.2

1.0

0.4

23.37

0.1

0.6

0.5

14.20

0.2

1.0

0.7

17.68

0.1

0.6

0.4

21.66

0.2

0.8

0.3

23.28

0.1

0.7

0.4

14.20

0.1

0.9

0.7

17.65

0.1

0.4

0.3

21.66

0.1

0.6

0.3

23.26

0.1

0.7

0.5

として 429,483 レシピ（2,173,516 文）を収集した（表 3）．

タの重み探索を行った．なお，4.2 節で述べたとおり，テ

また，入力とするフローグラフの元となった 200 レシピがンプレート選択では，( 1 ) で得たキー群に対して，最初にフローグラフに変換されたコーパスが存在し [2]，このフテンプレートを発見できたキーのみ ( 2 ) の処理を行うよう

ローグラフコーパスのレシピは学習コーパスからは除かれにした．

ている．このうち 160 レシピ（Fdev ）を用いて，コスト計

表 4 に学習コーパスサイズごとに目的関数とした BLEU

算（5.4 節）で各重み WL ，WH ，WC を決定した．残りのが高い上位 10 件の重みの組合せを表す．いずれのコーパ

40 レシピ（Ftest ）をテストコーパスとして入力に与えて文スサイズにおいても，上位の組合せは WL : WH ≈ 1 : 4〜を生成した．生成した文の評価は BLEU [15]（N = 4）に

1 : 5，WL : WC ≈ 1 : 2〜1 : 3 となっており，重み推定による自動評価と主観評価の 2 種類を行った．BLEU では，用いるコーパスのサイズに依存しないことが確認できた．

出力されたレシピ文章とフローグラフに付随している人が記述したレシピ文章（参照文章）とを形態素 n-gram でな

6.3 テンプレートカバレージ

お，機械翻訳で用いる BLEU では，1 文を評価単位とする

どの程度の学習コーパスでどの程度のテンプレート事が，本研究では 1 レシピを評価単位とした．生成文の例は例がカバーされているのかを確認するため，Ftest および付録に示す．

Fdev （フローグラフを構築した 200 レシピ，2,938 部分グラフ）の各部分グラフに対して，4.3 節 ( 2 ) で得られたテ

6.2 グリッドサーチによるテンプレート選択コストの重み探索ンプレート群のカバレージを学習コーパスの量に応じて計算した．

テンプレートのコスト計算（5.4 節）で用いる重み WL ，

表 5 に学習コーパスの量に応じたカバレージテンプレー

WH ，WC を，Fdev を開発セットとしてグリッドサーチでト群の中に含まれるテンプレートの個数の平均（平均適合求めた．グリッドサーチの探索範囲は，WL , WH , WC ∈テンプレート数），入力の部分グラフに対してテンプレー{0.1, 0.2, 0.3, · · · , 1.0} とした．この最適な重み探索の目的

ト群が得られなかった回数（不適合部分グラフ数），入力の関数としては，開発セットにおける全部分グラフに対する部分グラフに対して，マッチするテンプレートが 1 つ以上

BLEU 値の平均を用いた．また，学習コーパスサイズによあった割合（カバレージ）を示す．この結果から，今回利る影響を考慮するために，学習コーパスを 1/1，1/4，1/16，

用した 429,483 レシピの学習コーパスによって，99.6%の1/64 と変化させて，それぞれのコーパスサイズでパラメー部分グラフに対しテンプレートをあてはめることができ

c 2016 Information Processing Society of Japan

856

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

表 5 各学習コーパスサイズに対する統計結果

Table 5 Statistical results of various template pool sizes.
テンプレート学習コーパスの文数

33,961(1/64)

135,844(1/16)

543,379(1/4)

2,173,516(1/1)

総テンプレート数

31,602

124,582

487,685

1,894,229

784

1,570

5,071

18,697

平均適合テンプレート数
不適合部分グラフ数
カバレージ [%]

88

51

29

13

97.0

98.3

99.0

99.6

表 6 10 レシピに対する主観評価

Table 6 Subjective assessment for 10 recpipes.
BLEU

評価者 1

評価者 2

評価者 3

評価者 4

評価者 5

評価者 6

評価者 7

平均

9.31

3

4

3

2

5

3

4

3.43

13.26

2

4

2

5

5

3

4

3.57

18.14

3

4

3

4

4

3

4

3.57

23.07

3

3

3

1

5

2

4

3.00

27.88

3

5

3

3

4

4

4

3.71

32.48

4

5

5

5

5

3

5

4.57

37.24

5

4

5

4

5

4

5

4.57

38.33

5

5

5

5

5

4

5

4.86

43.57

4

3

3

4

5

4

5

4.00

50.90

5

5

5

5

5

4

5

4.86

平均

3.70

4.20

3.70

3.80

4.80

3.40

4.50

4.01

PCC

+0.85

+0.25

+0.70

+0.46

+0.25

+0.67

+0.86

+0.78

PCC はピアソン相関係数を表す．

ることが分かった．また，この 1/4 の学習コーパスでも

1：調理不可能99.0%の部分グラフをカバーすることができ，ある程度のなお，実験条件は，後述の 6.5 節における，尤度選択方

学習コーパスがあれば，活用語尾をテンプレートに含めた

法 (F+C+E) で，学習コーパス量は 1/1 を用いて文生成を場合でも十分に必要な表現がカバーされることが分かる．

行った．生成されたレシピには平均 11.3 文含まれていた．
表 6 に主観評価の結果を示す．評価値の平均は 4.01 であ

6.4 被験者実験による主観評価

り，平均的にはおおむね適切な文生成が行われていること

本研究では自動評価指標として BLEU を用いているが，が確認できる．また，いずれの評価者においても，評価値

BLEU による評価値は生成された文章と参照文章との形態

が BLEU と強い相関があり，BLEU が文生成の質を測る

素 n-gram の一致度を評価したものであり，生成された文有効な評価指標であることが確認できる．また，BLEU がの意味的・文法的な正しさを十分に反映していない可能性

32.48 以上であるもののうち，91.4%が「5：完全に」，またがある．たとえば，調理手順の場合，動作に対する材料のは「4：ほとんど」，と評価されていた．このことから，お順序は可換であることがよくあるが，参照文章とは異なる

およそ BLEU が 33 以上の場合，適切な文が生成され，人順序で文生成すると BLEU は低下する．そのため，被験者が書いたものと同等の文章を再現できているといえる．

実験によって生成された文の評価を行うとともに，BLEU

本研究では料理経験がある人を対象としているが，料理との相関を測って BLEU による評価の妥当性を検証する．

経験がほとんどない人を対象としても同等の結果が得られ

本論文では，生成された文章から，参照文章と同等の手続ると推察できる．なぜなら，生成文の重要語は，参照文のきを読者が読み取れるかどうかを，生成された文章の品質

重要語と同一であり，仮にその重要語の意味・存在を知らを定める基準とする．7 名の評価者（20–23 歳の男性 5 名，

なくても，参照文と同様の述語項構造が選択されているか

女性 2 名．全員が日本語を母語とし，週 1 回以上料理を行否かで評価を行うことができるからである．

い，情報学以外を専門とする学生）に様々な BLEU の 10個のフローグラフから出力された文章と参照文章を提示
し，以下の質問に回答させた．

Q. 生成された文に従って調理を行った場合，参照文章とどれくらい同じ料理が作れますか？

A. 5：完全に，4：ほとんど，3：部分的に，2：異なる，

c 2016 Information Processing Society of Japan

6.5 BLEU による自動評価
学習コーパスサイズごとのグリッドサーチ（6.2 節）で得た最適な重みを用いて，Ftest を入力として与えて得られた文を BLEU で評価した．テンプレート選択（4.3 節）で用いた 3 つのコスト（負対数確率，内容語残存コスト，エ857

情報処理学会論文誌

表 7

Vol.57 No.3 849–862 (Mar. 2016)

表 8 活用語の語幹と活用語尾間の接続正解率

コーパスサイズに対する各手法の BLEU

Table 7 BLEU of each method for each corpus size.

Table 8 Junctional accuracy between stem and ending in a
conjugational word.

学習コーパスの文数

33,961(1/64)

135,844(1/16)

543,379(1/4)

2,173,516
(1/1)

レシピ数

Ac 数

接続正解数

接続正解率

L

11.16

15.47

18.80

18.98

40

518

493

0.951

C

11.32

13.24

17.47

18.13

H

12.95

15.31

20.57

23.89

L+C

11.19

13.23

18.20

18.63

に相関を確認できたことが重要である．これにより，今後

L+H

14.06

20.94

27.23

32.62

のレシピ文生成の研究における評価で，コストのかかる人

C+H

19.67

23.72

27.42

28.67

手を用いずに，自動評価で生成文の評価を行うことができ

L+C+H

19.35

23.91

29.44

33.35

るといえる．

ントロピー）の文生成精度への寄与を測るために，以下のように 7 通りの尤度選択手法により文生成を行った．

6.6 活用語の活用語尾の正解度
本研究で提案する活用語尾をテンプレート側に含めると

L：負対数確率のみいう設計が機能していることを確認するために，活用語のC：内容語残存コストのみ語幹と活用語尾の接続の文法性を検証した．Ftest を入力とH：エントロピーのみ

して，得られた 40 レシピの文中に含まれる，各々の Ac 部

L+C：負対数確率+内容語残存コストで置き換えられた単語列と，テンプレート側の活用語尾とL+H：負対数確率+エントロピーの接続の文法的正しさを人手によって判断した．なお，文

C+H：内容語残存コスト+エントロピー

選択は，6.5 節における，尤度選択方法 (F+C+E) で，学

L+C+H：負対数確率+内容語残存コスト+エントロピー習コーパス量は 1/1 の場合の生成結果を用いた．表 8 に
その結果を示す．実験結果から，95.1%の精度で活用語とそれぞれの手法において，学習コーパスを 1/1，1/4，

活用語尾との接続が文法的に正しいことが確認できた．こ

1/16，1/64 と変化させて，その学習コーパスサイズに対応の結果から，活用語尾をテンプレートに含めるという枠組した重みを使用して文生成を行った．評価の際は学習時とみが，適切に動作することが確認された．

異なり，キーにマッチするすべてのテンプレートを選択対象とする．

7. 関連研究表 7 に BLEU による自動評価の結果を示す．この結果

言語生成の研究は，近年では小説の生成 [24] や詩の生から，適切なテンプレート選択にはエントロピーと負対数

成 [25], [26] などが行われているが，これらのドメインでは確率による寄与が大きく，内容語残存コストによる寄与は

人物の感情や作者の意図といった表面上の文面には現れなあまり大きくないことが分かった．理由としては，エントい情報が多く，同じ内容を述べる場合でも表現方法が異なロピーの導入によって活用語尾や適切な助詞の接続がなさる．これに対して本研究では，手順書を対象としている．

れるようになったことが，BLEU が評価する n-gram の一

手順書は小説や詩などと比べ客観的な文書であると考えら致に合致したこと，負対数確率の導入によって頻出するテ

れ，そのため，何かを述べるときにその書かれ方の幅が比ンプレートにはより適切ないい回しが含まれていることが較的狭いと考えることができる．したがっていうことが決期待できることがあげられる．加えて，内容語残存コストまっている中で，その肉付けを行う本研究の対象として適の導入は意味内容を変える致命的な文生成を時折避けるこ切であると考えられる．

とにとどまり，BLEU に対する影響は低いことが理由と本研究では，意味表現としてのフローグラフが骨子としして考えられる．エントロピーを導入しない手法（L，C，て与えられた中で，それにどのような機能語，接続詞，語L+C）は，学習コーパスを増やしても評価値の向上幅が尾などを肉付けするかということに注目した．こうした枠少なく，学習データに含まれるノイズの影響を受けている

組みは音声対話システムなどの応答生成にも必要であると考えられる．それに対してエントロピーを導入した手法

が，これまではあらかじめ定義したテンプレートを利用し（H，L+H，C+H，L+C+H）は，コーパスサイズに応じてた文 [27], [28], [29] やあらかじめ定義・収集した文の中で評価値が向上しており，適切なテンプレートの選択に寄与

最も一致度の高い文 [30], [31] を読み上げていた．しかし，していると考えられる．

あらかじめ定義したテンプレートを利用した手法はテンプ

BLEU での評価は，「じゃがいも を 切 り ま す」と「じゃレートの作成にコストがかかることや，一致度の高い文のがいも を 切 る」といった，レシピの作業内容は異ならな読み上げを行う手法は表現方法に自由度がないという問題

いが，表現が異なる場合の差を考慮していない．しかし，があった．これに対して本研究では，コンピュータが内部

6.4 節により BLEU による評価結果と人手による評価結果に持つ意味表現をベースとして，大量に収集したコーパス

c 2016 Information Processing Society of Japan

858

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)からテンプレートを作成し統計的な生成を行うことで，自動的なテンプレート作成，および入力に応じた自動的なテンプレート選択によりこれらの問題に対処した．

8. おわりに本研究では手順を示したフローグラフから手順を示す文

2 章で述べたとおり，手順書からの文生成において重要を自動生成する手法について述べた．動作対象（主に r-NEなのはいうことといい方である．本研究では，いうことはタグの食材 F）
，あるいは手段や方向（主に r-NE タグの道

主に内容語で表現されていると考えて，テンプレート [32]具 T）と動作動詞を接続する格助詞は，生成された文の意を自動生成しておき，適切に選択する設計とした．

味に大きく影響する．そこで本研究では，内容語にあわせ学習データからテンプレートを学習する枠組みは，主にたテンプレートを多くの統計的文生成の手法と同様に，言対話システムのための文生成で研究されてきたが [14]，テ語モデルを用いて選択することとしている．この手法を活ンプレート作成時に不要な単語や，文脈を生成する接続詞

用語の活用形自動学習にも応用しているのが本研究の特徴などを含むテンプレートをあらかじめ除去を行い，学習である．具体的には，レシピドメインにおいて学習コーパ

データの文数は 18,466 文，不要なテンプレートを除去後にスからテンプレートを作成し，入力のフローグラフからコ

残ったテンプレート数は 512 文と小規模な学習で行われてスト計算によってテンプレートを選択した．コスト計算のいた．これに対し，本研究ではテンプレート作成時にフィ手法として，負対数確率，内容語残存コスト，エントロピー

ルタリングを行わず，テンプレート選択時に内容語を含むを用いることを提案した．実験では 429,483 レシピから学

テンプレートに対してコストを設け，学習データの文数は習を行い，40 レシピのフローグラフを入力として与え，生

2,173,516 文，テンプレート数は 1,894,229 文と，大規模な成された文とレシピの原文との比較を BLEU で評価し，提学習を行った．また，文献 [14] ではユーザの評価値を入力

案した選択基準が有効であることを確認した．また，10 レ

として文を生成するのに対し，本研究ではフローグラフのシピに対して主観評価を行い，BLEU とレシピの意味的正部分グラフを中間表現として入力し，文書を生成する点も確さに相関があることを確認した．また，出力文の BLEU

異なる．

が 33 程度を超えると，出力文に従って実際に調理を行う

文生成は，形式言語理論でいうところの文法を仮定し，それによるアルファベット列を導出する課題とみることができる．この観点では，テンプレート方式は，開始記号からの生成規則を除けば，非終端記号が右辺にない生成規ことを想定した場合，元のレシピをほとんど再現できることが示された．
謝辞 本研究は，JSPS 科研費 26280084 および 24240030の助成を受けたものです．ここに謝意を表します．

則のみからなる文法を仮定しているといえる．これに対して，確率的正規言語を仮定して将棋のコメントを生成する

参考文献

研究 [33] がある．また，文脈自由文法などを仮定すること[1]も可能である [34]．これらの再帰を許す文法では生成される文表現の幅は広いが，同じ単語列が繰り返されるなどの[2]

非文を生成する可能性があるという問題がある．本研究では，Web 上の実例をテンプレートとして活用することにより，表現の幅の問題を対処しながら，非文を生成しにくい[3]というテンプレート方式の長所を活かす設計を提案している．さらに，どの程度の実例があれば手順書を生成するの[4]に十分かを実験的に明らかにしている．
本研究の応用は 1 章で述べたように複数考えられるが，なかでも重要な応用例として Smart Kitchen [11] があげら

[5]

れる．Smart Kitchen とは，映像認識技術などを用いた，コンピュータによる調理補助システムであり，調理者に次の調理手順を示したり，動作の説明を行ったりするシステム[6]である．このシステムに対する応用として，指示モジュールからの指示として部分グラフが与えられたとき，その部分グラフから文生成を行い，調理者に示すことができる．

[7]

また別の応用例として，インターネットユーザの文章生
成の補助システム，フローグラフとして表現された 2 言語
間のレシピ翻訳システム，調理映像から自動レシピ文生成システム [9], [10], [35] があげられる．

c 2016 Information Processing Society of Japan[8]

浜田玲子，井手一郎，坂井修一，田中英彦：料理テキスト
教材における調理手順の構造化，電子情報通信学会論文
誌，Vol.J85-DII, No.1, pp.79–89 (2002).
Mori, S., Maeta, H., Yamakata, Y. and Sasada, T.: Flow
Graph Corpus from Recipe Texts, Proc. 9th International Conference on Language Resources and Evaluation, pp.2370–2377 (2014).
吉野幸一郎，森 信介，河原達也：述語項構造を介した文の選択に基づく音声対話用言語モデルの構築，人工知能学会論文誌，Vol.29, No.1, pp.53–59 (2014).
Faria, F., dos Santos, J., Rocha, A. and Torres, R.: Automatic Classifier Fusion for Produce Recognition, 2012
25th SIBGRAPI Conference on Graphics, Patterns andImages (SIBGRAPI ), pp.252–259 (2012).
Rohrbach, M., Amin, S., Andriluka, M. and Schiele, B.:
A database for fine grained activity detection of cooking
activities, 2012 IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), pp.1194–1201 (2012).
井上 仁，橋本敦史，中村和晃，舩冨卓哉，山肩洋子，上田
真由美，美濃導彦：食材認識のための画像と食材切断時の振動音及び荷重の利用，電子情報通信学会論文誌 D，Vol.97, No.9, pp.1490–1502 (2014).
Naim, I., Song, Y.C., Liu, Q., Kautz, H., Luo, J. and
Gildea, D.: Unsupervised Alignment of Natural Language Instructions with Video Segments, Proc. 28th National Conference on Artificial Intelligence (2014).
Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M.
and Schiele, B.: Translating Video Content to Natural859

情報処理学会論文誌

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]
[24]

[25]

Vol.57 No.3 849–862 (Mar. 2016)

Language Descriptions, Proc. 14th International Conference on Computer Vision (2013).
Yu, H. and Siskind, J.M.: Grounded Language Learningfrom Video Described with Sentences, Proc. 51st Annual
Meeting of the Association for Computational Linguistics (2013).
Yamakata, Y., Imahori, S., Sugiyama, Y., Mori, S. andTanaka, K.: Feature Extraction and Summarization of
Recipes using Flow Graph, Proc. 5th International Conference on Social Informatics, LNCS, Vol.8238, pp.241–
254 (2013).
Hashimoto, A., Mori, N., Funatomi, T., Yamakata, Y.,
Kakusho, K. and Minoh, M.: Smart Kitchen: A User
Centric Cooking Support System, Proc. 12th Information Processing and Management of Uncertainty inKnowledge-Based Systems, pp.848–854 (2008).
Angeli, G., Liang, P. and Klein, D.: A simple domainindependent probabilistic approach to generation, Proc.
2010 Conference on Empirical Methods in Natural Language Processing, pp.502–512 (2010).
Kondadadi, R., Howald, B. and Schilder, F.: A Statistical NLG Framework for Aggregated Planning and Realization, Proc. 51st Annual Meeting of the Association
for Computational Linguistics, pp.1406–1415 (2013).
Higashinaka, R., Prasad, R. and Walker, M.A.: Learning to Generate Naturalistic Utterances Using Reviewsin Spoken Dialogue Systems, pp.265–272 (2006).
Papineni, K., Roukos, S., Ward, T. and Zhu, W.-J.:
BLEU: A Method for Automatic Evaluation of MachineTranslation, Proc. 40th Annual Meeting of the Association for Computational Linguistics, pp.311–318 (2002).
Dreyer, M. and Eisner, J.: Discovering Morphological
Paradigms from Plain Text Using a Dirichlet Process
Mixture Model, Proc. 2011 Conference on Empirical
Methods in Natural Language Processing (2011).
Neubig, G., Nakata, Y. and Mori, S.: Pointwise Prediction for Robust, Adaptable Japanese Morphological
Analysis, Proc. 49th Annual Meeting of the Association
for Computational Linguistics, pp.529–533 (2011).
Mori, S., Sasada, T., Yamakata, Y. and Yoshino, K.: A
Machine Learning Approach to Recipe Text Processing,
Proc. 1st Cooking with Computer Workshop, pp.29–34(2012).
森 信介，Graham, N.，坪井祐太：点予測による単語分
割，情報処理学会論文誌，Vol.52, No.10, pp.2944–2952(2011).
小椋秀樹，小磯花絵，冨士池優美，原 裕：『現代日本語
書き言葉均衡コーパス』形態論情報規程集，独立行政法
人国立国語研究所 (2008).
Ratnaparkhi, A.: Trainable approaches to surface natural language generation and their application to conversational dialog systems, Computer Speech & Language,
Vol.16, No.3, pp.435–455 (2002).
Brown, P.F., Pietra, S.A.D. and Mercer, R.L.: An
Estimate of an Upper Bound for the Entropy of English, Computational Linguistics, Vol.18, No.1, pp.31–40(1992).
森 信介，山地 治：日本語の情報量の上限の推定，情報処理学会論文誌，Vol.38, No.11, pp.2191–2199 (1997).
高木大生，佐藤理史，駒谷和範：会話を中心とした超短編小説の自動生成，The 28th Annual Conference of
the Japanese Society for Artificial Intelligence, 2014(2014).
Agirrezabal, M., Arrieta, B., Astigarraga, A. and
Hulden, M.: POS-Tag Based Poetry Generation withc 2016 Information Processing Society of Japan


[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

付

WordNet, Proc. 14th European Workshop on Natural
Language Generation, pp.162–166 (2013).
Zhang, X. and Lapata, M.: Chinese poetry generation
with recurrent neural networks, Proc. 2014 Conferenceon Empirical Methods in Natural Language Processing,
pp.670–680 (2014).
Langkilde, I. and Knight, K.: Generation That Exploits
Corpus-based Statistical Knowledge, ACL98, pp.704–
710 (1998).
Walker, M.A., Rambow, O.C. and Rogati, M.: Training
a sentence planner for spoken dialogue using boosting,Computer Speech & Language, Vol.16, No.34, pp.409–
433 (2002).
Komatani, K., Ueno, S., Kawahara, T. and Okuno, H.G.:
Flexible Guidance Generation Using User Model in Spoken Dialogue Systems, Proc. 41st Annual Meeting of the
Association for Computational Linguistics, pp.256–263(2003).
Yoshino, K., Mori, S. and Kawahara, T.: Spoken dialogue system based on information extraction using
similarity of predicate argument structures, ACL SIGDIAL, pp.59–66, Association for Computational Linguistics (2011).
稲葉通将，神園彩香，高橋健一：Twitter を用いた非タス
ク指向型対話システムのための発話候補文獲得，人工知能学会論文誌，Vol.29, No.1, pp.21–31 (2014).
Reiter, E.: NLG vs. Templates, Proc. 5th European
Workshop on Natural Language Generation, pp.147–
151 (1995).
亀甲博貴，三輪 誠，鶴岡慶雅，森 信介，近山 隆：対数線形言語モデルを用いた将棋解説文の自動生成，情報処理学会論文誌，Vol.55, No.11, pp.2431–2440 (2014).
Konstas, I. and Lapata, M.: Concept-to-text Generation
via Discriminative Reranking, Proc. 50th Annual Meeting of the Association for Computational Linguistics,
pp.369–378 (2012).
Regneri, M., Rohrbach, M., Wetzel, D., Thater, S.,
Schiele, B. and Pinkal, M.: Grounding Action Descriptions in Videos, Trans. Association for Computational
Linguistics, Vol.1, pp.25–36 (2013).

録

生成文例 6.4 節で評価させた生成文章のうち，BLEU が9.31，33.52，50.90 であるものを示す．
BLEU：9.31 の生成文
アク/F を と/A c る 。
たっぷり/Q の 水/F と モツ/F を ゆで/Ac る 。
水/F を 替え/Ac る 。
繰り返/Ac し ま す 。
ごぼう/F は ささがき/Sf に し/Ac ま す 。
浸/Ac し ま す 。
鍋/T に 水/F と モツ/F を 入れ/Ac る 。
にこみ/Ac ま す 。
ごぼう/F に 火/Sf が 通/Af っ たら 、 味噌/F を 入れ/Ac る 。
煮込/Ac み ま す 。

860

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

BLEU：33.52 の生成文
ご飯/F は 洗/Ac っ て お く 。
ザル/T に 上げ/Ac る 。
焼き鮭/F は 骨/F を 取り除/Ac き ま す 。
ほぐ/Ac し ま す 。

前田 浩邦
2012 年京都大学理学部卒業．2014 年
同大学大学院情報学研究科知能情報学
専攻修士課程修了．同年サイボウズ株
式会社入社，現在に至る．

フライパン/T に スープ/F と ご飯/F を 入れ/Ac る 。
中火/T に かけ/Ac る 。
鮭/F が 沸騰/Af し た ら 、かぶ/F の 葉/F を 入れ/Acます。

笹田 鉄郎 （正会員）

たまご/F を 溶/Ac き ま す 。

2007 年京都大学工学部電気電子工学

一煮立ち/Af っ た ら 、 軽 く 回しかけ/Ac る 。

科卒業．2009 年同大学大学院情報学

パセリ/F を 散ら/Ac す 。

研究科修士課程修了．同年同大学院博

BLEU：50.90 の生成文士後期課程に進学．2012 年同大学院

じゃがいも/F は １ｃｍ厚さ/Sf の 輪切り/Sf に し/Acます。

情報学研究科博士後期課程単位取得認
定退学．京都大学学術情報メディアセンター教務補佐員，現在に至る．自然言語処理に関する研

ゆで/Ac る 。
玉ねぎ/F を 食べやすい大きさ/Sf に 切/Ac る 。

究に従事．言語処理学会会員．

牛肉/F と 玉ねぎ/F を 炒めあわせ/Ac る 。
ポテト/F を 加え/Ac る 。

橋本 敦史 （正会員）

醤油/F と みりん/F で 味付け/Ac する 。

2005 年京都大学工学部情報学科卒業．
2006 年経産省 Vulcanus in Europe プ

山崎 健史 （学生会員）

ログラム国費奨学生．2011 年京都大学大学院情報学研究科博士後期課程研2014 年京都大学工学部情報学科卒業．

究指導認定退学．現在京都大学大学院

同年同大学大学院情報学研究科修士課

法学研究科助手．主にマルチセンシン

程に進学．

グ環境における人間行動観測を介した物体認識，動作認識，
物体追跡に関する研究に従事．京都大学博士（情報学）．電子情報処理学会会員．

吉野 幸一郎 （正会員）舩冨 卓哉 （正会員）

2009 年慶應義塾大学環境情報学部卒

2002 年京都大学工学部情報学科卒業．

業．2011 年京都大学大学院情報学研

2004 年同大学大学院情報学研究科修究科修士課程修了．2014 年同博士後士課程修了．2006 年日本学術振興会期課程修了．同年日本学術振興会特別特別研究員 DC2．2007 年京都大学大研究員（PD）．2015 年より奈良先端学院情報学研究科博士後期課程修了．

科学技術大学院大学情報科学研究科特2007 年京都大学学術情報メディアセ

任助教．京都大学博士（情報学）．音声言語処理および自ンター助教．2014 年 Stanford University，Computer Sci-

然言語処理，特に音声対話システムに関する研究に従事．

ence Department 客員助教．2015 年奈良先端科学技術大学

2013 年度人工知能学会研究会優秀賞受賞．IEEE，ACL，

院大学情報科学研究科准教授，現在に至る．コンピュータ

言語処理学会各会員．

ビジョン，マルチメディア，3 次元モデル，Computational

photography に関する研究に従事．博士（情報学）．ACM，IEEE，電子情報通信学会各会員．

c 2016 Information Processing Society of Japan

861

情報処理学会論文誌

Vol.57 No.3 849–862 (Mar. 2016)

山肩 洋子 （正会員）
2005 年京都大学大学院情報学研究科
博士後期課程研究指導認定退学．同年
京都大学情報学研究科研究員．2006
年（独）情報通信研究機構専攻研究員．
京都大学特定講師，准教授，特定准教
授を経て，2015 年より日本学術振興会特別研究員．電子情報通信学会「食メディア研究会」副委員長．レシピや調理行動に関するマルチメディア処理の研究に従事．電子情報通信学会，人工知能学会各会員．博士（情報学）．

森 信介 （正会員）
1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了．同
年日本アイ・ビー・エム（株）入社．

2007 年より京都大学学術情報メディアセンター准教授．京都大学博士（工学）．1997 年情報処理学会山下記念研究賞受賞．2010 年，2013 年情報処理学会論文賞受賞．2010
年第 58 回電気科学技術奨励賞受賞．言語処理学会，デー
タベース学会，ACL 各会員．

c 2016 Information Processing Society of Japan

862