言語処理学会 第24回年次大会 発表論文集 (2018年3月)

画像入力によるレシピ提案対話システムのための方策学習
飯島采永 †
青木花純 †
小林一郎 †¶†

お茶の水女子大学‡山上勝義 ‡¶遠藤充 ‡
小澤順 ¶

パナソニック株式会社¶

産業技術総合研究所†‡

1{iijima.sae, aoki.kasumi, koba}@is.ocha.ac.jp
endo.mitsuru@jp.panasonic.com ¶ {yamagami.katsuyoshi, ozawa.jun}@aist.go.jp

はじめにステムに入力することを考える．本研究では，画像入力として料理画像を入力する．入力画像に紐づく複数近年，対話システムが多く普及してきている．よりの観点を同時に解釈するモデルにより，１つの画像入ユーザの満足度の高い対話を達成させるために，シス力で複数の観点を提示可能になる．料理画像の入力かテムがユーザの潜在的な嗜好を推定した上でユーザがら得られた複数の観点をシステム応答文でユーザに提興味を持つ情報を推薦する対話戦略を持つことが望ま示し，ユーザの意図に沿った観点と沿わない観点を選しい．本研究では，レシピを推薦する対話を対象にし，択させることで，ユーザから対話システムへの意図の対話を通じてユーザの潜在的な嗜好を推定しつつ，発伝達ステップを短縮できる．目標とする画像を入力と話内容をその結果に基づき変更する方策学習を取り入したレシピ提案対話例を図 1 に示す．

れた対話システムを構築する．方策学習には，自然政
策勾配法を用いた強化学習により対話戦略の最適化を行った. また，レシピを選ぶ際には，視覚的な情報も意思決定に重要な要因となる．そこで，ユーザとの対話では言語だけでなく，ユーザからの料理画像の入力を受け付ける機能を実装することで，潜在的な嗜好を正確に推定できるシステムを目指す．

2

画像入力を利用した対話システム
ユーザの満足度の高い対話を達成させるために，ユーザの発話には現れていない潜在的な考えを推測し，その考えに則した対話戦略の構築を目指す．今回はユーザの意図を汲み，適切なレシピを推薦することを目標とする．従来の対話システムでは，どのような観点でユーザの意図を理解するのかユーザからはわからない

図 1: 目標とするレシピ提案対話例

ため，先行研究 [1] では観光スポットを特徴づける観点をシステム応答の中で提示し，その観点についてのユーザの好みを問うような形で，システムがユーザ意図を理解する観点をユーザに徐々に開示している．この手法は，言語でのインタラクションというモーダル
では自然ではあるが，対話が長くなるという傾向がある．システムがどのような観点を内部に持っているのかを，ユーザがより短い対話で理解できるようにした
い．そこで，ユーザの意図に関連のある画像を対話シ― 220 ―

図 2: 対話システム概要

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

対話の枠組みは CookChat [2] を参考に作成した．
CookChat1 はパナソニック株式会社の提供する対話によるレシピ提案サービスである．対話システムの概要図を図 2 に示す．フロントエンドは，ユーザからの入力テキストを言語解析する言語理解部と，入力画像から画像に写っている料理名と特徴を出力する画像理解部，システムが選択した行動に応じてユーザに出力
図 3: AHP 法における階層構造テキストを提示する言語生成部からなる．言語生成部
は，既定のフォーマットにキーワードを当てはめてシ率分布として，Psys = (P r(p1 = 1), ..., P r(pM = 1))，ステムの応答文を生成している．

ユーザの知識の状態を表す確率分布として，Ksys =(P r(k1 = 1), ..., P r(kM = 1)) と表す．ユーザの状

3

方策学習モデル

3.1

学習アルゴリズム態 S = {s1 , ..., sM } は嗜好の確率と知識の確率をかけたものである Psys Ksys を利用し，sm = P r(pm =1)P r(km = 1) が成り立つ．システムが推定するユー相談型の対話を扱うために POMDP を用いたユーザの知識と嗜好を考慮する対話状態のモデルが提案されている先行研究 [1] に基づきモデルを作成した．ユーザの嗜好 Psys はベイズ則を適用することで式 (2) のように更新される．ここで，I t = (atsys , atuser ) はユー
ザとシステム間のインタラクションを表す．

ザの意図を推測するために，意思決定支援タスクではP r(pm = 1|I t ) =代表的な手法として階層分析法 (AHP 法) [3] が利用

P r(I t |pm = 1)P r(pm = 1)t
P r(I |pm = 1)P r(pm = 1) + P r(I t |pm = 0)P r(pm = 0)されている．AHP 法では，問題の要素を「最終目標」(2)「評価基準」「代替案」の三階層に分け，ユーザの各評

報酬はランダムにレシピを決定した場合と比較して，価基準に対する局所重み (重要度) を推定することによ

どれだけよい選択であるかに基づいて，下式 (3) のより最適な意思決定を行う．レシピ推薦システムにおけうに与えられる．ここで l はユーザが決定したレシピる最終目標は，ユーザ自身の嗜好に合ったレシピを決を指す．

定することであり，代替案はシステムが提示できるレR=シピのリストである．評価基準には「料理を決める際M∑

1 ∑∑pm vnm
N n=1 m=1
Npm vlm −m=1

M(3)に重視しているもの」を，実際に 20 代の女性 8 名にアンケートをとり，評価基準を選んだ．アンケートに以下に推薦手法とシステムの対話例を示す．

は先行研究 [4] を参考に，評価グリッド法という，人1. 現在話題のレシピに関する情報推薦

間が何を知覚して，その結果どのような評価を下して

User: (鍋の画像)いるのかという認知構造を同定するための方法を用い

System: 鍋のように野菜が多くて、温まるものが食べたいでた．図 3 に例を示す．評価基準 m が M 個，代替案（レすか？

シピ）n が N 個あるとき，ユーザにとって最適なレシピの推薦を行うために，ユーザの評価基準に対する重み P = (p1 , p2 , ..., pM )，各代替案に対する各評価基準の観点からの重み V = (v11 , v12 , ..., v1M , ..., vN M ) を決定する．ユーザにとって最適なレシピの候補 ˆl は式

2. 現在話題の評価基準に関する情報推薦
User: がっつりしたものが食べたい
System: がっつりした料理だと、唐揚げや麻婆豆腐はいかがですか？

3. オープンプロンプト(1) に従い選択する．

System: 何か食べたいものはありますか？

ˆl = argmaxlM∑

pm vlm(1)m=14. 推定したユーザの知識が低い順に決定要因の提示
System: 簡単な料理がいいですか？

システムはユーザの内部状態を直接観測することができないためユーザとのインタラクションから推定する．システムが推定するユーザの嗜好の状態を表す確
1 https://www.weekcook.jp/trial/cookchat/lp.html

5. 推定したユーザの知識が高い順に決定要因の提示
System: 簡単な料理がいいですか？

6. 推定したユーザの嗜好に従ってレシピの推薦
System: 湯豆腐をお勧めします。

― 221 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

システムの行動は，これら 6 つの推薦手法から式 (4)推定したユーザの嗜好ベクトル Psys それぞれを確率に示すソフトマックス方策に従って選択する．また，分布と見なし，カルバックライブラー情報量を測った．

ソフトマックス方策におけるパラメータ θ を自然方

その結果を図 6 に示す．黄線が料理画像を入力に用い

策勾配法 (Natural Actor Critic: NAC) を用いて最た場合，青線が言語のみを入力とした場合である．図 6

適化する．パラメータ θ = (θ11 , θ12 , ..., θ1M , ..., θAM )より，どちらの場合もカルバックライブラー情報量のは,A(行動数，今回は 6 つ) × M (状態の特徴数) 個の値は小さくなり，対話が進むごとにユーザの嗜好ベクパラメータと置く．

トルは推定できていると言える．更に，料理画像を入π(asys = a′ |S) ==P r(asys = a′ |S, θ)∑Mexp( i=m sm θa′ m )
(4)
∑A
∑M
a=1 exp(i=m sm θam )力に使用した場合は使用しなかった場合と比べてより早くカルバックライブラー情報量の値が小さくなっており，これは料理画像の入力を利用することで，ユーザから対話システムへの意図の伝達ステップを短縮できたことを示している．

3.2

簡易実験

小規模なレシピ提案システムを作成した．評価基準
をアンケート結果から 11 個 { さっぱり, がっつり, 簡
単, ヘルシー, お酒に合う, 温まる, 丼, ダイエット, バ
ランスがいい, 煮る, 蒸す }，レシピを WeekCook ナ
ビ 2 から 8 つ { サラダ, 牛丼, 唐揚げ, 麻婆豆腐, 湯豆
腐, 生姜焼き, 焼きそば, ピザ, 鍋 } を選び，実装を行った．20 対話を 5 エピソード，3 回試行を行い，その平均値を取った．各試行におけるパラメータの更新した後の方策と，受け取った報酬を図 4 に示す．図 4 より，パラメータを NAC を用いて学習できたことが確認できる．また，報酬が高くなっていることから，NAC を
図 5: 実験対話例

用いて調整したパラメータを利用することで，対話に最適な行動を選択することができたと言える．

図 6: ターン数と KL 情報量

図 4: パラメータの更新と報酬の関係
次に，料理画像をユーザが入力に用いた場合と，言語のみを入力とした場合の対話した例を図 5 に示す 3 ．
また，ユーザが { さっぱり, 簡単, ヘルシー, 温まる,4

おわりにダイエット, 煮る } の 6 つの嗜好を持つとき，真の嗜本研究では，ユーザの嗜好を考慮した対話を達成す好ベクトルは Puser = (1, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0) とするために，料理画像の入力に基づく対話システムのフる．Puser と，料理画像をユーザが入力に用いた場合レームワークを提案した．ユーザの画像入力から言語と，言語のみを入力とした場合の二つの各対話ごとに情報が生成されるという想定のもと，その言語情報か

2 https://www.weekcook.jp/index.html
3 画像表示の GUI については実装中である．

らユーザ意図を逐次的に更新し推定する方策学習モデルを構築した．また，料理画像の入力を用いた場合と― 222 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

言語のみを入力とした場合を比較を行い，料理画像による情報提示を用いることで，より短い時間でユーザからシステムへ意図をより早く伝達できることを確認した．今後の課題として，画像入力からの言語生成の結合と，それを用いてプロトタイプを構築し，実ユー
ザ評価を行うことが挙げられる．

参考文献[1] 翠輝久, 大竹清敬, 堀智織, 柏岡秀紀 “意思決定を支援する音声対話システム” 言語処理学会 第 18回年次大会発表論文集, pp.658-661, 2012.

[2] 遠藤充, 牛尾貴志, 山上勝義, 堀井則彰 “発話とコマンドの系列を制御する対話エージェント”, 第31 回人工知能学会全国大会, 4Q1-7in2, 2017.
[3] T. Saaty. The Analytic Hierarchy Process:Planning, Priority Setting, Resource Allocation.
Mcgraw-Hill, 1980.
[4] 杉浦孔明, 岩橋直人, 芳賀麻誉美, 堀智織 “階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験”, 観光情報学会第 8 回研究発表会, 2013.

― 223 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.