情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-75
2019/3/6

MOFa: 食べた物と身体状態の記録を利用した音声による自分専用食事提案システム
松尾歩実†1 谷口恵一朗†1 橋田朋子†1
概要：対面の会話において何かを決定する際に，会話の主導権を握る人が現れず，決定に時間がかかることや，他者に決断を委ねてしまうことで全員が納得する結論を出せずに終わってしまう問題が生じる．そこで，自分の履歴に基づくレコメンドを，対面でのコミュニケーションを阻害しない形で参照するシステムを開発することで，その問題を解決する．本研究では，どのような食物を食べるかを複数人で話し合って決める状況を想定し，ユーザの会話中にユーザ自身の客観的・身体的データに基づくレコメンドをリアルタイムにさりげなく音声で読み上げるシステム
MOFa(My Own Facilitator)を提案する．このシステムでは，客観的なデータとしてユーザが食べた食事名と,その食事をとった際の体調の具合と空腹であったか満腹であったかの二種の身体状態情報を合わせて記録する．その身体状態情報に基づく食事提案情報を，イヤホンを通して会話中に提示する．

1. はじめに筆者らの同世代では，しばしば対面の会話において何かを

本稿では先行事例，提案手法，実験，今後の展望とまとめについて述べる．

決定する際に，会話の主導権を握る人が現れず，決定に時

2. 先行事例間がかかることや，他者に決断を委ねてしまうことで全員

2.1 食の記録と管理をするスマホアプリが納得する結論を出せずに終わってしまうといった状況がユーザの食事を記録し管理するスマートフォンアプリケ生じる．この一つの理由として SNS や EC サイトなどの発ーションは数多く開発されている．クックパッド株式会社

達により情報世界で何かを決める際には，発信・検索・購の「料理きろく」は，スマートフォンで撮影した写真の中入といった自分自身の多様な履歴やそれに基づくレコメンから，最近作ったもの・食べたもの・飲んだものなどの写ドを参照することが容易で，それらを頼りに判断したり発真が自動でアップロードされ「料理きろく」に時系列で記信したりする在り方に我々が慣れてしまっていることが挙録されるというものである[1]．自分だけの食事ログとしてげられる．そこで筆者らは，実世界においても，自分の多定期的に料理に対するフィードバックを確認することがで様な履歴やそれに基づくレコメンドを，対面でのコミュニきる．また，ライフログテクノロジー株式会社が開発を手ケーションを阻害しない形で参照できれば，自信を持ってがけた「カロミル」というアプリケーションは，AI が食事発言し，会話をリードしていくことも可能なのではないかを識別する栄養管理・ダイエットアプリケーションである．と考えた．そのための具体的な手法として本研究では，ユスマートフォンのカメラ機能を用いて撮影された画像からーザの会話中にユーザ自身の客観的・身体的データに基づ食事の画像だけを抽出し，食事画像認識 AI によって食事

くレコメンドをリアルタイムにさりげなく音声で読み上げ名の他にカロリーや栄養素などのデータも蓄積・分析できる機能を持った装着型のシステムを提案する．このシステる[2]．本研究ではカロリーや栄養素といった食事自体のデムを MOFa(My Own Facilitator)と呼ぶ．

ータではなく，個人が食事をしたときの身体状態の記録を何かを決定する会話の例として本稿では特に，どのような同時にする点や，これらの履歴を次の食事の決定補助のた食物を食べるかを複数人で話し合って決める状況を想定すめに用いる点で異なる．

る．提案システムはスマートフォン上のアプリケーション

2.2 履歴を利用して次のアクションにいかす試みとスマートフォンに接続されたイヤホンによって構成され個人の履歴を活用して次のアクションに生かす試みは情る．アプリケーションでは客観的なデータとしてユーザが報世界で既に一般化している．ユーザの過去の購入履歴や食べた食事名と，身体的データとして食事メニューを決め閲覧履歴から嗜好情報を分析・推測し提案することでよりる際の一つの指標になる，体調の具合と空腹であったか満購入する可能性の高い商品を勧める手法である，EC サイ腹であったかの二種の身体状態情報も同時に記録する．ユトのレコメンド機能などがその良い例である．一方で実世ーザが本システムを会話で使用する際には，アプリケーシ界においても個人の履歴を生かすサービスが広まりつつあ

ョン上で身体状態を設定しボタンを一度押すごとに，履歴る．人工知能会話アプリ「SELF」は，会話を通してユーザに基づいた食事提案情報をイヤホンから聞くことができる．の気持ちの変化や生活習慣を学習して対話するアプリケー†1 早稲田大学
Waseda University.

© 2019 Information Processing Society of Japan697

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-75
2019/3/6

ションである[3]．さらに，竹内氏らのレシートログと消費AVSpeechSynthesizer を用いた．食事提案アプリケーション

行動に関する未来予報の研究は，過去の購買情報から未来の画面構成を図 2(b)に示す．の消費行動を予測・提示することでユーザの収支バランスを改善するものである[4]．
対面コミュニケーションを，参加者の何らかの履歴を活用して円滑にする事例として新日鉄住金ソリューションズの取り組みである「くまちゃん」を使った会議改革がある[5]．
「くまちゃん」が，会議で参加者の座る場所を決め，参加者の行動履歴をもとにファシリテーターの役割を担うことで，会議時間の冗長化と発言しにくい人への発言を促し，緊張感のある会議にすることを可能にした．
本研究は，コミュニケーション中の個人に対して個人の記録に基づいた提案をすることで発話を促すものである．

3. 提案手法
MOFa は，ユーザの身体状態情報を入力すると，その個人の客観的・身体的データ履歴に基づく食事名の提案を，会話中に音声で読み上げるスマートフォンアプリケーション
である．提案される食事名は片耳だけイヤホンをつけたユ

図1ーザに対して耳元でささやく形でフィードバックされる．

システム構成図提案システムは具体的に以下の 2 つのアプリケーションで構成される．
・食事情報記録アプリケーション：食事名と共にその時の体調及びお腹の好き具合をレンタルサーバ上のデータベースに記録するアプリケーション
・食事提案アプリケーション：会話をしている際の身体状態を設定し，その状態から選出された食事名を，ボタンを押すごとに読み上げる音声読み上げ型の食事提案ア
プリケーション
3.1 食事情報記録アプリケーション
iOS 用の食事情報記録アプリケーションを Swift4.0 で作成する．食事名，日時，いつの食事なのか（朝食 or 昼食 or 夕食），体調，空腹度を記録する．システム構成を図 1 に示す．
データの記録は無料レンタルサーバの StarServer 上にデー
タベースを作ることにより行った．PHP によりアプリケーションとデータベースの接続を行った．食事情報記録アプ
リケーションの画面構成を図 2(a)に示す．

(a) 食事情報記録
図2

3.2 食事提案アプリケーション

(b)

食事提案

アプリケーションの画面構成

節 3.2 の食事情報記録アプリケーションと同様に iOS 用のテキスト読み上げアプリケーションを Swift4.0 で作成する．これから食事をする時間及び，身体状態として体調と空腹度を設定して更新することにより，会話中のユーザの身体状態に応じた食事名を提案する．食事提案は古いデー
タから，身体状態の両方の数値が一致するもの，片方が一致するものという順に候補を選出するアルゴリズムを PHPにより実装する．候補は前述したアルゴリズムにより 10 個選出し，アプリケーション上のボタンを押すごとに食事名を読み上げる．読み上げの実装は iOS 用の API である© 2019 Information Processing Society of Japan

4. 実験
本システムがユーザの食事決定のための複数人での対面の会話に影響を与えるかを明らかにする実験を行った．以下に実験の詳細について述べる．
4.1 実験方法
実験課題は，食事をとる 30 分から 1 時間前に「これから何を食べに行くか」という話題についての話し合いをグループで行い，食事名を一つ決めてもらうことである．食事698

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-75
2019/3/6

名は洋食や中華といったカテゴリでも，ハンバーグなどとていた割合は 35.6％であった．グループ B のシステムなし

いった具体的な料理名でも良いとした．その食事名を実験の対話において食事名が決定するまでの時間は 3 分 26 秒

者に伝えることで話し合いが終了したと判断する．この話であり，そのうちシステム装着者Ⅱが発話していた割合はし合いを，システムを装着する場合と装着しない場合の 220.7％であった．一方システムありの対話において食事名つの条件で行う.実験参加者は 20 代の男女計 6 名で，3 名が決定するまでの時間は 2 分 35 秒であり，そのうちシスずつ A と B の 2 つのグループに分けた．グループのメンバ

テム装着者Ⅱが発話していた割合は 40.5％であった．

ーは 2 つの試行を通じて同じで，本システムを装着するのはグループの中の 1 名のみである．それぞれの話し合いは別の日程で行う．なお，システムを装着した参加者は，実35.6



13.7

38.4

12.3
    

験前の約 2 週間に渡ってアプリケーションを用いた食事情報記録を行った．今回の実験では条件を統一するために朝  
32.9



食以外の履歴から食事名を得られるようにした．本実験を0%行う前の予備実験時に，朝食は毎日同じである場合や昼食20%

図3や夕食と比較して軽いメニューになるという傾向が見られ，

11.8

38.2

40%

60%



()

17.1

80%



100%

グループ A の被験者ごとの発話時間昼食及び夕食の食事情報記録と大きく異なると判断したからである．さらにデータの用意が約 2 週間分と限られており，昼食及び夕食はメニューや身体状態に関して似ている

40.5



29.118.9

11.5

傾向があると判断したため，今回の実験において朝食以外

  のデータに基づき食事名が提案されるようにした．
本実験では，システムが会話に影響を及ぼすかどうかの判    

断尺度として，食事名が決定するまでの時間に対する各参

20.7

0%

46.6

20%

加者の発話時間を用いる．さらに全員への質問紙による主図4

観評価を行う．各実験後にすべての参加者に実施した，対40%

60%



()

25

7.8

80%

100%



グループ B の被験者ごとの発話時間面での食事決定に関する主観評価項目を表 1 に示す．内容
は(1)会話のスムースさ，(2)発話の自発性，(3)メニューに4.2.2 主観評価の結果対する満足度，(4)決まったメニューと身体状態の適合性の両グループの実験において，システムを装着することで食4 つとする．さらにシステムを装着した参加者には 2 回の事名が決定するまでの時間に対するシステム装着者の発話話し合いの終了後，システムを装着した会話に関して新た割合は増加した．

な主観評価を行なった．主観評価項目を表 2 に示す．そのすべての参加者に対して行った表 1 の質問を，システム内容は(5)提案のスムースさ，(6)システムの圧迫感，(7)発を装着した 2 人と装着しなかった 4 人に分け集計した．図話を促す有効性，(8)実用性の 4 つである．上記 2 つの主観

5 に示すように，表 1 に示す対面での食事決定に関する肯評価はリッカート 5 段階法で行った．さらに後者のシステ定的な主観評価項目に対して，システム装着者に関しては，ムを装着した会話に関する主観評価では，自由回答によるシステムを使用した場合の評価は「会話のスムースさ」を質問を加えて行った．表 3 に質問項目を示す．

除いた 3 項目で評価値が上昇し，評価値が下がった項目は4.2 実験結果なかった．
「発話の自発性」の上昇率が最も大きく変化した．

4.2.1 食事名決定時間と発話時間

また，図 6 に示すように，システム非装着者の評価値は，グループ A とグループ B のシステムの有無による発話時システムを使用した実験のすべての評価項目において下が間の変化を図 3 及び図 4 にまとめる．グラフの数値は一回った．の実験における各参加者の発話秒数と無言の秒数を合計しシステムの装着に関する集計結果を図 7 に示す．「アプリた全体における割合を表示している．発話時間はそれぞれケーションから自分の気持ちにあった提案が得られたかどの参加者の相槌も含め，二人以上が同時に発話した場合もうか」の評価値が一番低かったが，自分の気持に沿った提秒数に数えるとする．また，無言とは実験が開始してから案が得られなかった場合でも発話の手がかりとなっている

終了する間に誰も発話しなかった秒数である．グループ Aことが(6)の質問からわかった.「実際のコミュンケーショのシステムなしの対話において実験を開始してから食事名ンで使いたい」という項目の評価値が一番高かった．

が決定するまでの時間は 1 分 54 秒であり，システム装着

表 3 の自由回答質問に対する代表的な意見を下記に述べ者Ⅰが発話していた割合は 32.9％であった．一方システムる．質問(9)の「今回の実験と実際にグループでご飯に行くありの対話において食事名が決定するまでの時間は 1 分 34

場合との間で異なると思う点」に対する回答として，カテ秒と 20 秒短縮され，そのうちシステム装着者Ⅰが発話しゴリではなく店名で決めることが多い，後に予定がある場© 2019 Information Processing Society of Japan699

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-75
2019/3/6

合途中の店などに限定される事があるという意見が挙がった．質問(10)の「デバイスの改善すべき点」に対する回答
として，イントネーションや自分以外の体調を考慮する場

54

合に自分以外のデータがあると良いという意見が挙がった．
質問(11)の「自分の食べたいメニューは何によって決まっ3 ていると思うか」に対する回答として，最近食べたもの，かけられる時間，値段等が挙がった．質問(12)の自由な気付きに対する回答として，家でしか食べないようなものを言われると困ってしまう，選択に失敗してもアプリケーシ
ョンに責任を押し付けることができる，相手の体調を聞き

2
1
(5)

(6)

図7

出して考慮する必要があるのではないかという意見が挙が

(7)

(8)

システムの装着に関する評価った．
表3
表1
質問番号
(1)
(2)
(3)
(4)

対面での食事決定に関する主観評価項目
質問項目
晩ごはんのメニューをスムースに決めることができた
自発的に意見を言おうとした
決まったメニューに関して満足している
自分の身体状態にあったメニューに決まった

質問番号
(9)
(10)
(11)
(12)

5

質問項目
今回の実験と実際にグループでご飯に行く場合との間で異なると思う点がありましたら書いてください（例：実際は椅子に座って会議のように決めない）
デバイスの改善すべき点が思いつけば書いてください（例：イントネーションが悪い）
自分の食べたいメニューは何によって決まっていると思うか，その外因を思いついたら書いてください（例：前日に何を食べたか）
何か気づいたことがあれば自由に書いてください4.3 考察

4

アプリケーションの装着に関する自由回答質問

初めに，システム装着者は，システムを使用した場合に発3

話時間の割合が上昇している．このことから，システムが あることで会話に積極的に参加するようになった様子が伺える．

2

次に全ての参加者への主観評価の結果からは，システム装着者が，システムがあることで殆どの項目を高く評価して

1
 (1)

図5

 (2)

 (3)

いるのに対し，システム非装着者には逆の傾向が見られる．

 (4)システム装着者による評価

特に「自分の身体状態に合っている」の項目や「自発性」の項目の評価が下がった．これは，システム装着者の記録5と会話時の身体情報に基づいた提案に会話がすすめられる傾向があったためだと考えられる．また，システム装着者

4の自発性が相対的に上昇したためだと考えられる．

3



システム装着者のみの主観評価の結果からは，気持ちに合 

わないメニューを提案されてもそれを手がかりにした発話ができていると感じており，システム装着者が話のバリエ

2ーションを増加させることに寄与したことが示唆される．
1

また，システム装着者は，会話の主導権を握る方向に導か (1)

図6

 (2)

 (3)

 (4)

システム非装着者による評価れたと考えられる．
表 3 の自由回答質問に関して，今回は大学内の会議室で実験したために，大学付近で食べることができる食物や大

表 2 システムを装着した会話に関する主観評価項目
質問番号
(5)
(6)
(7)
(8)

質問項目
アプリから自分の気持に沿ったメニューを得られた
自分の気持ちに沿ったメニューを得なかったときにそれが逆にヒントになったデバイスを使用することで納得した発話を促してくれた
実際のコミュニケーションで使いたい

学付近にあるレストランからカテゴリや食事名を選んでいた．自由回答にも挙がったように，大学のメンバーで話し合う場合，近くで食事を済ませる等，場所に応じた食事提案ができる仕組みを追加するとより装着者の気持ちに沿ったメニューを受け取ることができ，装着の際のストレスも減少すると考えられる．また，かけられる時間や値段も食© 2019 Information Processing Society of Japan

700情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-75
2019/3/6

事を決める際の重要な要素となっているため，必要に応じ参考文献て選択できる仕組みを作ることで，より気持ちに沿う提案[1] “料理きろく：料理写真だけを自動で整理！”
https://cookpad.com/kitchen/intro/cooking_log，(参照 2018-1210)．
[2] “ヘルスケアアプリ「カロミル」スマホ内食事写真を解析，記録する食事管理システムで特許を取得．”
https://prtimes.jp/main/html/rd/p/000000015.000018894.html，(参照 2018-12-10)．
[3] “愚痴を聞いてくれる無料の AI 会話アプリ「SELF」を試してみた．”
https://weekly.ascii.jp/elem/000/000/414/414035/，(参照 201812-10)．
[4] 竹内俊貴，鳴海拓志，西村邦裕，谷川智洋，廣瀬通孝，”レシートログと消費行動に関する未来予測，”電子情報通信学会，Jun．2016．
DOI:https://doi.org/10.11485/itetr.34.25.0_99[5] “仕切り役はロボットのクマ”．https://style．nikkei．
com/article/DGXMZO31528700Y8A600C1000000，(参照 201812-10)．

ができるようになると考えられる．
「実際のコミュニケーシ
ョンに使用したいかどうか」の項目の評価は高く得られたため，以上のような記録方法の改善とシステムの使い方の習得により，より快適に使用することができるようになると考えられる．
さらに，自由回答質問では本実験でシステムを装着した被験者は，「普段は後輩である自分から先輩へ発言することは少ないが，システム装着時には積極的に発言できるようになった」という意見があった．このことから，本システムは立場などの問題で自分から発言のしづらい会話における主導権の握りやすさにも有効だと考えられる．

今後の展望とまとめ
本研究では，ユーザが対面での会話中にリアルタイムで意思決定の補助を行うため，自分自身の客観的・身体的データに基づく提案読み上げ機能をもった装着型のシステムを提案した．システムは，体調や空腹度などの身体状態情報と食事データを同時に記録し，そのデータに基づく提案を会話中に音声で読み上げるスマートフォンアプリケーションとして実装した．また，システムを評価する実験では，システムを用いて会話をすることで，発話の自発性，メニ
ューに対する満足度，メニューと身体状態の適合性の項目でより高く評価され，話のバリエーションを増やすことで会話の主導権を握らせることが可能となった．
今後の展望としては，実験の自由回答項目で得られたような，食事を決める際の他の外因にも注目して，より話者の食べたいものに沿った提案をできるようにしていきたい．
アプリケーションの装着に関する自由回答項目では「本アプリケーションを信用しきれていない」，「実際の会話の最中に使うのは少し難しい」という意見も得られた．この様な課題に対しては，AI 会話アプリ SELF のように，愛着が持てるキャラクターを採用し，対話を繰り返すことにより不信感を払拭することや[4]，提案システムを繰り返し利用し使いこなすことにより解決できると考えられる．今回の記録は，自分の言葉でテキスト化することで，システム装着者に説得力のある提案ができるのではないかと考えたた
め，記録の際にテキストを毎度打ち込んでもらったが，毎日記録するためにはカロミル API[2]などの画像認識技術による記録のように，手間を減らす方法も検討すべきである．
さらに，食事前という状況だけでなく，対面での会話における意思決定の様々な状況で手助けとなるシステムに発展させていきたい．

© 2019 Information Processing Society of Japan701