WISS2008

拡張現実食卓における彩りと物語の調理システム
An Augmented Dining System for Cooking Optical Decorations and Storytelling

森 麻紀

栗原 一貴

塚田 浩二

椎尾 一郎∗

Summary. 本論文では，一般家庭における調理者やプロの調理人が使用することを想定した，拡張現実コンテンツのオーサリングとプレゼンテーションシステムを提案する．これにより，テーブル面，皿，料理を彩るためのイラストや時間的に変化するコンテンツを作成し，拡張現実食卓に提示することができる．
拡張現実食卓は，上方にプロジェクタとカメラを備えていて，画像処理技術により，食卓上の料理の位置や食事進行状況を認識し，食卓上方から対応する情報をオーバレイ提示することが可能である．本システム
は切る，焼く，盛り付けるといった既存の調理法に新たな一手法を加えるものであり，「調理者の仕事は料理を食卓にサーブするまで」であった現状に，更なる表現のステップとコミュニケーションの機会を付与するものである．

1

はじめに食事は，日常生活の中で必要不可欠な要素である．
それは生存に必要な栄養を摂取するという生物の根源的な営みであるが，そこにわれわれは様々な副次的な意義を重ねている．たとえば食事は重要な対人コミュニケーションの場として機能する．また，規則正しい生活のリズムを整え，好みの食物の摂取は精神の安定につながる場合も多い．現代社会においては，食事が適切に行われないことによる様々な問題が指摘されてきており，「食」を通じて健全な社会生活を実現することを目指した法整備も行われている [1]．
一方で，食事の調理法は人類が長い歴史の中でそれぞれの文化圏において成熟させてきたものだが，基本的に「いかに作り，食事者1 の前にサーブするか」という点に着眼点があり，「いかに食べられるか」の過程の調理法は不足していると考えられる．
その根拠は以下の２点の洞察による．まず，給仕が関与するような食事の場であっても，最終的には食事者の裁量による手作業で食事は進行するという食事のもつ特性により，料理のサーブ後の挙動の予測が難しかったこと．もう一つは，物理法則に従う現実の食材を用いた「食べられる過程」のダイナミックなデザインに限界があったことである．第一番目の問題に対しては，フランス料理に代表されるように皿単位で食事をコース化したり，もしくは中華料
Copyright is held by the author(s).
Maki Mori, お茶の水女子大学大学院人間文化創成科学研究科 , Kazutaka Kurihara, 産業技術総合研究所/東京大学 大学総合教育研究センター マイクロソフト先進教育
環境寄附研究部門, Tsukada Koji, お茶の水女子大学 お茶大アカデミックプロダクション, Itiro Siio, お茶の水女子大学大学院人間文化創成科学研究科
1
調理者と対比して「食べる人」の意味で用いる∗理の作法のように，複数の料理を同時にサーブし広く選択可能にすることで食事進行の制御がなされてきている例を見ることができる．一方第二番目の問題に対しても，食べていくうちに中から新たな食材が現れるような演出は可能であるものの，効果的なデザインを誰でも簡単に実現できる状況ではない．
我々は，円滑なコミュニケーションや健全な社会生活といった，単なる栄養摂取を越えた食事の副次的意義のさらなる達成のために，料理のサーブ後に「いかに食べられるか」の部分を調理者がデザイン可能な調理法を確立することが重要であると考え，そのための情報システムを提案する．通常，このような食事の副次的意義の達成は明示的には調理には組み込まれず，食事にかかわる人たちの間で即興的に行われている．しかしここに「作りこむ」手法を追加することで即興の負担が軽減されるとともに，即興では成し得ない完成度の高い調理も可能になる．
食事といういわば時系列コンテンツベースコミュ
ニケーション進行を「作りこむ」ことを考える上で，我々はこれまで研究が進んでいる電子プレゼンテー
ションツールの技法と拡張現実技術を取り入れる．
料理の価値を決める重要な要素の一つである光学的な彩り [2] やメッセージを準備し（図 1 上），食事の進行にあわせて手動もしくは自動で連続的に提示することで料理に物語性を付与する（図 1 下）．
時系列コンテンツオーサリング，特に視聴覚コンテンツについては動画撮影と編集，Flash などのタイムラインを用いたオーサリング手法などが研究されているが，幅広いエンドユーザが短時間で作業できること，および作りこみの不足部分を会話によって容易に補えることを評価し，スライドを編集するタイプの電子プレゼンテーションオーサリングを採用した．拡張現実技術については，画像処理を用いて光学的な付加情報を食卓上にオーバレイすること

WISS 2008

図 1. システム概念図:光学的彩りやメッセージを編集(上); 食事の進行にあわせて提示 (下).

で，実際の食材がもつ物理的な制約にとらわれないデザインを可能にし，また情報の遷移を容易にする．
本論文は以下のように構成されている．まず，次章で既存研究について言及し，3 章で本システムの詳細について述べる．4 章で実際に本システムを用いてどのような料理とコミュニケーションがデザインされ，実施されるかをいくつかの代表的なシナリオを例示しながら展望する．最後に 5 章で本論文をまとめ，今後の展望を示す．

2

関連研究

本研究は，拡張現実の手法とスライド提示型プレゼンテーションの手法を用いることをキーアイディアとする，食卓と食事の研究である．この観点から既存研究を整理する．テーブルにプロジェクタで映像を投影してインタラクションを行う研究は，Wellnerの DigitalDesk[3] にはじまり，それ以後，椎尾による InfoBinder[4] を含め，非常に数多くの研究が行われているが，既存のテーブルトップインタフェースの研究は，主に，オフィスや共同作業の場を対象としており，食事の場でのアプリケーションはほとんど研究されていない．食卓をターゲットとした拡
張現実の研究には，幼稚園児を対象とした，しつけのための研究が行われている [6]．また，皿に写真を投影して食事中のコミュニケーションを支援するものがある [5]．これは料理を載せた皿以外に空の皿を用意し，そこにプロジェクタを用いて写真を投影するものである．本研究ではこのような食事中の教育やコミュニケーションの充実のために，幅広いエンドユーザによるコンテンツオーサリングと実践を可能にする．皿を彩るものとしては，森らの皿に載せた料理の色に合わせて，プロジェクタから柄を投影し，皿を彩るというものがあるが [2]，本研究ではそれを応用し，時間的に推移するコンテンツ提示とオーサリング手法を充実させる．
本研究では，食事に関するコンテンツ作成と提示においてプレゼンテーションツールの手法を応用する．コンテンツをスライドという単位に区切りオーサリングし発表するスタイルは現在一般的なプレゼンテーション手法であり，PowerPoint[7] やKeyNote[8] が標準的に用いられている．本研究でもコンテンツをスライドというメタファーに区切り提示するこれらの手法を継承する．一方で本研究ではコンテンツ提示において，多様な皿サイズや刻々と変化する皿の変化に対応しコンテンツをオーバレイ提示するために，スライド資料のピクセル単位での平行移動，拡大と縮小などが必要である．そこでZUI(Zooming User Interface) を採用する．ZUI はPad[9]，CounterPoint[10]，KidPad[11]，ことだま[12] などで用いられている情報ナビゲーション手法であり，無限の広さをもつ模造紙状の空間に情報を配置し，視点を平行移動，ズームすることで連続的な情報提示を行うものであり，提案システムの実装に適している．また，キッチンにおけるコンテンツのラピッドプロトタイピングを行う必要があるため，電子ペンのみによるオーサリングと提示手法を文献[12] のように活用している．

3

システム概要本システムはカメラとプロジェクタ，およびデザイン用の液晶ペンタブレット（もしくは TabletPC）が組み込まれたキッチンとダイニングルームにおいて，調理者が食材自体の調理に加え，皿の柄のデザインや，食べる人へのメッセージ，サーブされたときの料理の姿の作りこみ，食べている間に変化していく要素などをデザインすることができる．図 2 に本システムの概要を示す．
調理台の脇で作業することや，調理後に料理が冷めない間に作業を終わらせることを考え，マウス，キーボードは使わず，電子ペン入力だけで作業が行えるようにした2 ．また，図 3 のように，液晶ペンタブレットは引き出しの中に組み込み，調理中に飛ぶ油や水の害を防ぐ．
ユーザ（調理者）は電子ペンを用いて，ペン入力だけで料理・皿・テーブルに提示する情報をスライ
ド提示型プレゼンテーションと同様の操作で作成する．作成したコンテンツは，ダイニングテーブルの上方に設置した，ランプシェードで隠したプロジェ
2

感圧式のペンタブレットを使えば，汚れた手でペンを触っても，水洗いが可能である．

An Augmented Dining System for Cooking Optical Decorations and Storytelling

機能および編集する皿（料理）の変更機能を選択し，新たに編集を行う．これらを連続的に提示することで，料理者と食事者の間でのインタラクティブなコミュニケーションや，パラパラ漫画のような動きのあるコンテンツを作成可能である．作成したスライド群は ZUI によって図 5 のように俯瞰表示することにより，常に状況を把握できる．

図 2. キッチンとダイニングルームに組み込まれたシステムの構成要素

図 4. デザインする

図 3. コンテンツ編集用液晶ペンタブレット

クタから料理に重畳する形で投影する．以下にその詳しい手順について示す．

3.1 ユーザインタフェース
3.1.1 コンテンツオーサリング
料理・皿・テーブルに投影するコンテンツをデザインするためのオーサリングツールの操作画面を図 4に示す．初期画面では，料理を盛り付けた皿を表すガイドとして円が描かれている．円を皿にみたてて，その周辺や内側にユーザは一般的な描画機能を用いて，文字や絵を描いたり，任意の画像をドラッグアンドドロップで貼りつけることでデザインを行っていく．よく使われるデザイン素材（皿の柄，野菜や果物が畑でなっている画像，さまざまな装飾，アニメーションするキャラクタなど）をあらかじめ収集したライブラリブラウザ（図 4 右）から貼り付けることも可能である．本ツールによるコンテンツの作成は任意のタイミングで行うことができるが，料理の盛り付け後であればツールバーの「料理画像の取り込み」を選択することにより，キッチンの撮影スペース (図 2(a)) から編集画面に実画像を取り込んで作業が行える．コンテンツに時間的な変化を加えたい場合は，ツールバーから新しいスライドの追加

図 5. 作成したスライド群

3.1.2

コンテンツ提示コンテンツのデザイン後，もしくは既存ファイルの読み込み後に「食事開始」を選択すると，コンテンツ提示が開始される．コンテンツ提示時には，オーサリング時にガイドとして表示されていた円や取り込んだ料理画像は非表示になる．
料理が一品しか無い場合は，任意の色の皿が利用可能である．料理が複数の皿に及ぶ場合（コース料理モード）は，画像処理により，皿の外枠の色から料理の識別をするため，青，黄，赤などの皿に料理を盛り付けサーブする．すると皿の色に応じたスライドが表示される．例えば，黄色の皿を置くと，黄色の皿に対応する最初のスライドにジャンプする．
スライドを前後に送る方法には以下の２つがある．

WISS 2008

手動進行

3.3

コンテンツ提示中はいつでも，テーブルに埋め込まれたスイッチ，およびペン操作やあらかじめ定義したキー入力，ワイヤレスマウスのクリックなどをトリガとして，スライドを前後に遷移できる．調理者がキッチンにいる場合や食卓で給仕・コミュニケーションをする場合など，状況に応じて使い分ける．

本システムは画像処理モジュールとプレゼンテーションモジュールの二つのソフトウェアモジュールから構成されている．以下に順に説明する.

自動進行
自動進行モードでコンテンツ提示を開始すると，食事の進行状況に応じてスライドが自動的に進行する．現在は画像処理により，サーブされた状態に対する料理の減り具合を求め，その進行度をスライドの枚数に対応づけた遷移が行われる．例えば，黄の皿用にスライドを 4 枚設定されている場合を考える．
皿が黄色に認識されると，黄の皿用スライドの最初に飛び，料理が 75 ％，50 ％，25 ％，0 ％と減るにつれて，スライドが遷移していく．
自動進行モードを用いることにより，手動進行では一人の食事者に一人のスライド操作者の存在が必要なのに対し，複数の食事者に対する無人のコンテンツ提示が可能になる．今後手動進行と自動進行の柔軟な切り替えや，指定の時間で進行する，などの自動進行アルゴリズムのオーサリングがきめ細かく行えるようにしていきたい．

3.2

ハードウェア構成

本システムのハードウェア構成は図 6 のようになっている. キッチン部の料理撮影用カメラ，およびダイニングでの画像処理用カメラは Logicool 社の QCAM-200V などの汎用の Web カメラを使用している．投影するコンテンツを作成する際には，Wacom の液晶ペンタブレットもしくは TabletPCを使用する．プロジェクタは CASIO の XJ-S30 を使用している．

ソフトウェア構成

画像処理モジュール
画像処理モジュールでは，テーブルの上に置かれた皿の位置，色（皿の種類），色づき度（料理の進行度）のリアルタイム検出を行う．実装には OpenCVライブラリを用いている．本プロトタイプでは，全体が白いか，周辺だけに単色の色がついている円形の皿を利用している. そこで，皿の位置認識は，皿が円形であることを利用し，Hough 変換で円を探し，円の中心座標，半径を取得することで行う．許容する半径値を制限することで，誤認識は軽減される．皿の色認識は，皿の種類を識別するために行う．
上記位置認識で得られた情報から皿の外周部分だけの画像を作り，その色の判定を行っている．食事の進行度を測るために，現在は簡易的に料理画像中の色づき度を求める手法をとっている．色づき度は以下の手順で求める．皿の外枠を除いた内側部分の画像を切り出し，HSV 色空間において色がついている（皿の地の色ではない）ピクセル数を数える．その数が皿ごとに料理開始時の何割になったかを求め，色づき度として出力する．色づき度は，皿を置いたとき (食事開始時) に 1 となり，食べ終わって色づきがなくなったときに 0 となる．
現在のシステムでは，食事状況認識技術として画像処理技術のみを用いている．これは実装が低コストで簡便である半面，様々な仮定と限界があることを認識している．たとえば現在は，食事者は 1 人で，高々数種類の既知の皿の中から 1 枚の皿がテーブルに置かれることを仮定している．複数の皿を同時に認識する機能拡張は，皿のサイズや皿の色を変更しユニークなものにすることで可能であろう．皿の色認識による料理識別についても，本手法ではたとえば 10 色を越えるような皿の認識は精度が低下し現実的ではないだろう．
一方で，食事状況認識技術として別のセンサシステムを導入することももちろん有効である．たとえば皿にマーカーを印刷して識別することで，複数の皿と食事者に容易に対応できるであろう．また，重量センサを食卓に装備することにより [6]，食事の開始と終了のタイミングや料理の残量をより明示的に正確に知ることができ，より詳細なインタラクションが実現できるだろうと考えられる．
プレゼンテーションモジュール

図 6. ハードウェア構成

プレゼンテーションモジュールでは，ダイニングテーブルに投影するコンテンツを作成・提示する．
料理は必ずしも計算機操作スキルの豊富な人が行うものではないので，幅広いユーザ層が調理中に利用

An Augmented Dining System for Cooking Optical Decorations and Storytelling

することを可能とする UI を備えていなければならない．そこで電子ペンを用いてオーサリングと発表を行うことができ，エンドユーザによる活用実績も豊富なオープンソースプレゼンテーションプラット
フォームである，「ことだま [12]」を採用し，食卓に特化した機能をプラグイン（追加機能）として実装した．ことだまを用いることにより，画像の張り込みや多彩な手書きによる絵画的・言語的な表現機能がそのまま活用できる．
本モジュールは画像処理モジュールから出力された皿の位置，皿の種類，食事の進行度情報をもとに，ZUI を用いたスライドの表示位置補正とスライドの自動切り替えを行う．位置補正については，ハードウェア環境１セットごとにはじめに１度だけ自動キャリブレーションを行い，カメラ系とプロジェクタ系の座標変換行列を得る．キャリブレーションア
ルゴリズムについては一般的なものを用いているので，詳細は割愛する．

4(b)

(c)

使用シナリオ

以下に我々の想定している本システムの使用シ
ナリオ例を紹介し，有用性を示す．図 7 において，(a),(c),(f),(h) は食卓の様子，(b),(d),(g),(i) は食卓の様子にそれぞれ対応する投影コンテンツである．
(a) および (b)(c)(d)(e) は，本システムを家庭における食育に活用した例である．(a)(b) では，料理に使われている食材のもとの形状や，畑でなっている様子が投影されている．調理されているものがどのように育ったのかを知ることで，食べ物の大切さなどを感じることができる．より若者向けには，料理の傍らに栄養素含有量やその効能を提示し，ダイエッ
トや体調管理に生かすことも考えられる．(c)(d)(e)は嫌いなものを残していると，食べるよう促す様子を示したものである．食事が進むにつれ，メッセー
ジも変化し，注意，激励，褒めなどを食事者に伝える．(f)(g) および (h)(i) は，本システムを用いて料理を芸術的に彩る例である．(f)(g) はレストランや自宅での特別な食事を想定している．コース料理のメインディッシュのハンバーグにはプロジェクタからハートが投影されており，光学的彩りが人体に影響のないインタラクティブな着色料として使われている．(h)(i) は皿の柄を含めてデザインされている例である．縁（ふち）の面積が広い皿を用いることで，表現の対象がさらに広がることが示されている．

5(a)まとめと今後の展望

本論文では，一般家庭における調理者やプロの調理人が，食卓における料理・皿・テーブルに，彩りのデザインや時間的に変化する情報の編集と提示を行えるような拡張現実コンテンツオーサリング・プ
レゼンテーションシステムを提案し，いくつかのシ(d)

(e)

(f)

(g)

(h)

(i)

図 7.
シ ス テ ム 使 用 例:(a),(c),(f ),(h) 食 卓 の 様子;(b),(d),(g),(i) 食卓の様子にそれぞれ対応する投影コンテンツ; (e) 料理を食べ終わった後に投影するコンテンツ

WISS 2008

ナリオを提示することでその可能性を示した．
今後は，複数皿，複数食事者への対応などの機能充実を図るとともに，本システムを用いたワークショップ開催等を通じて，エンドユーザによって実際にどのような食事のデザインがなされるかを調査したい．また，遠隔地で食事する家族の皿が，自分の皿の横に表示され，あたかも一緒に食べているような感覚を味わえたり，文献 [13] のように認識技術を発展させることで食事中のマナーを教えてくれたりするようなシステム拡張も行いたい．将来的に、
文献 [14] のようなレシピ共有サイトにおいて，本システムで作成したコンテンツも Web 共有することが可能になったとき，コミュニティ上でどのように拡張現実コンテンツが流通し，利用され，改変されていくかを調査することも興味深い研究対象である．

謝辞
本研究はマイクロソフトの支援を受けた.

参考文献[1] 食 育 基 本 法
日 本 政 府 法 令 デ ー
タ 提 供 シ ス テ ムhttp://law.egov.go.jp/htmldata/H17/H17HO063.html[2] 森 麻紀, 栗原 一貴, 塚田 浩二, 椎尾 一郎. いろどりん: 食卓の彩り支援システム. 電子情報通信学会技術研究報告, IEICE Technical Report, MVE200779 (2008-01), 107(454), pp. 69-72, 2008.
[3] P. Wellner. Interacting with paper on the DigitalDesk. Communications of the ACM, 36(7),pp.87-96, 1993.
[4] I. Siio. InfoBinder: A Pointing Device for Virtual Deaktop System. Symbiosis of Human andArtifact: Human and Social Aspects of HumanComputer Interaction, pp.261-264, 1995.
[5] 天野健太，西本一志．六の膳: お皿に写真を投影するシステムによる食卓コミュニケーション支援. 情報処理学会研究報告，2004(31), pp.103-108, 2004.
[6] T.-Y. Lin, K.-H. Chang, S.-Y. Liu, and H.-H.
Chu. A persuasive game to encourage healthy dietary behaviors of young children. in Demo Session & Adjunct Proceedings of the 8th ACM International Conference on Ubiquitous Computing(UBICOMP 2006), 2006.
[7] Microsoft,
PowerPoint,
http://office.microsoft.com/home/default.aspx.
[8] Apple,
Keynote,http://www.apple.com/iwork/keynote/.
[9] K. Perlin, and D. Fox. Pad: An Alternative Approach to the Computer Interface. In ProceedingsofSIGGRAPH’93, pp. 57-64, 1993.
[10] L. Good, and B. Bederson. CounterPoint: Creating jazzy interactive presentations. HCIL TechReport 2003-03, University of Maryland, CollegePark, MD 207427, 2001.

[11] J. P. Hourcade, B. B. Bederson, A. Druin, andG. Taxén. KidPad: collaborative storytelling forchildren. CHI ’02: CHI ’02 extended abstracts
on Human factors in computing systems, pp.500501, 2002.
[12] 栗原 一貴, 五十嵐 健夫, 伊東 乾, 編集と発表を電子ペンで統一的に行うプレゼンテーションツールとその教育現場への応用 (特集:インタラクティブソフトウェア), コンピュータソフトウェア,23(4):14-25,
2006. http://dev.tyzoh.jp/trac/kotodama/wiki[13] K. Kurihara, M. Goto, J. Ogata, Y. Matsusaka,and T. Igarashi. Presentation sensei: a presentation training system using speech and image
processing. ICMI ’07: Proceedings of the 9th international conference on Multimodal interfaces,
pp.358–365, 2007.
[14] CookPad http://cookpad.com/