投影型拡張現実システムの食卓への応用
理学専攻

情報科学コース

森 麻紀(指導教員：椎尾 一郎)

はじめに

1

食事を楽しむためには，おいしさが重要であるが，そのおいしさは五感によって判別される．この五感の感受性の割合の中で，視覚の占める割合が約 8 割で最も多いことから [1]，料理の見た目を良くすることはおいしさを感じる上で重要である．そこで，コンピュータによる視覚的情報を重ねる拡張現実を用いることで，食事を美味しくし食卓を楽しくするためのシステム Dining
Presenter を提案する．Dining Presenter は，食事の内容に合わせた情報提示や，光で食卓を飾りつけ料理の見た目の向上を図ったり，食卓を囲む人同士のコミュニケーション支援を行うことを目的とするシステムである．

DiningPresenter の概要

2

本システムは図 1 のように，キッチンで稼働するオーサリング部と，食卓で使用されるプレゼンテーション部から構成される．ユーザ（調理者）は，キッチンでコンテンツのオーサリングを行い，食卓で食事者にプレゼンテーションをする．キッチンには，料理撮影のために，Logicool 社の QCAM-200V などの汎用の USBカメラを設置している (図 1(a)) ．ユーザ（調理者）はこのカメラを利用して，盛り付け後の料理を撮影し，やはり，キッチンに備え付けられた Wacom 社の液晶タブレット（もしくは TabletPC）を使用して，コンテンツのオーサリングを行う．調理者は，食材自体の調理に加え，皿の柄のデザインや，食べる人へのメッセージ，給仕されたときの料理の姿の作りこみ，食べている間に変化していく要素などをデザインすることができる．調理台の脇で作業することや，調理後に料理が冷めない間に作業を終わらせることを考え，マウス，キーボードは使わず，電子ペン入力だけで作業が行えるようにした1 ．また，図 1(a) のように，液晶ペンタブレットは引き出しの中に組み込み，調理中に飛ぶ油や水の害を防いでいる．
食卓の上方には，ランプシェードで隠したプロジェクタ（CASIO 社の XJ-S30）と USB カメラを設置している．カメラで食卓の状況を把握し，状況に合わせて作成しておいたコンテンツをプロジェクタから料理に重畳する形で投影する (図 1(b))．USB カメラによる画像処理で，食事の進行状況等を把握し，この結果によりコンテンツの進行をコントロールする．

本システムのソフトウェア

3

本システムのソフトウェアについて説明する．

3.1

画像処理モジュールプレゼンテーション部の画像処理モジュールでは，食卓の上に置かれた皿の位置，皿の種類 (サラダの皿，メイン料理の皿，デザートの皿など)，色づき度（料理の進行度）のリアルタイム検出を行う．実装には OpenCVライブラリを用いている．
1 感圧式のペンタブレットを使えば，汚れた手でペンを触っても，水洗いが可能である．

図 1: 本システムの概要:(a) オーサリングツール (b)プレゼンテーションツール
図 2 に本システムで使用する皿を示す．本システム
では，皿の周囲の色，もしくは，皿の周囲にデザインした白黒のマーカにより，皿を識別している．また，使用している皿が円形であることを利用し，OpenCV のHough 変換機能により円を探し，円の中心座標，半径を取得することで，皿の位置と大きさを認識している．
マーカは，皿の外周部分の黒 3 本，白 2 本からなり，うち 2 本が太い幅をもつ，同心円状の柄である．半径方向に見ることで，バーコードと同様の手法で 10 種類の皿を識別できる．皿の中心，半径が取得できているため，半径方向にマーカを走査することが容易である．また，料理や食器などでマーカが見えない部分があっても，中心から複数の方向へ走査することで認識可能である．
色による識別は，周囲の光源の状態などの影響を受けやすいため，多数の皿を識別することが困難である．
それに対して，マーカによる手法は，多数の皿であっても安定して認識できる．今回，両方の方式を併用しているのは，料理の内容に合った様々なデザインの皿を，調理者が選択可能にするためである．これにより，たとえば，色をつけた皿を使うことで，カラフルで明るい雰囲気を味わうことができ，また，白黒のマーカを使うことで，皿の統一感を出すことができる．
食事の進行度を測るためには，現在は簡易的に料理画像中の色づき度を求める手法をとっている．色づき度は以下の手順で求める．皿の外枠を除いた内側部分の画像を切り出し，HSV 色空間において色がついている（皿の地の色ではない）ピクセル数を数える．その数が皿ごとに料理開始時の何割になったかを求め，色づき度として出力する．色づき度は，皿を置いたとき(食事開始時) に 1 となり，食べ終わって色づきがなくなったときに 0 となる．

3.2

コンテンツ作成モジュール

オーサリング部のコンテンツ作成モジュールを用いて，ユーザは食卓に投影するコンテンツをキッチンで作成する．幅広いユーザ層が調理中に利用することを考え，ペン入力だけで自由にデザインすることができるオープンソースプレゼンテーションプラットフォー

図 2: 本システムで使用する皿の例:(a) 皿外周に色がついている皿 (b) バーコード皿
ムである，「ことだま [2]」を採用し，食卓に特化した機能をプラグイン（追加機能）として実装した．こと
だまを用いることにより，画像の張り込みや多彩な手書きによる絵画的・言語的な表現機能がそのまま活用できる．
オーサリングツールの初期画面では，料理を盛り付けた皿を表すガイドとして，円が描かれている．円を皿にみたてて，その周辺や内側にユーザは文字や絵を描いたり，任意の画像をドラッグアンドドロップで貼りつけることでデザインを行っていく．本ツールによるコンテンツの作成は任意のタイミングで行うことができるが，料理の盛り付け後であればキッチンの撮影スペースで撮影した実画像を，編集画面に取り込んで作業が行える．一つの料理 (皿) を食べている間に投影されるスライドが変化するコンテンツも作成可能である．

3.3

コンテンツ提示モジュール

プレゼンテーション部のコンテンツ提示モジュール
は，画像処理モジュールから出力された皿の位置，皿の種類，食事の進行度情報をもとに，ZUI2 を用いたスライドの表示位置補正とスライドの自動切り替えを行う．コンテンツのデザイン後，もしくは既存ファイルの読み込み後に「食事開始」を選択すると，コンテンツ提示が開始される．テーブルに図 2(a),(b) のような皿を置くと，皿の外周部分を画像処理で認識し，料理の識別を行う．すると皿に応じたスライドが表示される．
一つの料理につき，複数のスライドを用意した場合，食事の進行状況に応じてスライドが自動的に進行する．
現在は画像処理により，給仕された状態に対する料理の減り具合を求め，その進行度をスライドの枚数に対応づけた遷移が行われる．例えば，黄の皿用にスライドが 3 枚設定されている場合を考える．黄色の皿が認識されると，黄の皿用スライドの最初に飛び，料理が66 ％，33 ％，0 ％と減るにつれて，スライドが遷移していく．作成したスライド群は ZUI によって俯瞰表示し，確認することができる．

4なものを残していると，食べるよう促す様子を示したものである．食事が進むにつれ，メッセージも変化し，注意，激励，褒めなどを食事者に伝える．図 3(c) は，本システムを用いて，レストランや自宅での特別な食事のために料理を芸術的に彩る例であり，ハンバーグにプロジェクタからハートが投影されている．このように，プロジェクタによる光学的な彩りは，食品の風味や人の健康に影響を与えないバーチャルな着色料として利用できる．
また，この使用シナリオに基づいてデモを行ったと
ころ，以下のような感想と要望，すなわち「プロジェクタの光が自然で本当に皿に柄が描かれているようだ」「料理を食べるのが楽しくなりそうだ．子供が残さず食べてくれそうだ」「朝食を食べる際に，ニュースのヘッドラインや天気が出たら嬉しい」「テーブルからもコンテンツの編集を行い，次に食べる人や，遠隔地で食べている人のコンテンツに反映させたい」などが得られた．得られた要望については今後実装を検討していきたい．

使用シナリオと評価

以下に我々の想定している本システムの使用シナリ
オ例を紹介し，有用性を示す．図 3(a)，(b) は，本システムを家庭における食育に活用した例である．図 3(a)では，料理に使われている食材のもとの形状や，畑で栽培されている様子が投影されている．調理されているものがどのように育ったのかを知ることで，食べ物の大切さなどを感じることができる．図 3(b) は嫌い
2 Zooming User Interface

図 3: システム使用例：(a)(b) 食育の例 (c) 料理を光で彩る例

5

まとめと今後の課題

本論文では，一般家庭における調理者やプロの調理人が，食卓における料理・皿・食卓に，彩りのデザインや時間的に変化する情報の編集と提示を行えるような拡張現実コンテンツオーサリング・プレゼンテーションシステムを提案し，いくつかのシナリオを提示することでその可能性を示した．今後は，複数皿，複数食事者への対応などの機能充実を図るとともに，本システムを用いたワークショップ開催等を通じて，エンドユーザによって実際にどのような食事のデザインがなされるかを調査したい．

参考文献[1] 齋藤 進．食品色彩の科学，幸書房 (1997)[2] 栗原一貴, 五十嵐健夫, 伊東乾, 編集と発表を電子ペンで統一的に行うプレゼンテーションツールとその教育現場への応用