インタラクティブな拡張現実食卓の提案
武藤 愛美

1

(指導教員：椎尾 一郎)

はじめに

1. テーブル上にある複数の皿それぞれにコンテンツを表示させる．
2. 簡単にコンテンツを指定して表示させることができる．

食事は私たちの日常生活において欠かす事のできないものである．家族にとって食卓は会話によってコミュニケーションを深める大切な場であり，特に子供にとっては，食の教育や食事のマナーを学ぶ重要な場でもある．
食事の最も重要な要素は「おいしさ」であるが，そのおいしさには二面性があり，実質的に味を構成する要素の他に，心理的に加味された要素も無視することはできない．味覚以外の視覚，聴覚，触覚，嗅覚によっても，我々は料理の心理的なおいしさを知覚しており，その中でも視覚がもっとも感受性が高いといわれている [1]．このことから本研究室ではこれまでに，料理の彩りをより良く見せ，食事をより楽しいものにするシステム「いろどりん [2]」や，テーブル面，皿，料理などを食事の進行状況に合わせて，飾り付けを行う事ができるシステム「Dining Presenter[3]」を開発した．
本研究では Dining Presenter の機能を拡張し，複数人の家族で囲む家庭の食卓において食事に合わせたコンテンツをより手軽に表示させることができるシステム，Dining Marker Viewer を提案し，実装した．本論文ではまず，Dining Presenter について説明した後，提案した Dining Marker Viewer について詳細を説明する．

2

第１点目は，複数の皿を認識する点である．本機能を実装するにあたって，Dining Presenter の皿バーコード認識プログラムを改良し，確実な皿の認識を実現した．これについては次章にて詳細を述べる．第２点目
は，皿の場所に表示するコンテンツの指定を簡単に行う事ができる点である．Dining Presenter では食事の進度に合わせてコンテンツを表示するタイミングを指定させる事が可能であった．しかし，実際の食事の場面においては，会話や雰囲気などのコンテキストによって，表示させたいコンテンツが変わってしまう場合が考えられる．そこで本システムでは２次元コードが描かれたカードをバーコード皿にかざすことで，皿に関連付けるコンテンツを簡単に指定する機能を実現した．

Dining Presenter

Dining Presenter は，食卓に拡張現実コンテンツを表示するためのシステムである．調理者は，キッチンに置かれたタブレット PC を利用して，それぞれの皿の上や周辺に表示させるための拡張現実コンテンツを作成する．一方，食卓の上方には，プロジェクタとカメラが設置されている．カメラによって，皿の識別と位置検出が行われて，結び付けられたコンテンツが皿の場所に表示される．
Dining Presenter では，テーブル上の複数の皿を識別するために，外周の色の異なる皿を用いていた．また，より確実な識別を目指して，皿の外周に白黒のマーカをデザインしたバーコード皿を提案した．これにより，各皿の状況に合わせたコンテンツを表示させる事ができる．しかし皿バーコードに関しては，認識プログラムが未完成であった．
また，Dining Presenter ではコンテンツをあらかじめ調理場で作製するため，たとえば子どもの食が進まない時に，食事を応援するコンテンツを表示するなどのように，実際の食事の場面に柔軟に対応することができない問題点が指摘されていた．本論文において我々が提案する「Dining Marker Viewer」ではこれらの問題を解決し，実際の食事の場面において，コンテンツを簡単に各皿へ表示させる仕組みを実現した．

3

図 1: Dining Marker Viewer の動作イメージ

3.1

実装

本システムでコンテンツ指定に使うカードは，表面にコンテンツの説明が書かれていて，裏面に 2 次元コードが印刷されている．2 次元コードには，ARToolkit で使われる AR マーカを採用した．AR マーカには，ひらがなや漢字，絵などを用いることができるので，ユーザに分かりやすいという利点がある．AR マーカの登録やシステム実装の簡単化のために QPToolKit1 を利用した．QPToolKit は，ARToolKit をベースに作られた位置計測サーバプログラムで， Web カメラを使った ID 認識，２次元／３次元の位置姿勢計測を簡単に行うことができる．
本システムでは，あらかじめ作成したイラストや文字のコンテンツをシステムに登録し，それに対応したAR マーカを持ったカードを用意しておく．食卓のユー
ザがカードをバーコード皿の上にかざし，カードを裏返して裏面の AR マーカを上方のカメラに向けると，システムはマーカの ID と位置情報を読み取る．位置
情報とバーコード皿の中心座標を比較し，座標が一致

Dining Marker Viewer

Dining Marker Viewer は複数人の家族で囲む家庭の食卓において食事に合わせたコンテンツをより手軽に表示させることができるシステムである (図 1)．本システムの特徴は，以下の２点である．

1 http://kougaku-navi.net/QPToolkit

83

した皿に，マーカに応じたコンテンツを結びつけて，皿の位置に表示する (図 2)．
皿バーコードを用いて各皿の位置検出を行えるため，複数の皿それぞれに違うコンテンツを表示することも可能であり，皿を移動させる場合も，コンテンツも一緒に移動する．

本システムでは full HD 解像度のカメラを使用しているものの，食卓に置かれた皿バーコードの幅が 1 な
いし 2 画素程度になる場合がある．そのため，線幅を計測する際に，画素数（整数値）だけではなく，サブピクセル単位（小数）まで考慮した．実際には，しきい値を挟んだ境界の 2 画素を直線補間して，しきい値にあたる小数部分を算出した．これにより遠方の皿バーコード認識率が大幅に向上した．
こうして検出した８方向のバーコード値のうち，最も多く認識された値が，他のどの値より３以上多かったとき，皿バーコードの値とした．バーコードが検出できなかった円は，皿以外の円形の物体が検出されたものとして無視することにした．一方で，バーコード皿が存在しても，たまたまあるフレームで検出に失敗することもある．そこで，カメラから取得した画像の直近の 10 フレームで，50 ％以上皿バーコードが認識された場合には皿が存在すると判定した．

図 2: Dining Marker Viewer のシステム構成

4

皿バーコード皿バーコードは，Dining Presenter において複数の皿を認識するために提案された．これは，皿の外周部分に描かれた黒 3 本，白 2 本の同心円状の線である．
これを半径方向に見ることで，バーコードと同様の手法で，皿を識別できる．5 本の線のうち 2 本を太い幅にすることで， 10 種類のコードを実現できる．また，太い幅の線より十分に広い余白を持たせることで，コードの開始と終了を表す．
従来のバーコードや 2 次元コードと違い，皿バーコードは皿の周囲に自然に配置できるため，食卓に置いても違和感の無いデザインを実現できる．また，皿の全周囲にコードを配置しているので，料理，手，食器，反射などで皿バーコードの一部が見えなくても，複数の半径方向に走査を行うことで認識可能である．さらに，デコードに先立って，コンピュータビジョン (CV)で使われる一般 Hough 変換を利用して円形の皿を検出すれば，バーコードを走査すべき半径方向が判明するので，認識速度や認識率を向上させることができる．
本研究では，CV ライブラリとして OpenCV を用いて，C 言語による皿バーコード識別プログラムを作成した．ここではまず，食卓上方に設置した USB カメラから取得した画像を，OpenCV の関数を用いてグレースケール化する．次に，この画像に写った複数の皿を検出するために，OpenCV の Hough 変換機能により円を探す．この円が，皿の候補となるので，円周部分を画像処理して，皿バーコードを検出する．
次に，図 3 に示すように，検出された円周の上下左右と斜め４５度方向の，全８方向でバーコードを走査する．実際には，皿の半径を R とすると，R*0.7 からR*1.4 までの半径方向のピクセル値を取得し，白，黒の幅を測定する．このとき，白と黒のしきい値として，ピクセル値の最大値と最小値の中間値を用いた．当初
は，該当ピクセル値の平均値をしきい値として用いたが，バーコードの白と黒の領域面積が半々ではないた
め，中間値にすることにより認識率が向上した．

図 3: 皿バーコードの動作イメージ

5

まとめと今後の課題

プロジェクタとカメラを上方に設置した食卓で，ARマーカをデザインしたカードを皿の上にかざすことにより，料理に関連付けたコンテンツを表示するシステ
ム「Dining Marker Viewer」を提案し，実装した．また，皿の識別のために，皿外周に配置された皿バーコードを認識するプログラムを作成した．
今後は，実際の食卓でエンドユーザによる評価実験を行い，実用化に近づけていきたい．

6

謝辞

本研究を進めるにあたり，ご助言，ご指導いただきました，お茶大アカデミックプロダクションの塚田浩二氏に深く感謝いたします。

参考文献[1] 斉藤進：食品色彩の科学, 幸書房 (1997).
[2] 森麻紀, 栗原一貴, 塚田浩二, 椎尾一郎：いろどりん：食卓の彩りを良くする拡張現実システム, 情報処理学会第 70 回全国大会講演論文集, pp. 4–245–246(2008).
[3] 森麻紀, 栗原一貴, 塚田浩二, 椎尾一郎：投影型拡張現実システム食卓への応用, 情報処理学会第 72回全国大会講演論文集, pp. 4–205–206 (2010).
84