情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-85
2020/3/9

高精度な食べられる基準マーカの提案と試作
佐藤 優至1

清水 翠1

奥 寛雅1

概要：近年，食品へのプロジェクションマッピングの試みが盛んになっており，食べられる AR マーカが提案されている．しかし，AR マーカは正面付近から観測した時の姿勢推定精度が悪いという問題がある．
これを解決するマーカとしてマイクロレンズアレイを用いた ArrayMark が提案されている．本研究では，飴製マイクロレンズアレイを用いた食べられる ArrayMark を提案する．見かけのパターンの変化を画像解析により性能評価した結果，高い姿勢推定精度を確認することができたので報告する．

1. はじめに
近年，立体物の表面に映像を投影するプロジェクションマッピングが注目されている．投影対象としては静止した物体が多く利用されてきたが，最近は食品へのプロジェクションマッピングも盛んになっている [1][2][3]．実際にプロジェクションマッピングを行うためには，投影対象の位置や姿勢を知る必要がある．しかし，投影対象が食品の場合，環境や作り手によって形状が異なるため，画像処理のみから位置・姿勢を検出することは困難である．

図 1 十字パターン変化の原理の説明

そこで，食品の位置や姿勢を推定することができる食べられる AR マーカが提案されている [4]．これは寒天により形成された再帰性反射素子とチョコレート製の遮蔽材により形成された AR マーカであり，これを食品の上に置くことで，食品の位置・姿勢を検出できるようにするものである．すべての要素を食品で作製しているため，食べてしまっても健康上の問題はなく，料理の上に置いても安全である．
従来の AR マーカの問題点として，正面付近から観測したときの姿勢推定精度が悪いという問題がある．これを解決する AR ツールとして，マイクロレンズアレイを用いた

ArrayMark というマーカが田中らによって提案されている [5]．しかし，従来のマイクロレンズアレイはガラスやプラスチック製であり食べられなかった．
そこで本研究では，飴製マイクロレンズアレイを開発することで，ArrayMark の原理による高い姿勢推定精度と食べられるという機能を両立する，食べられる ArrayMarkを提案し，その作製方法と，姿勢推定実験による性能評価の結果を報告する．

2. ArrayMark
提案されている ArrayMark[5] は，マイクロレンズアレイという微小なレンズエレメントが多数配列した光学素子を用いる．この ArrayMark では，マイクロレンズアレイの焦点面に多数の小さい十字形が印刷されており，十字形の配置はマイクロレンズとは相似であるが，その間隔がマイクロレンズアレイより少し短くなっている．図 1 にパターン変化の原理の説明を示す．この配置により，各マイクロレンズは十字形の異なった部分を拡大する．これを上から見たときにレンズ越しに見える十字形は，多数の十字形の部分拡大像が統合されてできた大きな十字となる．この配置関係により，視線角度に対応して異なる位置に十字形の像が生成される．
実際の試作例の写真を図 2 に示す．この写真からわかる
ように，ArrayMark はマイクロレンズアレイと，それを支えて十字パターンと一定の距離を保つ支持台（スペーサ），さらに十字パターンが印刷されたシートからなる．

1

群馬大学

© 2020 Information Processing Society of Japan487

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-85
2020/3/9

１．容器に型となるレンズを固定し，シリコンを流し込む

２．シリコンが固まったら容器から外す

シリコン型完成！

３．シリコン型の上に還元イ
ソマルツロースと水をはかる

４．シリコン型ごと電子レンジに入れ，加熱する

５．飴の気泡を除去し冷却する

６．シリコン型から飴を外す完成！

図 3

図 2

飴製マイクロレンズアレイ作製手順

十字形パターンとマイクロレンズアレイの配置

3. 食べられる ArrayMark の作製方法
ArrayMark を可食とするには，マイクロレンズアレイ，スペーサ，十字パターンを有するシートをすべて食材から形成する必要がある．このうち，スペーサは何らかの固体状の食材を適切な形状にすればよいので，その可食化は容易である．また，現在食べられる紙に食べられるインクで印刷するフードプリンタが市販されているので，十字パターンを有するシートの可食化も容易である [6]．問題は

図 4

飴製マイクロレンズアレイ

マイクロレンズアレイの可食化であり，以下に実現方法を型として使用したマイクロレンズアレイと作製した飴製マ説明する．

イクロレンズアレイの詳細を以下に示す．

• フライアイレンズ スモール
3.1 マイクロレンズアレイの材料– 品番 63-230

本研究では，すでに再帰性反射材の形成で実績のある飴– メーカ Edmund Opticsをマイクロレンズアレイの素材として選定した．飴は糖か– レンズのピッチ 3×4[mm]ら作られるが，なかでもはちみつなどに含まれるイソマル– 焦点距離 38.10[mm]

ツロースを還元した還元イソマルツロースが光学素子の形– 各レンズの曲率半径 20.00±2成に適している．この糖はグラニュー糖などの通常の糖に• 飴製マイクロレンズアレイ

比べ高温に煮詰めてもキャラメル化しにくく，透明度があ– レンズのピッチ 3×4[mm]るという特徴がある [7]．本研究では還元イソマルツロー– 焦点距離 34[mm]スを用いて飴製マイクロレンズアレイを作製する．

3.3 食べられる ArrayMark の試作
3.2 飴製マイクロレンズアレイの作製手順

マイクロレンズアレイとスペーサ部を食材のみから形

飴製マイクロレンズアレイの作製手順を図 3 に示し，そ成した試作品を開発した．ただし，実験の都合上，十字パの内容を以下に述べる．また，作製したマイクロレンズア

ターンが印字されたシートは紙と通常のプリンタで作製しレイを図 4 に示す．

た．このシートはフードプリンタと可食シートを利用する( 1 ) 食品用シリコン（エングレービングジャパン HTV-ことで容易に食材で置き換えられるので最終的な可食化に4000）で詳細は後述する市販のマイクロレンズアレイの型を取る問題はない．試作品の写真を図 5 に示す．
作製方法としては次の通りである．まず，飴製のマイク( 2 ) （1）で作製したシリコン型の上に還元イソマルツロー

ロレンズ上に図 2 での黒枠部分をチョコペンで描いた．ス

ス 8g と水 2.4g を置き，飴がキャラメル化しない程度ペーサとなる柱も飴で作製した．柱の作製方法は飴製マイに型ごと電子レンジで加熱する

クロレンズアレイ同様，シリコン型を作製し飴を固めるこ( 3 ) 飴を均一に冷却し，凝固したらシリコン型から飴を外す© 2020 Information Processing Society of Japanとで作製した．十字形パターンは紙にプリンタで印刷したものを用いた．

488

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 51P-85
2020/3/9

図 6 観測角と十字形の移動量の関係

食べられる ArrayMark 試作品の写真

4. 性能評価
ArrayMark の原理は特に姿勢検出精度が優れているため，本研究では特に姿勢検出精度の評価を行った．

4.1 観測角と十字形の移動量の関係評価のために，マーカを観測している視点位置と観察される十字の位置の関係を説明する．図 6 に関係の記述に利用する変数を説明する．マーカの画像を計測しているカメラの視点位置とマーカ中心位置とを結んだ線が，マーカ法線方向となす角度を観測角と呼ぶこととし，θ と表す．ArrayMark 上の座標系における十字形の移動量を X ，

図 7

十字形位置推定手順

ArrayMark から視点までの高さを h，マイクロレンズアレイから十字形パターンまでの距離を f ，マイクロレンズア

手法 [5] を参考に，カメラで撮影した画像から十字形の位レイのピッチを A，十字形パターンのピッチを a とする．

置を求めた．具体的な手順は以下の通りである．また，手視点からマイクロレンズ上に観察される像は視点とそのマ順を図示したものを図 7 に示す．

イクロレンズ中心を結んだ延長線上に描かれているパター( 1 ) 画像中の矩形領域を検出し，透視変換を行うンを拡大したものとなり，この関係から観測角と十字形の( 2 ) 透視変換後の画像を二値化処理し，マスク処理する移動量の関係が以下のように求まる．これを理論値とした．

( 3 ) 十字形の重心を求める

f h sin θ()
X=af + h cos θ 1 − A(1)

なお本来の ArrayMark は，焦点距離 f を数 mm 程度と( 4 ) 求めた重心の周辺領域から十字形状のサンプリング点群によりスキャンし，最も暗い十字形領域を特定し，これを十字形の位置とする十分短く取ることで ArrayMark から視点までの高さ h の影響は無視できるようになるため，マーカまでの距離に依4.3 評価方法

存しない．ところが，今回試作した飴製マイクロレンズア

以下の 3 種類の試作品について性能評価を行った．

レイの焦点距離が 34mm と比較的長く，高さ h の影響が無( 1 ) 試作品 1:市販のガラス製マイクロレンズアレイを用い視できなかったため理論値に含める形とした．もっと焦点距離の短いマイクロレンズアレイを形成すればこの問題は解消されると考えている．

た従来と同様の ArrayMark( 2 ) 試作品 2:飴製マイクロレンズアレイと食べられないスペーサ（プラスチックや金属）で構成された ArrayMark( 3 ) 試作品 3:飴製マイクロレンズアレイと食べられるス
4.2 画像解析
画像解析の手法として，田中らによって提案されている© 2020 Information Processing Society of Japan

ペーサ（飴やチョコレート）で構成された ArrayMark
各 ArrayMark を 12 分（=12/60 度）ずつ傾けることで観489

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-85
2020/3/9

図 8 測定環境
図 9 試作品 1 での推定結果

測角が 0◦ から 3◦ まで，それぞれ 16 枚ずつ画像を撮影し，十字形の位置を検出して十字形の移動量を求めた．この測定環境を図示したものが図 8 である．使用した機材を以下に示す．

• カメラ

MC023MG-SY(XIMEA)• ゴニオステージ

GOH-40A15(シグマ光機)– バーニア最小読取 12’• ArrayMark– マイクロレンズアレイ• 食べられる ArrayMark– 飴製マイクロレンズアレイ• 十字形パターンピッチ 2.85×3.8[mm]
4.4 評価結果

図 10 試作品 2 での推定結果求めた十字形の移動量の結果を図 9，図 10，図 11 に示
す．横軸は十字形の移動量，縦軸は ArrayMark を傾けた角度，すなわち観測角である．青い線は理論式から予測される関係であり，オレンジ色の点は測定された点，オレンジの点線は測定点に関する回帰直線である．理論値は (1)式を用いたときの値である．結果より，測定結果と理論値との間には誤差があることがわかった．これはマイクロレ
ンズアレイと十字形パターンの間の距離がマイクロレンズアレイの焦点距離と完全に一致せずに誤差があることが原因である可能性がある．
しかし，すべての測定結果において十字の移動量と角度の関係は線形であり，実際に実験などで使う場合は予めキャリブレーション行えば角度推定は十分可能であると

図 11 試作品 3 での推定結果予測される．実際，回帰直線と測定値の間の二乗平均誤差(RMSE) は 0.1 度程度であり，最も可食部が多い試作品 3では 0.076 度の RMSE を達成した．通常の AR マーカのと同様の高い姿勢推定精度を持つことが確認できた．今後正面付近での角度推定誤差が 6 度程度あること [4] を考えは十字形パターンを食材に置き換えて完全な食べられる

ると，通常の AR マーカより 100 倍程度高い精度の角度推ArrayMark の実現し，プロジェクションマッピングなどへ定を達成できると考えられる．の応用を目指す予定である．

5. まとめ謝辞

本研究では，飴製マイクロレンズアレイを用いた食べられる ArrayMark を提案し，実験の結果から従来の ArrayMark© 2020 Information Processing Society of Japan

本研究は JSPS 科研費 JP18K19799 の助成を受けたものである．

490

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-85
2020/3/9

参考文献
[1]

[2]

[3]

[4]

[5]

[6]
[7]

鳴海拓志，松尾宇人，櫻井翔，谷川智洋，廣瀬通孝：食卓へのプロジェクションマッピングによる食の知覚と認知の変容 天ぷらを例題として ，日本バーチャルリアリティ
学会論文誌，Vol.23,No.2,(2018.06)
宇治貴大，張依女亭，奥寛雅：食べられる再帰性反射材の提案と試作，日本バーチャルリアリティ学会論文誌，Vol.22,No.4,pp 535-543,(2017)
佐藤美子，船戸優希，奥寛雅：飴を材料とする食べられる再帰性反射材の提案と試作，インタラクション 2019 論文集，情報処理学会 (2019)
H. Oku, T. Uji, Y. Zhang, K. Shibahara : Edible fiducial marker made of edible retroreflector, Computers &Graphics, Vol.77, pp.156-165(2018)
田中秀幸，角保志，松本吉央：正面からの観測でも高精度な姿勢推定が可能な AR マーカ，情報処理学会研究報告，Vol.2012CG147,No.3(2012.06.22)
SO-KEN: http://www.trickprint.com(2019.12.20)
サントス・アントワーヌ：サントス・アントワーヌの美しい飴細工 基本と応用，柴田書店 (2012)© 2020 Information Processing Society of Japan

491