情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P06
2021/3/10

食べられる再帰性反射材の反射パターンに基づく
位置姿勢基準マーカー
船戸優希1

奥寛雅1

概要：食品へのプロジェクションマッピングの投影の際の基準マーカーとして，飴や寒天などで作成された食べられる再帰性反射材の利用が考えられており，反射材の姿勢情報を取得することで，食品の姿勢に追従したマッピングを行なうことが可能となっている．先行研究では，食べられる再帰性反射材の姿勢情報を取得する手法として，食べられる再帰性反射材の表面に AR マーカーのパターンを作成した「食べられる AR マーカー」と呼ばれる物が提案されているが，AR マーカーとして利用する都合上，決められたパターンを厳密に作成する必要がある，形が正方形でなくてはならないなどの制約がある．そこで，本研
究ではテンプレートマッチングを利用して姿勢情報を取得する手法を提案する．この手法では再帰性反射材のパターンや形を自由に作成できるといった利点があり，前述した問題点を解決するものである．提案
手法ではテンプレートマッチングの中でも，回転や傾きに対応しているホモグラフィー変換 (射影変換) を用いたテンプレートマッチングを行い，マッチングの過程で得られる変換行列を用いて投影したい画像を変形する．評価実験とその結果から提案手法の有効性を示す．

1. はじめにとが出来る。
再帰性反射材の姿勢情報などを推定する手法としては，近年食べ物へのプロジェクションマッピングについて関食べられる再帰性反射材にスライスチョコレートなどを用心が高まっている．プロジェクションマッピングでは投影いてパターンを作成する食べられる AR マーカーが提案さ対象の位置や姿勢にあわせて映像を投影する必要があり，れているが [3]，AR マーカーで定めるマーカーの形状に再そのためには投影対象である食べ物の位置や姿勢をカメラ

帰性反射材の反射パターンが正確に合うように加工をする画像などから計測することが必要である．しかし食べ物は必要がある．しかし材料の特性や再帰性反射原理の制約か複雑な形状をもち，また人間が手で作ることが多いためそら精密な反射パターンの形成は難しかった．の形状もまちまちであることが多いため，一般的に画像かそこで，本研究では食べられる再帰性反射材の表面のパらのその位置や姿勢を安定に検出することは難しい．そのターンをもとにホモグラフィーワープによるテンプレーため，食べ物の位置や姿勢検出を容易にするマーカーの利トマッチングを行って，姿勢推定する手法を提案する．こ用が望ましい．の手法では，比較的自由なパターンや形で作成された再プロジェクションマッピングのマーカーとして，寒天や帰性反射材が利用可能となる利点がある．なお，ホモグラ

飴で作成された食べられる再帰性反射材 [1] が宇治らによフィーワープによるテンプレートマッチングは従来の手法り提案されている．食べられる再帰性反射材は食用可能なでは計算時間が長くなるため，効率的な最適化手法である素材で作成されており，食品の上で使用しても安全である

ESM を用いた．という利点がある．食べられる再帰性反射材をプロジェクションマッピングの基準マーカーとして利用する際には姿

2. 食べられる再帰性反射材

勢情報を推定できると，投影したい物体の姿勢に合わせた食べられる再帰性反射材とは，飴や寒天などで作成され投影を行うことが可能となる．例として再帰性反射材を上た再帰性反射材である．再帰性反射材とは入射した光を入に乗せたケーキに対してプロジェクションマッピングを行射方向に反射させる光学素子で，自転車や標識の反射材とうと仮定すると，再帰性反射材の姿勢情報を取得することして用いられている．再帰性反射材には大きく分けてコーでケーキの回転や傾きに合わせて投影画像を変形させるこ

ナーキューブ型とビーズ型の二種類が存在し，食べられる再帰性反射材はコーナーキューブ型で作成されている．

1

群馬大学

© 2021 Information Processing Society of Japan758

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P06
2021/3/10

図 1 食べられる再帰性反射材
図 2

ホモグラフィーワープの説明

コーナーキューブ型の再帰性反射材は三枚の平面を直角にを考える．対象が平面であるため，I ∗ と I の間の対応関係組み合わせた立方体の頂点角を模した構造を表面に持ってはホモグラフィ変換で記述できる．本研究では，マーカーいる．この三平面で光が全反射することにより，光が入射を正面から観察した像をテンプレート画像 I ∗ とした．ま

方向へ向かってゆき，再帰性反射を起こす．

た，実際にカメラが観察している対象画像 I をホモグラ

作成方法は，既存のコーナーキューブ型の再帰性反射材フィ変換した結果が I ∗ に近づくようにホモグラフィ変換でシリコン型を作成し，作成した型に溶融した寒天や飴をのパラメータを推定することでテンプレートマッチングを入れて固めるといったものである．寒天製の物と飴製の物行った．また，マーカーが載せられている平面上への投影にはそれぞれ特徴があり，寒天製のものは柔らかい食感がに必要な像は，テンプレートマッチングで得られたホモグ実現でき湿度に強いが乾燥に弱く，一方で飴製のものは硬ラフィ変換の逆変換を利用することで得ることができる．

い触感で乾燥に強いが湿度や水分に弱い．寒天製のものより飴製の物の方が乾燥に強く再帰性反射を維持する時間が3.2 ESM

長いため [2]，今回は飴製の物を使用した．なお，コーナーホモグラフィ変換はパラメータが多いこともあり，テンキューブ型の再帰性反射材は，表面のキューブの形状が再プレートマッチングで利用する最適化アルゴリズムには効現できていないと全反射を起こさなくなる．そのため，形率が求められる．特にテンプレートマッチングに適したも状が正確に再現できていない部分は再帰性反射を起こしにのとして，ESM 法を用いる手法が提案されており [6]，本研

くくなる．食べられる再帰性反射材では作成の際に気泡が究でもこの手法を利用した．ESM(Eﬃcient Second-order

入るなどして形状を再現できない部分が発生する．今回のMinimization) は効率的な非線形最小化アルゴリズムの一研究では，そのような作成過程で発生する反射のムラをテつである．この手法は，あらかじめ最適解が判明しているンプレートマッチングの際のパターンとして利用した。

必要があるため，普通の問題では使用が難しいが，テンプ

3. 反射パターンに基づく位置・姿勢推定

レートマッチングでは最適解がテンプレートとして与えら本研究では食べられる再帰性反射材がもつ非一様の反射パターンを手掛かりとして，その姿勢を推定する手法を提案する．反射パターンからの姿勢推定にはテンプレートマッチングを用いる．テンプレートマッチングは，探索したい対象の画像領域をテンプレートとして登録し，入力画像の中からテンプレートと類似する部分を検出する手法である．具体的には入力画像に変換を行い，その変換結果がテンプレートとできるだけ類似するように変換のパラメータを最適化することでマッチングを行っており，この座標変換を特にワープと呼ぶ．本研究では，対象の姿勢推定をれているため適用が可能である．ESM は以下のように書き表すことが出来る．ワープの更新は，合成法で行い，現在の推定パラメータを z，更新量を ∆z として，∑= I(w(w(x; ∆z); z)) − I ∗の最小化を行うこととなる．この式は，テンプレート画像とワープ後の画像との差分を表しており，この値が小さくなるほど，テンプレート画像とワープ画像の類似度が高くなる．∆z の更新則は以下の式となる．

∆z = −J† esm (s (z) − s∗ )実現するために，対象の傾きに起因する変形も記述できる
ホモグラフィーワープに基づくテンプレートマッチング手(1)k∈T

Jesm =11(J (z) + J∗ ) = (JI (z) + JI ∗ )JW JG
22(2)
(3)

ここで，s∗ はテンプレート画像の画素値を縦に並べた縦法を利用した [6][7]．

ベクトル，s(z) は対象画像の画素値を縦に並べた縦ベクト

3.1 ホモグラフィー変換
対象が平面であると仮定し，これをある視点から撮影し∗たテンプレート画像 I と，別の視点から撮影した画像 I© 2021 Information Processing Society of Japanル，JI (z) は対象画像ベクトルのヤコビアン，J∗I はテンプ
レート画像ベクトルのヤコビアン，JW はワープ画像のグ
ラディエント，JG はホモグラフィ行列をパラメータ化す

759

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P06
2021/3/10

るための表式における各パラメータの係数に対応する行列映像を投影することができ，このシステムをるみペンと呼であるが，詳細は参考文献を参照頂きたい [6]．このうち，んでいる．

J∗I , JW , JG は定数行列であるためトラッキングの際にはあ本 実 験 で は ，高 速 ビ ジ ョ ン と し て IDP-らかじめ計算しておくことが可能である．そのため，計算

ExpressR2000(Photron)，プ ロ ジ ェ ク タ ー と し ての必要な変数が少なくなることから最適化に必要な計算量4950WU(EPSON) を利用した．

が小さくなる．

4.

4.2 実験手順

評価実験

この実験では，飴製で正方形状の食べられる再帰性反射

本研究では，実際に提案手法でマーカーの姿勢推定が可材をマーカーとして利用し，そのマーカーが視野中央に来能であるか確認するための実験を行った．具体的な内容とるように高速視線制御系でトラッキングを行い，その状態しては，食べられる再帰性反射材をマーカーとして利用し，でマーカーの姿勢をテンプレートマッチングで計測した．

上述したテンプレートマッチング手法を利用して姿勢情報

トラッキングに必要なマーカーの位置は画像重心から推を取得し，取得した情報を元に投影画像を変形し投影する定した．計測したマーカーの姿勢に合わせて投影像をマー実験を行ったカーの脇に投影し，計測した姿勢に応じた投影像が得られるのかを画像として記録した．
各試行では，最初に前準備として初期位置の再帰性反射

4.1 実験環境実験のために，これまで研究室で開発されてきたるみペ材を正面から撮影した画像をテンプレートとして登録し，ンと呼ばれるシステムを利用した．るみペンは光軸を高速必要な値をあらかじめ計算する．この準備が終わった後にに制御できる高速視線制御機構 [4] と高速ビジョン・プロ

姿勢推定と推定結果に基づく映像投影を開始する．具体的ジェクターを組み合わせたシステムである [5]．には以下の処理を繰り返す．

高速視線制御機構は，カメラやプロジェクターの光軸の( 1 ) 再帰性反射材が画面の中央に来るようにカメラの視点を移動させ，画像を撮影する方向を複数枚の回転鏡を動かすことによって制御する機構である．鏡はカメラやプロジェクター本体に比べ軽量であ( 2 ) カメラから読み込まれた画像に対しテンプレートマッるため，ミリ秒のオーダで高速に駆動させることが可能でチングを行い，再帰性反射材がテンプレートと同じ姿ある．また，高速視線制御機構に 1000fps などで画像の取勢になるように画像を変換 (図 4 上段の計算)得・処理が可能な高速ビジョンを組み合わせ，画像から物( 3 ) テンプレートマッチングの結果からホモグラフィ行列を導出

体を認識してミラーを制御することで移動する物体の追跡も可能となっている．
高速ビジョンとプロジェクターを同時に接続できるの( 4 ) 導出した行列の逆行列を求める( 5 ) 逆行列を利用して投影画像を変形する (図 4 下段の計算)

で，物体を追跡しながらプロジェクターからその物体上に( 6 ) 変形した画像を投影
以上の実験では，マーカー画像の取得，マーカー位置推定，マーカーの姿勢推定を 125Hz で行った．また，プロジェクターのフレームレートが 60Hz 程度であるため，投影像の生成は 60Hz で行った．

4.3

実験結果

実験結果を図 5 に示す．この実験では図中右上にある

図 3 るみペンの説明© 2021 Information Processing Society of Japan

図 4 投影像生成の流れ760

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P06
2021/3/10

マーカーを 45°ずつ時計回りに回転させ，その回転に合わ

再帰性反射材を位置姿勢基準マーカーとして利用する手法

せて左下の投影像を変形・投影した結果を示す．なお，投を提案した．さらに，提案手法によって食べられる再帰性影像の座標原点は左上にあり，マーカーの原点であるマー反射材の像から位置姿勢推定を行うことが可能であることカーの左上からずらして表示している．実験の結果，投影を実験から示した．実験から，食べられる再帰性反射材の画像が再帰性反射材の姿勢と連動して変形していることが作成時に発生する反射のムラのみではマッチングの際に確認できた．実験では再帰性反射材の回転には問題なく対誤認識することがあったり，傾きに対して推定が不安定に応し，傾きに対しても一定の範囲内では対応していた．傾なるという問題があることがわかった．これらの問題に対きが一定範囲を超えるとテンプレートマッチングが失敗しし，今回は正方形状の再帰性反射材をマーカーとして用いたが，これは再帰性反射材が再帰性反射を起こす限界角度たが，対称性の少ない形状にすることで改善するのではなを超えてしまったためだと考えられる．再帰性反射材にはいかと考えている．

再帰性反射を起こす限界角度があり，飴製の食べられる再帰性反射材は，佐藤らの論文によれば 10 度以上から急激

謝辞 本研究の一部は科研費 20K20626 の助成により実施されたものである．に反射光の照度が小さくなる．照度が小さくなると，反射材の見え方が変わってしまうため，テンプレートマッチン

参考文献

グが失敗したと考えられる．この点は今後の課題である．

[1]

また，食べられる再帰性反射材を高速に動かすと，姿勢情報を誤認識することがあった．例を挙げれば，再帰性反[2]

射材を初期位置から 180 度回転させた際に，テンプレートマッチングでは 90 度回転させた形だと認識してしまうといったものである．これは，食べられる再帰性反射材の表[3]面のパターンが 90 度回転した場合と 180 度回転した場合との間に大きな違いがなかったためだと考えられる．

5.

[4]

まとめ

本研究ではテンプレートマッチングを用いて食べられる

[5]

[6]

[7]

図 5

宇治 貴大, 張 依婷, 奥 寛雅 : 食べられる再帰性反射材の提案と試作, 日本バーチャルリアリティ学会論文誌 2017年 22 巻 4 号 p. 535-543, (2017).
佐藤美子, 船戸優希, 奥寛雅 : 飴を材料とする食べられる再帰性反射材の提案と試作, インタラクション 2019 論文集，情報処理学会 (2019).
張依婷，奥寛雅 : 食べられる再帰性反射材による食べられる AR マーカーの提案と試作，第 22 回日本バーチャルリアリティ学会大会 (VRSJ2017) (徳島大学常三島キャン
パス, 徳島, 2017.9.29) ／論文集，3E1-06 (2017).
奥村 光平，奥 寛雅，石川 正俊 : アクティブビジョンの高速化を担う光学的視線制御システム，日本ロボット学会誌，Vol.29，No.2，pp.201-211，(2011).
奥村光平，奥寛雅，石川正俊： 高速光軸制御を用いた動的物体への投影型拡張現実感， 映像情報メディア学会誌，
Vol.67，No.7, pp.J204-J211 (2013)橋本浩一 : ジュアルサーボー VI 一ビジュアルトラッキ
ング, システム制御情報学会誌 Vol.54 No .7,pp .264-273(2010).
伊藤栄介 岡谷貴之 出口光一郎 : GPU を用いた高速高精度な平面トラッキング, 情報処理学会研究報告
Vol2010-CVIM-172 No.30 (2010).

姿勢推定結果に合わせた映像投影の様子© 2021 Information Processing Society of Japan761