WISS 2018

実物体への映像投影による見かけの変化を用いた視線誘導の提案
宮本 純平 ∗

小池 英樹 ∗

天野 敏之 †

概要. 本研究では，現実世界の物体に映像を投影し，見かけを変化させることで視線誘導を行う手法を提案する．提案手法は，まず物体を撮影し画像処理を施す．画像処理手法として，本研究ではずらしフィルタを提案する．ずらしフィルタは，原画像全体を左右に数ピクセルずつずらすフィルタである．そして，ずらしフィルタを適用した画像の一部を原画像に差し替えた画像を物体自身に重畳投影する．提案手法により，物体全体がぶれて見える中，一部の領域が鮮明に見える現象を利用して視線誘導を行う．物体が移動してもプロジェクタ・カメラ間の再キャリブレーションを行う必要が無いように，本研究では光軸一致プロカムシステムを利用する．本研究では，提案手法の視線誘導効果を検証するために被験者実験を行った．その結果，提案手法によって視線誘導効果が得られることを確認することができた．提案手法は，商店において状況に応じた商品のアピールに応用することが考えられる．

図 1. 提案手法の概念図：現実世界の物体に映像を投影することで見かけを変化させ，鮮明に見える領域にユーザの視線を誘導する．

1

はじめに

人々は日常において街頭広告や陳列された商品など，様々な情報を目にしている．そこで，ユーザに特定の情報を効果的に提示する方法として視線誘導が存在する．視線誘導によってユーザの注意を引き付けることで，誘導先の情報をそれ以外の情報よりも印象に残すことができる．
広告目的で視線誘導を行う場合，露骨な手法でユーザの行動を妨害して無理に誘導すると，ユーザは誘導先の情報に不快な印象を抱いてしまう [10]．
そのため，ユーザに気付かれにくく自然な視線誘導を行うことが望ましい．自然な視線誘導を行うために，Itti ら [8] の視覚的顕著性マップの考え方を利Copyright is held by the author(s).
東京工業大学 情報理工学院†
和歌山大学 システム工学部∗

用し，コンテンツの見かけを変化させる手法が複数存在する [6][7][3]．しかし，それらの対象はデジタルディスプレイ上のコンテンツに限られていた．そのため，現実世界の物体の見かけを変化させることによって自然に視線誘導を行うことができれば有用である．
現実世界の物体の見かけを変化させる方法として，プロジェクタによる映像の投影が考えられる．本研
究では商店の商品のように，移動したり入れ替わったりする物体を対象とするため，環境が変化するたびに物体をカメラで撮影し，撮影画像を処理した映像を投影することで物体の見かけを変化させる手法
を考える．この場合，プロジェクタとカメラの画素の対応を調べる幾何学的キャリブレーションを行う必要がある．そこで本研究では，一度キャリブレーションを行えば物体が移動しても画素の対応が崩れない光軸一致プロカムシステムを利用する．本研究の概念図を図 1 に示す．

2

関連研究

2.1

視線誘導

デジタルディスプレイ上のコンテンツを対象として，見かけを変化させることで視線誘導を行う手法
は複数提案されている．萩原ら [6] は，輝度・色相変化を用いる手法を提案している．これは，誘導したい領域の視覚的顕著性が最も高くなるように画像全体の輝度・色相を変化させて視線を誘導する手法である．畑ら [7] は，画像の解像度制御による手法を提案している．これは，一部の領域を除いて画像をぼかして見にくくすることで，鮮明領域に視線を誘導する手法である．東ら [3] は，現実の印刷物に起こる色ずれをデジタルディスプレイ上のテキストで再現することによる手法を提案している．これは，一部の領域を除いて文章に色ずれを起こし，色ずれWISS 2018の起こっていない領域に視線を誘導する手法である．
一方で，本研究と同様に現実世界の物体に投影を行い視線を誘導する手法も提案されている．Butz ら[5] は，物体ごとに貼り付けたマーカをカメラで認識し，ユーザが見つけたい物体にスポットライトのように光を投影する手法を提案している．Pinhanez
ら [11] は，状況や操作に応じて変化する矢印や文字を床や壁に投影する手法を提案している．Booth ら[4] は，誘導先の物体に明滅する光を投影するとともに，ユーザが視線計測装置を装着することでユーザが見ている物体をリアルタイムに判別し，視線誘導が成功したら投影を終了させる手法を提案している．これらの手法は，ユーザの探索や移動を助けるために，誘導先の物体のみにわかりやすい投影を行うという点で本研究とは異なる．

2.2

見かけの制御現実世界の物体に投影を行い見かけを変化させる
手法は，空間拡張現実として広く研究されている．
天野ら [1] は，プロカムシステムとモデル予測制御を用いた物体の見かけの制御手法を提案している．
これは，物体の反射率などを考慮したモデル予測を行い，投影による見かけの制御を行う手法である．
また，天野ら [2] は，2 台の光軸一致プロカムと鏡を用いて物体の全周囲の見かけをリアルタイムに操作する手法を提案している．河邉ら [9] は，コンピュータ上で作成した動きの情報を静止した物体に投影することで，物体が動いて見える手法を提案している．

3
3.1

提案手法
ずらしフィルタ

本研究では現実世界の物体を撮影した画像に施す処理として，ずらしフィルタを提案する．ずらしフィ
ルタは，原画像全体を左右に数ピクセルずつずらすフィルタである．ずらしフィルタを適用した画像の一部を原画像に差し替えた画像を物体自身に投影すると，物体全体がぶれて見えるようになる中，原画像が投影されている領域だけが鮮明に見えるようになる．本研究において畑ら [7] のようにぼかしフィルタを採用しなかった理由は，ぼかしフィルタを適用した画像は色やエッジが現実の物体よりも滑らかになるため，物体に投影したときの効果が弱く，ぼけて見えにくいからである．また，鮮明領域に無彩色光ではなく原画像を投影する理由は，ずらしフィルタを適用した画像を物体に投影すると物体の彩度が強調されるため，鮮明領域に無彩色光を投影すると彩度が相対的に低くなり，視覚的顕著性が下がるからである．
ずらしフィルタの実装について説明する．まず，原画像を 2 枚にコピーし，左右にそれぞれ指定ピクセル分ずらす．具体的には指定ピクセルを d(d > 0)d2d

Shifted to Left
Copy
OriginalMixd

Shifted to both sides

Shifted to Right

図 2. ずらしフィルタの実装の流れ：(1) 画像を 2 枚にコピーする．(2) それぞれを左右に d ピクセルずらす．(3) 2 枚の画像の重みを 0.5 ずつとして合成する．

としてアフィン変換を行い，左に d ピクセルずれた画像と右に d ピクセルずれた画像を作成する．次に，これらの画像にそれぞれ同じ重みをかけて 1 枚の画像に合成することで，原画像が左右に均等にずれた画像を作成する．このとき用いる重みは，原画像の明度がほぼ保存されるように，合計して 1 になるように決定し，かつ左右均等にずれた画像を作成する
ため 0.5 ずつに設定した．ここまでの流れを図 2 に示す．最後に，処理画像の一部のみを原画像に差し替えることでその領域のみを鮮明にする．原画像の領域の形は長方形または楕円であり，撮影画像を確認して手動で位置と大きさと形を調節することができる．処理画像と原画像の境界付近は違和感が無いように線形に変化させる．提案手法の適用例を図 3に示す．本研究では，カメラの撮影範囲外の環境を考慮していないので，カメラの撮影範囲外は単色の無彩色を投影する．

3.2

光軸一致プロカムシステム

本研究ではプロジェクタとカメラの間の幾何学的キャリブレーションとしてグレイコードキャリブレーションを用いる．グレイコードキャリブレーションを用いる理由は，実装が容易であり，本研究においては精度が十分なためである．立体的な現実世界でグレイコードキャリブレーションを容易に行い，また物体が移動したり，別の物体に取り替えられても再びキャリブレーションを行う必要が無いように，
本研究では光軸一致プロカムシステムを利用する．
プロジェクタとカメラの光軸を一致させると，プロジェクタとカメラの視点が一致するため，立体的な環境でも撮影画像内の物体の相対的な位置関係が投影画像においても保存される．しかし，光軸はプロジェクタやカメラの画像中心と必ずしも一致しないこと，撮影・投影範囲やレンズによる画像の歪みがそれぞれ異なること，光軸周りの回転を調節できないことといった問題がある．そのため幾何学的キャリブレーションは行わなくてはならない．
本研究で使用する光軸一致プロカムシステムは天実物体への映像投影による見かけの変化を用いた視線誘導の提案

図 3. 提案手法の適用例 (左: 提案手法によって作成した画像，右：物体に投影した様子)

CameraHalf Mirror

ProjectorLight Absorberdesired optical line
undesired optical line

図 4. 本研究で使用する光軸一致プロカムシステム (左：実物，右：構成図)野ら [2] と同様に，プロジェクタとカメラを垂直に固定し，ハーフミラーを動かして調節することで光軸を一致させる (図 4)．
プロジェクタとカメラの光軸を一致させた後，グレイコードキャリブレーションを行う．しかし，キャリブレーションを行う環境やプロジェクタとカメラの性能によって，キャリブレーション結果には誤差が必ず含まれる．本研究では，この誤差を低減するために多項式による近似を行う．具体的には，式 1，式2 を用いて近似するための各係数 (a, b, c, d, e, f, g)を求める．本研究では開発言語として Python 3.5.3，画像処理ライブラリとして OpenCV 3.3.1 を利用しており，この近似には Python の curve fit() 関数を使用している．

(x, y) は近似前のプロジェクタの画素である．また，画像全体を 1 つの多項式で近似すると画像の端の誤差が大きくなってしまうため，本研究ではプロジェクタの画像全体を縦横それぞれ 4 分割し，16 個の範囲に分けて近似を行うことで誤差をさらに低減する．本研究ではキャリブレーションの精度を定量的に評価していないが，画像全体でピントが合い，グ
レイコードキャリブレーションを行いにくい黒色の物体や光沢のある物体が存在しない環境ならば肉眼では誤差がわからない程度の精度を得られる．提案
手法における画像データの流れを図 5 に示す．

44.1′

322′

322x = ax x + bx x + cx y + dx x + ex y + fx xy + gx (1)y = ay y + by y + cy x + dy y + ey x + fy yx + gy (2)(x′ , y ′ ) は近似推定されたプロジェクタの画素であり，視線誘導効果検証実験
実験目的

本実験では，提案手法によって視線誘導効果が得られるか検証するために，提案手法を適用したオブジェクトを被験者に見せ，視線計測装置を用いて被WISS 2018

CaptureTransform

Shift

CameraCopy
Substitude

Half Mirror

Projection

SubstituteProjector

Real Object

図 5. 提案手法における画像データの流れ：(1) 物体を撮影する．(2) プロジェクタに合わせて変形する．(3) ずらしフィルタを適用する．(4) 一部を原画像に差し替える．(5) 物体に投影する．

験者の視線を計測する．得られた視線計測結果から，鮮明領域に視線誘導されたかどうかを確認する．

4.2

予備実験

本実験の前に，本実験で適用するずらしフィルタのずれの値 (ピクセル) を決定するために予備実験を行った．提案手法を適用したオブジェクトを，その中の一部に鮮明領域があると被験者に伝えた上で見せる．ずれの値を 0 ピクセルから一定の速さで増加させていき，被験者が鮮明領域を発見した時のずれの値を計測する試行を鮮明領域を変更しながら繰り返した．オブジェクトごとの全計測結果を平均し整数値になるように四捨五入することで，本実験で適用するずれの値を決定した．

4.3

実験環境

本実験で使用したプロジェクタとカメラは以下のものである．
プロジェクタH6510BD (Acer 社)1
カメラ

Grasshopper 2.0 MP Color FireWire 1394b(Sony ICX274) (FLIR 社)2
実験オブジェクトは現実の商店で商品を見ている場面を想定し，12 個のカップラーメンと 8 冊の文庫本を使用した．予備実験の結果から，それぞれに適用するずらしフィルタのずれの値を，カップラーメ
ンでは 9.0 ピクセル (物体上で左右約 3mm ずつ)，文庫本では 6.0 ピクセル (物体上で左右約 2mm ずつ) に決定した．光軸一致プロカムとオブジェクトの距離は約 1.0m であり，機材は被験者から見えないように机の下に設置した．被験者とオブジェクト
1

https://www.acer.com/ac/ja/JP/content/model/
MR.JFZ11.00G
2https://www.ptgrey.com/grasshopper-2-0-mpcolor-firewire-1394b-sony-icx274-cameraの距離は約 1.5m である．部屋の照明はつけており，部屋の照明やプロジェクタの光によってオブジェクトが白飛びして映らないように機材やオブジェクトの位置を調節した．被験者の視線を計測する装置はPupil3 を使用した．被験者は 12 人の男女 (男性 10人，女性 2 人，21-27 歳) である．被験者は必要ならば自身のコンタクトレンズや眼鏡を用いて視力を矯正した．

4.4

実験手順

まず，視線計測装置のキャリブレーションを行い，視線計測装置がずれないように顎台を用いて被験者の顔をオブジェクトの正面に固定した．次に，映像を投影していないオブジェクトを 1 分ほど自由に見るように指示し，続いて実験開始直前には目線を下げ，机に書いた印を見ているように指示した．投影を開始すると同時に，被験者に提案手法を適用した
オブジェクトを 10 秒間自由に見るように指示し，その間の被験者の視線を計測した．計測終了後，再び目線を下げ机の印を見るように指示した．この試行を，オブジェクトに鮮明領域が無い，またはオブジェ
クトの全体が鮮明なままの試行を含めてカップラー
メンでは 28 試行，文庫本では 20 試行繰り返した．
鮮明領域の順番，カップラーメンと文庫本の順番は被験者によってランダムとした．また，試行間で鮮明領域が移動する際，直前の試行との差によって鮮明領域がわかってしまうことを避けるため，毎試行
10 秒かけてずらしフィルタのずれの値を 0 ピクセルから予備実験で決定した 9.0 ピクセルまたは 6.0 ピ
クセルまで 0.1 ピクセルずつ一定の速さで増加させていった．

4.5

実験結果

視線計測結果から，Pupil 公式解析ソフト Pupil
Player のプラグインを使用してヒートマップを作成した．図 6 に，1 人の被験者の試行のうち，カップ
3

https://pupil-labs.com/pupil/実物体への映像投影による見かけの変化を用いた視線誘導の提案

図 6. 視線誘導効果が得られたと考えられる被験者の，カップラーメンと文庫本における視線計測結果のヒートマップ (それぞれのオブジェクトの左上段：鮮明領域無し，左下段：全体が鮮明，その他：四角形で囲った位置が鮮明領域となっている．)

ラーメンと文庫本の各鮮明領域ごとに作成したヒートマップを示す．各試行の 10 秒間の視線計測中に見ていた時間の割合が高い位置ほど赤く描画されている．これらのヒートマップから，提案手法を適用した試行において，鮮明領域に視線が誘導されている場合があることがわかる．しかし，鮮明領域と離れた位置が最も赤くなっている試行もあるため，必ず視線が誘導できるわけではないことがわかる．

5

議論

実験結果から，提案手法によって視線誘導効果が得られることが確認できたが，図 6 のように明確に視線誘導効果を確認できた被験者が存在する一方で，視線誘導効果を確認できなかった被験者も存在する．
この結果について考察すると，提案手法は被験者の視力に影響されることが考えられる．被験者の視力が低い場合，鮮明領域ですらぼけて見えてしまい，提案手法の効果が小さくなってしまう．実際に被験者から，目が悪くて見えにくく何が起きているかわからなかったというコメントが得られた．
実験で得られたコメントについて考察する．まず，カップラーメンよりも文庫本のほうがぶれて見えたというコメントが得られた．その理由は，カップラーメンのロゴと文庫本のタイトルは文字という点では同じだが，文庫本のタイトルは文字が細く相対的にずれが大きく見えることと，活字は加工性が低く，少しだけずれても違和感が大きいことだと考えられる．さらに，このコメントはずれに気付いてしまったということも意味している．実験では同じオブジェクトを長時間見ていたため，試行を重ねるうちにオブジェクト全体の見かけが変化していることは多くの被験者が気付いたと考えられる．
また，目が悪くなった，目が疲れたように感じたというコメントが得られた．その理由は，提案手法が物体がぶれて見えるように見かけを変化させるためだと考えられる．物体の見かけが変化していると感じるのではなく，被験者自身に何かが起きていると感じることは，気付かれにくい視線誘導手法の要素の一つである．しかし，この場合はユーザに不快感を与えてしまうため，その影響は最小限に抑えなければならない．前述した視力による提案手法の効果の差も検証するため，被験者ごとに視線誘導が可能な最小限のずれの値を，別の実験によって求める必要がある．
さらに，本研究では被験者がオブジェクトを見始めてから鮮明領域に視線が移動するまでの時間や，その時のずらしフィルタのずれの値，鮮明領域を連続して固視していた時間を解析していない．そのた

WISS 2018

め，予備実験で求めたずれの値より小さく，被験者が気付かない程度のずれで視線誘導効果が得られているかどうかは確認することができない．本研究が目的としている，気付かれにくく自然な視線誘導が実現できているかどうかを検証する実験は改めて行う必要がある．

6

結論と今後の展望

本研究では，現実世界の物体に映像を投影し見かけを変化させることで視線誘導を行う手法を提案した．具体的には，光軸一致プロカムシステムによって物体を撮影し，画像処理を施して物体自身に重畳投影することと，物体の撮影画像の処理手法としてずらしフィルタを提案した．そして，提案手法の視線誘導効果を検証するために被験者実験を行った．
その結果，提案手法の視線誘導効果を確認することができた．本研究の今後の展望として以下の点が挙げられる．
撮影画像の明度の制御
提案手法において撮影画像に施した画像処理は，幾何学的な変形とずらしフィルタの適用のみであり，明度の制御は行っていない．物体の撮影時点で明るい領域は処理画像においても明るいため，投影するとより明るくなる．一方，暗い領域はあまり明るくならないため物体の明暗の差がより大きくなってしまい，視線誘導の効果に差が生まれる．さらに，提案手法は下地が濃い色の物体には効果が小さいという欠点がある．これは，濃い色の領域に別の色の光を投影しても見かけの変化が小さいためである．そのため，撮影画像の明度の制御によって物体全体の見かけの制御をより効果的に行うことができると考えられる．
ユーザの視線に応じた処理提案手法では，視線誘導が成功したかどうかをリアルタイムに判別していない．そのため，視線誘導が成功した後も周辺の物体の見かけを変化させたままにしてしまい，物体の見かけの変化にユーザが気付いてしまう．より自然な，気付かれにくい視線誘導の実現のためには，畑ら [7] や Booth ら [4] のよ
うに視線誘導が成功したら誘導を終了するシステムの開発が必要である．
提案手法を用いたアプリケーションの開発
提案手法は，商店において状況に応じた商品のアピールに応用することが考えられる．実際の商店は実験室環境と異なり，機材を商品の正面に置くとユーザの邪魔になってしまうことなど，位置関係の自由度がより制限されるため，それに応じた手法の改善が必要となる．

参考文献[1] T. Amano and H. Kato. Appearance control using projection with model predictive control. InPattern Recognition (ICPR), 2010 20th International Conference on, pp. 2832–2835. IEEE,2010.
[2] T. Amano, I. Shimana, S. Ushida, and K. Kono.
Successive Wide Viewing Angle Appearance
Manipulation with Dual Projector Camera Systems. In T. Nojima, D. Reiners, and O. Staadt
eds., ICAT-EGVE 2014 - International Conference on Artificial Reality and Telexistence andEurographics Symposium on Virtual Environments. The Eurographics Association, 2014.
[3] K. Azuma and H. Koike. A Study on Gaze
Guidance Using Artificial Color Shifts. In Proceedings of the 2018 International Conference
on Advanced Visual Interfaces, AVI ’18, pp.
47:1–47:5, New York, NY, USA, 2018. ACM.
[4] T. Booth, S. Sridharan, A. McNamara,C. Grimm, and R. Bailey. Guiding Attention inControlled Real-world Environments. In Proceedings of the ACM Symposium on Applied
Perception, SAP ’13, pp. 75–82, New York, NY,USA, 2013. ACM.
[5] A. Butz, M. Schneider, and M. Spassova.
SearchLight – A Lightweight Search Function
for Pervasive Environments. In A. Ferscha andF. Mattern eds., Pervasive Computing, pp. 351–356, Berlin, Heidelberg, 2004. Springer BerlinHeidelberg.
[6] A. Hagiwara, A. Sugimoto, and K. Kawamoto.
Saliency-based Image Editing for Guiding Visual Attention. In Proceedings of the 1st International Workshop on Pervasive Eye Tracking &#38; Mobile Eye-based Interaction, PETMEI ’11, pp. 43–48, New York, NY, USA, 2011.
ACM.
[7] H. Hata, H. Koike, and Y. Sato. Visual Guidance with Unnoticed Blur Eﬀect. In Proceedingsof the International Working Conference on Advanced Visual Interfaces, AVI ’16, pp. 28–35,
New York, NY, USA, 2016. ACM.
[8] L. Itti, C. Koch, and E. Niebur. A model ofsaliency-based visual attention for rapid sceneanalysis. IEEE Transactions on pattern analysis and machine intelligence, 20(11):1254–1259,
1998.
[9] T. Kawabe, T. Fukiage, M. Sawayama, andS. Nishida. Deformation Lamps: A Projection Technique to Make Static Objects Perceptually Dynamic. ACM Trans. Appl. Percept.,
13(2):10:1–10:17, Mar. 2016.
[10] L. McCay-Peet, M. Lalmas, and V. Navalpakkam. On Saliency, Aﬀect and Focused Attention. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
CHI ’12, pp. 541–550, New York, NY, USA,2012. ACM.
[11] C. Pinhanez. Using a Steerable Projector anda Camera to Transform Surfaces into Interactive Displays. In CHI ’01 Extended Abstracts
on Human Factors in Computing Systems, CHI
EA ’01, pp. 369–370, New York, NY, USA, 2001.
ACM.