WISS 2023

動いている人の視線だけを惹きつけるモザイク投影手法
幸谷 有紗 ∗戛山英高 ∗ 浦垣 啓志郎 ∗† 宮藤 詩緒 ∗ 小池 英樹 ∗概要.
本研究では，運動中の観測者に対してのみ働き，静止中の観測者には影響を及ぼさない視線誘導手法を提案する．本手法は，画像中の視線を誘導したい箇所についてモザイク状に分解し，高速に重ね合わせることで実現される．これにより，画像内の顕著性を操作し，静止時と動作時の視線誘導を効果的に制御することが期待される．実験結果から，静止時と動作時では画像の観測結果が異なり，動作時において意図した箇所にモザイクが観測されることが示された．また，モザイクが観測される箇所において画像の顕著性が上がることが示された．本手法は歩行者への広告における視線誘導だけでなく，乗り物の広告や，実物体への視線誘導への応用が期待される．

1

はじめに

歩行者に向けた公共広告を提示する場合，広告前
を通り過ぎるわずかな瞬間で歩行者の視線を誘導したい．また，歩行者が足を止めて広告を凝視した場
合には，視線誘導効果が消え，内容が認識されるよ
うにしたい．そのため，歩きながら広告を見た場合は意図する箇所に視線が誘導される一方，静止すると誘導効果が消えるシステムが望まれる．
そこで本研究では，動きがある観測者に対してのみ働き，静止している観測者には働かない視線誘導方法を提案する．本手法は，画像を顕著性を操作する特殊なモザイクを用いて分解し，高速に投影することで実現される (図 1)．顕著性は観測画像内の注
目領域を示す指標であり，顕著性と観測者の視線には密接な関係がある [16]．本手法では，顕著性を変化させたい画像領域のみを複数枚のモザイクに分解し，ごく短い時間で連続投影する．これにより視覚系の時間積分効果が働くため [3]，静止している観測者には顕著性に変化がない通常の画像に知覚される．一方で観測者が動いている場合，一部のモザイ
クがずれて知覚されるため顕著性に変化が生まれ，
視線誘導を促すことができる．本手法では観測者の運動状態に応じて人間の視覚特性を用いた視線誘導を行うため，特別なトラッキング装置を必要としない利点がある．
本論文では，以上の手法に関する評価を行い，その応用例と有用性について議論を行う．本論文の貢献は以下である．

• 運動中の観測者に対して顕著性を向上させる
投影手法の提案• 実験による顕著性操作の検証
Copyright is held by the author(s).
東京工業大学 情報理工学院†
青山学院大学 理工学部∗

図 1. 運動状態の観測者の視線を惹きつけ，静止状態では通常の画像が認識される• 投影手法を用いた応用事例の提示による有用
性の議論

2
2.1

関連研究
顕著性の変化による視線誘導

顕著性（Saliency）とは，画像内の注目領域を特定する特徴量である．顕著性には一般にトップダウ
ンの顕著性とボトムアップの顕著性がある．トップダ
ウンの顕著性は，画像内の意味的な特徴量によって注
意の集中する箇所を示す [5]．対してボトムアップの顕著性は，意識的な影響を考慮せず，画像の定量的な特徴量に基づいて注意を惹きつける箇所を示す手法である．ボトムアップの顕著性の算出手法についてさ
まざまな手法が提案されてきた。 [10, 8]．また，画像の顕著性を算出することにより，人間の視線を予測することができることが示されている [16, 11]．これに対し，顕著性を利用した逆のアプローチとして，顕WISS 2023

図 2. 顕著性を高めたい領域に対してモザイク手法を適応し，運動状態でモザイクが観測されるようにする

著性を操作することで視線を誘導する手法が考えられている．例として，画像の色や特徴量を調整し，顕著性を操作することで指定した領域に人間の視覚的な注意を惹きつけることができる． [6, 12, 2, 17, 7]．
また，画像内の特徴量を変更することで, 画像中の特定の箇所から視覚的な注意を逸らすことも可能である [14]．Sutton らは AR を用いて顕著性の操作による視線誘導を行った [15]．仮想空間内において特定の場所のコントラストや彩度を変更することにより，画像内の顕著性を操作している．実験から，仮想空間内の顕著性を操作することで視線を誘導できることを実験的に示した．
これらの関連研究は，画像内の顕著性と視線誘導の関連性を示している．そこで本論文では，顕著性制
御と視線誘導に関する新たなアプローチを提案する．

2.2

光の積分

人間の目は，残像効果により，一定の時間の光を重ね合わせて観測する [3]．この現象を用いて，動きに応じて観測される光を制御する研究が行われてきた [1, 18]．また，Ikeda らは観察者の動く方向に応じて異なる絵が認識される手法を提案している [9]．
この研究では，観測者が動いた場合における光の時
間的な重なり合わせによって絵を表現している．しかし，絵は線で表現されたバイナリ画像の重ね合わせて表現されるため，映像表現に限界がある．また，
Sakaue らは観測者の移動速度に応じて異なる映像を見せる投影手法を提案している [13]．この研究では，観測者の移動速度に応じて複数枚のカラー画像を認識させることができる．ただし，観測者の移動
は，投影画像に対して定められたベクトルで移動する必要がある．また，合成されて観測される画像は，表示の最適化の過程でノイズが発生し，元の画像を完全に再現することはできない．
そこで本研究では，観測者が静止状態である場
合では投影するカラー画像を完全な状態で復元し，ユーザによる観測を阻害しない投影手法を提案する．

図 3. 位相の違うモザイクを順に高速表示する

本手法は，運動状態の観測者に対する動作方向や速さへの制約が少なく，日常生活における歩行や乗り物等多様な場面での利用が見込まれる．

3
3.1

提案手法
手法の概要

本論文では，観測者の運動状態に応じて知覚される顕著性を高めることが可能な画像投影手法を提案する (図 2)．本手法では，投影する画像中における顕著性を高めたい領域を複数枚のモザイクに分解する．モザイクは周期的に並んだ 4 色 (赤，緑，
青，黒) の正方形要素で構成され，図 3 のように時
刻 t = 4n, 4n + 1, 4n + 2, 4n + 3 (n ∈ N) の経過とともに時間的・空間的に位相をずらして 4 フレーム分生成する．正方形要素は互いに色の変化が激しいため，指定領域の顕著性が高くなる．顕著性を向上する必要がない指定領域外では，投影画像の元の顕著性を変化させないように画素値を 4 等分する．最後にこれらの操作で生成した画像 4 フレーム分を高速に繰り返し投影する．
なお，モザイク中の正方形要素の大きさは，投影する画像中の顕著性を高めたい領域の大きさに応じてヒューリスティックに決定した．重ね合わせる正方
形要素の色数が増えると，元の画像を知覚するために高い投影周波数が必要となるため今回は 4 色 (赤，緑，青，黒) の正方形要素を用いた．

3.2

モザイク内の色の割り当て提案手法の適応前の画像を元画像 Ig = (Rg , Gg , Bg )と呼ぶ．ここで,Rg , Gg , Bg は Ig の各 RGB 成分である．元画像 Ig は Rg , Gg , Bg の加法混色で表現されており,Rg , Gg , Bg の要素が重なることで Ig を再現することができる (図 4)．
時間積分によって元画像 Ig を再現するために，投影するモザイク内の正方形要素には，時間方向に重ね合わせると Rg , Gg , Bg が全て重なり合うように色が割り当てられる．例えば，顕著性を高めたい指定

動いている人の視線だけを惹きつけるモザイク投影手法

図 4. 画像を RGBの各成分に分解する例

図 5. （左図）静止時にはモザイクが重ねあわさり，（右図）運動時にはモザイク中の正方形要素
がずれて知覚される図 6. システム概要

領域において，元画像を Ig = (Rg , Gg , Bg ) とした
とき，投影する画像 Ip = (Rp , Gp , Bp ) は以下のよ
うに変化する．
時刻 t
色
Rp
Gp
Bp

4n

4n + 14n + 24n + 3

赤
Rg

緑

青

黒

0
Gg
0

0
0
Bg

0
0
0

0
0

...
...
...
...
...

4

一方で，顕著性を操作する対象の領域外において，投影する画像 Ip は以下のように変化する．
時刻 t
Rp
Gp
Bp

4n
R g /4G g /4B g /44n + 1
Rg /4
Gg /4
Bg /4

4n + 2
Rg /4
Gg /4
Bg /4

4n + 3R g /4G g /4B g /4

論文では，提案するモザイク生成により顕著性が高まる効果とともに，実際に観測者の運動状態に応じて顕著性が変化することを実験的に示す．

...
...
...
...

結果として，静止している観測者にはモザイク指定領域の内外に依らず，投影画像 Ip が視覚系で時間方向に積分され，知覚される画像が Ig と概ね一致する．一方で，動いている観測者にはモザイク中の正方形要素がずれて知覚される (図 5)．
画像中のある領域における画素値の勾配が大きいと顕著性が大きくなりやすいため [10]，モザイクのズレにより Ip 中の指定領域内の顕著性が高まる．本実装

本手法は，PC による投影画像生成と高速プロジェ
クタによる投影によって実装した．図 6(左) にシス
テムで用いる装置を示す．また，高速投影には DynaFlash と呼ばれる 925fps の高速カラー投影が可
能なプロジェクタを使用する [19]．
本手法のシステム概要について図 6(右) に示す．
まず，静止者に見せたい画像 Ig の顕著性マップを計
算し，Ig の顕著性マップを重ね合わせて表示する．
この際，顕著性マップの計算には画像処理ライブラリである OpenCV を用い，Hou と Zhang ら [8] によって提案された，スペクトル残差を用いた手法を利用した．続いて，Ig と Ig の顕著性マップを比較し，目を惹きたい箇所の顕著を性確認する．目を惹きたい箇所の顕著性が低い場合，その箇所を本手法の適用箇所として選択する（図 6 手順 1）．図 6 では，顕著性が低い缶を四角く囲んで選択している．
つぎに，Ig に対して提案手法を適用し，目を惹きたい箇所がモザイク状に分解されるように 4 枚の投影
画像を生成する（図 6 手順 2）．最後に，手順 2 で生成した 4 枚の投影画像を高速プロジェクタを用いて

WISS 2023

図 7. 風景画像の投影画像とその顕著性マップ

図 8. 街並み画像の投影画像とその顕著性マップ

図 9. 商品画像の投影画像とその顕著性マップ

図 10. 文字を含むポスター画像の投影画像とその顕著性
マップ• H1: 投影する画像において．モザイクの適応箇所の顕著性は向上する• H2: 投影結果は静止時において画像 Ig が観測される• H3: 投影結果は運動時には一部がモザイクとして観測される• H4: 運動時にモザイクが観測される箇所は静止時に比べ顕著性が向上する

図 11. 歩行再現のための装置 (上) と実験撮影時のカメ
ラ振動 (下)投影する（図 6 手順 3）．フレームレートを変化させて観測したところ，フレームレートが高くなるにつれてモザイクは薄くなり，400fps ではモザイクは観測されなくなった．そのため，本システムの投影におけるフレームレートは 400fps とした．本システムの実装において，本論文では 400fps のフレー
ムレートの実現のために高速投影が可能なプロジェ
クタを用いたが，リフレッシュレートの高いディス
プレイを用いた実装も可能である．

5

実験

本実験は，提案手法によって顕著性を操作された画像が静止時と運動時でどのように観測され，顕著性がどのように変化するのかを検証するために行う．
本実験で立てる仮説は以下の 4 つである．

以上の仮説を検証するため，1. 投影画像の顕著性の評価， 2. 投影結果の顕著性の評価， 3. ユーザによる観測評価を行う．本実験では，風景, 街並み, 商品, 文字を含むポスターの４種類の画像を用いた．風景の画像はエッジが少なく，顕著性がまばらである．
対して街並みの画像はエッジが多く，顕著性に偏りがある．商品の画像では，類似した物体が敷き詰められており，激しい顕著性の変化がある．また，文字を含むポスターの画像では，画像内の要素に対応
してはっきりとした顕著性が見られる．これらの画像を用いることにより，提案手法が多様な画像に対してどのような効果をもたらすか検証する．

5.1

投影画像の顕著性の評価

本実験では，4 種類の画像に対して提案手法の適応前の画像 Ig と，提案手法により生成された 4 枚の投影画像の顕著性を比較する．顕著性マップの計
算には Hou と Zhang ら [8] によって提案された手法を利用し評価する．図 7, 8, 9, 10 に示される通り，元画像 Ig に比べ，4 枚の投影画像はモザイク付
近の顕著性が向上していることが示されている．この結果から，仮説 H1 は支持される．

動いている人の視線だけを惹きつけるモザイク投影手法

図 12. 風景画像の投影観測結果とその顕著性マップ

図 13. 街並み画像の投影観測結果とその顕著性マップ

図 14. 商品画像の投影観測結果とその顕著性マップ

図 15. 文字を含むポスター画像の投影観測結果とその顕
著性マップ

5.2

投影結果の顕著性の評価

本実験では，4 種類の画像に対して提案手法を適応し，高速に投影することにより静止時と運動時の観測結果を比較する．歩行状態での観測結果をカメラで再現するため，カメラを肩に固定し，歩行して撮影を行なった (図 11 上)．カメラ (SONY α6400)に携帯 (iPhone 13 ProMax) の振動測定器を固定し，歩行時のカメラ振動を計測した結果，図 11 下のような，振幅 1G 以内の波形となった．また，カメラのシャッタースピードは 1/20sec にして撮影した．このシャッタースピードは人間の目で考えると比較的遅い．しかし，カメラがデジタルで時間積分を区切る特性上，静止時の画像のチラつきを抑えられないため，限界値の 1/20sec を採用した．
提案手法を用いて画像を投影した際の，静止状態の時と運動状態における観測結果（上段）とそれぞれの顕著性マップ（下段）を図 12, 図 13, 図 14, 図 15に示す．各実験結果から，静止時には画像が Ig がそのまま観測されるのに対し，運動時の観測結果では，モザイクが観測されている．この結果から，仮説
H2，H3 が支持される．また，下段の顕著性マップ
から，静止時に比べて運動時はモザイクが観測されている箇所において顕著性が向上していることが示されている．このことから，仮説 H4 が支持される．

5.3

ユーザによる観測評価

研究室内の簡易的なユーザ評価として，4 名の被験者に映像を観測してもらい，観測した結果について意見を得た．被験者には，モザイク投影手法の適
応箇所について知らせずに，歩いている状態と静止した状態で映像を観測してもらった．その結果，4名全員から，歩いているときに変化を感じたという意見が得られた．歩いている時のそれぞれの被験者の意見として，「モザイクが観測された」「画像の一部が他の部分と違うように感じた」「画像がランダムで点滅しているように見えた」という意見も得られた．この結果から，仮説 H3 が支持された．
また，静止時の被験者の意見として，「画像に不快な点はなかった」「瞬きした時に目が疲れた時のよ
うなちらつきを覚えた．しかしもう一度凝視すると綺麗な画像に見えたため，不思議に思った．
」という意見が得られた．これらの意見から，肉眼で見た場
合において静止時と運動時で映像の変化を感じられる一方，静止時であっても瞬きの瞬間にモザイクが観測されることが示唆された．この結果から，仮説
H2 は必ず支持されないことがわかった．

WISS 2023

図 16. アプリケーション例，(a) 乗り物広告への応用，(b) トラック広告への応用，(c) 実物体への応用

6

アプリケーション

本手法を用いたアプリケーションにより，日常生
活の様々な場面で視線誘導を活用できると考えられる．以下に日常生活への応用として考えられるアプ
リケーション例を提案する．
広告に対する視線誘導
広告映像やポスターにおいて提案手法を活用すると，歩行者や電車の乗客などの運動している人に対して広告内の意図する箇所を目立たせることが可能である (図 16(a))．また，静止して広告を知覚する際に観測結果を損なわせることが無い．さらに，広告自体が移動している場合においても本手法を活用することができる．トラック広告に対して本手法を応用することで，走行中には観測者の注意を惹きつけ，信号等で静止した場合には通常の広告が観測される応用が可能となると考えられる (図 16(b))．
白色光投影を用いた実物体への視線誘導
目標画像を白色画像とし，提案手法を適用することで，実物体に対して顕著性の操作が可能となる(図 16(c))．これにより，商品展示や美術館展示といった実物体の見た目を制御することが困難な場合においても視線誘導が可能となると考えられる．

7

議論と今後の展望

本論文では，静止状態での観測に影響することなく，運動状態の顕著性を操作する手法を提案した．
実験では，静止状態と運動状態では画像の観測が異なり，運動状態でのみ対象箇所にモザイクが観測されることが示された．また，運動状態の観測結果について顕著性を調べたところ，対象箇所の顕著性を向上させることが可能であると示唆された．これらの結果から，本手法は意図的に対象箇所の顕著性を向上させることが可能であると示された．しかし，本論文において，実際にユーザーの視線が効果的に誘導されることついての検証はまだ行われていない．
そのため，視線測定装置による視線誘導効果の検証が必要となる．

提案されたシステムにおいて，静止状態の観測者が瞬きをする際に一瞬モザイクが観測されるという問題が生じる．この現象は，瞬きの瞬間に光の時間積分が遮られることによって起こる．静止状態の観測者に対し瞬きの瞬間だけ顕著性を操作できる可能性が示唆される一方，ちらつきによる不快感を覚える可能性がある．そのため，静止者に対する映像体
験についてさらなる応用や改善が期待される．
今後の展望として，元画像の顕著性が極度に偏っている場合の顕著性操作が挙げられる．特に，今回の手法はボトムアップの顕著性効果に注目したが，トップダウンの顕著性の効果が強い場合には，ボトム
アップの顕著性効果が塗り替えられる場合がある [4]．
そこで，本手法とは反対に，意図した箇所の顕著性を下げるような画像分解手法により，元の画像の顕著性の偏りが強い箇所に対して顕著性を低下させる
操作が望まれる．例として，モザイクの要素を (赤,緑/2, 青, 緑/2) とする手法が考えられる．この手法
は提案手法に比べてモザイク内の輝度の変化が低く，顕著性の低下につながると予測される．

8

まとめ

広告の表示において，歩きながら広告を見た場合は視線が誘導される一方，静止すると誘導効果が消えるシステムが望まれる．そこで，本論文では観測者の運動状態に応じて知覚される顕著性を高めることができる画像投影手法を提案した．画像の視線を誘導したい箇所をモザイク状にして高速で投影する
ことにより，顕著性を操作する. 実験の結果，静止時には通常の画像が観測される一方，運動時にはモザイクが観測されることが示された．また，モザイ
クが観測される箇所の顕著性が向上することが確認された. しかし，現在の実験では視線誘導効果について定量的に評価されていないため，今後視線測定装置を用いた実験を行うことが望まれる. 本手法は，広告に対する視線誘導や実物体の視線誘導への応用が期待される.

動いている人の視線だけを惹きつけるモザイク投影手法

謝辞
本研究は JSPS 科研費 20H04221 の助成を受けた
ものです．

参考文献
[1] H. Ando, J. Watanabe, T. Amemiya, andT. Maeda. Full-Scale Saccade-Based Display:
Public / Private Image Presentation Basedon Gaze-Contingent Visual Illusion. In ACM
SIGGRAPH 2007 Emerging Technologies, SIGGRAPH ’07, p. 5–es, New York, NY, USA, 2007.
Association for Computing Machinery.
[2] R. Bailey, A. McNamara, N. Sudarsanam, andC. Grimm. Subtle Gaze Direction. ACM Trans.
Graph., 28(4), sep 2009.
[3] J. R. Brockmole, R. F. Wang, and D. E. Irwin.
Temporal integration between visual images andvisual percepts. Journal of Experimental Psychology: Human Perception and Performance,
28(2):315, 2002.
[4] W. EinhÃ, U. Rutishauser, C. Koch, et al.
Task-demands can immediately reverse the effects of sensory-driven saliency in complex visual stimuli. Journal of vision, 8(2):2–2, 2008.
[5] S. Goferman, L. Zelnik-Manor, and A. Tal.
Context-Aware Saliency Detection.
IEEE
Transactions on Pattern Analysis and MachineIntelligence, 34(10):1915–1926, 2012.
[6] A. Hagiwara, A. Sugimoto, and K. Kawamoto.
Saliency-based image editing for guiding visual
attention. PETMEI’11 - Proceedings of the
1st International Workshop on Pervasive Eye
Tracking and Mobile Eye-Based Interaction, 09
2011.
[7] H. Hata, H. Koike, and Y. Sato. Visual Guidance with Unnoticed Blur Eﬀect. In Proceedingsof the International Working Conference on Advanced Visual Interfaces, AVI ’16, p. 28–35, New
York, NY, USA, 2016. Association for Computing Machinery.
[8] X. Hou and L. Zhang. Saliency Detection: A
Spectral Residual Approach. Vol. 2007, 06 2007.
[9] H. Ikeda, T. Hayakawa, and M. Ishikawa. Bilateral Motion Display: Strategy to Provide Multiple Visual Perception Using Afterimage Effects for Speciﬁc Motion. In Proceedings of the25th ACM Symposium on Virtual Reality Software and Technology, VRST ’19, New York, NY,
USA, 2019. Association for Computing Machinery.

[10] L. Itti, C. Koch, and E. Niebur. A model ofsaliency-based visual attention for rapid scene
analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254–1259,
1998.
[11] A. Kroner, M. Senden, K. Driessens, and
R. Goebel. Contextual encoder–decoder network for visual saliency prediction. Neural Networks, 129:261–270, sep 2020.
[12] R. Pal and D. Roy. Enhancing Saliency ofan Object Using Genetic Algorithm. In 2017
14th Conference on Computer and Robot Vision(CRV), pp. 337–344, 2017.
[13] F. Sakaue and J. Sato. Active 3D Motion Visualization Based on Spatiotemporal Light-Ray
Integration. In 2020 IEEE/CVF Conference
on Computer Vision and Pattern Recognition(CVPR), pp. 1977–1985, 2020.
[14] S. L. Su, F. Durand, and M. Agrawala. DeEmphasis of Distracting Image Regions Using
Texture Power Maps. In Proceedings of the 2nd
Symposium on Applied Perception in Graphics
and Visualization, APGV ’05, p. 164, New York,NY, USA, 2005. Association for Computing Machinery.
[15] J. Sutton, T. Langlotz, A. Plopski, S. Zollmann,
Y. Itoh, and H. Regenbrecht. Look over There!
Investigating Saliency Modulation for Visual
Guidance with Augmented Reality Glasses. In
Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology, UIST ’22, New York, NY, USA, 2022. Association for Computing Machinery.
[16] S. Treue. Visual attention: the where, what,
how and why of saliency. Current opinion inneurobiology, 13(4):428–432, 2003.
[17] E. E. Veas, E. Mendez, S. K. Feiner, and
D. Schmalstieg. Directing Attention and Inﬂuencing Memory with Visual Saliency Modulation. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems, CHI’11, p. 1471–1480, New York, NY, USA, 2011.
Association for Computing Machinery.
[18] J. Watanabe, T. Maeda, and H. Ando.
Gaze-Contingent Visual Presentation Techniquewith Electro-Ocular-Graph-Based Saccade Detection. ACM Trans. Appl. Percept., 9(2), jun
2012.
[19] Y. Watanabe, G. Narita, S. Tatsuno, T. Yuasa,
K. Sumino, and M. Ishikawa. High-speed 8-bit
Image Projector at 1,000 fps with 3 ms Delay.
12 2015.