情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A05
2018/3/5

他者の観察行動を可視化する AR インタフェース
岩永真斗†1

橋本直†1

概要：日常生活の中で他者の観察行動からモノの見方についての気付きを得る事がしばしばある．本研究ではモノの見方についての自発的な発見を促すことを目的とし，他者の観察行動を AR（Augmented Reality）の技法によって実空間上で可視化する手法を提案する．提案手法では可視化の対象となる人物の視点の位置・方向および視点画像を記録した後，記録された観察行動を AR デバイスにより同一空間上に重畳表示する．これにより，過去にその人物が何をどのように見ていたがわかるようになる．また同一のアングルで観察することでそれを追体験することもできる．

Augmented Reality Interface for Visualizing Viewpoints of Others
MASATO IWANAGA†1

SUANO HASHIMOTO†1

Abstract: We often get awareness about how to see things from observation of others in daily life. In this research, we propose amethod to visualize viewpoints of others in real world by using augmented reality technology to encourage active discovery ofabout how to see things. In our method, after recording the position, direction, and images of viewpoints of the target person, therecorded viewpoints are superimposed on the same space using the AR device. It allows user to understand what the target person
was watching in the past. Then user can re-experience observation of target person by observing from the same angle as him/her.

1. はじめに
我々は日々の生活の中で，他者の観察行動からモノの見2. 提案手法
2.1 システム要件方についての気付きを得ることがある．例えば，ある場所提案手法で使用する AR デバイスの条件として，カメラで数名の人々が一様に同じ方向を見上げている様子を見て，を搭載していること，空間内における自己位置推定の機能思わず自分も近づいて同じように見上げたら，そこに珍しを有していることが挙げられる．これらの条件を満たすもい動物がいるのがわかった，というような経験は誰しもあのであれば，シースルー型 HMD（Head Mounted Display）るだろう．また，美術館や博物館のような展示施設においでもハンドヘルド型の AR 端末でも利用可能である．て，他の来館者が自分とは異なる位置や角度から展示物を2.2 観察行動の記録観察する様子を見て，その作品の新たな鑑賞法に気付かさ本研究では，観察行動を視点の位置・方向および視点画れることもある．特に芸術作品においては，見方が変わる像の時系列データと定義する．これらは AR デバイスに搭とその作品に対する印象が大きく変わることがある．

載されたカメラと自己位置推定機能を利用して記録される．

このような体験に着目し，本研究ではモノの見方につい

なお，視点画像には，一定時間ごとに自動撮影されたものての自発的な発見を促すことを目的として，他者の観察行と，ユーザが任意のタイミングで意識的に撮影したものの動を AR の技法によって実空間上で可視化する手法を提案両方が含まれる．

する．提案手法では，まず可視化の対象となる人物に ARデバイスを装着させ，その人物の視点の位置・方向および視点画像視線を表す矢印視点画像を記録する．その後，記録された観察行動を ARデバイスにより同一の空間上に重畳表示する．
提案手法により，対象の人物が過去に何をどのように見ていたかがわかるようになる．また，表示されている情報を頼りに，過去と同じアングルで見ることにより，観察行動を追体験することもできる．さらに，現在の風景とその位置で撮られた画像を見比べることにより，その場所についての理解をより深めることができる．
†1 明治大学 総合数理学部 先端メディアサイエンス学科
Department of Frontier Media Science, School of Interdisciplinary
Mathematical Sciences，Meiji University.

© 2018 Information Processing Society of Japan

行動履歴を表す線

図 1
Figure 1

頭部の位置を示す
球体

観察行動の可視化

Visualization of observation.

875

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A05
2018/3/5

過去に撮られた写真群を空間性のある表現で提示する手法として以下のようなものがある．大高らは，複数の視点映像を時空間的にコラージュして三次元仮想空間を構築する手法を提案している[4]．このシステムのユーザは，仮想空間内において視点を撮影地点に移動させることで，撮影者の視点を追体験できる．また，「思い出のぞき窓」では，タブレット端末を用いて過去を覗き見るインタラクションを実現している[5]．このアプリケーションでは，タブレッ
ト端末を実空間にかざすと，その場所で撮られた過去の写真が現実の風景に重ね合わされる形で表示され，現在と過図 2

プロトタイプにおけるユーザ視点の映像

去の風景を比較することができる．我々の研究は，三次元Figure 2の空間性のある情報提示を行っている点でこれらの研究とUser’s view in the prototype.

共通しているが，特定の人物の行動履歴の提示によって，2.3 観察行動の可視化
可視化時における情報提示の方法を図 1 に示す．視点の移動経路が連続的な線で表示され，視点画像が撮影された位置には頭部の位置を示す球体と撮影方向を示す矢印が表示される．矢印が指し示す先に視点画像が表示される．
2.4 プロトタイプ「誰がどのように見たのか（撮ったのか）」という情報にフォーカスしていく．

4. 今後の展望
本研究ではモノの見方についての自発的な発見を促すことを目的とし，他者の観察行動を AR の技法によって実提案手法のプロトタイプを Microsoft HoloLens 向けのア空間上で可視化する手法を提案した．提案手法は日常生活プリケーションとして実装した．開発環境には Unity2017

での利用に加え，美術館での作品鑑賞や旅行先での観光な

1.2，Visual Studio 2017 を用いた．HoloLens には SLAM ベ

どのエンタテインメントにおいて有用なツールとなることースの空間認識技術が搭載されており，実空間における自が期待できる．今後は実際にそのようなシチュエーション

己位置推定と空間への情報のマッピングを行うことができ下でユーザテストを行い，情報提示の方法を改善していく

る．今回はこれらの機能を用いて，視点の位置・方向およことを検討している．

び視点画像の記録と，実空間に対する CG の位置合わせを行った．プロトタイプにおける可視化の様子を図 2 に示す．

参考文献
[1]

3. 関連研究
本研究に関連する研究として，注視行動や芸術鑑賞の支[2]援に関する研究と，写真や映像の空間的な提示に関する研究を紹介する．
藤本らの研究では，仮想空間において視線行動を可視化[3]することにより，ユーザが自他の行動の比較を行い，着眼スキルを発展させることを目指している[1]．我々の研究も「見る」という行為における気付きを得ることを目的としているが，AR の技法を用いて実空間において視点・視線を可視化している点で異なる．

[4]
[5]

藤本武司, 砂山渡, 山口智浩, 谷内田正彦. 視線行動の可視化による着眼スキル伝達支援. 人工知能学会論文誌, 2004, vol.
19, no. 3, p.174-183.
亀ヶ森理史, 川嶋稔夫, 木村健一, 中小路久美代, 山本恭裕.
ミュージアムにおける展示物への自発的注目を促すための鑑賞補助ツール. 人工知能学会全国大会論文集, 2014, vol. 28,
2E1-1, p.1-2.
檜山敦, 今井智章, 谷川智洋, 廣瀬通孝. 拡張現実感ビークルを用いた遠隔展示解説支援. 日本バーチャルリアリティ学会
論文誌, 2011, vol. 16, no.1, p.35-44.
“思い出のぞき窓”. http://nozokimado.org/, (参照 2017-12-25).
大高雄介, 角康之,岩澤昭一郎 , 伊藤禎宣, 間瀬健二. 多視点ビデオデータの時空間コラージュによる追体験空間の構築.
人工知能学会全国大会論文集, 2004, vol. 18,1E1-03.

亀ヶ森らは，ミュージアム施設における展示物への自発的な注目を促すことを目的とし，ロウソク照明を用いた鑑賞法を提案している[2]．また，檜山らは AR による情報提示機能を搭載した来館者の移動を助けるビークルを用いて，学芸員が遠隔で誘導を行いつつ展示解説を行うシステムを提案している[3]．我々の研究は，明示的な情報提示や説明を避け，ユーザが自分で気付くことに主眼が置かれ，自発性という点で前者の研究と共通している．また，AR を用いて情報提示を行うという技術的な点において後者の研究と共通している．

© 2018 Information Processing Society of Japan876