情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B27
2016/3/2

Time Eye Hole: 全天球画像における変化探索支援インタフェースの開発
長谷川 峻一1,a)

小林 一樹2,b)

山田 誠二3,4,5,c)

概要：一般的に，類似した一連の画像中から重要な変化を検出するのは人間にとって容易ではない．人の目視による物体の検出については，変化の探索タスクを課した研究がいくつか挙げられるが，その多くはユーザが発見するべき対象をあらかじめ把握しているものがほとんどである．しかし，防犯カメラや農園における定点観測画像の観察においては検出対象が随時ユーザの状況に応じて変化するため柔軟な探索行動が要求される．そこで本研究では，そのような探索行動の中でスムーズに画像間の比較を行うことができる新しいインタフェースを提案する．また，時系列の全天球画像を収集するためのモニタリングシステムの開発も行った．提案手法である Time Eye Hole は画像を部分的に別日時の画像に変化させて観察できるインタフェースであり，評価実験の結果から従来手法に比べてより素早く正確に変化の探索ができる可能性が示唆された．

Time Eye Hole: An Exploratory Visual Search Support
Interface for Omnidirectional Time Series Images
Shunichi Hasegawa1,a)Kazuki Kobayashi2,b)Seiji Yamada3,4,5,c)

Abstract: Detecting objects with significant change from similar scene of images is usually diﬃcult for ordinary people. Researches about visual search tasks have proposed various methods. Typical ones focus on
searching a particular object that users know it in advance. However, surveillance in security camera images
and agricultural field monitoring images requires exploratory visual search with inconstant detection criteria
because observers have their own criteria for such monitoring images to make decision and often update it
according to a given situation. This paper proposes a novel interface for such exploratory visual search tocompare between fixed point omnidirectional images with inconstant detection criteria. A field monitoring
camera to collect omnidirectional time series images is developed for the proposed interface. The proposedinterface, Time Eye Hole shows a part of an image of a diﬀerent date and time on a base image and users
can freely move it to compare them. The experimental results showed that Time Eye Hole mode had a highdegree of usability for extracting events from field images.

12345a)b)c)

信州大学理工学研究科
Shinshu University
信州大学学術研究院工学系
Academic Assembly, Shinshu University
国立情報学研究所
National Institute of Informatics
総合研究大学院大学
SOKENDAI
東京工業大学Tokyo Institute of Technology
15tm522b@shinshu-u.ac.jp
kby@shinshu-u.ac.jp
seiji@nii.ac.jp© 2016 Information Processing Society of Japan

1. はじめに
一般的に，類似した一連の画像中から重要な変化を検出するのは人間にとって容易ではない．特にサイズの大きな画像の場合，画像の表示を切り替える単純なインタフェー
スでは，ユーザが画像間における全体と部分の関係性を把握しながらスムーズに画像を比較することができないため効率的ではない．
人の目視による物体の検出については，変化の探索タスクを課した研究がいくつか挙げられる．例えば，ユーザに264情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B27
2016/3/2

対して口頭によるメッセージで探索する範囲の手助けを行うと探索の効率が上がることや [1]，触覚デバイスを用いて視線の誘導を行うことでユーザの探索能力が向上する等の報告がある [2]．また，人間の視覚的特性に着目したものとして, 視線移動と瞳孔反射から暗黙的な探索の意図を特定する研究も行われている [3]．
しかし，これらの研究は発見するべき対象があらかじめ明示されている場合が多いため，様々なイベントが発生する時系列画像間の重要な変化を検出するための手法として適用するのは難しい．
本研究では，撮影範囲の広い，定点観測された防犯カメ
ラ画像や農園画像における重要な変化を探索するタスクに着目する [4], [5]．このようなタスクの場合，画像中の変化

図 1 全天球モニタリングシステムの構成を重要と判断するかはユーザに大きく依存する．例えば，Fig. 1 Architecture of omnidirectional monitoring system

警備員は記録された防犯カメラ画像を独自の判断基準で不審な点がないかチェックするが，その判断基準は状況に応じて柔軟に変化させる必要がある．また，近年増加しているスマート農業を取り入れている農家はモニタリング機器
によって撮影された定点観測画像を観察する際に，判断基準を状況に応じて更新しながらより効率的な農園管理のための意思決定を行う．
そこで本報告では，ユーザの状況によって探索する対象が日々移り変わるような定点観測画像における，重要な変化を探索するための新しいユーザインタフェースを提案する．また，提案するユーザインタフェースで用いる時系列

図 2

Time Eye Hole のユーザインタフェース
Fig. 2 Time Eye Hole Interfaceの全天球画像を収集するためのモニタリングシステムの開発も行った．

2. 全天球モニタリングシステム
2.1 システム構成
図 1 にシステム構成を示す．本研究のシステムは画像撮影用の機器，シングルボードコンピュータ，そしてビューアを利用するためのコンピュータから構成される．撮影機器はリコー社製の RICOH THETA，シングルボードコ
ンピュータは Raspberry Pi を使用する．RICOH THETA
はボタンひとつで周囲 360 度の景色を捉えることができる
全天球カメラである．Raspberry Pi 上に設置されたスクリプトから RICOH THETA による定期的な自動撮影を行い，画像を取得する．ビューアではサーバに保存された画

図 3 Time Eye Hole モードの原理

Fig. 3 Layered structure of Time Eye Hole mode

像をインターネットを介してブラウザ上で読み込み描画を行う．

ルで視野角の拡大・縮小が実装されている．

2.2 全天球 Web 画像ビューア

2.3 比較機能

本研究のビューアは全天球画像の閲覧及び比較用の Web

全天球 Web 画像ビューアには Time Eye Hole モード，アプリケーションである．なお，本システムの開発は jQuery

Tiled-Window モード，そして Time-Lapse モードという 3のプラグインとして提供されている ThetaViewer をベースつの比較機能を実装した．とした [6]．全天球画像の描画には three.js ライブラリが用

2.3.1 Time Eye Hole モード

いられており，マウスのドラッグで注視点の変更，ホイー© 2016 Information Processing Society of Japan

図 2 に示した Time Eye Hole モードは画像比較のため265情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B27
2016/3/2

Tiled-window モード

図 5 Time-lapse モード

Fig. 4 Tiled-window mode

Fig. 5 Time-lapse mode

図 4の新しいインタフェースである．このモードを選択すると画面の中央に円形のインタフェースが表示される．この円の外では元の画像が表示されたままであるが，円内には別の日時に撮影された画像が表示され，ユーザは円の内部でドラッグすることにより自由に画像内を観察できる．一見すると一つの画像が表示されているだけに見えるこのイン
タフェースは，図 3 に示すように，実際には 2 つのレイヤーで構成されている．具体的には，背面のレイヤーに最新の画像が表示され，その上に円形のマスク処理が施された過去の画像を表示するレイヤーが重ねられている．さらに，ビューアの操作中 2 つのレイヤー間における注視点の変更，画像の拡大や縮小は常に連動される．したがって，ユーザは 1 つの画像の中であたかもその一部分のみを過去に戻して見ている感覚で比較を行うことができる．

2.3.2 Tiled-window モード
図 4 に Tiled-window モードのユーザインタフェースを示す．画面が 4 分割され，それぞれ窓のように隣り合わせに並んでいる．ユーザはそれぞれの画面に任意の画像をセットすることができ，一つの画面で注視点が変更されると他の画面も連動する．したがって，ユーザは複数の日時の画像を同時に素早く比較することが可能である．

2.3.3 Time-lapse モード

図 6

実験における変化箇所の例

Fig. 6 Example of diﬀerence between two images

図 5 に Time-lapse モードのユーザインタフェースを示す．このモードでは RICOH THETA によって撮影された5 つのカテゴリーに分類した．例えば図 6 のように建物の一連の元画像をコマ送りのアニメーションとして確認する窓の個数を変化させたものなどがある．

ことができる．ユーザは定点観測画像間における大局的な実験では 10 人の参加者に画像間の目立った変化を 10 分変化を瞬時に把握でき，より詳細に観察したい部分を特定間の制限時間内に探索してもらうタスクを課した．参加者することができる．の半分は Time Eye Hole モードを，もう半分の参加者は3. 評価実験
3.1 実験内容

Tiled-window モードを探索に使用した．また，参加者には変化を検出した際に，あらかじめ配布した用紙に発見した箇所と残り時間を記録してもらった．

Time Eye Hole モードと Tiled-window モードの性能を評価するため，実験を行った．まず，実験準備として 2 つの3.2 実験結果

全天球画像を用意した．ひとつは RICOH THETA によっTime Eye Hole グ ル ー プ の 平 均 変 化 検 出 率 は Tiled-て撮影された風景画像であり，もう一方は同じ画像に画像

window グループよりも 15 ポイント高い 95%であった

編集ソフトを用いて 15 箇所の変化を施した類似画像であ（表 1）．さらに，各項目別にそれぞれ平均変化検出率を比る．なお，変化の種類は出現，消滅，色，大きさ，位置の較した場合，Tiled-window グループは Time Eye Hole グ© 2016 Information Processing Society of Japan266

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

表 1

161B27
2016/3/2に農園などの全天球画像を閲覧できる Web 画像ビューア

各グループの平均変化検出率

Table 1 Average detection rate of the diﬀerences
カテゴリー
出現消滅

色大きさ

位置合計を開発した．また，本研究の提案手法である，部分的に別Time EyeTiled-window

日時の画像を観察できる Time Eye Hole モードの性能を評

Hole (n=5)(n=5)

価する実験も行った．その結果，提案手法は従来手法に比

建物

100%

100%

べて時系列画像から重要な変化を検出できる可能性が高い

窓60%80%

茂みことが示唆された．今後，実験参加者の数を増やしつつ，

100%

100%

雪

100%

80%

時計

100%

100%

マンホール

100%

80%

芝生

60%

40%

謝辞

ベンチ

100%

80%

本研究の一部は JSPS 科研費 26118005 の助成を受けまプレハブの壁

100%

100%

木

100%

60%

枝

100%

100%

非常階段

100%

100%

ゴミ箱

100%

80%

木

100%

80%

三脚

100%

20%

全項目

95%

80%

項目

ユーザの視線解析やユーザインタビューを重ねることで実験結果の信頼性を高めていく予定である．

した．ここに謝意を表します．
参考文献
[1]

[2]

ループに比べて極めて検出率の低い項目がいくつか見受けられた．

[3]

4. 考察
実験結果より，Time Eye Hole モードを使用した場合により多くの変化箇所を検出できることが確認できた．特に，[4]僅かな位置の変化における検出率の差が顕著であった．このような差が生じた原因として画像を比較する際の視線移[5]動の範囲と回数の違いが考えられる．Tiled-window モード
では変化箇所を検出するために 2 つの画像間を何度も行き来しなければならない．一方で，Time Eye Hole モードで[6]画像を比較する際には観察したい領域上で円をドラッグするだけでよい．したがって，Time Eye Hole モードはユーザの負担を削減するだけでなく，従来の比較手法に比べて[7]より正確に変化の詳細を確認できる可能性がある．
また，本実験で使用した画像は画像編集ソフトで加工したものであったが，設定した変化の 5 つのカテゴリーは，より現実的なイベントに紐付けて考えることができる．例
えば農園における定点観測画像の場合，5 つのカテゴリー
はそれぞれ野生鳥獣の出現，天候や果実の着色 [7]，作物の[8]Kieﬀer, S. and Carbonell, N.: Oral messages improve visual search, In Proceedings of the working conference on
Advanced visual interfaces (AVI’06), 369-372 (2006).
Lehtinen, V., Oulasvirta, A., Salovaara, A. and Nurmi,
P.: Dynamic tactile guidance for visual search tasks,
In Proceedings of the 25th annual ACM symposium on
User interface software adn technology (UIST’12), 445452 (2012).
Jang, Y., Mallipeddi, R. and Lee, M.: Identificationof human implicit visual search intention based on eyemovement and pupillary analysis, User Modeling andUser-Adapted Interaction. 24, 4 (October 2014), 315-344(2014).
Fukatsu, T. and Hirafuji, M.: Field monitoring using
sensor-nodes with a web server, Journal of Robotics andMechatronics, 17, 2 (April 2005), 164-172 (2005).
Kobayashi, K., Toda, S., Kobayashi, F. and Saito, Y.:
Web-based image-viewer for monitoring high-definition
agricultural images, SICE Journal of Control, Measurement, and System Integration, 5, 1 (January 2012), 13-17(2012).
小久保温: 全周パノラマ画像 WebGL/CSS 3D Transforms
ビューアの開発, 芸術科学会東北支部・研究会論文，1-2(2013).
Motonaga, Y., Kondou, H., Hashimoto, A. andKameoka, T.: A method of making digital fruit colorcharts for cultivation management and quality control,
Journal of Food, Agriculture & Environment, 2, 3&4(December 2004), 160-166 (2004).
Sugahara, K., Nanseki, T. and Fukatsu, T.: Verificationof a prototype system to recognize agricultural operations automatically based on RFID, In Proceedings ofJoint Conference of IAALD, AFITA and WCCA, 215220 (2008).

生長，そして農家の作業の様子 [8] などに対応づけることができる．したがって，提案手法はこのような重要なイベントの検出を支援することで，ユーザのより的確な判断に貢献できる可能性がある．

5. おわりに本研究では，ユーザの状況によって探索する対象が日々移り変わるような定点観測画像における，重要な変化を探索するための新しいユーザインタフェースを提案し，実際© 2016 Information Processing Society of Japan

267