The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3F3-04

ＡＲ環境における部分領域の注目パターンを考慮した注釈提示
Showing Annotation Considered Pattern of Gazing on Augmented Reality
西田 謙太郎*1

吉高 淳夫*1

平嶋 宗*1

Kentaro NISHIDA

Atsuo YOSHITAKA

Tsukasa HIRASHIMA*1

広島大学大学院工学研究科

Graduate School of Engineering, Hiroshima University
Augmented Reality (AR) enables to inform annotation related objects in the real world, and is a practical technique tosupplement the information related objects in the real world. In this paper, we propose method to show annotations. As aperson has various interests, pattern of gazing changes in accordance with the user’s interest. We need to show annotation
corresponded to user’s interest. We consider user’s gazing point changed by the difference of interest. By this method, we areable to show practical annotation on AR.

1. はじめに
拡張現実感(Augmented Reality, AR)とは、実世界のオブジェ
クトに対してテキストや CG 等の注釈情報を付加することによって、ユーザは実世界のオブジェクトの外観から直接的に獲得できるもの以外の情報を得ることができる技術である。
このようなオブジェクトに関する情報を提示する目的で実現された AR システムの応用例としては、美術館や博物館などでの展示物における鑑賞支援の利用が挙げられる。人が鑑賞するオブジェクトには外観の情報以外にオブジェクトに関連する情報があり、美術館の絵画を例にすると、絵画の作者、作品名や作品内容の説明などが挙げられる。美術館内などにおけるオブジェクトに関する注釈情報を鑑賞者であるユーザが獲得する方法として、パンフレットなどがある。これらの方法は、パンフレットを参照するというユーザ自ら意識的に情報の獲得するための動作を行うことでオブジェクトに関する情報の獲得を行っている。
しかし、AR 技術を利用することにより、ユーザは必要とする注釈情報を探すという動作なしで、オブジェクトに関する注釈情報を獲得することができ、容易に実世界のオブジェクトとのインタラクションに関わる情報の質や量を向上させることが可能となる。
AR 技術を利用した注釈情報の提示を目的とした研究では、ユーザがオブジェクトを見たときやその方向を向いているときに注釈情報をユーザに提供する手法が提案されている[2]。しかし、これらの手法では、提示する注釈情報については考慮されておらず、オブジェクトに関する全体的な注釈情報をユーザに提示している。
本研究では、ユーザの視線を検出しているため、ユーザが注目した部分領域を認識することが可能である。ユーザが注目した部分領域を認識することにより、ユーザが鑑賞してきた部分領域の履歴である注目パターンが検出できる。これより、ユーザが絵画などの展示物を鑑賞する際、ユーザにおける興味の持ち方の違いにより変化する注目する部分領域への順番など展示物を注目する仕方に対応した注釈提示が可能となる。
本稿では、オブジェクトに関する全体的な注釈情報を提示する手法に対し、ユーザの注目した履歴を用いることにより、ユーザが必要とする注釈情報を提示することが可能となる手法を提案する。

連絡先：西田 謙太郎，広島大学大学院工学研究科，
広島県東広島市鏡山 1-4-1，(tel)082-424-7669，(E-mail)nishida@isl.hiroshima-u.ac.jp

2. 絵画を対象とした注釈提示
2.1 視点の検出
ユーザの注目パターンを検出する際、まずユーザが注目している箇所を検出する必要がある。本研究では、ユーザの視点の検出方法として、[1]の手法を利用している。この手法では、眼球を撮影する CCD カメラを眼球下部に、視界を撮影する CCDカメラを額中央に設置することで、ユーザの視点を検出している。
カメラを設置した様子を図 1 に示す。

図 1 カメラ設置の様子

2.2 注目状態の検出
人間が静止している物体を注目している際には、約 300 ミリ秒間の固視状態と約 30 ミリ秒間に起こる跳躍運動を繰り返す[3]ことが知られている。
絵画を鑑賞する際、ユーザは絵画中の各部分への注目動作を行うため、固視・跳躍が検出される。本研究では、この固視・跳躍の頻度を実験により調べ、ユーザの注目状態を検出する。
実験より、固視・跳躍が 3 回以上続くならば、注目の開始とし、3秒以上固視・跳躍が検出されないならば、注目の終了としている。

2.3 注目パターンの検出
本研究では、ユーザの注目状態において固視・跳躍が検出されたとき、注目時におけるユーザの視点としている。この注目状態におけるユーザの視点は様々な箇所に分布する。しかし、ユーザが 1 つの部分領域を注目した場合には、ユーザの視点が同一の部分領域に集まる。また、ユーザが異なる部分領域を交互に注目した場合は、ユーザの視点が 2 つの部分領域に集まるという視点の分布に特徴が現れる。このようなユーザの視点の特徴を検出するには、ユーザの視点の移り変わりを検出する必要がある。その視点の移り変わりを検出するため、注目状態を区間に分ける。その区間内に存在するユーザの視点の分布-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005より、ユーザが絵画中の 1 つの部分領域を注目している状態であるか、また、複数の部分領域に注目している状態なのかを検出する。注目状態における時間の区切る方法を図 2 に示す。

ルなどの注釈情報のことを指す。また、場面の情報では、絵画中の対象により描かれている場面に至った成り行きが異なるため、描かれている対象ごとに場面の背景となる注釈情報を用意することが可能である。対象関係とは、部分領域間の関係についての注釈情報であり、オブジェクト同士のかかわりが分かる情報である。以上の注釈情報をユーザの注目パターンに応じて提示する。

5. 実験

図 2 注目状態における区間の設定方法

3. 絵画鑑賞での注目パターン
人間は興味のあるオブジェクトに注目するため、ユーザが注目した絵画中の部分領域は、ユーザの意図や興味を反映した箇所であると考えられる。ユーザが複数の部分領域に注目する
場合、ユーザの意図や興味の違いにより、絵画中の部分領域を注目する仕方にも違いが生じる。
本研究では、ユーザが 1 つの部分領域だけを見ている場合である特定の部分領域への注目、2 つの部分領域を繰り返し交互に見ている場合である複数領域への注目、部分領域を順番に見ていく場合である他の部分領域へ推移する注目の 3 通りの注目パターンであるユーザの視線の特徴を検出する。
・特定の部分領域への注目
絵画中の 1 つの部分領域だけを見る場合をユーザがその部分領域にのみに強い興味を持っている。このような注目の仕方では、ユーザの視線が同じ部分領域に集まるので、ユーザが 2 秒以上同じ部分領域を注目した状態とする。
・複数の部分領域への注目
ユーザが同じ部分領域同士を何度も見るという絵画中の複数の部分領域を繰り返し交互に見る場合である。このように部分領域同士を繰り返し見る状態を、ユーザが部分領域の関係に興味を持っているとする。このような注目の仕方では、ユーザの視線が移り変わるので、注目時間を切り分けた区間内における視点が同じ部分領域に留まらず、部分領域間を繰り返し交互に 2 秒以上注目した状態とする。
・他の部分領域へ推移する注目
絵画中の部分領域同士を頻繁に繰り返し見るのではなく、順番に他の部分領域へと注目する対象を変えるような注目の仕方により部分領域を見る場合である。絵画中の部分領域を順番に見ている状態を、注目状態が開始されてから初めに強い興味を持ち、部分領域を見た状態から、ユーザは興味の対象を広げたため、関連する別の部分領域へ興味の対象を変えた場合である。一方の部分領域に興味を持ち特定の部分領域への注目を行った後、注目動作を終了せずに、他の部分領域にも興味が現れ注目した状態である。

4. 注釈情報の定義と提示
本研究では、1 枚の絵画に 2 つの部分領域を定義し、注釈情報を付加する。1 枚の絵画には、主に描かれている対象の情報、場面の情報、対象同士の関係がある。描かれている対象の情報とは、対象の外観だけでは分からない、名称やプロフィー

実験方法は、A3 サイズの絵画をそれぞれ額縁に入れ、単一色の壁に掛けた状態で行った。各絵画に対して、絵画の構成要素である人や建物などの部分領域を注釈付加領域とする。また、システムがユーザの注目パターンを正しく検出できているかの評価を行うため、被験者に注目する部分領域と注目するパターンを指定した。
ユーザの注目したパターンをシステムが正しく検出できているのかを検証した実験の結果を表 1 に示す。Ns はシステムが部分オブジェクトに注目した状態と判断した回数、Nc はシステムが判別した部分オブジェクトが実際に注目した部分オブジェクトであった回数とし、Precision=Nc/Ns とする。1 つの部分領域を見る場合に比べて、部分領域を繰り返し交互に見る場合と部分領域を順番に見る場合の検出精度が低かった。ユーザの注目パターンを検出する精度は、ユーザが注目した部分領域の検出精度の影響を受けやすい。そのため、システムによる注目パターンの検出精度の低下は、ユーザの注目した部分領域が正しく検出されていなかったことが原因として挙げられる。この原因として、眼球を撮影するカメラレンズの歪みの特性を考慮していないためであると考えられる。また、注目パターンを 2 秒間におけるユーザの視点の分布を検出することにより決定していたが、ユーザの視線の特徴は、この時間間隔で検出することが適切でなかったことも挙げられ、注目パターンを検出する精度の低下の原因であると考える。
表 1 注目パターンの検出精度
注目パターン

1 つの部分領域を見る

部分領域を繰り返し交互に見る

部分領域を順番に見る

Precision（Nc/Ns）

0.96

0.63

0.69

6. おわりに本研究では、AR 環境における部分領域の注目パターンを考慮した注釈提示方法を提案した。このような提案手法は、注釈情報を付加することを目的としている AR システムにおいて、有効な注釈提示方法の 1 つであると考える。今後は、システムによるユーザが注目した部分領域の判別精度と注目パターンの判別精度の向上と、制約された環境の緩和などが挙げられる。

参考文献[1] 竹村知晃, 吉高淳夫, 平嶋宗: 注視点分布に基づく適応的な注釈情報の提示，インタラクティブシステムとソフトウェア
XII: 日本ソフトウェア科学会 WISS2004, pp.19-24, 2004．
[2] Jun Rekimoto, “Matrix: A Realtime Object Identification andRegistration Method for Augmented Reality”, In Proc. 1998
Asia Pacific Computer Human Interaction (APCHI’98), July1998.
[3] 池田光男: 眼はなにを見ているか，平凡社 ，1988．

-2-