360 度映像とアイマークレコーダを用いた実空間における注視点の取得
Acquisition of Gaze Points in Real Space by 360° Image and Eye Mark Recorder◦三浦健 *1, 安田

渓 *2, 三浦

*1

研 *3

*2

Ken Miura , Kei Yasuda , Ken Miura*3*1 京都大学大学院工学研究科 修士課程
Master Course, Graduate School of Engineering, Kyoto University*2 京都大学大学院工学研究科 研究員・修士（工学）Researcher, Graduate School of Engineering, Kyoto University, M. Eng.
*3 京都大学大学院工学研究科 教授・博士（工学）Professor, Graduate School of Engineering, Kyoto University, Dr. Eng.
キーワード：360 度映像 ; アイマークレコーダ ; AR マーカー
Keywords: 360°image; Eye Mark Recorder; AR marker.

実験では、ゲームエンジン Unreal Engine 4( 以下 UE4)

1. プログラム構築の背景と目的
近年、VR やアイトラッキング技術の進歩により、仮想上で 360 度映像をマウスを用いて回転させ、全方位を 60空間における視線計測や、様々な空間評価が可能となった。 秒間観察し、回転移動の水平・垂直位相を 1/120 秒ずつ取しかし、視界を覆う VR ゴーグルを用いた実験では、非装得した。

着時とは異なる不自然な観察をしてしまうことや、実空間

3.

アイマークレコーダを観察することが容易ではないという課題が残っている。

2. の実験の際に、nac 社の帽子型アイマークレコーダ

一方、視界を確保した視線計測可能な装置を用いれば、EMR9(Fig.2)( 以下 EMR9) を装着した。EMR9 は、前方映視界に対する視線の平面的動作を高精度に取得できる。
そこで本研究では、実空間を撮影した 360 度映像と視線計測装置を用いた実験データをもとに、映像における視線を 360 度画像上にプロットした。

1）

2. 360 度映像

像 (640 × 480pixel) と、それに対する視線データを取得できる。前方映像は約 30fps の動画、視線データは 1/60 秒ずつの csv 座標データとして取得した。(Fig.3)
4.

実空間における注視点の取得

4.1 歪曲画像補正

本研究には、全天球カメラ RICOH THEATA S(Fig.1)

実験に用いた EMR9 には、水平 44°視野を確保するピで撮影した 360 度映像のうち、正距円筒図 2）の映像 (Fig.1)

ンホールレンズを取り付けた。撮影した映像は (Fig.4) のを使用した。

ように樽型歪曲収差が生じるが、同じレンズで撮影したチェスボード (Fig.5) を複数枚読み込むことで取得できる、焦点距離などで決められた固有パラメータを用いて (Fig.6)のように歪みを補正した。今回の補正処理における再投影誤差は、0.0234pixel の精度を担保した。
4.2 ホモグラフィ変換
視線データは前方映像に対する相対座標であるため、頭Fig.1（左）RICOH THETA S （右）正距円筒図の 360 度映像

部の動きによって、視線データから見た場所を正確に特定

Fig.2 アイマークレコーダ

Fig.5 歪みのあるチェスボード

Fig.4 樽型歪曲収差の映像

Fig.6 歪曲収差補正後の映像

Fig.3 EMR9 が取得する、動画のフレーム構造と csv 座標データ
日本建築学会情報システム技術委員会
第 42 回情報･システム･利用･技術シンポジウム論文集， 240-241 ， 2019 年 12 月，東京
Proceedings of the 42nd Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 240-241 ， Dec. ， 2019 ， Tokyo－ 240 －

できない。そこで、360 度映像が投影された PC モニター
画面に対する、視線の相対座標の取得を試みた。

6.

展望
このプログラムは、写真や絵画の観察実験における視線実験には 1920 × 1080pixel の PC モニターを使用し、四の数値的分析にも応用ができる。また、モニター画面サイ隅に AR マーカー (Fig.7) を貼り付け、それらをプログラズに制約が無いため、モニターを大きくしても、映像の画ム上で認識させることでマーカーの位置、つまり前方映像角を実際に見える画角と揃えることで、より没入感が得らに対するモニター四隅の座標を取得した。この際、マーカーれることが予想される。

認識率を上げるため、色調補正後の二値化画像 (Fig.8) を用いた。４つ全てのマーカー認識率は 97.5% であった。
次に、ホモグラフィ変換を用い、四隅の座標を実際のモニター形状 (1920 × 1080pixel) に変形した。(Fig.9) 一連のX

Y

x'i_1

y'i_1…の相対座標を取得した。

Time[i]sec.

…

タに対しては同じ行列変数を近似的に用い (Fig.10)、視線Y
yi_1…

データにも同様の処理を行った。今回は、0.5 秒間のデーX
xi_1…

以上の補正変換処理は行列線形変換であるため、視線Time[i]sec.

…

4.3 座標補正変換…

処理を 0.5 秒毎の動画フレーム画像に対して行った。

1） Python 3.7.3 と、画像処理ライブラリ OpenCV 4.1.0 を用いてプログラムを実装した。
2） 一般的な世界地図と同じく、緯度（= 水平位相）と経度（= 垂直位相）が等間隔になるように表示された、縦横比 1:2 の図。

[i+0.5]sec. xi_15

yi_15[i+0.5]sec. x'i_15

y'i_15(x'i_ j, y'i_ j) = camera matrix · H · (xi_ j, yi_ j)

Fig.10 座標の補正変換処理(j = 1, 2, ..., 15 )4.4 ワールド座標変換
ある観測点から撮影された 360 度映像と、モニターに投影された映像との関係を (Fig.11) に示す。モニター上で見た場所の実空間における位置方向を、UE4 上での回転角と視線の相対座標から、以下のように導出した。

Fig.11 360 度映像とモニター映像との関係

5.

分析結果
実空間における位置の水平・垂直位相から、(Fig.12) のようなプロットや分析ができた。また、処理前の視線データのうち、2 度以内に 0.2 秒間停留する条件で注視判定をすると、注視点についても同様の分析ができ、注視時間割合の分析結果 (Fig.13) も得られた。

id = 0id = 1

id = 3

id = 2

Fig.7 id=0 ～ 4 の AR マーカー

Fig.9 ホモグラフィ変換後の映像

インタラクティブ発表 Z104

Fig.12 実空間における視線時系列分布
Fig.8 色調補正後の二値化画像

Fig.13 実空間における注視点頻度分布－ 241 －