GS2-3-2

大画面ディスプレイを対象とした複数カメラによる注視領域判別の研究
Study on Eye Gazing Area Determination using Multiple Cameras
for Display of Large Screen○ 神長洋平（東京電機大学大学院）

鈴木真（東京電機大学）

Yohei Kaminaga, Tokyo Denki University Graduate School
Makoto Suzuki, Tokyo Denki University
Abstract: Eye gaze input has been studied as usual man-machine interface, for example, it’s provide communication
method for handicapped person. Generally such devices needs calibration before using. Then, we has proposed eye gazingarea determination using multiple cameras without calibration. As a result of experiment, a correct determination rate ofgazing area was higher than 80%, and we achieved stable operation. However, if proposed method use the wider, we needchange the experiment environment that available at a public space. To achieve this concept, we propose the experimentenvironment for using display of large screen. In standing case, eye gazing height is different from wide individual. Then
we set up 50 inch display at suitable various person. Furthermore, in accordance with changing experiment environment,
camera resolution changes 1280x720. Because show larger face on image. As a result of experiment, when detect such a correcteye, we achieved stable operation.
Key Words: Less Calibration, Eye Gaze Input, Large Display, Image Processing, OpenCV
1. 序論
マンマシンインタフェースの研究は古くから進められており，その中で注視入力が注目されてきた (1)．現在までに実用化されたものにマイトビー (2)が挙げられる．この装置は，注視によってディスプレイ上のメニュー選択が可能となっている．そのため，障害者向けに意思伝達の支援やコンピュータの入力インタフェースとして利用されている．
ただし，こうした装置は一般的に使用前にキャリブレーションが必要である．キャリブレーションが不要になれば，視線インタフェースの日常的な利用が現実的になり，ユーザビリティの向上につながる．そこでこれまでの研究 (3) では，1 台のカメラについては左右どちら側を注視しているかのみ判別させることで，キャリブレーションを無くした．
そして 2 台のカメラを組み合わせることで注視領域を判別することとし，この手法を用いたアプリケーションを開発して被験者による評価実験を行った．実験の結果，提案した手法は入力インタフェースに有効であると言える．
考案した手法の利用を広げることを考え，デジタルサイネージ(電子看板) (4)に着目する．デジタルサイネージに注視入力を用いれば，閲覧者がどこに注目しているかを知ることができ，より興味のある情報を提供することができる．
この場合対象が不特定の人物となりキャリブレーション作業は本質的に行えないため，我々が考案した手法がより有用になる．ただし，これまでの実験で行った PC 操作とはディスプレイサイズなど環境や条件が異なる．そこで本研
究では，大画面ディスプレイを使用した場合でも我々の手法が適用できるか検討した．
2. これまでに考案した注視領域の判別方法
左右どちらを注視しているかの判別には三宅らの手法(5)を参考に，カメラ画像から得られる両目の目尻の中点から両目の黒目の中点までの距離を視線方向値とした．視線方
向値が正の場合カメラより左側を注視とし，負の場合カメラより右側を注視とした．なお視線方向の計算に用いた黒

目の中心と目尻は，提案した画像処理方法(3)から取得した．
ここで，計算した視線方向値の過去 3 点の平均値から注視領域を判別する．左右のカメラの平均値がどちらも正ならば「左領域を注視」，負ならば「右領域を注視」，符号が揃わなければ「非注視」と判別する．
3. 実験環境の変更
注視領域判別の評価実験では，一般的に PC を使用する環境を想定して実験を行った．しかしデジタルサイネージなどに利用する場合，大きなディスプレイを用いて，立位の姿勢で，複数の人間を対象としなければならない．そこで，大画面ディスプレイを使用するときの被験者の位置や目線の高さを調査し，実験環境を構築した．
実験環境を構築するに当たって，まず立位になることで身長差という問題が生じる．身長が変わると目線の高さが変わるので，目線の高さに合ったディスプレイを用意する必要がある．座位の場合，日本人の平均座高の違い (6)が平均身長よりも小さく，かつ椅子の高さを調節することで目線の高さを調節することができた．しかし立位の場合では高さを調節するのは困難なことから，小さい女性が上を向くときの目線の高さ(1.41m~1.77m)と大きい男性が下を向くときの目線の高さ(1.34m~1.70m)にディスプレイを配置しようと考えた．その結果 ，50 インチの ディスプレ イ(Pioneer PDP-502MX)を高さ 1.0m~1.7m に配置する．
さらに，画面の大きさと姿勢の変更に伴い，カメラの高さと，被験者からディスプレイまでの距離も変更する．カ
メラは，これまでの実験の目線の高さとカメラ位置の高さの差に合わせるので，ディスプレイの上(1.7m)に設置する．
そしてディスプレイと被験者との距離は，デジタルサイネージを使用する際の一般的な被験者の視聴位置調査 (7)から1.0m に変更する．この実験の配置図を Fig.1 に示す．
4. カメラ設定の変更
実験環境変更に合わせてカメラの設定も変更する．これ

GS2-3-2-110～20°
1.6m

1.2m
1.0 m
Fig. 1 Layout of Experiment

100%
90%
80%
70%
60%
50%
40%
30%
20%
10%0%

Left

Right

Other

11.3
71.8
88.7
0.7

27.5
Scroll Image

Pause Image

Average of three subject (Exp.1)

Identification :

100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

Correct determination rate ofgazing area

display

1.0m

0.2～0.4m

Correct determination rate ofgazing area

Identification :

1.7m

Left

Right

Other

36.1
71.1
60.9
28.9
3.0
Scroll Image

Pause Image

Average of three subject (Exp.2)

Fig.2 Correct determination rate
Fig.3 Correct determination rateof gazing area (Exp. 1)
of gazing area (Exp. 2)までの研究では，一人を対象として決まった位置に被験者
Table.1 Input times (Exp. 1)を配置していたので，カメラの追従機能を使用して顔をズ
Task: Scroll Image
Task: Pause Image
Scrol l : Scrol l :Scrol l : Scrol l :Exp. 1O the rExp. 1O the rームさせることで 640×480 という低解像度でも安定して
Le ft
Ri ghtLe ft
Ri ght顔を検出していた．これを本研究からは，複数人を対象にSub. A
Sub. A
400001
Sub. B
Sub. B
401001
利用することを想定して顔追従機能の使用をやめるので，Sub. C
Sub. C
401100
距離が遠くなりカメラ画像上の顔のサイズが小さくなる．
具 体 的 に は こ れ ま で の 研究 の 場 合 だ と ， 顔 の 横 幅 は 約
Table.2 Input times (Exp. 2)
200pixel, 顔の縦幅が約 320pixel であったが，距離を 1.0m
Task: Scroll Image
Task: Pause Image
Scrol l : Scrol l :S croll: S croll:にして顔追従機能を使用しない場合，顔の横幅は約 70pixel，Exp. 2O the rExp. 2Other
Le ft
Ri ghtLeftRight
顔の縦幅は約 110pixel しかなかったためカメラの解像度をSub. A
Sub. A042001
上げようと考えた．ただし，解像度を上げることによって，Sub. B
Sub. B0213001
Sub. C
Sub. C
一回スクロールするのに必要な時間が長くなる．この相反042100関係を考慮し，一回のスクロールに必要な時間が 3 倍になるが，カメラの解像度を 1280×720 にした．
6. まとめより広い分野で注視入力を利用するために，公共の場を
5. 大画面ディスプレイにおける注視領域判別の評価実験想定した実験環境を構築した． 座位から立位に姿勢を変更
2 章の実験と同様の実験課題を行い，変更した実験環境することから目線の高さが変わるため，50 インチのディスでこれまでの実験と同様の結果が得られるか検証した．被プレイを 1.0～1.7m の位置に配置し，カメラの高さを 1.7m，験者 3 人(20 歳代健常男性)に実験 1，2 において，二つの実距離を 1.0m に設定した．さらに，実験環境に合わせてカメ験課題を行ってもらう．実験 1 は画像を 4 回左にスクロー
ラの解像度を 1280×640 に変更した．
ル(Task: Scroll Image)させた後に画像を 5 秒間止め続ける
被験者による実験から，左にスクロールする Task では左(Task: Pause Image)。実験 2 は画像を 4 回右にスクロール領域の正解率が 88.7%と期待した動作を実現できた．さら(Task: Scroll Image)させた後に画像を 5 秒間止め続けるに，入力に必要な平均時間が 2 章の実験と比べて約 3 倍必(Task: Pause Image)。この実験 1,2 中の各領域を判別する正要であることがわかった．ただし，右にスクロールする Task
解率、入力回数，入力の確定に必要な平均時間をアプリケ
では右以外の領域の選択が多発した．これは，右端を注視ーションが出力する処理経過のログファイルから計測した。
時に顔を右に約 30°向けたことによって正面顔ではなくな
実験 1 の注視領域判別の正解率を Fig.2 に，実験 1 の入力り，目を検出できなくなったためである．今後は目を検出の内訳を Table.1 に示す．実験 1 において Fig.2，Table.1 よするための方法を検討していく．
り，Scroll Image を実行時「左領域」の正解率の平均は 88.7%で，入力キャンセルとなった割合は 17%だけであった．た
参考文献
だし，入力に必要な平均時間は 5.98s であった．Pause Image(1) Richard A. Bolt, 鶴岡雄二, マン-マシンインタフェー
を実行時，「非注視」を選択する正解率の平均は 71.1%であス進化論, パーソナルメディア株式会社
ったが Sub. C のみはじめに誤って 1 回左にスクロールして(2) トビー・テクノロジー・ジャパン, Tobii T60,いたが，それ以外は課題を正しく実行していた．ゆえに，
http://www.tobii.com/en/eye-tracking-research/global/prod
実験 1 では 2 章の実験と同様，安定した動作を実現できた．
ucts/hardware/tobii-t60t120-eye-tracker/
実験 2 の注視領域判別の正解率を Fig.3 に，実験 2 の入力(3) Yohei Kaminaga, Makoto Suzuki, Study on input interfaceの内訳を Table.2 に示す．実験 2 において Fig.3，Table.2 よby eye gazing area determination using multiple cameras,り，Scroll Image を実行時「右領域」の正解率の平均は 60.9%
2013 IEEE EMBC Short Papers, No. 3068, 2013
で，Sub. B は 4 回右にスクロールすることができず，入力(4) NEC :デジタルサイネージに関する情報,キャンセルとなった割合は 63%となった．これは，画面がhttp://www.nec.co.jp/press/ja/0807/1701-01.html
大きくなったことで画面端を見る際に顔を約 30°右に向け(5) 三宅哲夫, 春田誠司, 堀田聡, 顔の向きに依存しないて注視したため，正面顔ではなくなり高い頻度で目を検出
特徴量を用いた注視判定法, 電子情報通信学会論文誌,できなくなったためである．なお，目を検出できていたと
VOL86-D-Ⅱ, No12pp, 1737-1744, 2003
きには正しく「右領域」を選択できていた．これらのこと(6) AIST人体寸法データベース,から，まず目領域から限定する範囲を調節する必要がある
http://riodb.ibase.aist.go.jp/dhbodydb/91-92/data/list.htmlと考えられる．現在設定している割合は，2 章の実験環境に(7) デジタルサイネージにおける匿名ビデオ分析(AVA)の合わせて割り当てた数値で設定している．ゆえに，被験者
フィールドテストレポート, http://www.dynaflex.co.jp/とディスプレイの距離に対応した割合を調べる必要がある．
docs/downloads/02_04_AIMsuite_fieldtest.pdf
GS2-3-2-2