LIFE2014 2014 年 9 月 24 日－26 日 北海道

OS2-2
組込み Linux を使用した視線認識

The line-of-sight recognition on embedded linux○ 難波田ゆう子（大阪市立大学大学院）

中野秀男（帝塚山学院大学）

大西克実（大阪市立大学大学院）
渡部健二（匠工房）

岡田繁（匠工房）

柴田諭（愛媛大学）

Yuko NANIWADA, Osaka City University
Hideo NAKANO, Tezukayama Gakuin University
Katsumi ONISHI, Osaka City University
Kenji WATANABE, Takumicobo
Shigeru OKADA, Takumicobo
Satoru SHIBATA, Ehime University
Abstract: System for line-of-sight recognition of person in front of the camera, has been developed in this reserch. Thesystem is composed by web camera and general personal computer. I also evaluate the accuracy in "RaspberryPi" is asingle-board computer. I will compare the results. Measurement of the viewing direction is achieved through the effective
use of sample images with the condition that meaningful. To shoot it with a distance condition, the angle the sample image.
From the condition of distance with the sample image, I determine the distance between the people and the camera. Fromthe condition of an angle with the sample image, I will determine the direction of the line of sight of the people.
Key Words: condition distance and angle, RaspberryPi
1. はじめに
肢体不自由者を対象とした視線入力装置は,カメラ(赤外線を含む)の高性能化,低価格化によっていくつかのメーカーで開発されるようになってきている.しかし,システムとしては依然として高価であることや,思うような動作が得られないため,大きな普及には至っていない.
これまでに視線に関する研究は多数行われており,様々な取り組みがなされている.特に赤外線カメラを使用した視線認識については精度向上が進んできている.
本研究では視線入力システムではなく,正面に座っている人の視線を認識するシステムを開発する.視線認識の精度向上が,今後,視線入力システムや意思伝達システムのプラットフォームへ発展すると考える.さらに,赤外線カメラを使用しないことでより安価に,また,名刺サイズ(85.60mm×53.98mm)のシングルボードコンピュータである
RaspberryPi での動作・評価を行いコンパクトなシステムを開発することを目的とする.

DebianLinux で作成したシステムをそのまま移植して精度評価を実施できる.RaspberryPi ではモニタを接続しないた
め LED で視線認識した場合に点灯させることで確認する.

USB カメラパソコン
Fig. 1

RaspberryPi

2. 研究背景
これまでに,市販のパソコンと USB カメラを使用した視線入力システムを開発したが,視線認識が正確に行えない状態ではシステム全体の精度向上が行えないと考え,視線認識に特化した研究を行う.
3. システム構成
本研究における視線認識システムの構成を図 1,図 2 に示す . 開 発 , 試 験 に は 一 般 的 な パ ソ コ ン (Intel Corei3) に
DebianLinux をインストールする.モニタの辺には市販のUSB カメラが装着されており,被験者を撮影する.最終的に現在安価(35$, 2014.07)で手に入る OpenSourceHardware のRaspberryPi(ARM) 上 に 専 用 の カ メ ラ モ ジ ュ ー ル (25$,2014.07) を 取 り 付 け て 精 度 評 価 を 行 う .RaspberryPi で は
Raspbian(Debian Linux の RaspberryPi 用)を使用することでOS2-2-1

System configuration(PC)LED

カメラモジュール

Fig. 2

System configuration(RaspberryPi)

LIFE2014 2014 年 9 月 24 日－26 日 北海道

4. 研究方法
4-1 サンプル画像収集
4-1-1 サンプル画像収集の条件
被写体

1m
目印
撮影者
1m
Fig. 3Sample Photo

4-2-5 瞳孔の検索(1) 真正面に座りカメラに視線を向けて撮影(2) (1)の 状 態 か ら 視 線 だ け を目印へ移して撮影(3) 座る位置は変えずに目印が真正面になるように顔を動かし目印に視線がある状態で撮影(4) (3)の 状 態 か ら 視 線 だ け をカメラに戻して撮影

Fig.7

4-3 視線認識
4-3-1 カメラと人との距離を算出
サンプル画像に対して顔検出を行い,検出されたサイズを収集することで,カメラと人の距離が 1m であれば人の顔の検出の平均的なサイズが取得できる.それをデータ化したものを元にカメラからの入力画像に写っている人との距離を測る.

4-1-2 サンプル画像の収集数
4-1-1 の条件で 4 パターン 100 名から収集する
4-2 瞳孔と基準点の検出
4-2-1 画像解析による視線計測手法
視線方向の検出は，まずユーザの顔検出を行い，それを基に目の検出を行う．そして，目頭の検出，瞳孔中心の検出を行って，それらを基に視線の計測を行う．
4-2-2 顔検出

4-3-2 視線方向認識
サンプル画像からカメラと人の距離が 1m の状態での,真正面を向いてカメラに視線がある場合と,45°顔の向きを変えた時にカメラに視線がある場合の基準点と瞳孔の位置関係を収集できる.位置関係と 4-3-1 で求めた現在の入力画像との距離から現在の視線方向を認識する.

オープンソースライブラリの顔検出機能を用いて鼻が大凡の中心となる領域の抽出を行う。誤検出防止のため検出位置とサイズの制限を設ける.
Fig.4

Detection of pupil

目頭を基準に目の領域の下限と上限を肌色との輝度境界より限定する.
目尻の特定は困難なため平均的なサイズと仮定する.
画像の平均輝度に応じて特定の閾値で暗い部分を抽出する。
抽出結果より形状と大きさから黒目を特定し重心点を瞳孔とする。

5. 研究における効果
RaspberryPi＋専用 CameraModule で実現できると数千円で実装可能である.また、基準点と瞳孔の検出精度を上げることが視線に関わるシステムの全体的な精度向上になると考える.

Detection of face

4-2-3 目の検出
6. 今後の課題
2014 年 10 月にプロトタイプが完成予定であるが,その時点ではまだ RaspberryPi での検証は行っていないので,RaspberryPi へ移行して検証,精度の向上を繰り返す必要がある.
本研究では,精度の検証は常に同じ場所(室内)で行うが,実際に自然光により大きな影響を受けることが分かっているため,場所やカメラの向きによってある程度パラメータで吸収できるような作りが必要になる.
顔の向きの検出については本研究では行わないが、今後、必要になると考えている.

画像の中心を鼻と仮定した場合に目の特徴的な形状の目頭と目の中心付近を含む領域を一般的な顔サイズの比率により限定する.

Fig.5

Detection of eyes

4-2-4 目頭の検出
輪郭線の画像に変換し、画像の中心軸から左右両サイド方向に目頭の特徴的な形状の検索を行う.

Fig.6

Detection of inner corner of the eye

参考文献(1) 阿部清彦，佐藤寛修，大山実，大井尚一，視線による重度肢体不自由者向けコンピュータ操作支援システム，
映像情報メディア学会，Vol.60，No.12，pp.1971-1979，2006.
(2) 画像処理アルゴリズムの基本と仕組み(2012.10 長尾智晴)(3) 視線検出とプレイヤー動向(2014.06.14
URL:http://so-ti.com/report/detail151.html)(4) 顔検出用のプログラムを動かすまでのメモ(2014.06.14
http://qiita.com/Jey/items/334d143767aabfdc4145)

OS2-2-2