(57)【要約】【課題】被験者が大きな装置を顔面に装着することを必要としない瞳方向を検出する簡便な方法及び装置を提供すること。【解決手段】パン・チルト角が変更できるカメラで撮影された画像に基づいて対象人物の視線方向を検出する方法において、撮影画像から該対象人物の瞳の中心位置と瞳の半径を求めるステップと、該対象人物の眼球の中心と該カメラの焦点を結ぶ線分と該眼球の中心と前記瞳の中心を結ぶ線分のなす視線角度を求めるステップとを具備したことを特徴とする。【選択図】　図１
2004085280.tif 000002
【特許請求の範囲】
【請求項１】
パン・チルト角が変更できるカメラで撮影された画像に基づいて対象人物の視線方向を検出する方法において、撮影画像から該対象人物の瞳の中心位置と瞳の半径を求めるステップと、該対象人物の眼球の中心と該カメラの焦点を結ぶ線分と該眼球の中心と前記瞳の中心を結ぶ線分のなす瞳角度を求めるステップとを具備したことを特徴とする視線方向検出方法。
【請求項２】
前記対象人物が正面視したときの視線方向に前記撮影カメラの焦点を配置したことを特徴とする請求項１に記載の視線方向検出方法。
【請求項３】
前記瞳角度を求めるステップは、眼球の半径と瞳の半径との比が既知として、前記撮影画像の瞳の中心までの距離と瞳の半径を求め、求められた計測データから演算により前記眼球の中心と前記瞳の中心を結ぶ線分のなす角度を求めることを特徴とする請求項１又は請求項２の何れか１に記載の視線方向検出方法。
【請求項４】
対象人物の正面に配置されたパン・チルト角が変更できる撮影カメラと、該撮影画像を記録するメモリと、該撮影カメラのパン・チルト角を制御する制御装置と、前記撮影画像に基づいて該対象人物の瞳の位置並びに視線方向を解析するコンピュータとを具備したことを特徴とする視線方向検出システム。
【請求項５】
前記制御装置は前記撮影カメラの画像平面が前記対象人物の顔の面と略並行になるようにパン・チルト角を制御する制御装置であることを特徴とする請求項４に記載の視線方向検出システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、対象人物の視線方向を検出する技術分野に属する。
【０００２】
【従来の技術】
乗り物（例えば自動車、飛行機）の運転者又は操縦士が進行方向を正しく見ているかどうかは交通機の安全にとって重要なことである。しかし、運転者又は操縦士の見ている方向を監視する簡便で有効な装置は未だ開発されていないのが現状である。一方、耳鼻科、神経内科、脳神経外科などに用いられる眼球運動装置がいくつか提案されている。
【０００３】
図９は公開特許公報、第２００１−２０４９６２号に開示されている眼球運動検査装置６０の斜視図を示す。図９において、眼球運動検査装置６０は装着具６２と装着ベルト６２ｃを有し、接顔部６２ｂにより顔面に接触させて保持可能になっている。装着具６２の左右に小型の撮影カメラ６１と眼球Ｅを照らす赤外線ランプ６１ｃが基板６１ｂ上に備えられている。また、基板６３には可視光発光ダイオードからなる校正用指標６３が設けられており、この校正用指標６３はピンホールを有するカバー（図示省略）で被われている。この従来装置は校正用指標と撮影カメラの相対的位置関係が被験者の頭部の動きに拘わらず一定に保持され、正確な校正が可能で、検査に便利な眼球運動検査装置である。しかし、視線方向を検出するために大きな装置を顔面に装着するのは検査のような短時間で済む場合はよいとしても、監視装置のように長時間を要する場合は被験者にとって煩わしいという課題が生じる。
【０００４】
【発明が解決しようとする課題】
そこで、本願では被験者に煩わしい装置を装着することなしに、しかも校正や操作が簡単で取り扱いやすい監視装置を提供することを課題としている。この発明は、上述のような背景の下になされたもので、上記課題を解決するために本発明は以下の手段を採用している。
【０００５】
【課題を解決するための手段】
請求項１記載の発明は、パン・チルト角が変更できるカメラで撮影された画像に基づいて対象人物の視線方向を検出する方法において、撮影画像から該対象人物の瞳の中心位置と瞳の半径を求めるステップと、該対象人物の眼球の中心と該カメラの焦点を結ぶ線分と該眼球の中心と前記瞳の中心を結ぶ線分のなす瞳角度を求めるステップとを具備したことを特徴としている。
【０００６】
請求項２記載の発明は、請求項１に記載の発明において、前記対象人物が正面視したときの視線方向に前記撮影カメラの焦点を配置したことを特徴としている。
【０００７】
請求項３記載の発明は、請求項１又は請求項２の何れか１に記載の発明において、前記瞳角度を求めるステップは、眼球の半径と瞳の半径との比が既知として、前記撮影画像の瞳の中心までの距離と瞳の半径を求め、求められた計測データから演算により前記眼球の中心と前記瞳の中心を結ぶ線分のなす角度を求めることを特徴としている。
【０００８】
請求項４記載の発明は、対象人物の正面に配置されたパン・チルト角が変更できる撮影カメラと、該撮影画像を記録するメモリと、該撮影カメラのパン・チルト角を制御する制御装置と、前記撮影画像に基づいて該対象人物の瞳の位置並びに視線方向を解析するコンピュータとを具備したことを特徴としている。
【０００９】
請求項５記載の発明は、請求項５に記載の発明において、前記制御装置は前記撮影カメラの画像平面が前記対象人物の顔の面と略並行になるようにパン・チルト角を制御する制御装置であることを特徴としている。
【００１０】
【発明の実施形態】
図１は本発明の実施形態における手順を示すフローチャートである。図２は実施形態の使用状況を示す１例である。図３は本実施形態の制御装置の機能を示すブロック図である。図２において、対象人物１０は運転席１１に座って運転しているドライバである。ドライバ１０はフロントガラス１２を通して前方を見ている。カメラ１３はドライバ１０の眼を撮影するカメラで、ビデオカメラ等から構成され、連続的に撮影可能なカメラである。カメラ１３はパンやチルト角の制御が可能な保持装置１４に依って保持されると共に前方の内壁に固定部１５によって固定されている。配線１６はカメラ１３の撮影画像をコンピュータ２０からなる制御装置に送信すると共にコンピュータ２０からの制御信号を保持装置１４に送信する。
【００１１】
図３において、コンピュータ２０は主制御部２１，入力部２１，瞬き検出部２３，瞳検出部２４，視線方向検出部２５，パン・チルト制御部２６、一時メモリ２７，恒久メモリ２８，出力部２９を有している。入力部２２は入力バッファ等からなり、カメラ１３の撮影画像データを取り込んで、主制御部２１に送信する。瞬き検出部２３は一時メモリ２７に取り込んだ撮影画像からドライバー１０が瞬きをしている状態であるか否かを検出し、瞬き状態にあるときはその撮影画像を廃棄する。
【００１２】
瞳検出部２４は瞳の中心位置（Ｃｔ）と瞳の半径（Ｒｔ）を検出する。この検出方法は公知技術を利用する。以下、図４を利用して簡略に説明する。図４（Ａ）において、撮影画像上に直交座標系（ｘ，ｙ）を考える。実の瞳（図の実線の円）３１の中心点（Ｃｔ）として、半径を長さ（Ｒｔ）とする。瞳の像をＪ（ｘ、ｙ）とすれば像Ｊは瞳の外縁円周３１の内側では黒色であり、外側は白色であるから、瞳の外縁３１上の点Ｑ（Ｃｔ＋Ｒｔ・ｖ（α））から半径方向への偏微分値は最小（極小）となる。即ち、関数Ｅ（Ｃ、ｒ）を（１）式のように定義すれば、関数Ｅ（Ｃ、ｒ）は円周３１上の任意の点で最大となるから、この条件を満たす円を探索により求めれば、瞳の半径（Ｒｔ）と中心点（Ｃｔ）が求められる。なお、中心点Ｃは座標（ｘ、ｙ）を表す縦ベクトルである。
【００１３】
【数１】
2004085280.tif 000003
（１）式をテーラ展開して２次微分項まで求めると（２）式が得られ、２次の微項のみを取り出すと（３）式のようになる。なお、（２）式でＣｏ，ｒｏは現在のパラメータ値であり、記号「Ｈ」はヘシアン（２回微分）行列を示す。
【数２】
2004085280.tif 000004
【数３】
2004085280.tif 000005
上記条件は（３）式の各項がゼロになることと等価であるから、図４（Ｂ）に示す探索円（図の点線の円）３２において、パラメータ（Ｃ、ｒ）を微小値（ΔＣ、Δｒ）だけ（３）式の各項が増加する方向に変化させて（３）式の各項がゼロ（又は許容誤差以内）になるように勾配法を利用して繰り返し計算すればよい。
【００１４】
この手順を図５に示す。図５において、ステップＳ２１では探索円の中心Ｃｏ、半径ｒｏを適当に仮定する。ステップＳ２２では（３）式の各項の値を求める。ステップＳ２３では条件が満たされたか否かを判定する。即ち、（３）式の各項が許容誤差δ１，δ２より小さいかどうかを判定する。満たされた場合は結果を出力して次の段階に進む。満たされていない場合はステップＳ２４に進み、勾配法を利用して、微小値（ΔＣ、Δｒ）を求める。ステップＳ２５ではパラメータ（Ｃ、ｒ）を変化させて、ステップＳ２２以下を繰り返す。
【００１５】
視線方向検出部２５では瞳角度αを求め、これから視線方向を決定する。図６はカメラ１３の画像面（フィルム面）とドライバ１０の顔面が並行で、カメラ１３の中心線方向（ＦＰ）に眼球の中心がある場合の位置関係を示す図である。図６において、瞳の中心Ｑと眼球の中心Ｏとを結ぶ線分（ＱＯ）とカメラの焦点Ｆと眼球の中心Ｏとを結ぶ線分（ＯＦ又はＯＰ）のなす角度を瞳角度αとする。瞳の半径をＲとし、瞳の中心点Ｑのカメラ中心線ＯＦまでの距離をｄとし、瞳の中心点Ｑとカメラの焦点Ｆとの距離をＺ、カメラ焦点距離をｆとする。瞳像の半径をＳとし、瞳像の中心からカメラ中心線ＯＦ間での距離をＸとする。なお、眼球の半径ｒと瞳の半径Ｒとの比（ｒ／Ｒ）は多くの人に対して一定であり、この値をａとする。即ち、ｒ／Ｒ＝ａとする。
【００１６】
図６から瞳角度αは（４）式のようになる。
【式４】
2004085280.tif 000006
ここで、図６から（５ａ）式、（５ｂ）式が成立する。
【式５】
2004085280.tif 000007
従って、瞳角度αは（６）式から決定される。（６）式で瞳の像の半径Ｓと、距離Ｘは撮影画像から計測される値である。
【式６】
2004085280.tif 000008
【００１７】
図７は瞳角度αを求める手順を示したフローチャートである。図７において、ステップＳ３１では眼球半径ｒと瞳半径Ｒとの比ａを読み込む。ステップＳ３２では瞳像の半径Ｓを撮影画像から計測する。ステップＳ３３では瞳像の中心距離Ｘを撮影画像から計測する。ステップＳ３４では（６）式から瞳角度αを求め、これによって視線方向を決定する。
【００１８】
上記の瞳角度αはドライバ１０が正面視したときの瞳の中心Ｐがカメラの中心線（ＯＦ）上にあると仮定したが、以下に、角度β方向にある場合について誤差を求める。図８にこの場合の位置関係を示す。この場合の瞳角度は（α＋δ）となり、誤差角度δが生じる。図８から瞳像の中心距離Ｘを求めると、（７）式が得られる。なお、（７）式で「ｔｇ」は正接（ｔａｎ）の略記を示す。
【式７】
2004085280.tif 000009
（７）式に次の近似式（８ａ）〜（８ｄ）を適用すると（９）式が得られる。
【式８】
2004085280.tif 000010
【式９】
2004085280.tif 000011
（９）式で角度βが１に比べて小さいときは、図８から誤差角度δも小さくなり、（９）式は結局（１０）式となり、この式は（６）式と一致する。従って、パンチルド制御により角度βを小さい値に保つ限り、視線角度αは略正しい角度が得られる。
【式１０】
2004085280.tif 000012
【００１９】
パン・チルト制御部２６は撮影画像からドライバ１０の顔面（正面視したときの顔のなす平面）の角度を求めてカメラの撮影面とドライバ１０の顔面が平行になるように、即ち、前記した角度βを小さい値に保つように制御する。一時メモリ２７はＲＡＭ等の電子メモリで構成され、作業用メモリである。恒久メモリ２８は磁気メモリで構成され、長時間記憶するメモリであり、プログラムだけでなく長時間記憶するデータも保存される。メモリ２７，２８は何れもバスライン（図示省略）を介して主制御装置２１に接続されている。また、出力部２９は外部機器に出力をするためのバッファ等である。
【００２０】
以下に、図１を利用して全体の流れを説明する。
図１において、ステップＳ１１では、カメラ１３によるドライバ１０の顔写真を撮影し、撮影した写真を一時メモリ２７に記録する。ステップＳ１２では瞬き検出部２３が一時メモリ２７に記録した写真からドライバ１０が瞬きをしている（目を閉じている）写真であるかどうかを判定する。瞬きを検出する技術は公知であり、説明を省略する。瞬き写真である場合はステップＳ１１に戻り、再度写真を記録する。瞬きをしていない（目を開いている）写真である場合はステップ１３で瞳検出部２４により瞳の中心位置（Ｃｔ）と瞳の半径（Ｒｔ）を探索して求める。
【００２１】
ステップＳ１４では瞳の中心（又は瞳）が撮影画像の略中央にあるかを検討する。瞳が画像の端にある場合、即ち、目の一部が画像からはみ出している場合は次の処理の便利を考慮して、ステップ１６を実行する。この場合ステップ１６では保持装置１４によりカメラ１３のパン・チルト角度を制御して略中央に来るように制御する。ステップ１５では撮影画像から顔の面（正面視した場合の正面方向と直交する平面を想定して、この平面をいう）とカメラの撮影面が略平行であるかを検出する。これは撮影画像から顔の対称の度合いにより判断する。平行（又は略平行）でない場合はステップ１６に戻り保持装置１４を駆動してパン・チルト角度を制御して略平行にする。
【００２２】
平行（又は略平行）である場合はステップＳ１７により図７で説明したフローチャートを実行し、瞳角度αを求める。ステップＳ１８で瞳角度と顔の向いている角度とから視線方向を決定し、出力する。
【００２３】
以上に本実施形態を詳細に説明したように、本実施形態に依れば、対称人物に特別な装置を装着させる必要が無く容易に対称人物の視線方向が検出できるという効果が得られる。また、パン・チルト制御により顔の面とカメラの撮影面との平行が比較的容易に保持できると考えられ、従って、求められた瞳角度ひいては視線方向に対する誤差が小さいことが補償され、誤差に対するロバスト性が高いという効果が得られる。更に、必要とされる計算は比較的簡単であり、演算時間が短くできることから実時間で演算可能であり、オンラインが可能になると云う効果が得られる。
【００２４】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、従来の公知技術を利用している部分は他の公知技術を適用してもよい。
【００２５】
【発明の効果】
以上説明したように、この発明の構成によれば、対称人物に特別な装置を装着させる必要が無く容易に対称人物の視線方向が検出できるという効果が得られる。また、求められた瞳角度ひいては視線方向に対する誤差が小さいことが補償され、誤差に対するロバスト性が高いという効果が得られる。
【図面の簡単な説明】
【図１】実施形態の全体の手順を示すフローチャート図である。
【図２】実施形態の具体的なケースを示す実施例を示す。
【図３】実施形態におけるコンピュータの機能を示すブロック図である。
【図４】（Ａ）、（Ｂ）は瞳の中心と半径を求める説明図である。
【図５】瞳の中心と半径を求める手順を示すフローチャート図である。
【図６】瞳角度を説明した説明図である。
【図７】瞳角度を求める手順を示すフローチャート図である。
【図８】瞳角度の誤差を解析した説明図である。
【図９】従来装置を示す。
【符号の説明】
１０　　　　　ドライバ（対称人物）
１２　　　　　フロントウインドウ
１３　　　　　ビデオカメラ
１４　　　　　保持装置（パン・チルド制御装置）
２０　　　　　コンピュータ
２１　　　　　主制御装置
２３　　　　　瞬き検出部
２４　　　　　瞳検出部
２５　　　　　視線方向検出部
２６　　　　　パン・チルト制御部
２７，２８　　　メモリ
α　　　　　　瞳角度
Ｓ　　　　　　瞳映像の半径
ｘ　　　　　　瞳映像の中心距離
【図１】
2004085280.tif 000013
【図２】
2004085280.tif 000014
【図３】
2004085280.tif 000015
【図４】
2004085280.tif 000016
【図５】
2004085280.tif 000017
【図６】
2004085280.tif 000018
【図７】
2004085280.tif 000019
【図８】
2004085280.tif 000020
【図９】
2004085280.tif 000021