(57)【要約】【課題】人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上させる。【解決手段】ステップＳ２において、視線の検出対象となる対象者の顔を撮影した顔画像に基づいて、対象者の左右方向の顔の角度αが検出される。ステップＳ３において、α＜−15°であると判定された場合、ステップＳ４において、右目の視線の向きが検出される。ステップＳ５において、α＞15°であると判定された場合、ステップＳ６において、左目の視線の向きが検出される。ステップＳ５において、−15°≦α≦15°であると判定された場合、ステップＳ７において、両目の視線の向きが検出される。本発明は、例えば、運転者の視線検出装置に適用できる。【選択図】図２
2010134489.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮影された人の顔の画像に基づいて、前記人の顔の向きを検出する顔向き検出手段と、
検出された前記人の顔の向きに基づいて、前記人の視線の向きの検出に用いる目を選択し、前記画像に基づいて、選択した前記人の目を用いて前記人の視線の向きを検出する視線方向検出手段と
を含む視線検出装置。
【請求項２】
前記視線方向検出手段は、前記人の顔が前記カメラに対して所定の角度以上左または右を向いている場合、前記人の顔が向いている方向と逆の目を用いて前記人の視線の向きを検出する
請求項１に記載の視線検出装置。
【請求項３】
前記視線方向検出手段は、前記カメラに対する前記人の顔の左右方向の向きが所定の角度未満である場合、前記人の左目と右目の向きの平均を前記人の視線の向きとして検出する
請求項２に記載の視線検出装置。
【請求項４】
視線方向検出装置が、
カメラにより撮影された人の顔の画像に基づいて、前記人の顔の向きを検出し、
検出された前記人の顔の向きに基づいて、前記人の視線の向きの検出に用いる目を選択し、前記画像に基づいて、選択した前記人の目を用いて前記人の視線の向きを検出する
ステップを含む視線検出方法。
【請求項５】
コンピュータに、
カメラにより撮影された人の顔の画像に基づいて、前記人の顔の向きを検出し、
検出された前記人の顔の向きに基づいて、前記人の視線の向きの検出に用いる目を選択し、前記画像に基づいて、選択した前記人の目を用いて前記人の視線の向きを検出する
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置および方法、並びに、プログラムに関し、特に、人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上できるようにした視線検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、視線検出の対象となる人（以下、対象者と称する）にヘッドマウントディスプレイ（以下、HMDと称する）ユニットを装着し、対象者の目を左右別々に撮影し、別々の視線検出系により左右の視線の向きを独立して検出する装置が提案されている（例えば、特許文献１参照）。また、この装置では、左右の視線検出系のうち、必要な数の角膜反射像がある方、瞳孔のエッジの数が多く検出された方、瞳孔エッジと瞳孔推定円の偏差が少ない方、または、瞳孔像の中心とイメージセンサの中心の距離が短い方の視線検出系を用いて視線検出を行い、検出精度を向上させることが提案されている。
【０００３】
【特許文献１】特開平１０−１７９５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、対象者がHMDユニットを装着し、対象者の顔がカメラのほぼ正面を向くことが前提となっており、対象者の顔の向きがカメラの正面から左右にずれる場合については考慮されていない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の視線検出装置は、カメラにより撮影された人の顔の画像に基づいて、人の顔の向きを検出する顔向き検出手段と、検出された人の顔の向きに基づいて、人の視線の向きの検出に用いる目を選択し、画像に基づいて、選択した人の目を用いて人の視線の向きを検出する視線方向検出手段とを含む。
【０００７】
本発明の一側面の視線検出装置においては、カメラにより撮影された人の顔の画像に基づいて、人の顔の向きが検出され、検出された人の顔の向きに基づいて、人の視線の向きの検出に用いる目が選択され、画像に基づいて、選択した人の目を用いて人の視線の向きが検出される。
【０００８】
従って、人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上させることができる。
【０００９】
この顔向き検出手段、視線方向検出手段は、例えば、CPU（Central Processing Unit）、ECU（Electronic Control Unit）により構成される。
【００１０】
この視線方向検出手段には、人の顔がカメラに対して所定の角度以上左または右を向いている場合、人の顔が向いている方向と逆の目を用いて人の視線の向きを検出させることができる。
【００１１】
これにより、画像によく写っていない目を用いて視線を誤検出してしまうことが防止される。
【００１２】
この視線方向検出手段には、カメラに対する人の顔の左右方向の向きが所定の角度未満である場合、人の左目と右目の向きの平均を人の視線の向きとして検出させることができる。
【００１３】
これにより、左目と右目の視線方向が異なる場合に、その中間の向きを視線方向として検出することができる。
【００１４】
本発明の一側面の視線検出方法は、視線方向検出装置が、カメラにより撮影された人の顔の画像に基づいて、人の顔の向きを検出し、検出された人の顔の向きに基づいて、人の視線の向きの検出に用いる目を選択し、画像に基づいて、選択した人の目を用いて人の視線の向きを検出するステップを含む。
【００１５】
本発明の一側面のプログラムは、コンピュータに、カメラにより撮影された人の顔の画像に基づいて、人の顔の向きを検出し、検出された人の顔の向きに基づいて、人の視線の向きの検出に用いる目を選択し、画像に基づいて、選択した人の目を用いて人の視線の向きを検出するステップを含む処理を実行させる。
【００１６】
本発明の一側面の視線検出方法、または、本発明の一側面のプログラムを実行するコンピュータにおいては、カメラにより撮影された人の顔の画像に基づいて、人の顔の向きが検出され、検出された人の顔の向きに基づいて、人の視線の向きの検出に用いる目が選択され、画像に基づいて、選択した人の目を用いて人の視線の向きが検出される。
【００１７】
従って、人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上させることができる。
【発明の効果】
【００１８】
以上のように、本発明の一側面によれば、人の視線の検出精度を向上させることができる。特に、本発明の一側面によれば、人の顔がカメラに対して左または右を向いている場合の視線の検出精度を簡単に向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図を参照して、本発明の実施の形態について説明する。
【００２０】
図１は、本発明を適用した視線検出システムの一実施の形態を示すブロック図である。図１の視線検出システム１は、例えば、車両に設置され、運転者の視線の検出に用いられる。視線検出システム１は、カメラ１１および検出装置１２を含むように構成される。
【００２１】
カメラ１１は、視線検出の対象となる対象者の顔を撮影し、撮影の結果得られた画像（以下、顔画像と称する）を検出装置１２の顔向き検出部２１および視線検出部２２に供給する。なお、視線検出システム１を運転者の視線の検出に用いる場合、例えば、カメラ１１は、ステアリングコラム上に設置され、ほぼ正面から運転者を撮影したり、センタミラー（ルームミラー）の根元付近（センタミラーが車に取り付けられているあたり）に設置され、前方斜め上方向から運転者を撮影する。
【００２２】
検出装置１２は、顔向き検出部２１および視線検出部２２を含むように構成される。
【００２３】
顔向き検出部２１は、所定の手法により、顔画像に基づいて、対象者の顔の向きを検出する。顔向き検出部２１は、検出結果を示す情報を視線検出部２２に供給する。
【００２４】
視線検出部２２は、所定の手法により、顔画像、および、顔向き検出部２１により検出された対象者の顔の向きに基づいて、対象者の視線の向きを検出する。視線検出部２２は、検出結果を示す情報を後段の装置に供給する。
【００２５】
次に、図２のフローチャートを参照して、視線検出システム１により実行される視線検出処理について説明する。
【００２６】
ステップＳ１において、カメラ１１は、対象者の顔を撮影する。カメラ１１は、撮影の結果得られた顔画像を顔向き検出部２１および視線検出部２２に供給する。
【００２７】
ステップＳ２において、顔向き検出部２１は、対象者の左右方向の顔の角度αを検出する。具体的には、顔向き検出部２１は、所定の手法により、顔画像に基づいて、カメラ１１の正面に対する対象者の左右方向の顔の角度αを検出する。この角度αは、例えば、カメラ１１の光軸と対象者の顔の向きとの間の角度により表され、対象者の顔がカメラ１１の正面に向かう方向より左側を向いている場合、負の値となり、右側を向いている場合、正の値となる。顔向き検出部２１は、検出した角度αを示す情報を視線検出部２２に供給する。
【００２８】
なお、顔向き検出部２１が対象者の顔の向きを検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に顔の向きを検出できる手法を適用することが望ましい。
【００２９】
ステップＳ３において、視線検出部２２は、α＜−15°であるか否かを判定する。α＜−15°であると判定された場合、すなわち、対象者の顔が、カメラ１１に対して１５°以上左を向いている場合、処理はステップＳ４に進む。
【００３０】
ステップＳ４において、視線検出部２２は、所定の手法により、顔画像に基づいて、右目の視線の向きを検出する。すなわち、対象者の顔が、カメラ１１に対して１５°以上左を向いている場合、カメラ１１から遠い方の目、すなわち左目が、鼻で隠れるなどの要因により、顔画像によく写っていない可能性が高くなる。そこで、視線検出部２２は、対象者の右目のみを用いて視線の向きを検出する。視線検出部２２は、検出した視線の向き、および、対象者の右目のみを用いて視線の向きを検出したことを示す情報を後段の装置に出力する。その後、視線検出処理は終了する。
【００３１】
なお、視線検出部２２が対象者の視線の向きを検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に視線の向きを検出できる手法を適用することが望ましい。
【００３２】
一方、ステップＳ３において、α≧−15°であると判定された場合、処理はステップＳ５に進む。
【００３３】
ステップＳ５において、視線検出部２２は、α＞15°であるか否かを判定する。α＞15°であると判定された場合、すなわち、対象者の顔が、カメラ１１に対して１５°以上右を向いている場合、処理はステップＳ６に進む。
【００３４】
ステップＳ６において、視線検出部２２は、所定の手法により、顔画像に基づいて、左目の視線の向きを検出する。すなわち、対象者の顔が、カメラ１１に対して１５°以上右を向いている場合、ステップＳ４の処理の場合とは逆に、対象者の右目が、顔画像によく写っていない可能性が高くなる。そこで、視線検出部２２は、対象者の左目のみを用いて視線の向きを検出する。視線検出部２２は、検出した視線の向き、および、対象者の左目のみを用いて視線の向きを検出したことを示す情報を後段の装置に出力する。その後、視線検出処理は終了する。
【００３５】
一方、ステップＳ５において、α≦15°であると判定された場合、すなわち、−15°≦α≦15°である場合、処理はステップＳ７に進む。
【００３６】
ステップＳ７において、視線検出部２２は、所定の手法を用いて、顔画像に基づいて、両目の視線の向きを検出する。すなわち、カメラ１１に対する対象者の顔の左右方向の向きが１５°未満である場合、対象者の両目が、顔画像によく写っている可能性が高い。そこで、視線検出部２２は、対象者の両目を用いて視線の向きを検出する。そして、視線検出部２２は、検出した両目の視線の向きの平均値を対象者の視線の向きとして算出する。視線検出部２２は、対象者の視線の向き、および、両目を用いて視線の向きを検出したことを示す情報を後段の装置に出力する。その後、視線検出処理は終了する。
【００３７】
このようにして、対象者の顔がカメラ１１に対して１５°以上左または右を向いている場合、対象者の顔が向いている方向と逆の目、すなわちカメラ１１に近い方の目を用いて対象者の視線の向きが検出される。その結果、対象者の顔がカメラ１１に対して左または右を向いている場合の視線の検出精度を、簡単に向上させることができる。
【００３８】
なお、以上に述べた、視線の検出に用いる目を選択する基準となる閾値は、その一例であり、１５°とは異なる値に設定することも可能である。
【００３９】
また、ステップＳ７において、左右の目の視線の平均値でなく、左右の目の視線の向きをそれぞれ出力するようにしてもよい。
【００４０】
なお、本発明は、運転者以外の人の視線を検出する装置にも適用することができる。
【００４１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００４２】
図３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００４３】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００４４】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【００４５】
入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
【００４６】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００４７】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００４８】
コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【００４９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００５０】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００５１】
【図１】本発明を適用した視線検出システムの一実施の形態を示すブロック図である。
【図２】視線検出システムにより実行される視線検出処理を説明するためのフローチャートである。
【図３】コンピュータの構成の例を示すブロック図である。
【符号の説明】
【００５２】
１  視線検出システム
１１  カメラ
１２  検出装置
２１  顔向き検出部
２２  視線検出部
【図１】
2010134489.tif 000003
【図２】
2010134489.tif 000004
【図３】
2010134489.tif 000005