(57)【要約】【課題】外乱のある環境下での使用に適した視線検知装置を提供する。【解決手段】対象者の顔画像を取得するカメラ１３と、顔画像から顔向きを検出する顔向き検出手段２３と、顔画像から瞳孔を抽出して視線を検出する視線検出手段２１と、を備え、顔向き検出手段２３の検出結果と視線検出手段２１の検出結果とが、それぞれ所定の時間間隔で更新され、顔向き検出手段２３によって新規に取得した更新検出結果と更新前の検出結果との差分を顔向き変位とし、視線検出手段２１によって新規に取得した更新検出結果と更新前の検出結果との差分を視線変位として、顔向き変位と視線変位とを比較して顔向き変位の出力値又は視線変位の出力値を補正する出力補正部２３を備える．【選択図】図２
2019028727.tif 000002
【特許請求の範囲】
【請求項１】
対象者の顔画像を取得するカメラと、前記顔画像から顔向きを検出する顔向き検出手段と、前記顔画像から瞳孔を抽出して視線を検出する視線検出手段と、を備え、
前記顔向き検出手段の検出結果と前記視線検出手段の検出結果とが、それぞれ所定の時間間隔で更新され、
前記顔向き検出手段によって新規に取得した更新検出結果と更新前の検出結果との差分を顔向き変位とし、
前記視線検出手段によって新規に取得した更新検出結果と更新前の検出結果との差分を視線変位として、
前記顔向き変位と前記視線変位とを比較して前記顔向き変位の出力値又は前記視線変位の出力値を補正する出力補正部を備える、
ことを特徴とする視線検知装置。
【請求項２】
前記顔向き検出手段の検出結果と前記視線検出手段の検出結果とは、それぞれの前記更新検出結果以外にそれぞれ少なくとも２回以上のデータが記憶保持されており、
前記出力補正部において、それぞれの前記更新検出結果が前回及び前々回のデータと比較される、
ことを特徴とする請求項１に記載の視線検知装置。
【請求項３】
前記出力補正部は、前記顔向き変位が３０度以上で、かつ、前記視線変位が３０度未満であるときは、前記顔向き変位の出力値を３０度未満とするように補正する、
ことを特徴とする請求項２に記載の視線検知装置。
【請求項４】
前記出力補正部は、前記顔向き変位が１５度未満で、かつ、前記視線変位が３０度以上であるときは、前記視線変位の出力値を３０度未満とするように補正する、
ことを特徴とする請求項２に記載の視線検知装置。
【請求項５】
前記所定の時間間隔は１００ｍ秒以下である、
ことを特徴する請求項１乃至請求項４のいずれかに記載の視線検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検知装置に関し、特に、車載用の視線検知装置に関する。
【背景技術】
【０００２】
視線検知装置におけるカメラによって得られた顔画像を基にして視線を検出する方法が特許文献１に提案されている。特許文献１には、２台の光源を用意し、２台のカメラで捉えられた顔画像から三角測量を用いて各角膜反射像の位置と瞳孔中心の位置を検出し、検出された角膜反射像と瞳孔中心の位置から眼球中心を検出して視線を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７３９３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、車載用途など屋外で視線検知装置を使用する場合には、外乱による角膜反射像も発生する。そのため、既知の位置にある光源とは異なる方向からの外光による角膜反射像も視線検知の算出に用いられることになる。その結果、視線検知装置の使用者が見ている視線方向とは異なった方向を視線として算出してしまい、視線の検出結果が大きく変動してしまうことがあった。
【０００５】
本発明はこのような従来技術の実情に鑑みてなされたもので、外乱のある環境下での使用に適した視線検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明の視線検知装置は、対象者の顔画像を取得するカメラと、前記顔画像から顔向きを検出する顔向き検出手段と、前記顔画像から瞳孔を抽出して視線を検出する視線検出手段と、を備え、前記顔向き検出手段の検出結果と前記視線検出手段の検出結果とが、それぞれ所定の時間間隔で更新され、前記顔向き検出手段によって新規に取得した更新検出結果と更新前の検出結果との差分を顔向き変位とし、前記視線検出手段によって新規に取得した更新検出結果と更新前の検出結果との差分を視線変位として、前記顔向き変位と前記視線変位とを比較して前記顔向き変位の出力値又は前記視線変位の出力値を補正する出力補正部を備える、という特徴を有する。
【０００７】
このように構成された視線検知装置は、外乱等の影響を受けた誤検知の場合であっても、出力補正部が顔向き変位と視線変位とを比較して出力値を補正するので、外乱等の影響を低減することができる。
【０００８】
また、上記の構成において、前記顔向き検出手段の検出結果と前記視線検出手段の検出結果とは、それぞれの更新検出結果以外にそれぞれ少なくとも２回以上のデータが記憶保持されており、前記出力補正部において、それぞれの前記更新検出結果が前回及び前々回のデータと比較される、という特徴を有する。
【０００９】
このように構成された視線検知装置は、前回のデータが急激な変位であるとして出力値を補正した際、次の更新検出結果が前々回のデータと近い値であれば、前回の急激な変位が外乱であったと推測することができる。
【００１０】
また、上記の構成において、前記出力補正部は、前記顔向き変位が３０度以上で、かつ、前記視線変位が３０度未満であるときは、前記顔向き変位の出力値を３０度未満とするように補正する、という特徴を有する。
【００１１】
このように構成された視線検知装置は、視線変位が小さくて、有効視野の範囲内であるにもかかわらず、顔向き変位だけが大きくて、有効視野の範囲を超えるときには、外乱の影響と判断する。この場合、顔向き変位を小さくするように補正して、誤検知であったときの影響を低減することができる。
【００１２】
また、上記の構成において、前記出力補正部は、前記顔向き変位が１５度未満で、かつ、前記視線変位が３０度以上であるときは、前記視線変位の出力値を３０度未満とするように補正する、という特徴を有する。
【００１３】
このように構成された視線検知装置は、顔向きがほぼ固定されていて、視線変位のみが見られるときは、眼球の回転であると判断する。この場合、眼球は動いたが瞬時に情報取得が困難又は外乱等による誤検知の可能性がある。その際は、視線変位を小さくするように出力値を補正して、誤検知であったときの影響を低減することができる。
【００１４】
また、前記所定の時間間隔は１００ｍ秒以下である、という特徴を有する。
【００１５】
このように構成された視線検知装置は、時間間隔が１００ｍ秒以下に設定されているので、顔向き又は視線が瞬時に動いた際にも変位の検出が可能となる。
【発明の効果】
【００１６】
本発明の視線検知装置は、外乱等の影響を受けた誤検知の場合であっても、出力補正部が顔向き変位と視線変位とを比較して出力値を補正するので、外乱等の影響を低減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の視線検知装置と対象者との車両内の関係を示す説明図である。
【図２】視線検知装置の構成を示すブロック図である。
【図３】画像における顔画像を模式的に示す説明図である。
【図４】画像処理部内の視線検出手段の構成を示すブロック図である。
【図５】画像処理部内の顔向き検出手段の構成を示すブロック図である。
【図６】人間の視野を模式的に示す説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明について、図面を参照しながら説明する。本発明の実施形態である視線検知装置１００は、車両運転者の顔を含む画像から車両運転者の視線を検出する車載用の視線検知装置である。本発明の視線検知装置の用途については、以下説明する実施形態に限定されるものではなく適宜変更が可能である。
【００１９】
［実施形態］
最初に、図１乃至図５を参照して、本発明の実施形態である視線検知装置１００の構成について説明する。図１は、視線検知装置１００と対象者９５との車両９０内における関係を示す説明図であり、図２は、視線検知装置１００の構成を示すブロック図であり、図３は、画像５０における顔画像５１を模式的に示す説明図である。また、図４は、画像処理部２０内の視線検出手段２１の構成を示すブロック図であり、図５は、画像処理部２０内の顔向き検出手段２３の構成を示すブロック図である。
【００２０】
視線検知装置１００は、図１に示すように、車両９０のセンタコンソール等に設置され、車両９０の車両運転者である対象者９５の顔向きＦＤ及び視線ＶＬを検知するための装置である。視線検知装置１００は、対象者９５の顔を含む画像５０（図３参照）を取得するカメラ１３を備えている。カメラ１３は、センタコンソールから正面に配置され，対象者９５を正面に向けたようにオフセットが加えられる。例えば，対象者９５から３０度センタコンソール側にカメラを設置した場合，出力される顔向きＦＤ及び視線ＶＬは３０度のオフセットが加えられる。尚、カメラ１３は、１台だけでなく、２台設置されていても良い。
【００２１】
また、視線検知装置１００には、カメラ１３の左右それぞれに光源１５を備えており、上述したカメラ１３とこの光源１５とを含んで受像部１０が構成されている。光源１５としては、対象者９５から見て右側にある右光源１５ａと対象者９５から見て左側にある左光源１５ｂから成り、右光源１５ａは、カメラ１３の近傍に設置され、左光源１５ｂは、カメラ１３から所定の距離離れた位置に設置される。光源１５は、対象者９５に対して赤外光である検知光ＬＴを照射する。カメラ１３は、検知光ＬＴが照射されている状態で画像５０を撮像する。
【００２２】
カメラ１３は、ＣＭＯＳ（Complementary metal oxide semiconductor：相補型金属酸化膜半導体）やＣＣＤ（Charge coupled device：電荷結合素子）などの撮像素子を有しており、車両運転者である対象者９５の目を含む顔の画像５０（図３参照）を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００２３】
各光源１５はそれぞれＬＥＤ（Light emitting diode）即ち発光ダイオードから成る。この発光ダイオードに供給される電力量それぞれは調整可能となっている。もしくは、発光ダイオードそれぞれをオン・オフ可能となるように構成されている。尚、光源１５（右光源１５ａ及び左光源１５ｂ）は、それぞれが複数の発光ダイオードで構成されていても良いし、１つの発光ダイオードで構成されていても良い。
【００２４】
受像部１０における光源１５は、検出光ＬＴとして主に波長が８５０〜９４０ｎｍの赤外光を射出し、この検出光ＬＴを対象者９５の目を含む顔の画像５０に照射することができるように配置されている。この波長８５０ｎｍは、人の目の眼球内での吸収率が低く、網膜で反射されやすい波長である。また、波長９４０ｎｍは、太陽光にはあまり含まれていない波長であり、太陽光による妨害が低減される波長である。
【００２５】
視線検知装置１００は、図１及び図２に示すように、上述した受像部１０と、画像５０に基づいて対象者９５の視線ＶＬ及び顔向きＦＤを検出する画像処理部２０と、受像部１０内のカメラ１３と光源１５及び画像処理部２０を制御する制御部３０と、制御部３０に接続されたメモリ３５と、を備えている。また、制御部３０内には、出力補正部３３が備えられている。尚、出力補正部３３の働きについては、後に詳細に説明する。
【００２６】
受像部１０は、カメラ１３及び光源１５以外に、図２に示すように、複数の光源１５の発光を制御するための光源制御手段１７及びカメラ１３で撮影した画像５０を取得する画像取得手段１９を備えている。
【００２７】
光源制御手段１７は、制御部３０からの制御によって、光源１５、即ち右光源１５ａ及び左光源１５ｂ内の各発光ダイオードに供給する電力量それぞれを調整したり、もしくは、発光ダイオードそれぞれをオン又はオフしたりして、光源１５の光量を調整するように構成されている。
【００２８】
カメラ１３は、図３に示す対象者９５の顔を含む画像５０を取得する。画像５０には顔画像５１が含まれ、顔画像５１には、対象者９５の顔における目頭や目尻や口角等の複数の顔部位５５が含まれている。また、顔画像５１には、両目の周辺の領域である眼領域画像５３が含まれており、その中に、両目それぞれの瞳孔５３ａが含まれる。
【００２９】
画像取得手段１９は、図２に示すように、カメラ１３に接続されて、カメラ１３からの画像５０が入力され、入力された画像５０をＡ／Ｄ変換してデジタル化した後、画像処理部２０へ送る。
【００３０】
画像処理部２０は、制御部３０及び受像部１０に接続されており、内部に視線検出手段２１と顔向き検出手段２３とを有している。視線検出手段２１と顔向き検出手段２３とは互いに接続されており、互いの有するデータを利用し合うことができるように構成されている。
【００３１】
視線検出手段２１には、図４に示すように、受像部１０に接続された明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂと、明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂに接続された瞳孔位置特定手段２１ｃ及び瞳孔径特定手段２１ｄと、暗瞳孔画像検出手段２１ｂに接続された角膜反射光位置特定手段２１ｅと、瞳孔位置特定手段２１ｃ及び角膜反射光位置特定手段２１ｅに接続された視線方向特定手段２１ｆと、が設けられている。
【００３２】
視線検出手段２１においては、受像部１０内の画像取得手段１９で取得された画像５０（図３参照）が、それぞれフレームごとに明瞳孔画像検出手段２１ａ及び暗瞳孔画像検出手段２１ｂに読み込まれて明瞳孔画像と暗瞳孔画像とを取得し、この明瞳孔画像と暗瞳孔画像との差分画像に基づいて瞳孔５３ａ（図３参照）を抽出して、その位置等を特定して視線ＶＬを検出する。尚、視線ＶＬを検出する詳しい検出方法については、公知であるため、その説明を省略する。
【００３３】
顔向き検出手段２３には、図５に示すように、受像部１０に接続された顔画像検出手段２３ａと、顔画像検出手段２３ａに接続された特徴点抽出手段２３ｂと、特徴点抽出手段２３ｂに接続された顔向き特定手段２３ｃと、が設けられている。
【００３４】
顔向き検出手段２３においては、受像部１０内の画像取得手段１９で取得された画像５０の顔画像５１（図３参照）が、それぞれフレームごとに顔画像検出手段２３ａに読み込まれ、顔画像５１から抽出した顔部位５５の特徴点、例えば目頭や目尻や口角等に基づいて、顔向き特定手段２３ｃで対象者９５の顔向きＦＤを検出する。尚、顔向きＦＤを検出する詳しい検出方法については、公知であるため、その説明を省略する。
【００３５】
次に、視線検知装置１００における対象者９５の視線ＶＬ及び顔向きＦＤの検出結果に対する補正方法について、図２及び図６を用いて説明する。図６は、人間の視野を模式的に示す説明図である。
【００３６】
図６に示すように、人間の視野は、視野の中心に位置する中心視野と、その周りの周辺視野と、に分けられる。中心視野は、水平方向及び垂直方向で共に約５度の範囲内の視野であり、視機能が優れており、その範囲内に書かれている文字などを認識することができる。そのため、人間の目は、目的のものを見る際には、一般的に中心視野内で認識する。
【００３７】
一方、周辺視野は、中心視野の周囲にある有効視野、その周囲の安定注視野、その周囲の補助視野等で構成されている。有効視野は、眼球運動だけで瞬時に情報受容できる領域であり、安定注視野は、眼球・頭部運動で無理なく注視でき、効果的に情報受容できる領域である。また、補助視野は、刺激の存在のわかる程度の領域である。
【００３８】
上述したように、人間の目は、目的のものを見る際に中心視野内で認識しようとするため、視線ＶＬ及び顔向きＦＤは、主に有効視野の範囲内において、共に同一方向に動くものである。そのため、視線ＶＬの方向及び顔向きＦＤの方向が同じであれば、それは、確からしい情報であり、視線ＶＬの方向及び顔向きＦＤの方向が互いに逆方向であれば、それは、不確かな情報であると考えられる。その場合、検知結果は、外乱が原因の誤った検知結果であると判断することができる。
【００３９】
尚、車載用として使用される視線検知装置１００の場合、車両９０の運転者である対象者９５は、車両の前方又は周囲を確認する際に、顔向きＦＤ及び視線ＶＬの方向は、主に水平方向となる。そのため、今後説明する顔向きＦＤの変化量である顔向き変位ΔＦＭ及び視線ＶＬの変化量である視線変位ΔＶＭの方向は、水平方向における向きであるとする。
【００４０】
図６に示すように、人間の視覚特性から瞬時に情報が取得できる有効視野の視野範囲は、水平方向で約３０度、垂直方向で約２０度の比較的狭い範囲になる。
【００４１】
そのため、例えば、顔向きＦＤがあまり動かず、安定な状態にある時に、視線ＶＬが前回検出した視線検出結果と比べ大きく変化して有効視野外に移動した場合、外乱等による誤検知の可能性がある。また、逆に、視線ＶＬがあまり動かず、安定な状態にある時に、顔向きＦＤが前回検出した顔向き検出結果と比べ大きく変化して有効視野外に移動した場合も、外乱等による誤検知の可能性がある。
【００４２】
そこで、視線検知装置１００では、顔向き検出手段２３の検出結果と視線検出手段２１の検出結果とを、それぞれ所定の時間間隔ＴＭで更新し、顔向き検出手段２３によって新規に取得した更新検出結果と更新前の検出結果との差分を顔向き変位ΔＦＭとし、視線検出手段２１によって新規に取得した更新検出結果と更新前の検出結果との差分を視線変位ΔＶＭとする。尚、上記時間間隔ＴＭは、例えば、１００ｍ秒以下に設定される。
【００４３】
そして、図２に示した制御部３０内の出力補正部３３において、この顔向き変位ΔＦＭと視線変位ΔＶＭとを比較し、例えば、顔向き変位ΔＦＭが小さくて、視線変位ΔＶＭが特に大きな場合に、視線変位ΔＶＭの出力値を補正する。また、逆に、視線変位ΔＶＭが小さくて、顔向き変位ΔＦＭが大きな場合に、顔向き変位ΔＦＭの出力値を補正する。出力補正部３３の出力値は、制御部３０又は車両９０に搭載された図示しない車載機器において、対象者９５の状態監視や機器の制御に使用される。
【００４４】
視線ＶＬが有効視野の範囲内で安定している時は、顔向きＦＤだけを大きく変えることは通常想定されない。従って、この場合に顔向きＦＤが有効視野の範囲を超えるのは、正しい検出結果を示していないものとして補正する。例えば、顔向き変位ΔＦＭが３０度以上で、かつ、視線変位ΔＶＭが３０度未満であるときは、顔向き変位ΔＦＭの出力値を３０度未満とするように補正する。即ち、視線変位ΔＶＭが小さくて、有効視野の範囲内であるにもかかわらず、顔向き変位ΔＦＭだけが大きくて、有効視野の範囲を超えるときには、外乱の影響と判断する。この場合、顔向き変位ΔＦＭを小さくするように補正して、誤検知であったときの影響を低減することができる。
【００４５】
また、人間の動作として顔向きＦＤが安定している時は、視線ＶＬも有効視野の範囲内で移動するものと想定される。従って、顔向きＦＤの変化が有効視野（水平方向で約３０度）の半分未満である時には、視線ＶＬが有効視野の範囲外に移動しないものとして補正する。例えば、顔向き変位ΔＦＭが１５度未満で、かつ、視線変位ΔＶＭが３０度以上であるときは、視線変位ΔＶＭの出力値を３０度未満とするように補正する。即ち、顔向きＦＤがほぼ固定されていて、視線変位ΔＶＭのみが見られるときは、眼球の回転であると判断する。この場合、眼球は動いたが瞬時に情報取得が困難であるか、又は外乱等による誤検知の可能性がある。その際は、視線変位ΔＶＭを小さくするように出力値を補正して、誤検知であったときの影響を低減することができる。
【００４６】
尚、上述した顔向き検出手段２３の検出結果と視線検出手段２１の検出結果とを、それぞれ更新する際には、顔向き検出手段２３の検出結果と視線検出手段２１の検出結果の、それぞれの更新検出結果以外にそれぞれ少なくとも２回以上のデータをメモリ３５に記憶保持し、出力補正部３３において、それぞれの更新検出結果を、メモリ３５に記憶保持されている前回及び前々回のデータと比較する。
【００４７】
このように、顔向き検出手段２３の検出結果と視線検出手段２１の検出結果それぞれの２回以上のデータが記憶保持されるので、前回のデータが急激な変位であるとして出力値を補正した際、次の更新検出結果が前々回のデータと近い値であれば、前回の急激な変位が外乱であったと推測することができる。
【００４８】
顔向き検出手段２３の検出結果と視線検出手段２１の検出結果それぞれの一方だけが急激に変位した場合において、仮に視線ＶＬや顔向きＦＤが実際に変位した事象であったとしても、引き続く更新検出結果は真のデータにすぐに近づくので大きな問題は生じない。一方、検出結果が外乱等の影響を受けた誤検知であった場合には、視線ＶＬや顔向きＦＤの急激な変位を低減するように出力値が補正されるので、誤検知であったときの影響を低減することができる。特に、引き続く更新検出結果が外乱等の影響を受ける前の検出結果に近いときには、実際の視線ＶＬや顔向きＦＤがほとんど変化していなかったものと推測される。
【００４９】
以下、本実施形態としたことによる効果について説明する。
【００５０】
視線検知装置１００は、外乱等の影響を受けた誤検知の場合であっても、出力補正部３３が顔向きＦＤと視線ＶＬとの変位を比較して出力値を補正するので、外乱等の影響を低減することができる。
【００５１】
また、前回のデータが急激な変位であるとして出力値を補正した際、次の更新検出結果が前々回のデータと近い値であれば、前回の急激な変位が外乱であったと推測することができる。
【００５２】
また、視線変位ΔＶＭが小さくて、有効視野の範囲内であるにもかかわらず、顔向き変位ΔＦＭだけが大きくて、有効視野の範囲を超えるときには、外乱の影響と判断する。この場合、顔向き変位ΔＦＭを小さくするように補正して、誤検知であったときの影響を低減することができる。
【００５３】
また、顔向きＦＤがほぼ固定されていて、視線変位ΔＶＭのみが見られるときは、眼球の回転であると判断する。この場合、眼球は動いたが瞬時に情報取得が困難又は外乱等による誤検知の可能性がある。その際は、視線変位ΔＶＭを小さくするように出力値を補正して、誤検知であったときの影響を低減することができる。
【００５４】
また、時間間隔ＴＭが１００ｍ秒以下に設定されているので、顔向きＦＤ又は視線ＶＬが瞬時に動いた際にも変位の検出が可能となる。
【００５５】
以上説明したように、本発明の視線検知装置は、外乱等の影響を受けた誤検知の場合であっても、出力補正部が顔向き変位と視線変位とを比較して出力値を補正するので、外乱等の影響を低減することができる。
【００５６】
本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。
【符号の説明】
【００５７】
１０      受像部
１３      カメラ
１５      光源
１７      光源制御手段
１９     画像取得手段
２０     画像処理部
２１     視線検出手段
２３     顔向き検出手段
３０      制御部
３３      出力補正部
３５      メモリ
５０      画像
５１      顔画像
５３      眼領域画像
５３ａ    瞳孔
５５      顔部位
９０      車両
９５      対象者
１００    視線検知装置
ＬＴ     検知光
ＶＬ      視線
ＦＤ      顔向き
ΔＦＭ    顔向き変位
ΔＶＭ    視線変位
ＴＭ      時間間隔
【図１】
2019028727.tif 000003
【図２】
2019028727.tif 000004
【図３】
2019028727.tif 000005
【図４】
2019028727.tif 000006
【図５】
2019028727.tif 000007
【図６】
2019028727.tif 000008