(57)【要約】【課題】視線がいずれかのカメラに向いている場合の視線方向の検出の精度を向上させる視線方向検出装置を提供する。【解決手段】検出用カメラ選択部１４は、各カメラで撮像された目の画像を基に、右カメラ１１、中央カメラ１２及び左カメラ１３の中から、視線方向の検出に用いる１つ又は２つのカメラを選択する。そして、視線方向検出部１５は、検出用カメラ選択部１４により１つの前記カメラが選択された場合には、選択された当該カメラの方向を視線方向として検出し、検出用カメラ選択部１４により複数のカメラが選択された場合には、選択された当該カメラが撮像した画像を基に視線方向を検出する。そして、出力部１６は、視線方向検出部１５により検出された視線方向の情報を出力する。【選択図】図１
2012022646.tif 000002
【特許請求の範囲】
【請求項１】
目を撮像できる位置に配置され、前記目を撮像する複数の撮像部と、
各前記撮像部で撮像された前記目の画像を基に、１つ又は複数の前記撮像部を選択する検出用機器選択部と、
前記検出用機器選択部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記目の視線方向として検出し、前記検出用機器選択部により複数の前記撮像部が選択された場合には、選択された複数の当該撮像部が撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された前記視線方向の情報を出力する出力部と
を有することを特徴とする視線方向検出装置。
【請求項２】
前記検出用機器選択部は、
前記撮像部で撮像された前記目の画像から、該画像を撮像した前記撮像部からの眼球の中心の方向を検出する眼球方向検出部と、
前記撮像部で撮像された前記目の画像から、該画像を撮像した前記撮像部からの黒目の中心の方向を検出する黒目方向検出部と、
前記眼球の中心の方向及び前記黒目の中心の方向を基に、前記視線方向の検出に１つの前記撮像部を用いるか複数の前記撮像部を用いるかを決定し、さらに、前記視線方向の検出に用いる撮像部を選択する検出用機器決定部とを有し、
前記視線方向検出部は、前記検出用機器決定部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記視線方向として検出し、前記検出用機器決定部により前記視線方向の検出に用いる撮像部として複数の前記撮像部が選択された場合には、前記眼球の中心の方向と前記黒目の中心の方向を基に前記視線方向を検出する
ことを特徴とする請求項１に記載の視線方向検出装置。
【請求項３】
前記検出用機器決定部は、前記撮像部のいずれかにおいて前記撮像部からの眼球の中心の方向と前記撮像部からの黒目の中心の方向とのなす角度が、予め決められている所定の角度以内の場合に、前記視線方向の検出に当該撮像部のみを用いると決定することを特徴とする請求項２に記載の視線方向検出装置。
【請求項４】
前記視線方向検出部は、前記視線方向の検出に２つの前記撮像部を用いる場合、前記視線方向の検出に用いる各前記撮像部からの眼球の中心の方向を基に前記眼球の中心位置を求め、さらに、前記視線方向の検出に用いる各前記撮像部からの黒目の中心の方向を基に前記黒目の中心位置を求め、求めた前記眼球の中心位置から求めた前記黒目の中心位置に向かう方向を前記視線方向として検出することを特徴とする請求項２又は請求項３に記載の視線方向検出装置。
【請求項５】
前記撮像部は、車両の運転手の目を撮像できる位置に搭載され、少なくとも２つが該車両のサイドミラー及びルームミラーのうちの異なるものの近傍にそれぞれ配置されていることを特徴とする請求項１乃至請求項４のいずれか一つに記載の視線方向検出装置。
【請求項６】
目を撮像できる位置に配置され、前記目を撮像する複数のカメラで撮像された前記目の画像を基に、視線方向の検出に用いる１つ又は複数の撮像部を選択する検出用機器選択ステップと、
前記検出用機器選択ステップにおいて１つの前記カメラが選択された場合には、選択された当該カメラの方向を前記目の視線方向として検出し、前記検出用機器選択ステップにおいて複数の前記カメラが選択された場合には、選択された複数の当該カメラが撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップにおいて検出された前記視線方向の情報を出力する出力ステップと
を含んだことを特徴とする視線方向検出方法。
【請求項７】
車両の運転手の目を撮像できる位置に配置され、前記目を撮像する複数の撮像部と、
各前記撮像部で撮像された前記目の画像を基に、１つ又は複数の前記撮像部を選択する検出用機器選択部と、
前記検出用機器選択部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記目の視線方向として検出し、前記検出用機器選択部により複数の前記撮像部が選択された場合には、選択された複数の当該撮像部が撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された前記視線方向の情報を出力する出力部と
を有する視線方向検出装置と、
前記車両の周囲を撮像する周辺撮像部と、
前記周辺撮像部で撮像された映像を基に前記車両の周辺の車を抽出する映像処理部と、
前記周辺撮像部で撮像された映像及び前記映像処理部により抽出された車の情報を基に、前記車両からの周辺の車の距離及び方向を検出するデータ検出部と、
前記視線方向検出装置から出力された前記視線方向の情報及び前記データ検出部が検出した前記周辺の車の距離及び方向を基に、安全運転の評価を行う安全運転評価部と
を有することを特徴とする安全運転評価システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線方向検出装置、視線方向検出方法及び安全運転評価システムに関する。
【背景技術】
【０００２】
車の運転にとって、運転手がどこを見ているかは非常に重要である。例えば、運転手が余所見をしている場合には、近づいてくる車に気づかずに接触してしまうといった事故が起こりやすい。このように、車の運転において運転手が適切な方向を見ていることは、安全運転のために欠かせない条件である。
【０００３】
そこで、車の運転において視線の方向が重要であることを利用して、安全運転に役立てることができる。例えば、ドライバの視線方向を検出し、周辺画像と運転手の視線方向とを組み合わせて、周辺の車、歩行者、物陰などを運転手が確認しているか否かを判定し、判定結果を運転手に教えることで、運転技術の向上に寄与することができる。車の安全運転のためのこのような技術を実現するにあたり、ドライバの視線方向、特にルームミラーや左右のサイドミラーなどを見ているか否かを精度良く検出することが求められる。
【０００４】
従来、自動車における視線の検出の技術として、自動車の室内カメラとサイドミラー近傍のカメラを用いて運転者の視線を検出する技術が提案されている。また、視線の検出技術としては、撮影している映像から目全体と黒目とを検出し、目における黒目の位置から視線方向を検出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２４１６８９号公報
【特許文献２】特開２００９−２３２３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来技術のように、２台のカメラで視線検出を行った場合、双方のカメラ映像の情報を使用するため、視線方向の検出において双方の測定の誤差が蓄積され眼球と黒目との検出誤差が大きくなる。このため、２台のカメラで視線方向の検出を行う技術では、検出の精度を向上させることが困難である。
【０００７】
また、白目の検出には目尻や目頭といった目の特徴点が利用されるので、カメラの正面に近い方向に視線が向いているほうが精度良く白目を検出できる。逆に言えば、カメラの正面に近い方向に視線が向いていない場合には白目の検出の精度が落ちることになる。また、黒目の検出では、黒目が円形であるという前提に基づいて検出が行われることが多い。しかし、カメラの正面に近い方向に視線が向いておらず黒目がカメラに向いていない場合、黒目の形状は円形から歪んだ状態でカメラに認識される。そのため、黒目がカメラに向いていない場合の黒目の検出では、歪んだ状態の黒目から円形を推定する処理が必要となる。このような処理を加えると、視線方向の検出に誤差が生じる原因となる。このように、カメラの正面に近い方向に視線が向いていない状態では、視線方向の検出に誤差が生じてしまうことになる。
【０００８】
この点、２台のカメラで視線を検出する技術では、一方のカメラの正面に近い方向に視線が向いている場合でも、他方のカメラでは正面に近い方向から視線がずれてしまっている。そのため、運転手の視線がカメラの正面の方向に向いていても、２台のカメラで視線方向の検出を行う場合、正面にないカメラでの視線方向の検出誤差が大きいため、１台のカメラの場合に比べ、視線方向の検出の精度が悪化してしまう。
【０００９】
開示の技術は、上記に鑑みてなされたものであって、視線がいずれかのカメラに向いている場合の視線方向の検出の精度を向上させることができる視線方向検出装置、視線方向検出方法及び安全運転評価システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する視線方向検出装置、視線方向検出方法及び安全運転評価システムは、一つの態様において、目を撮像する複数の撮像部が、目を撮像できる位置に配置される。そして、検出用機器選択部は、各前記撮像部で撮像された前記運転手の目の画像を基に、前記目の視線方向の検出に用いる１つ又は複数の前記撮像部を選択する。視線方向検出部は、前記検出用機器選択部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記視線方向として検出し、前記検出用機器選択部により複数の前記撮像部が選択された場合には、選択された当該撮像部が撮像した画像を基に前記視線方向を検出する。出力部は、前記視線方向検出部により検出された前記視線方向の情報を出力する。
【発明の効果】
【００１１】
本願の開示する視線方向検出装置、視線方向検出方法及び安全運転評価システムの一つの態様によれば、視線がいずれかのカメラに向いている場合の視線方向の検出の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例に係る視線方向検出装置のブロック図である。
【図２】図２は、車における各カメラの配置位置を説明するための図である。
【図３】図３は、眼球の中心方向と黒目の中心方向のなす角度を説明するための図である。
【図４】図４は、ミラーにおけるカメラの設置方法を説明するための図である。
【図５】図５は、２台のカメラを用いた視線方向の検出を説明するための図である。
【図６】図６は、１台のカメラを用いた視線方向の検出を説明するための図である。
【図７】図７は、実施例に係る視線方向検出装置における視線方向の検出の処理のフローチャートである。
【図８】図８は、実施例に係る視線方向検出装置を用いた安全運転評価システムの構成図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する視線方向検出装置、視線方向検出方法及び安全運転評価システムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する視線方向検出装置、視線方向検出方法及び安全運転評価システムが限定されるものではない。
【実施例】
【００１４】
図１は、実施例に係る視線方向検出装置のブロック図である。図２は、車における各カメラの配置位置を説明するための図である。図２は、紙面に向かって右側が車１００の右側を表しており、紙面に向かって上側が車１００の前方を表している。
【００１５】
本実施例に係る視線方向検出装置は、図１に示すように、右カメラ１１、中央カメラ１２及び左カメラ１３という３台のカメラ、検出用カメラ選択部１４、視線方向検出部１５並びに出力部１６を有している。
【００１６】
３台のカメラは、図２に示すように、車１００に配置されている。具体的には、中央カメラ１２がルームミラー１０１の近傍に配置され、右カメラ１１は右サイドミラー１０２の近傍に配置され、左カメラ１３は左サイドミラー１０３の近傍に配置されている。右カメラ１１、中央カメラ１２及び左カメラ１３は、各カメラを運転手Ｐが正面から見たときの目の方向に向けて配置される。また、本実施例では、図２に示すように車１００の外側に周囲を撮影するための周辺カメラ３１、３２、３３及び３４が取り付けられている。周辺カメラ３１、３２、３３及び３４については後で説明する。
【００１７】
右カメラ１１、中央カメラ１２及び左カメラ１３は、運転手Ｐを撮影し画像を生成する。そして、右カメラ１１、中央カメラ１２及び左カメラ１３は生成した画像を眼球方向検出部１４１及び黒目方向検出部１４２に出力する。ここで、運転手Ｐが向いている方向によっては、いずれかのカメラに運転手Ｐの目が写らない場合がある。例えば、運転手Ｐが右サイドミラー１０２を見ている場合、運転手Ｐの目の位置が左カメラ１３の撮影範囲から外れてしまう場合がある。この場合、右カメラ１１及び中央カメラ１２には運転手Ｐの目が写るが、左カメラ１３には運転手Ｐの目が写らない。各カメラは、運転手Ｐの目が撮影範囲から外れている場合、運転手Ｐの目が写っていない画像を眼球方向検出部１４１及び黒目方向検出部１４２に出力することになる。
【００１８】
各ミラーの近傍への配置について、図４を参照してさらに具体的に説明する。図４は、ミラーにおけるカメラの設置方法を説明するための図である。図４では、中央カメラ１２及びルームミラー１０１を例に描かれている。図４におけるＡ、Ｂはそれぞれ中央カメラの配置位置を示している。例えば、ルームミラー１０１をハーフミラーとした場合、中央カメラ１２は配置位置Ａのようにルームミラー１０１に対して運転手Ｐの目と反対方向の位置に配置することができる。以下では、配置位置Ａを「ルームミラー１０１の背後」と言うことがある。ルームミラー１０１の背後に中央カメラ１２を配置することで、運転手Ｐの視線方向がルームミラー１０１に向いたときに、運転手Ｐは中央カメラ１２を正面から見ることになる。すなわち、ルームミラー１０１を見る視線方向と中央カメラ１２を見る視線方向とをほぼ同じにすることができる。これにより、後述する視線方向の検出の精度を向上させることができる。特に、１台のカメラで視線方向の検出をする場合の精度を向上させることができる。
【００１９】
また、ルームミラー１０１がハーフミラーでないなどルームミラー１０１の背後に中央カメラ１２を配置することが困難な場合、配置位置Ｂのようにルームミラー１０１の脇に中央カメラ１２を配置しても良い。ルームミラー１０１の近くに配置位置Ｂのように中央カメラ１２を配置することで、運転手Ｐがルームミラー１０１を見た視線方向と中央カメラ１２を見た視線方向とのずれを小さく抑えることができる。そのため、配置位置Ｂのようにルームミラー１０１の脇に配置した場合であっても、視線方向がルームミラー１０１に向いているか否かを精度良く判断することができる。ただし、配置位置Ｂの場合、配置位置Ａの場合と比べて１台のカメラで視線方向の検出をする場合の精度は低くなる。したがって、各カメラはなるべくそれぞれのミラーに近い位置に配置することが好ましく、特に、各ミラーの背後に配置することがより好ましい。このカメラ１１〜１３が撮像部の一例である。
【００２０】
検出用カメラ選択部１４は、眼球方向検出部１４１、黒目方向検出部１４２及び検出用カメラ決定部１４３を有している。この検出用カメラ選択部１４が検出用機器選択部の一例である。
【００２１】
眼球方向検出部１４１は、右カメラ１１、中央カメラ１２及び左カメラ１３のそれぞれから運転手Ｐの画像の入力を受ける。眼球方向検出部１４１は、入力された画像とその画像を撮像したカメラの識別情報とを対応付けて記憶する。
【００２２】
眼球方向検出部１４１は、画像から抽出する目の特徴点の情報を予め記憶している。目の特徴点とは、目尻及び目頭などである。さらに、眼球方向検出部１４１は、目の各特徴点と眼球との関係を予め記憶している。例えば、眼球方向検出部１４１は、目尻と目頭の位置を結んだ直線を二等分する点の方向が眼球の中心を通過する方向と一致するなどと記憶している。
【００２３】
眼球方向検出部１４１は、入力された画像から目の特徴点を抽出する。そして、眼球方向検出部１４１は、抽出した目の特徴点に対して、目の特徴点と眼球との関係を用いて、その目の特徴点を抽出した画像を撮像したカメラから眼球の中心に向かう方向を検出する。ここで、カメラから眼球の中心に向かう方向とは、予め決められたカメラにおける所定の場所（例えば、カメラのレンズの中央など。）を基準として、その所定の場所から眼球の中心に向かう方向のことを指す。以下では、カメラから眼球の中心に向かう方向を「眼球の中心方向」という場合がある。これに対して、各カメラから入力された画像に目が写っていない又は写っている目の位置が悪いなどの理由から特徴点が抽出できない場合、眼球方向検出部１４１は、その画像を撮像したカメラでは眼球の中心の方向が検出できないと判定する。
【００２４】
眼球方向検出部１４１は、検出した眼球の中心方向及びその眼球の中心方向の検出に用いた画像を撮像したカメラの識別情報を検出用カメラ決定部１４３へ出力する。また、眼球方向検出部１４１は、眼球の中心が検出できなかった画像を撮像したカメラの識別情報を検出用カメラ決定部１４３へ出力する。
【００２５】
黒目方向検出部１４２は、右カメラ１１、中央カメラ１２及び左カメラ１３のそれぞれから運転手Ｐの画像の入力を受ける。黒目方向検出部１４２は、入力された画像とその画像を撮像したカメラの識別情報とを対応付けて記憶する。
【００２６】
黒目方向検出部１４２は、入力された画像から黒目の領域を抽出する。そして、眼球方向検出部１４１は、抽出した黒目が形成する円の中心を黒目の中心とする。また、黒目方向検出部１４２は、黒目が形成する領域が円形ではない場合、その黒目が形成する円形を推定する。そして、黒目方向検出部１４２は、推定した円形の中心を黒目の中心とする。
【００２７】
そして、黒目方向検出部１４２は、その画像を撮像したカメラから黒目の中心に向かう方向を検出する。ここで、カメラから黒目の中心に向かう方向とは、予め決められたカメラにおける所定の場所（例えば、カメラのレンズの中央など。）を基準として、その所定の場所から黒目の中心に向かう方向のことを指す。以下では、カメラから黒目の中心に向かう方向を「黒目の中心方向」という場合がある。
【００２８】
これに対して、各カメラから入力された画像に目が写っていない又は写っている目の位置が悪いなどの理由から黒目の領域が抽出できない場合、黒目方向検出部１４２は、その画像を撮像したカメラでは黒目の中心の方向が検出できないと判定する。
【００２９】
黒目方向検出部１４２は、検出した黒目の中心方向及びその黒目の中心方向の検出に用いた画像を撮像したカメラの識別情報を検出用カメラ決定部１４３へ出力する。また、黒目方向検出部１４２は、黒目の中心が検出できなかった画像を撮像したカメラの識別情報を検出用カメラ決定部１４３へ出力する。
【００３０】
検出用カメラ決定部１４３は、カメラの方向と視線方向が一致していると判定するために、眼球の中心方向と黒目の中心方向とがなす角度の閾値として所定の角度を記憶している。図３は、眼球の中心方向と黒目の中心方向のなす角度を説明するための図である。図３では、中央カメラ１２に対する眼球及び黒目の位置を例に記載している。図３に示すように、中央カメラ１２からの眼球と黒目の位置が眼球の中心方向１５０と黒目の中心方向１５１で表される場合に、眼球の中心方向１５０と黒目の中心方向１５１のなす角度は角度θとなる。すなわち、検出用カメラ決定部１４３は、所定の角度として図３に示すθの角度を記憶していることになる。例えば、運転手Ｐの目が中央カメラ１２から６０ｃｍ離れている場合に、眼球の中心方向と黒目の中心方向が０．５度以下、すなわち図３の角度θが０．５度以下であれば、中央カメラ１２から±１０ｃｍ以下の場所を見ていると考えられる。そこで、検出用カメラ決定部１４３は、中央カメラ１２への視線に対しては所定の角度を０．５度として記憶している。同様に、検出用カメラ決定部１４３は、右カメラ１１及び左カメラ１３に対する所定の角度として、各カメラから±１０ｃｍ以下の場所を見ていると考えられる角度として求められた角度を記憶している。
【００３１】
検出用カメラ決定部１４３は、眼球の中心方向を検出した画像を撮像したカメラの識別情報及びそのカメラにおける眼球の中心方向、並びに眼球の中心を検出できなかったカメラの識別情報の入力を眼球方向検出部１４１から受ける。また、検出用カメラ決定部１４３は、黒目の中心方向を検出した画像を撮像したカメラの識別情報及びそのカメラにおける黒目の中心方向、並びに黒目の中心を検出できなかったカメラの識別情報の入力を黒目方向検出部１４２から受ける。
【００３２】
検出用カメラ決定部１４３は、眼球の中心を検出できなかったカメラ及び黒目の中心を検出できなかったカメラを視線方向の検出用のカメラから除く。
【００３３】
次に、検出用カメラ決定部１４３は、眼球の中心方向と黒目の中心方向が０．５度以下すなわち、図３における角度θが０．５度以下となっているカメラの有無を判定する。眼球の中心方向と黒目の中心方向が０．５度以下となっているカメラが有る場合には、検出用カメラ決定部１４３は、そのカメラを視線方向の検出用カメラとして決定する。
【００３４】
眼球の中心方向と黒目の中心方向が０．５度以下となっているカメラが無く、且つ２台以上のカメラが視線方向の検出用のカメラから除かれている場合には、検出用カメラ決定部１４３は、視線方向の検出に失敗したと判定し、視線方向の検出処理を終了する。また、眼球の中心方向と黒目の中心方向が０．５度以下となっているカメラが無く、且つ視線方向の検出用のカメラから除かれたカメラが１台以下の場合には、視線方向の検出用のカメラとして２台のカメラを決定する。具体的には、いずれかのカメラが既に視線方向の検出用のカメラから除かれている場合、検出用カメラ決定部１４３は、残りの２台のカメラを視線方向の検出用のカメラとして決定する。また、３台のカメラ全てから眼球の中心方向と黒目の中心方向が検出できている場合には、検出用カメラ決定部１４３は、視線の方向の検出誤差が低い画像を撮像したカメラを、視線方向の検出用のカメラとして２台選択する。例えば、検出用カメラ決定部１４３は、なるべく目の位置がカメラの正面に来ているカメラを視線方向の検出用のカメラとして選択する。具体的には、検出用カメラ決定部１４３は、より画像の中心近くに目が写っている画像を撮像したカメラを選択し、それでも決まらない場合には、眼球の中心方向と黒目の中止方向のなす角度がより小さいカメラを選択する。
【００３５】
検出用カメラ決定部１４３は、視線方向の検出用のカメラとして選択したカメラの識別情報、並びにそのカメラにおける眼球の中心方向及び黒目の中心方向を視線方向検出部１５へ出力する。ここで、本実施例では、１台のカメラのみを視線方向の検出に用いる場合にも、検出用カメラ決定部１４３は、そのカメラにおける眼球の中心方向及び黒目の中心方向を視線方向検出部１５へ出力しているが、これは出力しなくても良い。この検出用カメラ決定部１４３が、検出用機器決定部の一例である。
【００３６】
視線方向検出部１５は、視線方向の検出に用いるカメラの識別情報、並びにそのカメラにおける眼球の中心方向及び黒目の中心方向の入力を検出用カメラ決定部１４３から受ける。そして、視線方向検出部１５は、入力されたカメラの識別情報から、視線方向の検出に用いるカメラが１台か、２台かを判定する。その後、視線方向検出部１５は、運転手Ｐの視線方向の検出を行う。ここで、図５を参照して、実施例に係る視線方向検出装置における２台のカメラを用いた視線方向の検出方法について説明する。ここで、図５は、２台のカメラを用いた視線方向の検出を説明するための図である。
【００３７】
ここでは、右カメラ１１及び中央カメラ１２を用いて視線方向の検出を行うものとする。視線方向検出部１５は、右カメラ１１における眼球の中心方向２０１と中央カメラ１２における眼球の中心方向２０２との交点２０３を求める。ここで求めた交点２０３が眼球の中心にあたる。また、視線方向検出部１５は、右カメラ１１における黒目の中心方向２１１と中央カメラ１２における黒目の中心方向２１２との交点２１３を求める。ここで求めた交点２１３が黒目の中心にあたる。そして、視線方向検出部１５は、交点２０３と交点２１３とを結んだ直線２２０を求める。そして、視線方向検出部１５は、求めた直線２２０を視線方向として検出する。
【００３８】
次に、視線方向の検出に１台のカメラを用いた場合について説明する。１台のカメラのみ視線方向の検出用のカメラとして入力された場合、視線方向検出部１５は、入力された識別情報を有するカメラが配置されているミラーの方向を運転手Ｐの視線方向として検出する。例えば、中央カメラ１２の識別情報が入力された場合、視線方向検出部１５は、中央カメラ１２が配置されたルームミラー１０１の方向を運転手Ｐの視線方向として検出する。例えば、中央カメラ１２が撮像した画像から検出した眼球の中心方向と黒目の中心方向が０．５度以下の場合、視線方向検出部１５は、検出用カメラ決定部１４３から視線方向検出用のカメラとして中央カメラ１２の識別情報の入力を受ける。次に、視線方向検出部１５は、入力された識別情報から中央カメラ１２のみが視線方向検出用のカメラと判定する。そして、視線方向検出部１５は、中央カメラ１２が配置されているルームミラー１０１の方向を運転手Ｐの視線方向として検出する。
【００３９】
ここで、視線方向の検出用のカメラが１台のみの場合に、そのカメラが配置されたミラーの方向を視線方向として検出する理由を説明する。図６は、１台のカメラを用いた視線方向の検出を説明するための図である。図６では、説明の都合上、眼球の中心方向、黒目の中心方向及び視線方向を示す線をずらして描いてあるが、実際には３つの線が重なっているものとする。まず、目が中央カメラ１２の正面を向いている場合である、図６に示す目Ｓの場合で説明する。目Ｓの状態の場合、眼球の中心方向３０１と黒目の中心方向３０２とは一致する。この場合、運転手Ｐの目Ｓは視線方向３０３を向いていることになる。すなわち、中央カメラ１２の向きが視線方向となる。そして、中央カメラ１２はルームミラー１０１の近傍に配置されているため、視線方向はルームミラー１０１の向きとなる。また、目が中央カメラの正面からずれた位置から中央カメラを見ている場合である、目Ｔの場合も同様である。すなわち、眼球の中心方向３１１と黒目の中心方向３１２とは一致し、運転手Ｐの目Ｔは視線方向３１３に向いていることになる。ここで、図６では、眼球の中心方向と黒目の中心方向とが一致する場合で説明したが、眼球の中心方向と黒目の中心方向とのなす角度が０．５度以内であれば、ほぼ眼球の中心方向と黒目の中心方向とはほぼ一致しているといえる。したがって、眼球の中心方向と黒目の中心方向とのなす角度が０．５度以内であれば、同様の議論で視線方向はほぼミラーの向きとなっていることになる。
【００４０】
そして、視線方向検出部１５は、視線方向の検出が完了した後、検出した視線方向の情報を出力部１６へ出力する。
【００４１】
出力部１６は、視線方向検出部１５から入力された視線方向の情報を後述する安全運転評価部２に出力する。ここで、出力部１６からの検出した視線方向の情報の出力先は特に制限はなく、他の装置への出力を行ってもよい、例えば、プリンタに出力し、視線方向の検出結果を紙に印刷させてもよいし、モニタに出力して視線方向の検出結果を表示させても良い。
【００４２】
次に、図７を参照して、本実施例に係る視線方向検出装置における視線方向の検出の処理について説明する。図７は、実施例に係る視線方向検出装置における視線方向の検出の処理のフローチャートである。ここでは、各カメラの識別番号として、１〜３が各カメラに割り当てられているものとする。具体的には、右カメラ１１の識別番号は１であり、中央カメラ１２の識別番号は２であり、且つ左カメラ１３の識別番号が３である。また、以下の説明では、識別番号１を有する右カメラ１１を第１カメラ、識別番号２を有する中央カメラ１２を第２カメラ、識別番号３を有する左カメラ１３を第３カメラと呼ぶ場合がある。
【００４３】
検出用カメラ選択部１４は、カメラの識別番号を表す数であるｎを１に設定する（ｎ＝１）（ステップＳ１０１）。
【００４４】
眼球方向検出部１４１は、識別番号ｎのカメラである第ｎカメラで眼球の中心方向の検出を実行する（ステップＳ１０２）。そして、眼球方向検出部１４１は、眼球の中心方向の検出の実行結果から、第ｎカメラでの眼球の中心方向の検出の可否を判定する（ステップＳ１０３）。
【００４５】
第ｎカメラでの眼球の中心方向の検出ができた場合（ステップＳ１０３肯定）、黒目方向検出部１４２は、第ｎカメラで黒目の中心方向の検出を実行する（ステップＳ１０４）。そして、黒目方向検出部１４２は、黒目の中心方向の検出の実行結果から、第ｎカメラでの黒目の中心方向の検出の可否を判定する（ステップＳ１０５）。
【００４６】
第ｎカメラでの黒目の中心方向の検出ができた場合（ステップＳ１０５肯定）、検出用カメラ決定部１４３は、第ｎカメラにおける眼球の中心方向と黒目の中心方向とが一致するか否かを判定する（ステップＳ１０６）。
【００４７】
第ｎカメラにおける眼球の中心方向と黒目の中心方向とが一致する場合（ステップＳ１０６肯定）、視線方向検出部１５は、第ｎカメラで視線の方向を検出する（ステップＳ１１８）。
【００４８】
これに対して、第ｎカメラでの眼球の中心方向の検出ができなかった場合（ステップＳ１０３否定）、検出用カメラ選択部１４は、ｎ＝３か否かを判定する（ステップＳ１０７）。また、第ｎカメラでの黒目の中心方向の検出ができなかった場合（ステップＳ１０５否定）、検出用カメラ選択部１４は、ｎ＝３か否かを判定する（ステップＳ１０７）。また、第ｎカメラにおける眼球の中心方向と黒目の中心方向とが一致しない場合（ステップＳ１０６否定）も、検出用カメラ選択部１４は、ｎ＝３か否かを判定する（ステップＳ１０７）。ｎ＝３でない場合（ステップＳ１０７否定）、検出用カメラ選択部１４は、ｎをインクリメントし（ステップＳ１０８）、ステップＳ１０２に戻る。
【００４９】
これに対して、ｎ＝３であった場合（ステップＳ１０７肯定）、検出用カメラ選択部１４は、第２カメラでの眼球の中心方向及び黒目の中心方向の検出の可否を判定する（ステップＳ１０９）。第２カメラで眼球の中心方向及び黒目の中心方向が検出可能な場合（ステップＳ１０９肯定）、検出用カメラ選択部１４は、第１カメラでの眼球の中心方向及び黒目の中心方向の検出の可否を判定する（ステップＳ１１０）。
【００５０】
そして、第１カメラで眼球の中心方向及び黒目の中心方向が検出可能な場合（ステップＳ１１０肯定）、視線方向検出部１５は、第１カメラ及び第２カメラで視線方向の検出を行う（ステップＳ１１１）。
【００５１】
これに対して、第１カメラで眼球の中心方向及び黒目の中心方向が検出不可能な場合（ステップＳ１１０否定）、検出用カメラ選択部１４は、第３カメラでの眼球の中心方向及び黒目の中心方向の検出の可否かを判定する（ステップＳ１１２）。
【００５２】
そして、第３カメラで眼球の中心方向及び黒目の中心方向が検出可能な場合（ステップＳ１１２肯定）、視線方向検出部１５は、第２カメラ及び第３カメラで視線方向の検出を行う（ステップＳ１１３）。これに対して、第３カメラで眼球の中心方向及び黒目の中心方向が検出不可能な場合（ステップＳ１１２否定）、視線方向検出装置１は、視線方向の検出が失敗したとして処理を停止する（ステップＳ１１７）。
【００５３】
これに対して、第２カメラで眼球の中心方向及び黒目の中心方向が検出不可能な場合（ステップＳ１０９否定）、検出用カメラ選択部１４は、第１カメラでの眼球の中心方向及び黒目の中心方向の検出の可否を判定する（ステップＳ１１４）。第１カメラで眼球の中心方向及び黒目の中心方向が検出不可能な場合（ステップＳ１１４否定）、視線方向検出装置１は、視線方向の検出が失敗したとして処理を停止する。
【００５４】
これに対して、第１カメラで眼球の中心方向及び黒目の中心方向が検出可能な場合（ステップＳ１１４肯定）、検出用カメラ選択部１４は、第３カメラでの眼球の中心方向及び黒目の中心方向の検出の可否を判定する（ステップＳ１１５）。第３カメラで眼球の中心方向及び黒目の中心方向が検出不可能な場合（ステップＳ１１５否定）、視線方向検出装置１は、視線方向の検出が失敗したとして処理を停止する。
【００５５】
これに対して、第３カメラで眼球の中心方向及び黒目の中心方向が検出可能な場合（ステップＳ１１５肯定）、視線方向検出部１５は、第１カメラ及び第３カメラで視線方向の検出を行う（ステップＳ１１６）。
【００５６】
３台のカメラのうち中央カメラ１２が真ん中のカメラであり、２台のカメラを視線方向の検出に用いる場合には中央カメラ１２を用いる可能性が高いので、ステップＳ１０９以降では、中央カメラ１２を中心に視線検出用のカメラ決定の処理を行っている。ただし、実際には視線検出に用いるカメラを決定する順番はどの順番でも良い。
【００５７】
以上に説明した視線方向の検出の処理は、車１００が動いている間、常に行われている。本実施例では、視線方向検出装置１は、車１００が動いている間、１秒間に６０回の頻度で視線検出を行う。
【００５８】
さらに、図８は、実施例に係る視線方向検出装置を用いた安全評価運転システムの構成図である。そこで、視線方向検出装置１を用いた安全評価運転システムについて説明する。
【００５９】
周辺カメラ３は、周辺カメラ３１〜３４の４台のカメラを有している。図２に示すように、本実施例では車１００の外側の周囲に周辺カメラ３１〜３４が配置されている。この周辺カメラ３１〜３４が周辺撮像部の一例である。
【００６０】
周辺カメラ３１は、車１００の右側の周辺を撮影し画像を生成する。そして、周辺カメラ３１は、生成した画像を映像処理部４へ出力する。
【００６１】
周辺カメラ３２は、車１００の前方の周辺を撮影し画像を生成する。そして、周辺カメラ３２は、生成した画像を映像処理部４へ出力する。
【００６２】
周辺カメラ３３は、車１００の左側の周囲を撮影し画像を生成する。そして、周辺カメラ３３は、生成した画像を映像処理部４へ出力する。
【００６３】
周辺カメラ３４は、車１００の後方の周囲を撮影し画像を生成する。そして、周辺カメラ３４は、生成した画像を映像処理部４へ出力する。
【００６４】
映像処理部４は、車１００の周囲の画像の入力を周辺カメラ３１〜３４から受ける。そして、映像処理部４は、車１００の周囲の画像に対して映像処理を行い、車１００の周囲の画像に他の車が写っているか否かを判断する。映像処理部４は、車１００の周囲の画像に他の車が写っている場合、画像からその車を抽出する。そして、映像処理部４は、車１００の周囲の画像とともに抽出した他の車の情報をデータ検出部５へ出力する。
【００６５】
データ検出部５は、車１００の周囲の画像から抽出された他の車の情報及び車１００の周囲の画像の入力を映像処理部４から受ける。そして、データ検出部５は、画像処理や画像解析を行い、抽出された他の車までの距離や方向などを数値化し、車１００に対する周囲の他の車に関するデータを検出する。
【００６６】
そして、データ検出部５は、数値化した他の車までの距離や方向などの情報を安全運転評価部２へ出力する。
【００６７】
安全運転評価部２は、運転手Ｐの視線方向の情報の入力を視線方向検出装置１から受ける。また、安全運転評価部２は、数値化した他の車までの距離や方向などの情報の入力をデータ検出部５から受ける。
【００６８】
そして、安全運転評価部２は、入力された他の車までの距離から、他の車が危険な位置に接近しているか否かを判定する。例えば、安全運転評価部２は、他の車までの距離が予め記憶している閾値を超えたか否かで、他の車が危険な位置に接近しているか否かを判定する。そして、安全運転評価部２は、入力された運転手Ｐの視線方向の情報から、他の車が危険な位置に接近している時の運転手Ｐの視線方向を取得し、他の車が運転手Ｐの視界に入っていたか否かを判定する。そして、他の車が危険な位置に接近している時に、その車が運転手Ｐの視界に入っていない場合には、安全運転評価部２は、危険があったことの警告とその時の状況を通知する。
【００６９】
このように、検出した視線方向の情報を用いて実際の運転における危険の発生を通知することで、運転手は自己の視線が適当な方向を向いていなかったことを把握できる。これにより、運転手は次に運転するときには、失敗を踏まえて、より適切な方向に視線を向けるよう配慮することが可能となる。
【００７０】
以上に説明したように、本実施例に係る視線方向検出装置では、視線がカメラに向いており、１台のカメラで視線方向の検出ができる場合には、その１台のカメラで視線方向を決定する。このように、視線がカメラに向いている場合には、２台のカメラを用いた視線方向の検出は行わないので、その場合の視線判定においては２台のカメラの検出誤差が蓄積することが無く、より精度の良い視線方向の検出を行うことができる。
【００７１】
さらに、本実施例では、ミラーの近傍にカメラを配置しているため、運転手がミラーを見ているときの視線方向の検出精度を向上させることができる。運転手がミラーを見て後方を確認しているか否かを精度よく検出することができる。安全運転にとって、適切なタイミングでミラーを確認することは非常に重要なことであるので、このようにミラーへの視線を精度良く検出することで、運転の評価をより適切に行うことができ、安全運転に寄与することができる。すなわち、周辺画像と視線方向とを組み合わせて、周辺の車、歩行者及び物陰などを運転手が確認しているかを検出し、安全運転に役立てるという技術に寄与することができる。
【００７２】
ここで、本実施例では、３台のカメラを配置したが、さらに多くのカメラを配置しても良い。また、上述した視線方法の検出は一例であり、一般的な方法であればどのような方法を用いてもよい。
【００７３】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００７４】
（付記１）目を撮像できる位置に配置され、前記目を撮像する複数の撮像部と、
各前記撮像部で撮像された前記目の画像を基に、１つ又は複数の前記撮像部を選択する検出用機器選択部と、
前記検出用機器選択部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記目の視線方向として検出し、前記検出用機器選択部により複数の前記撮像部が選択された場合には、選択された複数の当該撮像部が撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された前記視線方向の情報を出力する出力部と
を有することを特徴とする視線方向検出装置。
【００７５】
（付記２）前記検出用機器選択部は、
前記撮像部で撮像された前記目の画像から、該画像を撮像した前記撮像部からの眼球の中心の方向を検出する眼球方向検出部と、
前記撮像部で撮像された前記目の画像から、該画像を撮像した前記撮像部からの黒目の中心の方向を検出する黒目方向検出部と、
前記眼球の中心の方向及び前記黒目の中心の方向を基に、前記視線方向の検出に１つの前記撮像部を用いるか複数の前記撮像部を用いるかを決定し、さらに、前記視線方向の検出に用いる撮像部を選択する検出用機器決定部とを有し、
前記視線方向検出部は、前記検出用機器決定部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記視線方向として検出し、前記検出用機器決定部により前記視線方向の検出に用いる撮像部として複数の前記撮像部が選択された場合には、前記眼球の中心の方向と前記黒目の中心の方向を基に前記視線方向を検出する
ことを特徴とする付記１に記載の視線方向検出装置。
【００７６】
（付記３）前記検出用機器決定部は、前記撮像部のいずれかにおいて前記撮像部からの眼球の中心の方向と前記撮像部からの黒目の中心の方向とのなす角度が、予め決められている所定の角度以内の場合に、前記視線方向の検出に当該撮像部のみを用いると決定することを特徴とする付記２に記載の視線方向検出装置。
【００７７】
（付記４）前記所定の角度は０．５度であることを特徴とする付記３に記載の視線方向検出装置。
【００７８】
（付記５）前記視線方向検出部は、前記視線方向の検出に２つの前記撮像部を用いる場合、前記視線方向の検出に用いる各前記撮像部からの眼球の中心の方向を基に前記眼球の中心位置を求め、さらに、前記視線方向の検出に用いる各前記撮像部からの黒目の中心の方向を基に前記黒目の中心位置を求め、求めた前記眼球の中心位置から求めた前記黒目の中心位置に向かう方向を前記視線方向として検出することを特徴とする付記２乃至付記４のいずれか一つに記載の視線方向検出装置。
【００７９】
（付記６）前記撮像部は、車両の運転手の目を撮像できる位置に搭載され、少なくとも２つが該車両のサイドミラー及びルームミラーのうちの異なるものの近傍にそれぞれ配置されていることを特徴とする付記１乃至付記５のいずれか一つに記載の視線方向検出装置。
【００８０】
（付記７）目を撮像できる位置に配置され、前記目を撮像する複数のカメラで撮像された前記目の画像を基に、１つ又は複数の撮像部を選択する検出用機器選択ステップと、
前記検出用機器選択ステップにおいて１つの前記カメラが選択された場合には、選択された当該カメラの方向を前記目の視線方向として検出し、前記検出用機器選択ステップにおいて複数の前記カメラが選択された場合には、選択された複数の当該カメラが撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップにおいて検出された前記視線方向の情報を出力する出力ステップと
を含んだことを特徴とする視線方向検出方法。
【００８１】
（付記８）車両の運転手の目を撮像できる位置に配置され、前記目を撮像する複数の撮像部と、
各前記撮像部で撮像された前記目の画像を基に、１つ又は複数の前記撮像部を選択する検出用機器選択部と、
前記検出用機器選択部により１つの前記撮像部が選択された場合には、選択された当該撮像部の方向を前記目の視線方向として検出し、前記検出用機器選択部により複数の前記撮像部が選択された場合には、選択された複数の当該撮像部が撮像した画像のそれぞれを基に前記視線方向を検出する視線方向検出部と、
前記視線方向検出部により検出された前記視線方向の情報を出力する出力部と
を有する視線方向検出装置と、
前記車両の周囲を撮像する周辺撮像部と、
前記周辺撮像部で撮像された映像を基に前記車両の周辺の車を抽出する映像処理部と、
前記周辺撮像部で撮像された映像及び前記映像処理部により抽出された車の情報を基に、前記車両からの周辺の車の距離及び方向を検出するデータ検出部と、
前記視線方向検出装置から出力された前記視線方向の情報及び前記データ検出部が検出した前記周辺の車の距離及び方向を基に、安全運転の評価を行う安全運転評価部と
を有することを特徴とする安全運転評価システム。
【符号の説明】
【００８２】
１  視線方向検出装置
２  安全運転評価部
３  周辺カメラ
４  映像処理部
５  データ検出部
１１  右カメラ
１２  中央カメラ
１３  左カメラ
１４  検出用カメラ選択部
１５  視線方向検出部
１６  出力部
１００  車
１０１  ルームミラー
１０２  右サイドミラー
１０３  左サイドミラー
１４１  眼球方向検出部
１４２  黒目方向検出部
１４３  検出用カメラ決定部
Ｐ  運転手
【図１】
2012022646.tif 000003
【図２】
2012022646.tif 000004
【図３】
2012022646.tif 000005
【図４】
2012022646.tif 000006
【図５】
2012022646.tif 000007
【図６】
2012022646.tif 000008
【図７】
2012022646.tif 000009
【図８】
2012022646.tif 000010