(57)【要約】【課題】運転者を撮像するための撮像装置の撮像方向を容易に検証することができる運転者撮像システムおよび運転者撮像方法を提供する。【解決手段】撮像装置は、車両のステアリングコラム上に設置され、当該車両の運転席方向を撮像する。治具は、撮像装置の撮像対象となるマーカが描かれ、車両のステアリングホイールに着脱可能である。判定部は、撮像装置が撮像した撮像画像中のマーカの位置に基づいて、撮像装置の撮像状態を判定する。【選択図】図６
2009208561.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者を撮像する運転者撮像システムであって、
前記車両のステアリングコラム上に設置され、当該車両の運転席方向を撮像する撮像装置と、
前記撮像装置の撮像対象となるマーカが描かれ、前記車両のステアリングホイールに着脱可能な治具と、
前記撮像装置が撮像した撮像画像中の前記マーカの位置に基づいて、前記撮像装置の撮像状態を判定する判定部とを含む、運転者撮像システム。
【請求項２】
前記判定部は、前記撮像装置が撮像した撮像画像中の前記マーカの位置に基づいて、前記撮像装置の良否判定を行う、請求項１に記載の運転者撮像システム。
【請求項３】
前記判定部は、前記撮像装置が撮像した撮像画像中の前記マーカの位置が当該撮像画像中の予め定められた位置からずれている場合、前記運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置を補正する、請求項１または２に記載の運転者撮像システム。
【請求項４】
前記判定部は、前記ステアリングホイールの操舵角に応じて前記撮像画像中の前記マーカの位置を補正し、当該補正後のマーカ位置に基づいて、前記撮像装置の撮像状態を判定する、請求項１乃至３の何れか１つに記載の運転者撮像システム。
【請求項５】
前記判定部は、前記撮像装置が撮像した撮像画像中に前記マーカが認識できない場合に前記撮像装置が異常であると判定し、前記撮像装置が撮像した撮像画像中の前記マーカの位置が予め定められた範囲外である場合に前記撮像装置の取り付け位置が異常であると判定する、請求項１または２に記載の運転者撮像システム。
【請求項６】
前記車両のステアリングコラム上に設置され、当該車両の運転席方向に光を照射する照明手段を、さらに含み、
前記判定部は、前記照明手段が光を照射した環境下で前記マーカを撮像した前記撮像装置の撮像制御値と、前記照明手段が光を照射していない環境下で前記マーカを撮像した前記撮像装置の撮像制御値とを比較することによって、当該照明手段の良否判定をさらに行う、請求項１または２に記載の運転者撮像システム。
【請求項７】
前記撮像制御値は、前記撮像装置のゲインおよび電子シャッタの時間の少なくとも一方である、請求項６に記載の運転者撮像システム。
【請求項８】
前記車両のステアリングコラム上に設置され、当該車両の運転席方向に光を照射する照明手段を、さらに含み、
前記判定部は、前記照明手段が光を照射した環境下で前記撮像装置が撮像した撮像画像中に前記マーカが認識できない場合に前記照明手段が異常であると、さらに判定する、請求項１または２に記載の運転者撮像システム。
【請求項９】
前記治具は、
操舵軸方向に対して前記ステアリングホイールの３箇所と当接することによって、前記ステアリングホイールと一体化して取り付けられる支持部材と、
一方主面に前記マーカが描かれて前記支持部材に固設され、前記支持部材が前記ステアリングホイールに取り付けられた状態で当該一方主面が前記撮像装置と対向して配置されるマーカ描画部材とを備える、請求項１乃至３の何れか１つに記載の運転者撮像システム。
【請求項１０】
車両のステアリングコラム上に設置された撮像装置から運転者を撮像する運転者撮像方法であって、
前記撮像装置の撮像対象となるマーカが描かれた治具を前記車両のステアリングホイールに取り付ける治具取り付けステップと、
前記撮像装置が前記マーカを撮像する撮像ステップと、
前記撮像装置が撮像した撮像画像中の前記マーカの位置に基づいて、前記撮像装置の撮像状態を判定する判定ステップとを含む、運転者撮像方法。
【請求項１１】
前記判定ステップでは、前記撮像装置が撮像した撮像画像中の前記マーカの位置に基づいて、前記撮像装置の良否判定が行われる、請求項１０に記載の運転者撮像方法。
【請求項１２】
前記判定ステップでは、前記撮像装置が撮像した撮像画像中の前記マーカの位置が当該撮像画像中の予め定められた位置からずれている場合、前記運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置が補正される、請求項１０または１１に記載の運転者撮像方法。
【請求項１３】
前記判定ステップでは、前記ステアリングホイールの操舵角に応じて前記撮像画像中の前記マーカの位置を補正し、当該補正後のマーカ位置に基づいて、前記撮像装置の撮像状態が判定される、請求項１０乃至１２の何れか１つに記載の運転者撮像方法。
【請求項１４】
前記判定ステップでは、前記撮像ステップで撮像した撮像画像中に前記マーカが認識できない場合に前記撮像装置が異常であると判定され、前記撮像ステップで撮像した撮像画像中の前記マーカの位置が予め定められた範囲外である場合に前記撮像装置の取り付け位置が異常であると判定される、請求項１０または１１に記載の運転者撮像方法。
【請求項１５】
前記車両のステアリングコラム上に設置された照明手段から当該車両の運転席方向に光を照射する照明ステップを、さらに含み、
前記判定ステップでは、前記照明ステップで光を照射した環境下で前記マーカを撮像した前記撮像ステップにおける前記撮像装置の撮像制御値と、前記照明ステップで光を照射していない環境下で前記マーカを撮像した前記撮像ステップにおける前記撮像装置の撮像制御値とを比較することによって、前記照明手段の良否判定がさらに行われる、請求項１０または１１に記載の運転者撮像方法。
【請求項１６】
前記撮像制御値は、前記撮像装置のゲインおよび電子シャッタの時間の少なくとも一方である、請求項１５に記載の運転者撮像方法。
【請求項１７】
前記車両のステアリングコラム上に設置された照明手段から当該車両の運転席方向に光を照射する照明ステップを、さらに含み、
前記判定ステップでは、前記照明ステップで光を照射した環境下において前記撮像ステップで撮像した撮像画像中に前記マーカが認識できない場合に前記照明手段が異常であると、さらに判定される、請求項１０または１１に記載の運転者撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者撮像システムおよび運転者撮像方法に関し、より特定的には、車両に乗車する運転者の前方から当該運転者を撮像する運転者撮像システムおよび運転者撮像方法に関する。
【背景技術】
【０００２】
従来、車両を運転する運転者を撮像し、撮像された画像を用いて当該運転者の状態を監視するシステムが開発されている。例えば、運転者の前方から撮像するカメラが車両のステアリングホイール付近に設置され、当該カメラが撮像した画像を用いて運転者の状態が解析される。
【０００３】
車両に乗車した運転者を精度よく撮像するためには、カメラの品質確認や位置調整が必要となる。例えば、カメラから所定距離離れて設置されたスクリーンを当該カメラで撮像することによって、カメラの撮像方向を調整する方向調整方法が開示されている（例えば、特許文献１参照）。上記特許文献１で開示された方向調整方法では、車外に設置された認識スクリーンを車載カメラによって撮影し、撮影画像における画像中心と認識スクリーンに形成されたターゲットパターンとの距離等に基づいて、当該車載カメラの向きが測定される。
【特許文献１】特開２００６−３０６１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、車室内に上記ターゲットパターン等を形成することは難しく、上記特許文献１で開示された方向調整方法は、運転者を撮像するカメラに適用することは難しい。また、車両に乗車した運転者を精度よく撮像するためには、運転者の正面となる至近距離から当該運転者を撮像することが好ましい。例えば、ステアリングコラム上に運転者を撮像するためのカメラや照明が設けられる。つまり、仮に車室内に上記ターゲットパターン等を形成したとしても、ステアリングホイールの上下方向の位置を調整するチルト機構を作動させることによって、ステアリングコラム上に設置されたカメラの撮像方向が変化してしまうため、カメラの撮像方向の測定が困難となる。
【０００５】
それ故に、本発明の目的は、運転者を撮像するための撮像装置の撮像方向を容易に検証することができる運転者撮像システムおよび運転者撮像方法を提供することである。
【課題を解決するための手段】
【０００６】
上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。
第１の発明は、車両の運転者を撮像する運転者撮像システムである。運転者撮像システムは、撮像装置、治具、および判定部を含む。撮像装置は、車両のステアリングコラム上に設置され、当該車両の運転席方向を撮像する。治具は、撮像装置の撮像対象となるマーカが描かれ、車両のステアリングホイールに着脱可能である。判定部は、撮像装置が撮像した撮像画像中のマーカの位置に基づいて、撮像装置の撮像状態を判定する。
【０００７】
第２の発明は、上記第１の発明において、判定部は、撮像装置が撮像した撮像画像中の前記マーカの位置に基づいて、撮像装置の良否判定を行う。
【０００８】
第３の発明は、上記第１〜第３の発明の何れか１つにおいて、判定部は、撮像装置が撮像した撮像画像中のマーカの位置が当該撮像画像中の予め定められた位置からずれている場合、運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置を補正する。
【０００９】
第４の発明は、上記第１〜第３の発明の何れか１つにおいて、判定部は、ステアリングホイールの操舵角に応じて撮像画像中のマーカの位置を補正し、当該補正後のマーカ位置に基づいて、撮像装置の撮像状態を判定する。
【００１０】
第５の発明は、上記第１または第２の発明において、判定部は、撮像装置が撮像した撮像画像中にマーカが認識できない場合に撮像装置が異常であると判定し、撮像装置が撮像した撮像画像中のマーカの位置が予め定められた範囲外である場合に撮像装置の取り付け位置が異常であると判定する。
【００１１】
第６の発明は、上記第１または第２の発明において、照明手段を、さらに含む。照明手段は、車両のステアリングコラム上に設置され、当該車両の運転席方向に光を照射する。判定部は、照明手段が光を照射した環境下でマーカを撮像した撮像装置の撮像制御値と、照明手段が光を照射していない環境下でマーカを撮像した撮像装置の撮像制御値とを比較することによって、当該照明手段の良否判定をさらに行う。
【００１２】
第７の発明は、上記第６の発明において、撮像制御値は、撮像装置のゲインおよび電子シャッタの時間の少なくとも一方である。
【００１３】
第８の発明は、上記第１または第２の発明において、照明手段を、さらに含む。照明手段は、車両のステアリングコラム上に設置され、当該車両の運転席方向に光を照射する。判定部は、照明手段が光を照射した環境下で撮像装置が撮像した撮像画像中にマーカが認識できない場合に照明手段が異常であると、さらに判定する。
【００１４】
第９の発明は、上記第１〜第３の発明の何れか１つにおいて、治具は、支持部材およびマーカ描画部材を備える。支持部材は、操舵軸方向に対してステアリングホイールの３箇所と当接することによって、ステアリングホイールと一体化して取り付けられる。マーカ描画部材は、一方主面にマーカが描かれて支持部材に固設され、支持部材がステアリングホイールに取り付けられた状態で当該一方主面が撮像装置と対向して配置される。
【００１５】
第１０の発明は、車両のステアリングコラム上に設置された撮像装置から運転者を撮像する運転者撮像方法である。運転者撮像方法は、治具取り付けステップ、撮像ステップ、および判定ステップを含む。治具取り付けステップは、撮像装置の撮像対象となるマーカが描かれた治具を車両のステアリングホイールに取り付ける。撮像ステップは、撮像装置がマーカを撮像する。判定ステップは、撮像装置が撮像した撮像画像中のマーカの位置に基づいて、撮像装置の撮像状態を判定する。
【００１６】
第１１の発明は、上記第１０の発明において、判定ステップでは、撮像装置が撮像した撮像画像中のマーカの位置に基づいて、撮像装置の良否判定が行われる。
【００１７】
第１２の発明は、上記第１０または第１１の発明において、判定ステップでは、撮像装置が撮像した撮像画像中のマーカの位置が当該撮像画像中の予め定められた位置からずれている場合、運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置が補正される。
【００１８】
第１３の発明は、上記第１０〜第１２の発明の何れか１つにおいて、判定ステップでは、ステアリングホイールの操舵角に応じて撮像画像中のマーカの位置を補正し、当該補正後のマーカ位置に基づいて、撮像装置の撮像状態が判定される。
【００１９】
第１４の発明は、上記第１０または第１１の発明において、判定ステップでは、撮像ステップで撮像した撮像画像中にマーカが認識できない場合に撮像装置が異常であると判定され、撮像ステップで撮像した撮像画像中のマーカの位置が予め定められた範囲外である場合に撮像装置の取り付け位置が異常であると判定される。
【００２０】
第１５の発明は、上記第１０または第１１の発明において、照明ステップを、さらに含む。照明ステップは、車両のステアリングコラム上に設置された照明手段から当該車両の運転席方向に光を照射する。判定ステップでは、照明ステップで光を照射した環境下でマーカを撮像した撮像ステップにおける撮像装置の撮像制御値と、照明ステップで光を照射していない環境下でマーカを撮像した撮像ステップにおける撮像装置の撮像制御値とを比較することによって、照明手段の良否判定がさらに行われる。
【００２１】
第１６の発明は、上記第１５の発明において、撮像制御値は、撮像装置のゲインおよび電子シャッタの時間の少なくとも一方である。
【００２２】
第１７の発明は、上記第１０または第１１の発明において、照明ステップを、さらに含む。照明ステップは、車両のステアリングコラム上に設置された照明手段から当該車両の運転席方向に光を照射する。判定ステップでは、照明ステップで光を照射した環境下において撮像ステップで撮像した撮像画像中にマーカが認識できない場合に照明手段が異常であると、さらに判定される。
【発明の効果】
【００２３】
第１の発明によれば、ステアリングホイールに取り付けられたマーカを撮像対象として、ステアリングコラム上に設置された撮像装置のテストを行うことができる。したがって、チルト機構によってステアリングの上下位置を変化させたとしても、撮像装置とマーカとの位置関係が変化しないため、チルト機構の位置を規定する等の煩雑なカメラテスト作業が不要となる。
【００２４】
第２の発明によれば、ステアリングホイールに取り付けられたマーカを撮像対象として、容易に撮像装置の良否を判定することができる。
【００２５】
第３の発明によれば、ステアリングホイールに取り付けられたマーカを撮像対象として、撮像装置の設置位置や撮像方向のキャリブレーションを行うことができる。これによって、撮像装置の設置位置や撮像方向のばらつきによって生じる撮像位置の検出誤差を修正することができる。
【００２６】
第４の発明によれば、撮像装置のテストにおいては、撮像画像内のマーカの位置がステアリング操舵角に応じて認識される。したがって、ステアリングホイールが直進走行位置等になくても操舵角に応じたマーカの位置確認が可能となり、ステアリングホイールの位置を規定する等の煩雑なカメラテスト作業が不要となる。
【００２７】
第５の発明によれば、マーカを撮像した撮像画像を用いて、撮像装置自体の異常と撮像装置の取り付け位置（撮像方向）の異常とを判定することができる。
【００２８】
第６の発明によれば、撮像装置のテスト処理においては、マーカを用いて照明装置のテストも可能であるため、照明装置の良否も自動判定することによって、運転者撮像システムのさらに効率のよい確認作業が実現できる。
【００２９】
第７の発明によれば、撮像装置のゲインや電子シャッタの時間等の明るさ制御値を用いて、容易に照明手段の良否判定が可能となる。
【００３０】
第８の発明によれば、撮像装置のテスト処理においては、撮像画像中のマーカ認識可否によって照明装置のテストも可能であるため、照明装置の良否も自動判定することによって、運転者撮像システムのさらに効率のよい確認作業が実現できる。
【００３１】
第９の発明によれば、ステアリングホイールの操舵軸方向に対して、ステアリングホイールと３点が当接して治具が取り付けられるため、操舵軸方向に対する位置決め精度を安定させた状態で治具を取り付けることができる。
【００３２】
また、本発明の運転者撮像方法によれば、上述した運転者撮像システムと同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００３３】
以下、図１を参照して本発明の一実施形態に係る運転者撮像システムについて説明する。なお、本実施形態では、当該運転者撮像システムを含むドライバサポートシステムが車両に搭載される例について説明する。一例として、ドライバサポートシステムは、当該車両を運転する運転者の顔を撮像し、撮像画像に基づいて運転者の状態（顔の向きや目の開閉度）を判断して、判断結果に応じた車両の制御を行う。また、上記ドライバサポートシステムは、車両周辺の他の車両や障害物を認知し衝突の危険性を判断して、判断結果に応じた車両の制御も行う。なお、図１は、当該運転者撮像システムを含むドライバサポートシステムの機能構成の一例を示すブロック図である。
【００３４】
図１において、ドライバサポートシステムは、ドライバモニタカメラ１、ドライバモニタＥＣＵ（Electrical Control Unit）２、ドライバサポートシステムＥＣＵ３、ミリ波レーダ４、メータ５、ブレーキ制御ＥＣＵ６、サービスツール７、ステアリング操舵角センサ８、警報ブザー６１、およびブレーキＡＣＴ（アクチュエータ）６２を備えている。そして、ドライバモニタＥＣＵ２、ドライバサポートシステムＥＣＵ３、およびミリ波レーダ４は、互いにＣＡＮ（Controller Area Network）１等を介して接続される。また、ドライバサポートシステムＥＣＵ３、メータ５、ブレーキ制御ＥＣＵ６、およびサービスツール７は、ＣＡＮ２等を介して接続される。
【００３５】
ドライバモニタカメラ１は、ドライバモニタＥＣＵ２から電力が供給されてそれぞれ作動するＣＣＤ（Charge Coupled Device）１１およびＬＥＤ（Light Emitting Diode）１２を含む。例えば、ＬＥＤ１２は、運転者の正面から当該運転者へ向けて近赤外光を照射する照明装置である。この場合、ＣＣＤ１１は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。このように、近赤外領域で高い感度特性を有するＣＣＤ１１を用いることにより、夜間やトンネル内等を走行中で車内が暗い状況でも、ＬＥＤ１２で照らされた運転者を感度良く撮像することが可能である。なお、ＣＣＤ１１は、運転者の顔を正面から撮像可能な位置に配置される。そして、ＣＣＤ１１は、所定の周期毎に運転者の顔およびその周囲の画像を撮像して、撮像された画像をドライバモニタＥＣＵ２へ出力する。なお、ドライバモニタカメラ１の設置位置の詳細については、後述する。
【００３６】
ドライバモニタＥＣＵ２は、その内部に複数のマイクロコンピュータ（以下、マイコンと記載する）等の情報処理装置、処理に用いる各種データを格納するメモリ、ドライバモニタカメラ１に電力を供給する電源回路、およびインターフェース回路などを備える処理装置である。例えば、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１で撮像された撮像画像を用いて、運転者の顔向きを検知したり、運転者の眼の開閉度を検知したりして、その結果をドライバサポートシステムＥＣＵ３へ出力する。また、ドライバモニタＥＣＵ２は、上記撮像画像とステアリング操舵角センサ８から出力されるステアリング操舵角情報とを用いて、ドライバモニタカメラ１の取り付け位置等をテストする処理を行って、ドライバモニタカメラ１の良否を判定する。
【００３７】
ミリ波レーダ４は、車両の前方、後方、斜め前方向等へ向けてミリ波を出射して、対象物から反射した電波を受信する。そして、ミリ波レーダ４は、受信した電波に基づいて、車両の周辺に存在する他の車両や障害物の位置や自車との相対速度等を測定して、その結果をドライバサポートシステムＥＣＵ３へ出力する。
【００３８】
ドライバサポートシステムＥＣＵ３は、ドライバモニタＥＣＵ２から出力された運転者の顔向きや眼の開閉度等の情報と、ミリ波レーダ４から出力された自車周辺の車両や障害物の認知結果とに基づいて、車両に搭載された乗員保護装置特性を適正に調整したり、衝突条件緩和システムを作動させたり、運転者に適切な警告を与えたりする。図１においては、ドライバサポートシステムＥＣＵ３が制御する装置の一例として、メータ５およびブレーキ制御ＥＣＵ６が記載されている。
【００３９】
メータ５は、車両の運転席に着席して当該車両を運転する運転者から視認可能な位置に設けられる。例えば、メータ５は、運転席前面の計器盤（インスツルメントパネル）に設けられ、ドライバサポートシステムＥＣＵ３からの指示に応じた警報を運転者に表示する。例えば、運転者が正面を向いていない状態や眼を閉じている状態であると判断され、車両と他の物体との衝突の危険性がある場合、ドライバサポートシステムＥＣＵ３は、メータ５に運転者に衝突回避操作を促す表示を早期に行う（警報の前出し）。典型的には、メータ５は、主要ないくつかの計器、表示灯、警告灯、および各種情報を表示するマルチインフォメーションディスプレイ等を１つのパネル内に組み合わせて配置したコンビネーションメータで構成される。なお、メータ５は、ハーフミラー（反射ガラス）を運転席前面のフロントガラスの一部に設け、当該ハーフミラーに情報等の虚像を蛍光表示するヘッドアップディスプレイ（Head-Up Display；以下、ＨＵＤと記載する）等、他の表示装置で構成してもかまわない。
【００４０】
ブレーキ制御ＥＣＵ６は、車両に搭載された警報ブザー６１やブレーキＡＣＴ６２の動作を制御する。例えば、運転者が正面を向いていない状態や眼を閉じている状態であると判断され、車両と他の物体との衝突の危険性があるとドライバサポートシステムＥＣＵ３が判断した場合、ブレーキ制御ＥＣＵ６は、警報ブザー６１を早期に作動させて運転者に衝突回避操作を促す（警報の前出し）。また、ブレーキ制御ＥＣＵ６は、運転者がブレーキペダルを踏んだ力に応じて、ブレーキ油圧を加圧加勢するように、ブレーキＡＣＴ６２の動作を制御する等を行う（警報ブレーキ）。これによって、ブレーキＡＣＴ６２の油圧応答性が向上し、車両の速度低減を図ることができる。
【００４１】
サービスツール７は、車両の製造工程やメンテナンス工場に準備されたテスターである。サービスツール７は、ＣＡＮ２等を介して車両と適宜接続されることによって、車両の電子制御システムとＣＡＮダイアグ通信して、当該電子制御システムを診断する。例えば、サービスツール７は、製造工程に設けられた情報処理装置やメンテナンス工場で用いられる携帯型の情報処理装置で構成され、ＣＡＮ２等を介して、車両と接続される。本実施形態においては、サービスツール７は、上記運転者撮像システムをカメラテストモードへ移行したり、上記運転者撮像システムからカメラのドライバモニタカメラ１の良否判定結果を取得したりする。
【００４２】
ステアリング操舵角センサ８は、車両のステアリングホイール９１の操舵角（ハンドル角）を検出するセンサであり、一般的に直進走行状態からの角度を示す情報をドライバモニタＥＣＵ２へ出力している。
【００４３】
次に、図２および図３を参照して、ドライバモニタカメラ１について説明する。なお、図２は、車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図である。図２は、車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図である。
【００４４】
図２および図３において、ドライバモニタカメラ１は、ステアリングコラム９２の上面に設置される。そして、ドライバモニタカメラ１は、ステアリングホイール９１の開口部（例えば、リム９１１の内側でスポーク９１２等が設けられていない開口部）を通って、ステアリングホイール９１を操作する運転者の正面から当該運転者の顔を撮像するように撮像方向が調整される。なお、図２においては、ドライバモニタカメラ１の視野を示す視体積の一部（カメラ画角の一部）が破線で記載されており、運転手の頭部が当該視体積内に含まれるようにドライバモニタカメラ１の撮像方向が調整される。ここで、上述したようにドライバモニタカメラ１にはＬＥＤ１２が設けられているが、ＬＥＤ１２も上記撮像方向と同様に、運転者の正面から当該運転者へ向けて近赤外光を照射する。なお、ＬＥＤ１２が近赤外光は、少なくともドライバモニタカメラ１のカメラ画角より広い範囲に照射される。このように、ドライバモニタカメラ１は、ステアリングコラム９２上に設置されるため、運転者の正面となる至近距離から当該運転者を撮像することができ、車両に乗車した運転者の顔を精度よく撮像することが可能となる。
【００４５】
ここで、運転者がステアリングホイール９１の上下方向の位置を調整するチルト機構を作動させた場合、ステアリングコラム９２の上下方向の位置も変化する。この場合、ステアリングコラム９２上に設置されたドライバモニタカメラ１の撮像方向も変化することになる。
【００４６】
次に、図４〜図６を参照して、撮像方向判定用治具８１について説明する。なお、図４は、撮像方向判定用治具８１の一例を示す正面概要図である。図５Ａは、撮像方向判定用治具８１を車両に取り付ける様子を運転席の横方向から見た一例を示す側面概要図である。図５Ｂは、撮像方向判定用治具８１を車両に取り付けた状態を運転席の横方向から見た一例を示す側面概要図である。図６は、撮像方向判定用治具８１を車両に取り付けた状態を運転席側から見た一例を示す背面概要図である。なお、撮像方向判定用治具８１は、製造工程やメンテナンス工場において後述するカメラテスト処理を行う際に、当該カメラテストを行う作業者によって取り付けられる。
【００４７】
図４において、撮像方向判定用治具８１は、その一方主面にマーカＭＫが描画された板状部材８１１を有している。また、撮像方向判定用治具８１は、ステアリングホイール９１のリム９１１と当接する当接部８１３およびスポーク９１２と嵌合する一対の嵌合部８１４とを備える支持部材８１２を有している。そして、板状部材８１１は、支持部材８１２に固設される。例えば、当接部８１３には、ステアリングホイール９１のリム９１１の運転席側と当接する当接面Ｐｒ１と、リム９１１の内周部と当接する当接面Ｐｒ２とが形成されている。また、嵌合部８１４には、ステアリングホイール９１のスポーク９１２の運転席側と当接する当接面Ｐｓ１と、スポーク９１２の両側部と嵌合する一対の嵌合面Ｐｓ２とがそれぞれ形成されている。そして、撮像方向判定用治具８１がステアリングホイール９１に取り付けられた際、マーカＭＫがドライバモニタカメラ１と対向する位置に配置される。なお、マーカＭＫの形状の詳細については、後述する。
【００４８】
図５Ａ、図５Ｂ、および図６において、撮像方向判定用治具８１は、ステアリングホイール９１の運転席側からステアリング軸方向に接近させて、ステアリングホイール９１に取り付けられる。例えば、当接部８１３は、当接面Ｐｒ１およびＰｒ２が形成されたＬ字型部材で構成されている。また、嵌合部８１４は、当接面Ｐｓ１および一対の嵌合面Ｐｓ２が形成されたコの字型部材で構成されている。そして、撮像方向判定用治具８１は、当接面Ｐｒ２をリム９１１下端の内周部に、一対の嵌合面Ｐｓ２をそれぞれ２つのスポーク９１２の両側部に沿わせる状態で、ステアリングホイール９１に取り付けられる。そして、当接面Ｐｒ１がリム９１１の運転席側と当接し、２つの当接面Ｐｓ１がそれぞれスポーク９１２の運転席側と当接したとき、撮像方向判定用治具８１の取り付けが完了する（図５Ｂおよび図６の状態）。なお、スポーク９１２と嵌合した嵌合部８１４は、リム９１１の内周部、スポーク９１２の幅広部等によって、そのステアリング径方向の位置が拘束される。
【００４９】
このように、撮像方向判定用治具８１は、ステアリングホイール９１のステアリング軸方向に対して、３点（当接面Ｐｒ１および２つの当接面Ｐｓ１）がステアリングホイール９１と当接して取り付けられるため、ステアリング軸方向に対する位置決め精度が安定する。また、撮像方向判定用治具８１は、ステアリングホイール９１の円周方向に対して、２本のスポーク９１２と一対の嵌合面Ｐｓ２とが嵌合して取り付けられるため、円周方向に対しても安定して取り付けられる。さらに、撮像方向判定用治具８１は、当接部８１３がリム９１１の内周部と当接しながら嵌合部８１４のステアリング径方向の位置が拘束された状態で取り付けられているため、ステアリングホイール９１の上下左右方向に対しても安定して取り付けられる。このように、撮像方向判定用治具８１は、ステアリングホイール９１と一体化して、ステアリングホイール９１の運転席側に取り付けられる。また、撮像方向判定用治具８１は、ステアリングホイール９１から運転席側へステアリング軸方向に離反させることによって容易に取り外すことも可能である。
【００５０】
そして、板状部材８１１は、撮像方向判定用治具８１がステアリングホイール９１に取り付けられた際に、マーカＭＫがドライバモニタカメラ１側となるように配設される。そして、図５Ｂに示すように、ステアリングホイール９１がセンター位置（直進状態）付近にあるときにドライバモニタカメラ１の視界内に板状部材８１１の正面側（マーカＭＫ側）が配置される。つまり、撮像方向判定用治具８１がステアリングホイール９１に取り付けられると、ドライバモニタカメラ１によってマーカＭＫが撮像可能な位置となる。より具体的には、図６に示すように、マーカＭＫは、ステアリングホイール９１がセンター位置にあるときに、ステアリングホイール９１のリム９１１内部における中央上部に位置するように設けられている。なお、図６では、撮像方向判定用治具８１の背面側から見ているためにマーカＭＫが視認できないが、マーカＭＫの位置を説明するために正面側に描かれたマーカＭＫを破線で示している。
【００５１】
ここで、ステアリングホイール９１の上下方向の位置を調整するチルト機構を作動させた場合、当該ステアリングホイール９１に取り付けられた撮像方向判定用治具８１も一体化して移動する。つまり、チルト機構の動作に応じて、ステアリングコラム９２上に設置されたドライバモニタカメラ１と共に、撮像方向判定用治具８１の位置も変化することになる。
【００５２】
次に、図７〜図１０を参照して、ドライバモニタＥＣＵ２の動作の一例について説明する。なお、図７は、ドライバモニタＥＣＵ２によって実行される処理の一例を示すフローチャートである。図８は、図７のステップＳ５２におけるカメラテスト処理の詳細な動作の一例を示すサブルーチンである。図９は、図８のステップＳ６７におけるＬＥＤ確認処理の詳細な動作の一例を示すサブルーチンである。図１０は、マーカ認識処理で用いるマーカ検出用テンプレートＴＰの一例を示す図である。なお、図７〜図９に示すフローチャートの各ステップは、ドライバモニタＥＣＵ２が所定のプログラムを実行することによって行われる。なお、これらの処理を実行するためのプログラムは、例えば、ドライバモニタＥＣＵ２に設けられた記憶領域（例えば、メモリ、ハードディスク、光ディスク等）に予め格納されており、ドライバモニタＥＣＵ２の電源がそれぞれオンになったときにドライバモニタＥＣＵ２によって実行される。
【００５３】
図７において、ドライバモニタＥＣＵ２は、車両のカメラテストモードを開始するか否かを判断する（ステップＳ５１）。例えば、製造工程やメンテナンス工場においてサービスツール７が車両に接続され、当該サービスツール７を介して、車両に設けられた運転者撮像システムをカメラテストモードへ移行する操作が行われる。ドライバモニタＥＣＵ２は、サービスツール７からカメラテストモードを開始する指示を取得した場合、次のステップＳ５２に処理を進める。なお、カメラテストモードを行う場合、当該カメラテストを行う作業者によって撮像方向判定用治具８１がステアリングホイール９１に取り付けられる。一方、ドライバモニタＥＣＵ２は、サービスツール７からカメラテストモードを開始する指示を取得していない場合、通常の処理を行って（ステップＳ５５）、ステップＳ５４に処理を進める。例えば、上記ステップＳ５５において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１で撮像された撮像画像を用いて、運転者の顔向きを検知したり、運転者の眼の開閉度を検知したりして、その結果をドライバサポートシステムＥＣＵ３へ出力する。なお、ドライバモニタＥＣＵ２が行う通常の処理は、ステアリングホイール９１から撮像方向判定用治具８１が取り外された状態で行われる。
【００５４】
ステップＳ５２において、ドライバモニタＥＣＵ２は、カメラテスト処理を行い、次のステップに処理を進める。以下、図８を参照して、カメラテスト処理の詳細な動作について説明する。
【００５５】
図８において、ドライバモニタＥＣＵ２は、ステアリング操舵角センサ８から操舵角を示す情報を取得する（ステップＳ６１）。次に、ドライバモニタＥＣＵ２は、取得した操舵角がカメラテストの可能となる範囲内か否かを判断する（ステップＳ６２）。例えば、図３および図６に示すステアリングホイール９１の状態から１８０°操舵した場合、ドライバモニタカメラ１に対して、ステアリングホイール９１や撮像方向判定用治具８１が１８０°逆に配置される。このような位置に撮像方向判定用治具８１が配置されると、マーカＭＫがドライバモニタカメラ１の視界から外れるために、ドライバモニタカメラ１のテストが不可能となる。上記ステップＳ６２においては、マーカＭＫがドライバモニタカメラ１の視界から外れるような操舵角である場合、当該操舵角がカメラテストの可能となる範囲外であると判断される。そして、ドライバモニタＥＣＵ２は、取得した操舵角がカメラテストの可能となる範囲内である場合、次のステップＳ６３に処理を進める。一方、ドライバモニタＥＣＵ２は、取得した操舵角がカメラテストの可能となる範囲外である場合、当該操舵角がカメラテストの可能となる範囲外であることを通知して（ステップＳ６８）、上記ステップＳ６１に戻って処理を繰り返す。上記ステップＳ６８においては、ドライバモニタＥＣＵ２がサービスツール７に操舵角がカメラテストの可能となる範囲外である旨を示す情報を出力して、サービスツール７の表示画面等に当該情報が表示されてもいい。また、上記ステップＳ６８においては、車両の報知手段（例えば、車両に設けられた表示装置や音声出力装置）を介して、操舵角がカメラテストの可能となる範囲外である旨を示す警告を作業者に通知してもかまわない。
【００５６】
ステップＳ６３において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像内のマーカ認識処理を行って、次にステップに処理を進める。具体的には、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像に対して、マーカＭＫが撮像されている位置（マーカ座標）を検出する。以下、図１０Ａおよび図１０Ｂを参照して、マーカ認識処理の一例を説明する。なお、当該マーカ認識処理を、ＬＥＤ１２を点灯状態で行うか消灯状態で行うかについては、カメラテスト処理を行う車内照度に応じて決めればよい。例えば、マーカＭＫを撮像するための車内照度が充分確保されている場合はＬＥＤ１２を消灯状態でマーカ認識処理を行えばいいし、マーカＭＫを撮像するための車内照度が不足している場合はＬＥＤ１２を点灯状態でマーカ認識処理を行えばいい。
【００５７】
図１０Ａにおいて、ドライバモニタＥＣＵ２は、その記憶手段に撮像画像からマーカＭＫの位置を検出するためのマーカ検出用テンプレートＴＰを格納している。例えば、マーカ検出用テンプレートＴＰは、予め決められた複数位置にそれぞれ設けられた同じ大きさ（例えば、１０×１０画素）のサンプリング窓Ｗ１〜Ｗ４およびＢ１〜Ｂ５が設けられている。そして、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像にマーカ検出用テンプレートＴＰを重畳させた際のサンプリング窓内の撮像画像輝度をそれぞれ積算して、評価値Ｅを算出する。例えば、評価値Ｅは、
Ｅ＝ｗ１＋ｗ２＋ｗ３＋ｗ４−（ｂ１＋ｂ２＋ｂ３＋ｂ４＋ｂ５）
で算出される。ここで、ｗ１〜ｗ４およびｂ１〜ｂ５は、それぞれ上記サンプリング窓Ｗ１〜Ｗ４およびＢ１〜Ｂ５内の輝度積算値である。
【００５８】
ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像に重畳させるマーカ検出用テンプレートＴＰの位置を移動させながら、上記評価値Ｅをそれぞれ算出し、当該評価値Ｅが最大値となるマーカ検出用テンプレートＴＰの位置を探索して、マーカＭＫが撮像されている位置を検出する。例えば、評価値Ｅの最大値が得られたマーカ検出用テンプレートＴＰの中心が位置する撮像画像上の位置座標（Ｘ，Ｙ）を、当該撮像画像におけるマーカＭＫの位置とする。
【００５９】
例えば、図１０Ｂに示すような中抜き黒丸とその中心に位置する小さな塗りつぶし黒丸との組合せによってマーカＭＫが描かれているとする。このマーカＭＫの画像に対して、マーカＭＫの中心とマーカ検出用テンプレートＴＰの中心とが一致するように重畳された場合、サンプリング窓Ｂ１〜Ｂ５が全てマーカＭＫの黒部分と重畳し、サンプリング窓Ｗ１〜Ｗ４が全てマーカＭＫの白部分と重畳する。この場合、評価値Ｅが最大値となり、マーカ検出用テンプレートＴＰの中心が位置する位置座標（Ｘ，Ｙ）が、撮像画像におけるマーカＭＫの中心の位置となる。
【００６０】
なお、図１０Ａおよび図１０Ｂに示したマーカ検出用テンプレートＴＰおよびマーカＭＫは単なる一例に過ぎず、他の態様でもいいことは言うまでもない。例えば、マーカ検出用テンプレートＴＰのサンプリング窓の位置、数、大きさは、マーカＭＫの形状に応じて設定すればよく、上述した例に限るものではない。また、マーカＭＫについても様々な形状でよく、撮像画像においてマーカＭＫの位置が検出可能なものであればどのような形状でもかまわない。さらに、ドライバモニタカメラ１から出力された撮像画像におけるマーカＭＫの位置を検出する手法についても、上述した方式に限るものではなく、一般的なパターンマッチング手法を用いてもかまわない。例えば、マーカＭＫを示すテンプレート画像と、その検出の対象となる撮像画像との一致度が演算し、最も高い一致度を示す探索座標位置をマーカＭＫの位置と認識してもかまわない。
【００６１】
図８に戻り、上記ステップＳ６３のマーカ認識処理の後、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像にマーカＭＫが撮像されていたか否か（すなわち、撮像画像中のマーカＭＫを認識できたか否か）を判断する（ステップＳ６４）。そして、ドライバモニタＥＣＵ２は、撮像画像にマーカＭＫが撮像されている場合、次のステップＳ６５に処理を進める。一方、ドライバモニタＥＣＵ２は、撮像画像にマーカＭＫが撮像されていない場合、次のステップＳ６９に処理を進める。
【００６２】
ステップＳ６５において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像におけるマーカＭＫの位置が正常か否かを判断する（ステップＳ６５）。例えば、ドライバモニタＥＣＵ２は、撮像画像に対して予め設定されたマーカＭＫの位置に関する閾値から、検出されたマーカＭＫの位置座標のＸ座標値またはＹ座標値の少なくとも一方が外れる場合、マーカＭＫの位置が異常であると判断する。ここで、ドライバモニタＥＣＵ２は、上記ステップＳ６１で取得した操舵角情報に応じて、撮像されたマーカＭＫの位置を判断する。例えば、ドライバモニタＥＣＵ２は、上記ステップＳ６１で取得した操舵角情報を用いて、撮像されたマーカＭＫの位置座標（Ｘ，Ｙ）を補正する。具体的には、ステアリングホイール９１が直進走行状態（図３や図６に示す状態）からずれた角度に応じて、位置座標（Ｘ，Ｙ）をステアリングホイール９１が直進走行位置でマーカＭＫが撮像された位置に補正する。そして、ドライバモニタＥＣＵ２は、マーカＭＫの位置が正常である場合、次のステップＳ６６に処理を進める。一方、ドライバモニタＥＣＵ２は、マーカＭＫの位置が異常である場合、次のステップＳ７０に処理を進める。
【００６３】
ステップＳ６６において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１およびドライバモニタカメラ１の取り付け位置が正常であると判定して、処理を次のステップＳ６７に進める。なお、上記ステップＳ６６においては、ドライバモニタＥＣＵ２がサービスツール７にドライバモニタカメラ１およびドライバモニタカメラ１の取り付け位置が正常である旨を示す情報を出力して、サービスツール７の表示画面等に当該情報が表示されてもいい。また、上記ステップＳ６６においては、車両の上記報知手段を介して、ドライバモニタカメラ１およびドライバモニタカメラ１の取り付け位置が正常である旨を作業者に通知してもかまわない。
【００６４】
なお、上記ステップＳ６６において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から出力された撮像画像におけるマーカＭＫの位置が当該撮像画像中の予め定められた位置からずれている場合、運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置を補正してもかまわない。上記ステップＳ６６を処理する時点においては、撮像画像に対して予め設定されたマーカＭＫの位置に関する閾値内に、マーカＭＫの位置座標が入っているために、運転者の顔を画像認識するための撮像には支障がない。しかしながら、上記撮像画像内で画像処理を行う範囲を精確に設定する場合や、運転者の頭部位置を検出する精度を向上する場合等、ドライバモニタカメラ１の撮像位置のばらつきによって発生する誤差を低減することが必要となることがある。
【００６５】
具体的には、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１が基準となる位置から基準となる方向を撮像したときのマーカＭＫの位置座標（Ｘｏ，Ｙｏ）を、撮像画像の位置基準点として予め記憶している。次に、ドライバモニタＥＣＵ２は、上記ステップＳ６３で検出された撮像画像におけるマーカＭＫの位置座標のＸ座標値ＸｍｋおよびＹ座標値Ｙｍｋを用いて、上記位置基準点に対する変位量Ｘｍｋ−Ｘｏ、Ｙｍｋ−Ｙｏを算出する。そして、ドライバモニタＥＣＵ２は、変位量Ｘｍｋ−Ｘｏ≠０または変位量Ｙｍｋ−Ｙｏ≠０の場合、ドライバモニタカメラ１から出力された撮像画像におけるマーカＭＫの位置が当該撮像画像中の予め定められた位置基準点からずれており、キャリブレーション処理が必要であると判断する。
【００６６】
そして、ドライバモニタＥＣＵ２は、マーカＭＫの位置が上記位置基準点からずれている、すなわちキャリブレーションが必要であると判断した場合、以降の画像処理において算出された変位量に基づいた補正を行う。一例として、ドライバモニタＥＣＵ２は、運転者の顔を画像認識する際に用いられる当該撮像画面上の基準位置を、上記変位量を用いて補正して、以降の画像処理を行う。他の例として、ドライバモニタＥＣＵ２は、運転者の顔を画像認識する際に撮像画像上の位置を用いる場合、上記変位量を用いた座標換算補正を行った後の値を用いる。このような補正を行うことによって、ドライバモニタカメラ１の設置位置や撮像方向のばらつきによって生じる撮像位置の検出誤差を修正することができる。
【００６７】
一方、上記ステップＳ６４において撮像画像にマーカＭＫが撮像されていない場合、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１が異常であると判定して（ステップＳ６９）、当該サブルーチンによる処理しステップＳ５３（図７）に処理を進める。ここで、撮像画像にマーカＭＫが撮像されていない場合とは、ドライバモニタカメラ１から撮像画像が出力されていない場合や撮像画像自体に大きな異常がある場合を含んでおり、ドライバモニタカメラ１自体に異常があることが考えられる。このような場合、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１が異常であると判定する。なお、上記ステップＳ６９においては、ドライバモニタＥＣＵ２がサービスツール７にドライバモニタカメラ１が異常である旨を示す情報を出力して、サービスツール７の表示画面等に当該情報が表示されてもいい。また、上記ステップＳ６９においては、車両の上記報知手段を介して、ドライバモニタカメラ１が異常である旨を作業者に通知してもかまわない。
【００６８】
また、上記ステップＳ６５においてマーカＭＫの位置が異常である場合、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１の取り付け位置が異常であると判定して（ステップＳ７０）、当該サブルーチンによる処理しステップＳ５３（図７）に処理を進める。ここで、撮像画像におけるマーカＭＫの位置が異常である場合、ドライバモニタカメラ１の撮像方向が正規方向に対して上下左右にずれていることが考えられる。なお、ステアリングホイール９１におけるチルト操作については、ドライバモニタカメラ１とマーカＭＫとが一体化して移動するために、当該チルト操作による撮像方向の変化は、上記マーカＭＫの位置の変化としては生じない。したがって、マーカＭＫの位置が異常である場合、ステアリングコラム９２に対するドライバモニタカメラ１の取り付け位置が異常であることが考えられる。なお、上記ステップＳ７０においては、ドライバモニタＥＣＵ２がサービスツール７にドライバモニタカメラ１の取り付け位置が異常である旨を示す情報を出力して、サービスツール７の表示画面等に当該情報が表示されてもいい。また、上記ステップＳ７０においては、車両の上記報知手段を介して、ドライバモニタカメラ１の取り付け位置が異常である旨を作業者に通知してもかまわない。
【００６９】
ステップＳ６７において、ドライバモニタＥＣＵ２は、ＬＥＤ１２を確認する処理を行い、ステップＳ５３（図７）に処理を進める。以下、図９を参照して、ＬＥＤ確認処理の詳細な動作について説明する。
【００７０】
図９において、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１のＬＥＤ１２を消灯する（ステップＳ８１）。そして、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１の明るさ制御値Ｔ１を取得して（ステップＳ８２）、次のステップに処理を進める。ここで、明るさ制御値Ｔ１とは、ドライバモニタカメラ１が撮像する際に設定されるＣＣＤ１１の電子シャッタの時間（ＣＣＤ１１が光を取り込む時間）やＣＣＤ１１のゲイン（感度）等である。具体的には、上記ステップＳ８２においては、マーカＭＫをドライバモニタカメラ１が撮像する際、マーカＭＫの照度に応じてドライバモニタカメラ１が適切な明るさ制御値Ｔ１を設定しており、ドライバモニタカメラ１が撮像の際に設定した明るさ制御値Ｔ１をドライバモニタＥＣＵ２が取得する。
【００７１】
次に、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１に設けられたＬＥＤ１２を点灯する（ステップＳ８３）。そして、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１の明るさ制御値Ｔ２を取得して（ステップＳ８４）、次のステップに処理を進める。ここで、明るさ制御値Ｔ２は、上記明るさ制御値Ｔ１と同様に、ドライバモニタカメラ１が撮像する際に設定されるＣＣＤ１１の電子シャッタの時間やＣＣＤ１１のゲイン等である。
【００７２】
次に、ドライバモニタＥＣＵ２は、明るさ制御値Ｔ１と明るさ制御値Ｔ２との差が閾値ａより大きいか否かを判断する（ステップＳ８５）。ここで、明るさ制御値Ｔ１は、ＬＥＤ１２が消灯状態でマーカＭＫを撮像する際に設定された値である。一方、明るさ制御値Ｔ２は、ＬＥＤ１２が点灯状態でマーカＭＫを撮像する際に設定された値である。したがって、ＬＥＤ１２が正常に動作している場合、明るさ制御値Ｔ１と明るさ制御値Ｔ２との間に差が生じるはずである。上記ステップＳ８５においては、このＬＥＤ１２の点灯／消灯に応じて生じる明るさ制御値の差を算出して、閾値ａより大きな差がある場合にＬＥＤ１２が正常に動作していると判断する。そして、ドライバモニタＥＣＵ２は、明るさ制御値Ｔ１と明るさ制御値Ｔ２との差が閾値ａより大きい場合、ＬＥＤ１２が正常であると判定して（ステップＳ８６）、当該サブルーチンによる処理を終了しステップＳ５３（図７）に処理を進める。一方、ドライバモニタＥＣＵ２は、明るさ制御値Ｔ１と明るさ制御値Ｔ２との差が閾値ａ以下の場合、ＬＥＤ１２が異常であると判定して（ステップＳ８７）、当該サブルーチンによる処理しステップＳ５３に処理を進める。なお、上記ステップＳ８６およびステップＳ８７においては、ドライバモニタＥＣＵ２がサービスツール７にＬＥＤ１２が正常または異常である旨を示す情報を出力して、サービスツール７の表示画面等に当該情報が表示されてもいい。また、上記ステップＳ８６およびステップＳ８７においては、車両の上記報知手段を介して、ＬＥＤ１２が正常または異常である旨を作業者に通知してもかまわない。
【００７３】
なお、上記ステップＳ８５で比較する明るさ制御値は、ドライバモニタカメラ１が撮像する際に設定されるＣＣＤ１１の電子シャッタの時間やＣＣＤ１１のゲイン等であるが、電子シャッタの時間のみを明るさ制御値として比較してもいいし、ゲインのみを明るさ制御値として比較してもかまわない。また、ＣＣＤ１１の電子シャッタの時間およびＣＣＤ１１のゲインをそれぞれ明るさ制御値として比較し、両者共に差があることを判定基準にしてもかまわない。さらに、ＣＣＤ１１の電子シャッタの時間およびＣＣＤ１１のゲインを合わせて得られる新たな値を明るさ制御値として比較してもかまわない。また、上記ステップＳ８５においては、ドライバモニタカメラ１が撮像する際に設定されるＣＣＤ１１の電子シャッタの時間やＣＣＤ１１のゲインとは異なる別の明るさ制御値を比較してもかまわない。
【００７４】
図７に戻り、上記ステップＳ５２のカメラテスト処理の後、ドライバモニタＥＣＵ２は、カメラテストモードを終了するか否かを判断する（ステップＳ５３）。例えば、ドライバモニタＥＣＵ２は、サービスツール７からカメラテストモードを終了する指示を取得した場合、次のステップＳ５４に処理を進める。一方、ドライバモニタＥＣＵ２は、サービスツール７からカメラテストモードを終了する指示を取得していない場合、サービスツール７からカメラテストモードを終了する指示を待つ。
【００７５】
ステップＳ５４において、ドライバモニタＥＣＵ２は、処理を終了するか否かを判断する。例えば、ドライバモニタＥＣＵ２は、上記ステップＳ５２におけるカメラテスト処理において、ドライバモニタカメラ１やドライバモニタカメラ１の取り付け位置等が異常であると判定されている場合や、車両の運転者や作業者が処理を終了する操作（例えば、イグニッションスイッチをＯＦＦする操作）を行った場合、処理を終了すると判断する。そして、ドライバモニタＥＣＵ２は、処理を継続する場合、上記ステップＳ５１に戻って処理を繰り返す。一方、ドライバモニタＥＣＵ２は、処理を終了する場合、当該フローチャートによる処理を終了する。
【００７６】
このように、ステアリングホイール９１に取り付けられたマーカＭＫ（撮像方向判定用治具８１）を撮像対象としてドライバモニタカメラ１のテストが行われる。したがって、チルト機構によってステアリングの上下位置を変化させたとしても、ドライバモニタカメラ１とマーカＭＫとの位置関係が変化しないため、チルト機構の位置を規定する等の煩雑なカメラテスト作業が不要となる。また、上記カメラテスト作業においては、ドライバモニタカメラ１の良否判定やドライバモニタカメラ１の設置位置および撮像方向のキャリブレーション要否確認等の、様々なドライバモニタカメラ１の撮像状態の確認処理を行うことができる。例えば、ドライバモニタカメラ１のテスト処理においては、ドライバモニタカメラ１の取り付け位置（撮像方向）の確認に加えて、ドライバモニタカメラ１やドライバモニタＥＣＵ２の動作確認も兼ねることができるため、運転者撮像システムの効率のよい確認作業が実現できる。また、ドライバモニタカメラ１のテスト処理においては、撮像画像内のマーカＭＫの位置がステアリング操舵角に応じて認識される。したがって、ステアリングホイール９１が直進走行位置になくても操舵角に応じたマーカＭＫの位置確認が可能となり、ステアリングホイール９１の位置を規定する等の煩雑なカメラテスト作業が不要となる。さらに、マーカＭＫの撮像画像を用いたＬＥＤ１２のテストも可能であるため、ＬＥＤ１２の良否も自動判定することによって、運転者撮像システムのさらに効率のよい確認作業が実現できる。
【００７７】
なお、上述した撮像方向判定用治具８１では、ステアリングホイール９１のリム９１１と２本のスポーク９１２とにそれぞれ当接して取り付けられる例を示したが、ステアリングホイール９１と一体化して取り付けられれば他の取り付け構造でもかまわない。例えば、ステアリングホイール９１の３本のスポーク９１２とにそれぞれ当接して取り付けられてもいいし、ステアリングホイール９１のリム９１１の２箇所と１本のスポーク９１２とにそれぞれ当接して取り付けられてもかまわない。また、撮像方向判定用治具８１がステアリングホイール９１と当接する箇所は、４箇所以上でもかまわない。
【００７８】
また、上述したドライバモニタＥＣＵ２のカメラテスト処理動作では、マーカ認識処理を行ったの後にＬＥＤ確認処理を行ったが、他の処理順序でもかまわない。例えば、車内の照度が不足しているためにマーカ認識処理をＬＥＤ点灯状態で行う場合、ＬＥＤが異常であるとマーカ認識処理自体が不可能となるため、先にＬＥＤ確認処理を行った後にマーカ認識処理を行ってもかまわない。何れの順序でカメラテスト処理を行っても同様の品質保証が可能であることは言うまでもない。また、カメラテスト処理の最初にステアリング操舵角の確認処理を行っているが、当該確認処理を省略してもかまわない。例えば、車両の製造工程やメンテナンス工場におけるステアリングホイール９１は、直進走行位置に設定されることが一般的である。また、ステアリングホイール９１が直進走行位置から若干ずれていたとしても、ドライバモニタカメラ１の視野内にマーカＭＫが存在する限り、操舵角に応じたドライバモニタカメラ１の取り付け位置確認が行われている。したがって、カメラテスト処理前にステアリングホイール９１の位置が直進走行位置付近に設定されていることが通例である場合、上記ステアリング操舵角の確認処理を省略してもかまわない。
【００７９】
また、上述したドライバモニタＥＣＵ２のＬＥＤ確認処理においては、ドライバモニタカメラ１の明るさ制御値を比較することによって、ＬＥＤ１２の良否判定を行っているが、単に撮像画像中にマーカＭＫが認識できたか否かによって良否判定してもかまわない。例えば、ＬＥＤ１２が消灯状態であれば撮像画像中にマーカＭＫが認識できないような照度が低い車内環境（つまり、ＬＥＤ１２を点灯させないとマーカＭＫが撮像できない）にして、ＬＥＤ１２を点灯させて上記ステップＳ６３のマーカ認識処理を行う。このようなテスト環境で撮像画像中にマーカＭＫが認識できなかった場合、ＬＥＤ１２が異常であると判定することができる。このようなテスト環境の場合、上記ステップＳ６３およびステップＳ６４の処理によってＬＥＤ確認処理を兼ねることができるため、上記ステップＳ６７のＬＥＤ確認処理が不要となることは言うまでもない。
【００８０】
また、上記カメラテスト作業においては、ドライバモニタカメラ１の良否判定やドライバモニタカメラ１の設置位置および撮像方向のキャリブレーション要否確認とその補正等を行っているが、何れか一方の撮像状態の確認処理を行ってもかまわない。例えば、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１の良否判定のみを行って、ドライバモニタカメラ１のキャリブレーション要否確認処理を行わなくてもかまわない。また、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１の設置位置および撮像方向のキャリブレーション要否確認とその補正のみを行って、ドライバモニタカメラ１の他の良否判定を行わなくてもかまわない。本発明における「撮像装置の撮像状態の判定」とは、ドライバモニタカメラ１の良否判定やドライバモニタカメラ１の設置位置および撮像方向のキャリブレーションの要否確認を含む概念である。
【００８１】
また、上記ステップＳ６５の処理においては、操舵角（ハンドル角）に応じてマーカＭＫの位置が判定されているが、ステアリングホイール９１の操舵角と関連する他のパラメータを用いてマーカＭＫの位置を判定してもかまわない。例えば、車両の実舵角に応じてマーカＭＫの位置を判定してもかまわない。
【産業上の利用可能性】
【００８２】
本発明に係る運転者撮像システムおよび運転者撮像方法は、運転者を撮像するための撮像装置の撮像方向を容易に検証することができ、車内の運転者を撮像する装置や当該装置を含むシステム等として有用である。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態に係る運転者撮像システムを含むドライバサポートシステムの機能構成の一例を示すブロック図
【図２】車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図
【図３】車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図
【図４】撮像方向判定用治具８１の一例を示す正面概要図
【図５Ａ】撮像方向判定用治具８１を車両に取り付ける様子を運転席の横方向から見た一例を示す側面概要図
【図５Ｂ】撮像方向判定用治具８１を車両に取り付けた状態を運転席の横方向から見た一例を示す側面概要図
【図６】撮像方向判定用治具８１を車両に取り付けた状態を運転席側から見た一例を示す背面概要図
【図７】図１のドライバモニタＥＣＵ２によって実行される処理の一例を示すフローチャート
【図８】図７のステップＳ５２におけるカメラテスト処理の詳細な動作の一例を示すサブルーチン
【図９】図８のステップＳ６７におけるＬＥＤ確認処理の詳細な動作の一例を示すサブルーチン
【図１０Ａ】マーカ認識処理で用いるマーカ検出用テンプレートＴＰの一例を示す図
【図１０Ｂ】マーカＭＫにマーカ検出用テンプレートＴＰが重畳した一例を示す図
【符号の説明】
【００８４】
１…ドライバモニタカメラ
１１…ＣＣＤ
１２…ＬＥＤ
２…ドライバモニタＥＣＵ
３…ドライバサポートシステムＥＣＵ
４…ミリ波レーダ
５…メータ
６…ブレーキ制御ＥＣＵ
６１…警報ブザー
６２…ブレーキＡＣＴ
７…サービスツール
８…ステアリング操舵角センサ
８１…撮像方向判定用治具
８１１…板状部材
８１２…支持部材
８１３…当接部
８１４…嵌合部
９１…ステアリングホイール
９１１…リム
９１２…スポーク
９２…ステアリングコラム
【図１】
2009208561.tif 000003
【図２】
2009208561.tif 000004
【図３】
2009208561.tif 000005
【図４】
2009208561.tif 000006
【図５Ａ】
2009208561.tif 000007
【図５Ｂ】
2009208561.tif 000008
【図６】
2009208561.tif 000009
【図７】
2009208561.tif 000010
【図８】
2009208561.tif 000011
【図９】
2009208561.tif 000012
【図１０Ａ】
2009208561.tif 000013
【図１０Ｂ】
2009208561.tif 000014