(57)【要約】【課題】撮像された画像にテアリングパッドが写り込んでいたとしても、簡易な構成で精度良く当該画像からドライバーの状態を認識することができる画像認識装置を提供する。【解決手段】画像認識装置は、上記運転席前方から当該運転席方向を撮像する撮像手段と、当該撮像手段が撮像した画像の予め定められた認識範囲において上記ドライバーの顔の状態を検出し、当該顔の状態を示す顔情報を生成する顔情報生成手段と、上記認識範囲において上記車両のステアリングパッドを検索する検索手段と、当該検索手段によって上記認識範囲から上記車両のステアリングパッドが検出された場合、当該認識範囲を変更する変更手段とを備える。【選択図】図３
2011170593.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転席に着席したドライバーの顔を認識する画像認識装置であって、
前記運転席前方から当該運転席方向を撮像する撮像手段と、
前記撮像手段が撮像した画像の予め定められた認識範囲において前記ドライバーの顔の状態を検出し、当該顔の状態を示す顔情報を生成する顔情報生成手段と、
前記認識範囲において前記車両のステアリングパッドを検索する検索手段と、
前記検索手段によって前記認識範囲から前記車両のステアリングパッドが検出された場合、当該認識範囲を変更する変更手段とを備える、画像認識装置。
【請求項２】
前記変更手段は、前記検索手段によって前記認識範囲から前記車両のステアリングパッドが検索された場合、前記認識範囲に前記ステアリングパッドが含まれないように当該認識範囲を変更することを特徴とする、請求項１に記載の画像認識装置。
【請求項３】
前記検索手段は、前記画像中において前記車両のステアリングパッドが写り込んでいる領域を予め推定し、当該領域において前記車両のステアリングパッドを検索し、
前記変更手段は、前記領域において前記車両のステアリングパッドが検索された場合、前記認識範囲に前記領域が含まれないように当該認識範囲を変更することを特徴とする、請求項１に記載の画像認識装置。
【請求項４】
ステアリングパッドの画像パターンが記憶されている記憶手段を更に備え、
前記検索手段は、前記認識範囲において前記画像パターンと一致する画像を検索することによって前記車両のステアリングパッドを検出することを特徴とする、請求項１乃至３の何れか１項に記載の画像認識装置。
【請求項５】
前記車両のステアリングホイールの操舵角を検出し、当該操舵角を示す情報を生成する操舵角検出手段をさらに備え、
前記検索手段は、当該操舵角を示す情報に基づいて前記認識範囲において前記車両のステアリングパッドを検索することを特徴とする、請求項１乃至４の何れか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、より特定的には、車両に搭載され当該車両の運転者の顔を認識する画像認識装置である。
【背景技術】
【０００２】
近年、車両（以下、乗用車を想定し、自車両と称す）に搭載されたカメラで、当該自車両の運転者（ドライバー）の顔を撮像し、当該撮像された画像からドライバーの状態を判定する画像認識装置がある。具体的には、上記画像認識装置は、カメラにより撮像された顔画像について画像処理を行い、居眠り、よそ見、わき見など、当該ドライバーが自車両を運転する際に認知判断が欠如するようなドライバーの状態を検出する。そして、上記画像認識装置は、上記状態を検出した場合、ドライバーへ警告を行ったり、危険を未然に回避するために、ドライバーが運転する自車両を制御したりする。つまり、ドライバーの安全な運転をサポートする。
【０００３】
上記画像認識装置の一例として、例えば、特許文献１に開示されている装置がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−２９３２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示されている装置は、当該装置が搭載されている自車両の走行速度が予め定められた値以下である場合や、ヨーレートやハンドルの舵角が予め定められた値以上である場合に、カメラにより撮像された顔画像についての画像処理を禁止するものである。
【０００６】
ところで、ドライバーの顔を撮像し、当該撮像された画像を処理することによってドライバーの状態を精度良く検出するために、例えば図９に示すように一般的にはカメラ１はコラムカバー７上に搭載されていることが多い。そして、コラムカバー７上に搭載されたカメラ１によって、ドライバーの顔を撮像する。
【０００７】
より具体的には、図１０に示す通りである。図１０は、カメラ１が搭載されている自車両の車室内の様子の一例を示した図である。図１０に示すように、コラムカバー７上に搭載されたカメラ１は、開口部８（ステアリングホイール５とステアリングパッド６との間の空間）を通して、ドライバーの顔を撮像する。
【０００８】
そのため、例えば、図１１に示すように、ステアリングパッド６の形状などによっては上記撮像された顔画像９内に当該ステアリングパッド６が写り込んでしまうこともある。また、ドライバーがハンドル操作を行ってステアリングホイール５を回転させた場合、その操舵角度によっては、撮像された顔画像９内に写り込むステアリングパッド６の大きさも変わってくる（図示せず）。
【０００９】
従って、カメラ１によって撮像された画像からドライバーの状態を検出する際に、当該画像内に写り込んだステアリングパッド６をドライバーの顔の一部であると認識したり、ステアリングパッド６から反射した光が画像内に写り込むことによって認識精度が低下したりすることもある。つまり、撮像された画像から精度良くドライバーの状態を検出するためには、当該画像に写り込んだステアリングパッド６を考慮した画像処理が望まれる。
【００１０】
また、一方で、上述したように、ドライバーへの警告等は、安全な運転をサポートするために行われるものであり、撮像された画像内に仮にステアリングパッド６が写り込んでいた場合、当該撮像された画像からドライバーの状態を検出する処理自体を禁止してしまうことは好ましくない。
【００１１】
しかしながら、上記特許文献１に開示されている装置は、ドライバーがハンドル操作を行ってステアリングハンドル（より具体的には、ステアリングホイール５）を予め定められた角度以上回転させた場合、撮像された画像からドライバーの状態を検出する処理を行わない。言い換えると、撮像された画像内にテアリングパッド６が写り込んではいるものの当該画像からドライバーの状態を検出することができる場合でも、ドライバーの状態を検出する処理自体を禁止している。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、撮像された画像にテアリングパッドが写り込んでいたとしても、簡易な構成で精度良く当該画像からドライバーの状態を認識することができる画像認識装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明は、以下の構成を採用した。すなわち、第１の発明は、車両の運転席に着席したドライバーの顔を認識する画像認識装置である。上記画像認識装置は、上記運転席前方から当該運転席方向を撮像する撮像手段と、当該撮像手段が撮像した画像の予め定められた認識範囲において上記ドライバーの顔の状態を検出し、当該顔の状態を示す顔情報を生成する顔情報生成手段と、上記認識範囲において上記車両のステアリングパッドを検索する検索手段と、当該検索手段によって上記認識範囲から上記車両のステアリングパッドが検出された場合、当該認識範囲を変更する変更手段とを備える。
【００１４】
第２の発明は、上記第２の発明において、上記変更手段は、上記検索手段によって上記認識範囲から上記車両のステアリングパッドが検索された場合、上記認識範囲に上記ステアリングパッドが含まれないように当該認識範囲を変更することを特徴とする。
【００１５】
第３の発明は、上記第１の発明において、上記検索手段は、上記画像中において上記車両のステアリングパッドが写り込んでいる領域を予め推定し、当該領域において上記車両のステアリングパッドを検索する。また、上記変更手段は、上記領域において上記車両のステアリングパッドが検索された場合、上記認識範囲に上記領域が含まれないように当該認識範囲を変更することを特徴とする。
【００１６】
第４の発明は、上記第１〜第３のいずれか１の発明において、上記画像認識装置は、ステアリングパッドの画像パターンが記憶されている記憶手段を更に備える。また、上記検索手段は、上記認識範囲において上記画像パターンと一致する画像を検索することによって上記車両のステアリングパッドを検出することを特徴とする。
【００１７】
第５の発明は、上記第１〜第３のいずれか１の発明において、上記画像認識装置は、上記車両のステアリングホイールの操舵角を検出し、当該操舵角を示す情報を生成する操舵角検出手段をさらに備える。上記検索手段は、当該操舵角を示す情報に基づいて上記認識範囲において上記車両のステアリングパッドを検索することを特徴とする。
【発明の効果】
【００１８】
上記第１の発明によれば、カメラが撮像した顔画像からステアリングパッドを検索し、当該顔画像から、例えば、ステアリングパッドが写り込んでいない範囲で顔認識を行うことができるので、撮像された画像にテアリングパッドが写り込んでいたとしても、簡易な構成で精度良く当該画像からドライバーの状態を認識することができる。
【００１９】
上記第２の発明によれば、カメラが撮像した顔画像からステアリングパッドが検索された場合、当該顔画像から、ステアリングパッドを除去することができる。
【００２０】
上記第３の発明によれば、カメラが撮像した顔画像において、ステアリングパッドが存在する領域を予め推定して、ステアリングパッドを検索するので、より精度良く当該顔画像からステアリングパッドを検出することができる。
【００２１】
上記第４の発明によれば、カメラが撮像した顔画像にステアリングパッドの画像パターンと一致するか否かによってステアリングパッドを検出することができるので、簡易な方法で当該顔画像からステアリングパッドを検出することができる。
【００２２】
上記第５の発明によれば、例えば、ドライバーがハンドル操作を行ってステアリングホイールを回転させ、カメラが撮像した顔画像に写り込むステアリングパッドの大きさが変化しても、容易に当該顔画像からステアリングパッドを検出することができる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態に係る画像認識装置の構成の一例を示すブロック図
【図２】第１の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を示したフローチャート
【図３】カメラ１によって撮像された顔画像９およびステアリングパッド６を示した図
【図４】ステアリングパッド６を除去した顔画像１０を示した図
【図５】図２のステップＳ１７における処理の一例を示すフローチャート
【図６】第２の実施形態に係る画像認識装置の構成の一例を示すブロック図
【図７】第２の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を示したフローチャート
【図８】自車両のドライバーがハンドル操作を行って、ステアリングホイール５を回転させた場合を示す図
【図９】コラムカバー７上に搭載されたカメラ１を示した図
【図１０】カメラ１が搭載されている自車両の車室内の様子の一例を示した図
【図１１】カメラ１によって撮像された顔画像９を示した図
【発明を実施するための形態】
【００２４】
（第１の実施形態）
以下、図面を参照しつつ、本発明の第１の実施形態に係る画像認識装置について説明する。なお、第１の実施形態では、画像認識装置を含む運転支援システムが車両（以下、乗用車を想定して、自車両と称する）に設置される場合を想定して説明する。図１は、本発明の第１の実施形態に係る画像認識装置を含む運転支援システムの構成の一例を示すブロック図である。
【００２５】
図１に示すように、本実施形態に係る画像認識装置は、カメラ１と画像処理ＥＣＵ（Electrical Control Unit）２とを備えている。なお、この画像処理ＥＣＵ２には、車両制御ＥＣＵ（Electrical Control Unit）３が接続されている。
【００２６】
カメラ１は、自車両のドライバーの顔を撮像する、例えばＣＣＤカメラ、赤外線カメラ等である。カメラ１は、自車両の運転席に着席したドライバーの顔を正面から撮像できる位置に設置される。また、カメラ１は、運転席に着席したドライバーの顔を正面から撮像できるように、自車両のコラムカバー７上に設置される（例えば、図９参照）。なお、カメラ１は、例えば、自車両のメーターフード内、メーターパネル内などに設置されてもかまわない。そして、カメラ１は、所定時間間隔でドライバーの顔を正面から撮像し、当該撮像した画像を画像処理ＥＣＵ２に出力する。さらに、ドライバーの顔を撮像する際の照明として、カメラ１とともに赤外線ＬＥＤ（Light Emitting Diode）（図示せず）などを備えてもよい。
【００２７】
画像処理ＥＣＵ２は、メインマイクロコンピュータ（以下メインマイコンと称す）２１、サブマイクロコンピュータ（以下サブマイコンと称す）２２、画像パターン格納部２３等を備えている。また、画像処理ＥＣＵ２には、上述したドライバーの顔を撮像するカメラ１と、後述する車両制御ＥＣＵ３が接続されている。
【００２８】
画像処理ＥＣＵ２は、カメラ１によって撮像された画像から自車両のドライバーの状態を検出する。例えば、画像処理ＥＣＵ２は、当該撮像された画像から、自車両のドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を生成し、当該情報を車両制御ＥＣＵ３に出力する。
【００２９】
より具体的には、画像処理ＥＣＵ２のメインマイコン２１は、カメラ１が撮像した画像から、ドライバーの顔向きの検出を主に行う。具体的には、カメラ１が撮像した画像の所定方向にソーベルフィルタ処理を施し、処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行う。そして、当該ソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅を算出する処理を行う。なお、画像処理ＥＣＵ２のメインマイコン２１は、ＣＰＵ（中央演算装置）およびメモリ等で構成される。
【００３０】
また、画像処理ＥＣＵ２のサブマイコン２２は、カメラ１が撮像した画像から、ドライバーの目は閉じているか否かなど、ドライバーの眼に関する状態を主に検出して、それら状態を示す情報を生成し、車両制御ＥＣＵ３に出力する。なお、画像処理ＥＣＵ２のサブマイコン２２は、ＣＰＵ（中央演算装置）およびメモリ等で構成される。
【００３１】
また、画像処理ＥＣＵ２の画像パターン格納部２３は、読み書き可能な記憶媒体で構成され、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンとは、人物の平均的な特徴部のテンプレート画像（例えば、鼻や目のテンプレート画像）を含んでいる。なお、後述より明らかとなるが、画像処理ＥＣＵ２の画像パターン格納部２３には、様々な向きのステアリングパッド６のテンプレート画像も記憶されている。
【００３２】
なお、メインマイコン２１は、カメラ１によって撮像された画像を処理する際に、当該画像内に写り込んだ、ステアリングパッド６を取り除く処理を行う（詳細な動作は後述のフローチャートで説明）。
【００３３】
つまり、メインマイコン２１は、カメラ１によって撮像された画像を処理する際に、自車両のステアリングパッド６が写り込んでいた場合、例えば、当該ステアリングパッド６を顔の一部であると認識してしまう可能性がある。そのため、メインマイコン２１は、画像内に写り込んだステアリングパッド６を取り除くことで、上記画像から自車両のドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を生成する際の認識性能を向上させる。
【００３４】
図１の説明に戻って、車両制御ＥＣＵ３は、画像処理ＥＣＵ２から出力されるドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）に基づいて、ドライバーの状態を判断する。具体的には、車両制御ＥＣＵ３は、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などのドライバーの状態を判断し、自車両に搭載されている警告灯（図示せず）を点灯させたり警報ブザー（図示せず）を鳴動させたりして、ドライバーに注意喚起を促す。
【００３５】
このように、第１の実施形態に係る画像認識装置において、画像処理ＥＣＵ２は、カメラ１が撮像した画像からドライバーの顔に関する情報を生成する。そして、車両制御ＥＣＵ３は、画像処理ＥＣＵ２が生成したドライバーの顔に関する情報に基づいて、当該ドライバーの状態を判断し、自車両に搭載されている各種装置を制御し、然るべき措置を行う。以下、図２を参照して、第１の実施形態に係る画像認識装置の画像処理ＥＣＵ２の各部が行う処理の一例を説明する。
【００３６】
図２は、第１の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を示したフローチャートである。なお、図２に示したフローチャートに示される処理は、画像認識装置の各部がそれぞれ所定のプログラムを実行することにより行われる。また、図２に示すフローチャートに示す処理は、上記画像認識装置の電源がＯＮ（例えば、上記画像認識装置が搭載されたの自車両のイグニッションスイッチがＯＮ）されることによって開始される。また、当該処理は、上記画像認識装置の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。
【００３７】
図２のステップＳ１１において、メインマイコン２１は、ＩＧがＯＮであるか否かを判断する。そして、ＩＧがＯＮであると判断した場合（ＹＥＳ）、次のステップＳ１２に処理を進める。一方、メインマイコン２１は、ＩＧがＯＮではない、つまりＩＧがＯＦＦであると判断した場合（ＮＯ）、当該フローチャートでの処理を終了する。
【００３８】
ステップＳ１１において、メインマイコン２１は、カメラ１が撮像した画像を取得する。そして、メインマイコン２１は、次のステップＳ１３に処理を進める。
【００３９】
ステップＳ１３において、メインマイコン２１は、上記ステップＳ１２で取得した画像について、エッジ画像を作成する。具体的には、メインマイコン２１は、上記ステップＳ１２で取得した画像の所定方向（例えば、縦方向、または横方向）にソーベルフィルタ処理を実施する。そして、メインマイコン２１は、ソーベルフィルタ処理が実施された画像、つまり、ソーベル画像内における輝度の差を用いて、濃淡エッジを強調させたエッジ画像（画像内の各点を輝度値とした白黒白エッジ画像）を作成する。そして、メインマイコン２１は、次のステップＳ１４に処理を進める。
【００４０】
ステップＳ１４において、メインマイコン２１は、上記エッジ画像からステアリングパッド６はあるか否か、言い換えると、上記エッジ画像からステアリングパッド６を検出（検索）することができたか否かを判断する。そして、当該ステップＳ１４での判断を肯定した場合（ＹＥＳ）、ステップＳ１５に処理を進める。一方、当該ステップＳ１４での判断を否定した場合（ＮＯ）、ステップＳ１６に処理を進める。
【００４１】
ここで、図３の（ａ）および（ｂ）を参照しつつ、上記ステップＳ１４における処理について説明する。なお、図３は、上述した図１１と同様に、一例として、ドライバーがハンドル操作を行っていない状態（ステアリングホイール５がニュートラルの位置）、つまり、ドライバーによってステアリングホイール５は回転させられていない状態を示した。
【００４２】
図３の（ａ）は、図１１と同様にカメラ１によって撮像された顔画像９を示した。上述したように、カメラ１は、運転席に着席したドライバーの顔を正面から撮像できるように、自車両のコラムカバー７上に設置されている。そのため、図３の（ａ）中の破線で示したように、顔画像９中には自車両のドライバーの顔と共に、当該自車両のステアリングパッド６も写り込んでいる。
【００４３】
上記ステップＳ１４において、メインマイコン２１は、上記顔画像９中においてステアリングパッド６を検索する。以下、さらに、図３の（ｂ）を参照して説明する。
【００４４】
図３の（ｂ）は、上記顔画像９中（図３の（ａ））の破線で示した箇所を拡大した白黒白エッジ画像である。例えば、メインマイコン２１は、画像パターン格納部２３に記憶されているステアリングパッドのテンプレート画像を用いて、エッジラインが抽出された画像（具体的には、図３の（ｂ））に対するパターンマッチング処理を行って一致度を算出する。そして、メインマイコン２１は、例えば、上記エッジラインが抽出された画像（具体的には、図３の（ｂ））と上記ステアリングパッドのテンプレート画像との一致度が予め定められた値以上であった場合、上記顔画像９中（図３の（ａ））から、ステアリングパッドを検出することができたとして、上記ステップＳ１４の判断を肯定する。
【００４５】
なお、メインマイコン２１は、カメラ１によって撮像された顔画像９（つまり、図３の（ａ））の全体からステアリングパッドのテンプレート画像との一致を判断してもよい。しかしながら、上述したように、カメラ１は、運転席に着席したドライバーの顔を正面から撮像できるように、自車両のコラムカバー７上に設置されている。そのため、顔画像９中において、ステアリングパッド６が存在する範囲は、通常、顔画像９中の下方であると考えられる。従って、メインマイコン２１は、上記ステップＳ１４において、上記顔画像９中からステアリングパッド６を検索するとき、当該顔画像９中の下方付近にテアリングパッド６が存在する範囲であると想定して、当該ステアリングパッド６を検索し、そして検出してもよい。
【００４６】
さらに、メインマイコン２１は、例えば、顔画像９（つまり、図３の（ａ））中の下方から１／３程度の範囲で、横方向のエッジを強調したエッジ画像からｙ座標ごとにヒストグラムを生成し、当該ヒストグラム値を計算する。そして、メインマイコン２１は、ヒストグラム値のピークを求めることで、顔画像９中におけるステアリングパッド６が存在する位置や範囲を判断し、当該位置や範囲においてステアリングパッド６を検出してもよい。
【００４７】
図２のフローチャートの説明に戻って、ステアリングパッド６を検出することができた（上記ステップＳ１４でＹＥＳ）と判断された次のステップＳ１５において、メインマイコン２１は、画像処理（Ａ）を行う。具体的には、メインマイコン２１は、ステップＳ１５の画像処理（Ａ）において、顔画像９中（ステアリングパッド６が写り込んだ顔画像である図３の（ａ））においてステアリングパッド６を確定する。そして、メインマイコン２１は、図４に示すように、図３の（ａ）に示した顔画像９中からステアリングパッド６を除去した顔画像１０を生成する。なお、図４では、図３の（ａ）の破線で示した範囲でステアリングパッド６が存在するものとメインマイコン２１が判断し、当該ステアリングパッド６を除去した顔画像１０を示した。
【００４８】
一方、顔画像９内からステアリングパッド６を検出することができなかった（上記ステップＳ１４でＮＯ）と判断された次のステップＳ１６において、メインマイコン２１は、画像処理（Ｂ）を行う。具体的には、メインマイコン２１は、顔画像９中においてステアリングパッド６を検出することができなかったので、上記図４で示したようにステアリングパッド６を除去する処理は行わず、予め設定した範囲で画像の切り出しを行う。つまり、上記ステップＳ１４において、ステアリングパッド６を検出することができなかったが、例えば図３の（ａ）に示した顔画像９中においてドライバーの顔が存在しているだとうろと考えられる範囲（例えば、図３の（a）で示した画像の中央付近）で画像の切り出しを行う。
【００４９】
このように、メインマイコン２１は、カメラ１が撮像した画像からステアリングパッド６を除去する処理（例えば、図４に示したような顔画像１０を生成する処理）を行う。そして、画像処理ＥＣＵ２は、ステアリングパッド６を除去した画像を画像処理に用いる。つまり、図３の（a）でステアリングパッド６が存在している範囲を除いた範囲を認識範囲とし、画像処理ＥＣＵ２は当該認識範囲においてドライバーの顔に関する情報を算出する。このようにすれば、後述するドライバーの顔に関する情報を算出する際に、カメラ１が撮像した画像に写り込んだステアリングパッド６をドライバーの顔の一部であると認識したり、ステアリングパッド６から反射した光が画像に写り込むことによって認識精度が低下したりするようことを防ぐことができる。
【００５０】
なお、上述した例では、ドライバーがハンドル操作を行っていない状態、つまり、ドライバーによってステアリングホイール５は回転させられていない状態で撮像された画像から、ステアリングパッド６を除去する方法を説明した。しかしながら、ドライバーがハンドル操作を行ってステアリングホイール５を回転させた場合も上述した方法で、ステアリングパッド６を除去することもできる。この場合、例えば、画像パターン格納部２３に、ドライバーがハンドル操作を行ってステアリングホイール５を回転させた場合に撮像された場合を想定し、様々なステアリングパッド６のテンプレート画像を記憶させておけばよい。
【００５１】
図２のフローチャートの説明に戻って、ステップＳ１７において、メインマイコン２１およびサブマイコン２２は、顔情報算出処理を行う。より具体的には、ステップＳ１７において、メインマイコン２１およびサブマイコン２２は、上記画像処理（Ａ）においてステアリングパッド６が除去された顔画像１０（例えば図４）、または上記画像処理（Ｂ）において予め設定した範囲で切り出された画像（図示せず）から、ドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を検出する。以下、図５を参照して、上記ステップＳ１７における処理を説明する。
【００５２】
図５は、図２のステップＳ１７における処理の一例を示すフローチャートである。図５のステップＳ２１において、メインマイコン２１は、顔の幅を算出する。具体的には、例えば、メインマイコン２１は、上記ステップＳ１３において得られたソーベル画像を用いて、顔の左右両端の長い輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、メインマイコン２１は、抽出された顔右端の位置から顔左端の位置を減算した長さを、ドライバーの顔の幅として算出し、当該算出結果を車両制御ＥＣＵ３に出力する。
【００５３】
なお、このとき、メインマイコン２１は、上記ステップＳ２１において、顔の幅が検出できなかった場合、ドライバーは、わき見やよそ見をしていると判断し、当該判断結果を車両制御ＥＣＵ３に出力してもかまわない。つまり、ドライバーが横を向いていたり、わき見運転をしていたりする場合、ドライバーの顔の幅の情報が算出できないことがあるからである。
【００５４】
ステップＳ２２において、サブマイコン２２は、鼻孔を探す。具体的には、例えば、サブマイコン２２は、上記ステップＳ２１で算出されたドライバーの顔の幅を示す情報と、画像パターン格納部２３に格納されている顔画像パターンとを用いて、上記画像処理（Ａ）においてステアリングパッド６が除去された顔画像１０（例えば図４）、または上記画像処理（Ｂ）において予め設定した範囲で切り出された画像（図示せず）において、鼻孔が存在していると予想される範囲を設定する。そして、サブマイコン２２は、当該範囲において輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出し、円らしさが最も高い（円に近い）点をドライバーの鼻孔とする。
【００５５】
ステップＳ２３において、サブマイコン２２は、目を特定する。具体的には、例えば、サブマイコン２２は、上記ステップＳ２２で検出したドライバーの鼻孔の位置を基準として、上記画像処理（Ａ）においてステアリングパッド６が除去された顔画像１０（例えば図４）、または上記画像処理（Ｂ）において予め設定した範囲で切り出された画像（図示せず）における目の位置を推定する。そして、サブマイコン２２は、推定された目の位置において、エッジラインを抽出する画像処理を行う。さらに、サブマイコン２２は、画像パターン格納部２３に記憶されている目のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出し、目を特定する。
【００５６】
ステップＳ２４において、サブマイコン２２は、上瞼と下瞼との距離を算出する。具体的には、例えば、サブマイコン２２は、上記ステップＳ２３で特定した目について、パターンマッチング処理などを行う。そして、サブマイコン２２は、当該上瞼と下瞼との距離を算出し、上瞼と下瞼との距離を車両制御ＥＣＵ３に出力し、図５に示したフローチャートの処理を終了する。
【００５７】
なお、カメラ１が撮像した画像からドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を算出する手法は一例であり、上述した例に限らず既知の手法を用いても構わない。
【００５８】
図２のステップＳ１８において、車両制御ＥＣＵ３は、メインマイコン２１およびサブマイコン２２が図５のフローチャートで示した処理を行うことによって算出したドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を入力する。なお、車両制御ＥＣＵ３は、当該ドライバーの顔に関する情報に基づき、例えば、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などのドライバーの状態を判断し、自車両に搭載されている警告灯を点灯させたり警報ブザーを鳴動させたりして、ドライバーに注意喚起を促しても構わない。
【００５９】
ステップＳ１９において、サブマイコン２２は、自車両のＩＧがＯＦＦされたか否かを判断する。そして、ＩＧがＯＦＦであると判断した場合（ＹＥＳ）、当該フローチャートでの処理を終了する。一方、サブマイコン２２は、自車両のＩＧがＯＦＦされていないと判断した場合（ＮＯ）、上記ステップＳ１２に処理を戻す。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像認識装置について説明する。なお、第２の実施形態においても、画像認識装置を含む運転支援システムが車両（以下、自車両と称する）に設置される場合を想定して説明する。
【００６１】
図６は、本発明の第２の実施形態に係る画像認識装置を含む運転支援システムの構成の一例を示すブロック図である。なお、図６において、上述した第１の実施形態と同様の構成要素は同じ参照符号を付して、その説明は省略する。具体的には、図６に示すように、上述した第１の実施形態と異なる点は、画像処理ＥＣＵ２に舵角センサ４がさらに接続されている点である。
【００６２】
具体的には、第２の実施形態に係る画像認識装置のメインマイコン２１は、カメラ１によって撮像された画像を処理する際に、上記舵角センサ４から出力される情報に基づいて、当該画像を予め定められた範囲で画像の切り出しを行うものである（詳細な動作は後述のフローチャートで説明）。
【００６３】
舵角センサ４は、例えば、自車両のコラムカバー７内に取り付けられ、自車両のステアリングホイール５の回転角を操舵角として検出するセンサーである。舵角センサ４は、ステアリングホイール５の操舵角を検出する度に、当該検出した操舵角を示す情報を画像処理ＥＣＵ２に出力する。
【００６４】
なお、舵角センサ４が出力する上記操舵角を示す情報とは、例えば、ドライバーがハンドル操作を行っていない状態（ステアリングホイール５がニュートラルの位置）にあるときの操舵角を０°とする。そして、操舵角は、上記ニュートラルの位置を基準としてドライバーが左方向にステアリングホイール５を回転したときの回転角に応じて減少するもとのする。一方、操舵角は、上記ニュートラルの位置を基準としてドライバーが右方向にステアリングホイール５を回転したときの回転角に応じて増加するもとのする。つまり、舵角センサ４が出力する上記操舵角を示す情報においては、操舵角が負の値であるときは、ステアリングホイール５が左側に回転させられていることを示し、正の値であるときは、ステアリングホイール５が右側に回転させられていることを示す。
【００６５】
次に、第２の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を説明する。
【００６６】
図７は、第２の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を示したフローチャートである。なお、図７に示したフローチャートに示される処理は、画像認識装置の各部がそれぞれ所定のプログラムを実行することにより行われる。また、図７に示すフローチャートに示す処理は、上記画像認識装置の電源がＯＮ（例えば、上記画像認識装置が搭載されたの自車両のイグニッションスイッチがＯＮ）されることによって開始される。また、当該処理は、上記画像認識装置の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。
【００６７】
なお、以下、図７のフローチャートの説明において、上述した第１の実施形態に係る画像認識装置の各部において行われる処理の流れの一例を示したフローチャート（図２）の処理と異なる点についてのみ説明する。
【００６８】
図７のステップＳ３４において、メインマイコン２１は、カメラ１が撮像した顔画像９（例えば図１１）において切り出し範囲を変更するか否かを判断する。具体的には、メインマイコン２１は、上記舵角センサ４から出力される情報に基づいて、画像において切り出し範囲を変更するか否かを判断する。具体的には、メインマイコン２１は、上記ステップＳ３４において、舵角センサ４からの情報に基づいて、例えば、操舵角が０°でなかった場合、切り出し範囲を変更すると判断し、当該ステップＳ３４の処理を肯定（ＹＥＳ）する。一方、メインマイコン２１は、舵角センサ４からの情報に基づいて、例えば、操舵角が０°であった場合、つまり、ドライバーがハンドル操作を行っていない状態（ステアリングホイール５がニュートラルの位置）であった場合、切り出し範囲を変更しないと判断し、当該ステップＳ３４の処理を否定（ＮＯ）する。
【００６９】
上記ステップＳ３４の判断が肯定された次のステップＳ３５において、メインマイコン２１は、画像処理（Ｃ）を行う。
【００７０】
以下、図８を参照して、上記ステップＳ３５においてメインマイコン２１が行う処理についてより具体的に説明する。
【００７１】
図８は、自車両のドライバーがハンドル操作を行って、ステアリングホイール５を回転させた場合を示す図である。より具体的には、図８は、ドライバーが、例えば、自車両を左前方に進行させようとして、ステアリングホイール５を左側に１０°程度回転させた場合を示す図である。ドライバーがハンドル操作を行っていない状態（ステアリングホイール５がニュートラルの位置）にあるときと比べて（例えば図３の（ａ）参照）、図８に示すように、ドライバーがハンドル操作を行ってステアリングホイール５を回転させた場合、図８に示した顔画像１１内においてステアリングパッド６が占める領域は大きくなる。つまり、ドライバーがステアリングホイール５を回転させると、その操舵角度に応じて、カメラ１によって撮像された画像内においてステアリングパッド６が占める領域は変化することになる。
【００７２】
そこで、ステップＳ３５において、メインマイコン２１が行う画像処理（Ｃ）、つまり舵角センサ４からの情報に基づいて、カメラ１によって撮像された画像内においてステアリングパッド６が占める領域を推定し、当該画像内からステアリングパッド６が占めている領域が取り除かれるように、画像の切り出しを行う。
【００７３】
ここで、図８を再度参照して説明する。図８に示すように、例えば、ドライバーがステアリングホイール５を左側に回転させた場合、カメラ１によって撮像された画像は、その画像の下方左側に、ステアリングパッド６が写り込むと考えられる。同様に、ドライバーがステアリングホイール５を右側に回転させた場合、カメラ１によって撮像された画像の下方右側に、ステアリングパッド６が写り込むと考えられる（図示せず）。言い換えると、ドライバーがステアリングホイール５を回転させると、その操舵角度に応じて、画像内においてステアリングパッド６が占める領域は変化することになる。
【００７４】
メインマイコン２１は、図８に示すように、ドライバーがステアリングホイール５を左側に１０°程度回転させた場合は、画像の下方左側にステアリングパッド６が写り込んでいるものとして、図８の破線で示した範囲で、つまり、画像内からステアリングパッド６が占めている領域を外すように、画像の切り出しを行う。
【００７５】
なお、ドライバーがステアリングホイール５を左側に１０°程度回転させた場合と、例えば、ドライバーがステアリングホイール５を左側に５°程度回転させた場合とでは、左側に５°程度回転させた場合の方が画像内においてステアリングパッド６が占める領域は小さい。この場合は、ドライバーがステアリングホイール５を左側に１０°程度回転させた場合の切り出し範囲と比べて、広い範囲で画像の切り出しを行えばよい。すなわち、メインマイコン２１は、舵角センサ４からの情報に基づいて、舵角の値に応じて画像を切り出す範囲を決めればよい。
【００７６】
なお、図８は、一例として、自車両のドライバーがハンドル操作を行って、ステアリングホイール５を左側に１０°程度回転させた場合を示す図を示した。しかしながら、一方で、例えば、自車両のドライバーが、さらにハンドル操作を行ってステアリングホイール５を回転させた場合は、当該ステアリングパッド６によって、ドライバーの顔が隠れてしまうことも考えられる。この場合、メインマイコン２１は、例えば、舵角センサ４からの情報に基づいて、自車両のステアリングホイール５の操舵角が予め定められた値（例えば、操舵角の絶対値が１５°を超えた場合）を超えた場合に、例えば、上記ステップＳ３２以降の処理を中止してもよい。
【００７７】
一方、上記ステップＳ３４の判断が否定された次のステップＳ３６において、メインマイコン２１は、画像処理（Ｄ）を行う。上述したように、上記ステップＳ３４の判断が否定される場合とは、例えば、操舵角が０°であった場合、つまり、ドライバーがハンドル操作を行っていない状態（ステアリングホイール５がニュートラルの位置）であった場合である。この場合の画像処理（Ｄ）は、上述した第１の実施形態の画像処理（Ａ）と同様の処理を行い、ステアリングパッド５を除去した顔画像１０（図４参照）を生成すればよい。
【００７８】
図７のステップＳ３７において、メインマイコン２１およびサブマイコン２２は、顔情報算出処理を行う。より具体的には、ステップＳ３７において、メインマイコン２１およびサブマイコン２２は、上記画像処理（Ｃ）において切り出された画像（図８の破線で示した範囲）、または上記画像処理（Ｄ）においてステアリングパッド６が除去された顔画像１０（例えば図４）から、ドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼状態など）を検出する。なお、当該ステップＳ３７で行う処理は、上述した第１の実施形態での図２のステップＳ１７と同様の処理を行えば良いので説明は省略する。さらに、当該ステップＳ３７以降の処理（ステップＳ３８〜ステップＳ３９）についても、上述した第１の実施形態での図２のステップＳ１８〜ステップＳ１９と同様の処理を行えば良いので説明は省略する。
【００７９】
このように、ドライバーによってステアリングホイール５が回転された場合でも、ドライバーの顔に関する情報を算出する際に、カメラ１が撮像した画像に写り込んだステアリングパッド６をドライバーの顔の一部であると認識したり、ステアリングパッド６から反射した光が画像に写り込むことによって認識精度が低下したりするようことを防ぐことができる。
【００８０】
なお、上述した第２の実施形態では、メインマイコン２１は、カメラ１によって撮像された画像を処理する際に、上記舵角センサ４から出力される情報に基づいて、当該画像を予め定められた範囲で画像の切り出しを行い、当該切り出された画像からドライバーの顔に関する情報を算出するものであった。しかしながら、第２の実施形態において、舵角センサ４からの情報に基づいて、画像内においてステアリングパッド６が占める領域を予め推定した後、上述した第１の実施形態で説明したように、当該推定された領域において図２のステップＳ１４からの処理を行ってもよい。つまり、舵角センサ４からの情報に基づいて、画像内においてステアリングパッド６が占める領域を推定し、さらに、当該領域においてパターンマッチングなどによりステアリングパッド６を検索することができるので、カメラ１によって撮像された画像から、より精度良くステアリングパッド６を検出することができ、結果として精度良くカメラ１が撮像した画像からステアリングパッド６を除去することができる。
【００８１】
上記実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって、本願の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００８２】
本発明に係る画像認識装置は、撮像された画像にテアリングパッドが写り込んでいたとしても、簡易な構成で精度良く当該画像からドライバーの状態を認識することができる、車両の運転者の顔を認識する画像認識装置等として有用である。
【符号の説明】
【００８３】
１…カメラ
２…画像処理ＥＣＵ
２１…メインマイコン
２２…サブマイコン
２３…画像パターン格納部
３…車両制御ＥＣＵ
４…舵角センサ
５…ステアリングパッド
６…コラムカバー
７…顔画像
８…開口部
９、１０、１１…顔画像
【図１】
2011170593.tif 000003
【図２】
2011170593.tif 000004
【図３】
2011170593.tif 000005
【図４】
2011170593.tif 000006
【図５】
2011170593.tif 000007
【図６】
2011170593.tif 000008
【図７】
2011170593.tif 000009
【図８】
2011170593.tif 000010
【図９】
2011170593.tif 000011
【図１０】
2011170593.tif 000012
【図１１】
2011170593.tif 000013