(57)【要約】【課題】短時間で画像から顔位置の探索を行う。【解決手段】画像センサ１０で撮像した撮像画像から運転者の顔位置を探索するＥＣＵ２０は、画像センサ１０により取得した撮像画像全体から運転者の顔位置を発見（探索）してテンプレートを作成する顔位置初期発見部２１と、テンプレートマッチングにより撮像画像における運転者の顔位置をトラッキングしてテンプレートを更新する顔位置追跡部２２と、撮像画像における顔位置を探索するための探索領域を設定する顔探索位置設定部２３と、顔位置の探索履歴を記録して２二元頻度ヒストグラムＨ（ｘ，ｙ）を作成する顔位置履歴記録部２４との機能を備えている。そして、ＥＣＵ２０は、顔位置のトラッキングに失敗すると、２次元頻度ヒストグラムＨ（ｘ，ｙ）を参照して、探索数の多い座標（ｘ，ｙ）から順に顔位置の探索を行う。【選択図】図１
2010128961.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって取得した撮像画像における所定の切り出し領域とテンプレートとを順次適合させることにより前記撮像画像における対象者の顔位置を探索し、前記対象者の状況を監視する画像監視装置であって、
前記顔位置の探索履歴を記録し、
前記顔位置の探索に失敗した場合は、前記探索履歴に基づいて前記顔位置を再探索することを特徴とする画像監視装置。
【請求項２】
前記再探索は、前記探索履歴における探索数の多い順に、前記顔位置を探索することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
前記撮像装置は車両に搭載され、
前記車両の方向指示情報又は方向変更動作情報に対応させて前記顔位置の探索履歴を記録し、
前記再探索は、探索に失敗したときの方向指示又は方向変更動作に対応した前記探索履歴における探索数の多い順に、前記顔位置を探索することを特徴とする請求項１に記載の画像監視装置。
【請求項４】
前記再探索は、前記探索履歴として記録された顔位置を含む探索実績範囲内において、探索に失敗した直前に探索された顔位置から外方に向けて行うことを特徴とする請求項１に記載の画像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により取得した撮像画像から対象者の顔位置を探索して、対象者の状態を監視する画像監視装置に関する。
【背景技術】
【０００２】
従来、車両に搭載された撮像装置で撮像した撮像画像から運転者の顔位置を探索し、運転者の状態を監視する画像監視装置が知られている。この画像監視装置は、撮像された撮像画像の任意領域とテンプレートとのマッチングを取ることで運転者の顔位置を特定するものであり、一旦、顔位置が探索されると、その後は探索された顔位置に基づいて設定される小範囲の探索範囲において顔位置を探索し、顔位置を追跡している。
【０００３】
ところで、このような撮像画像を用いて顔位置を追跡すると、運転者の顔が手などの障害物で隠れるなどして、顔位置を見失う（ロストする）ことがある。そこで、特許文献１では、探索範囲において顔位置を探索できなかった場合は、顔の移動速度が高くなるほど探索範囲を大きくすることで、顔位置のロストを防止している。
【特許文献１】特開２００１−１９５５８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、顔の移動速度に応じて探索範囲を変更するものであるため、運転者の顔が動いていない場合には対応できないという問題があった。しかも、特許文献１に記載の技術では、顔の移動速度によっては探索範囲が大きくなりすぎる可能性もあるため、探索速度の低下を十分に抑制することができないという問題もあった。
【０００５】
そこで、本発明は、短時間で撮像画像から顔位置の探索を行うことができる画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像監視装置は、撮像手段によって取得した撮像画像における所定の切り出し領域とテンプレートとを順次適合させることにより撮像画像における対象者の顔位置を探索し、対象者の状況を監視する画像監視装置であって、顔位置の探索履歴を記録し、顔位置の探索に失敗した場合は、探索履歴に基づいて顔位置を再探索することを特徴とする。
【０００７】
本発明に係る画像監視装置によれば、顔位置の探索に失敗した場合は、顔位置の探索履歴に基づいて顔位置を再探索することで、顔位置の存在する確率の高い領域を優先的に探索することができる。このため、顔位置の探索に失敗しても、撮像画像から短時間で顔位置の探索を行うことができる。
【０００８】
この場合、再探索は、探索履歴における探索数の多い順に、顔位置を探索することが好ましい。この画像監視装置によれば、探索数の多い順に顔位置を再探索することで、顔位置が存在する可能性の高い順に顔位置を探索することができるため、より短時間で撮像画像から顔位置の探索を行うことができる。
【０００９】
また、撮像装置は車両に搭載され、車両の方向指示情報又は方向変更動作情報に対応させて顔位置の探索履歴を記録し、再探索は、探索に失敗したときの方向指示又は方向変更動作に対応した探索履歴における探索数の多い順に、顔位置を探索することが好ましい。この画像監視装置によれば、運転者は、車両の方向変更動作を行う場合は顔を傾けるなどの同じような動作を行う傾向にあることに鑑み、過去に探索された運転者の顔位置と方向指示又は方向変更動作とを対応付けて学習しておくことで、方向指示情報又は方向変更動作情報により顔位置の探索範囲を絞り込むことができるため、より短時間で撮像画像から顔位置の探索を行うことができる。
【００１０】
また、再探索は、探索履歴として記録された顔位置を含む探索実績範囲内において、探索に失敗した直前に探索された顔位置から外方に向けて行うことが好ましい。この画像監視装置によれば、再探索する範囲を過去に探索された顔位置を含む探索実績範囲とし、探索に失敗した直前に探索された顔位置から外方に向けて再探索することで、探索範囲を顔位置が存在する可能性の高い範囲に絞り込み、しかも、より顔位置が存在する可能性の高い順に顔位置を探索するため、より短時間で撮像画像から顔位置の探索を行うことができる。
【発明の効果】
【００１１】
本発明によれば、短時間で撮像画像から顔位置の探索を行うことができる。
【発明を実施するための最良の形態】
【００１２】
［第１実施形態］
以下、図面を参照して、本発明に係る画像監視装置の好適な実施形態について詳細に説明する。本発明に係る画像監視装置は、車両に搭載された画像センサから取得した撮像画像から運転者の顔位置を探索して、運転者の状態を監視するものであり、例えば、運転者の顔位置から運転者の瞼の開閉状況を検知することで、運転者の居眠り状況を監視するものである。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１３】
図１は、本実施形態に係る画像監視装置のブロック構成を示した図である。図に示すように、本実施形態の画像監視装置１は、車両に搭載されており、運転者の顔を撮像する画像センサ１０と、運転者の顔位置を探索するＥＣＵ（Electronic Control Unit）２０とを備えている。
【００１４】
画像センサ１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の半導体素子を用いたカメラで構成されており、車両のステアリングコラムなどに内蔵されており、運転席に座った運転者の顔を撮像する撮像装置である。そして、画像センサ１０は、撮像した撮像画像をＥＣＵ２０に送信する。なお、画像センサ１０は、夜間でも運転者の顔を撮像するために、赤外線カメラで構成してもよい。
【００１５】
ＥＣＵ２０は、画像センサ１０と電気的に接続されており、画像センサ１０から送信された撮像画像を取得すると、この撮像画像から運転者の顔位置を探索して、運転者の状態を監視する制御部である。このため、ＥＣＵ２０は、顔位置初期発見部２１と、顔位置追跡部２２と、顔探索位置設定部２３と、顔位置履歴記録部２４として機能する。なお、ＥＣＵ２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。
【００１６】
顔位置初期発見部２１は、ニューラルネットワークなどの周知の手法により、画像センサ１０により取得した撮像画像全体から運転者の顔位置を発見（探索）するものである。この顔位置は、発見した顔の中心位置を撮像画像全体における座標値（ｘ，ｙ）で示したものである。また、顔位置初期発見部２１は、撮像画像から運転者の顔位置を発見すると、この発見した顔位置に基づいて、運転者の顔のテンプレートを作成する。このテンプレートは、撮像画像から顔位置（ｘ，ｙ）を中心とした縦横一定の幅の矩形領域を切り出すことで作成される。なお、このテンプレートは、後述するテンプレートマッチングの処理速度及び適合性を向上させるために、運転者の顔と略同じ大きさの、又は運転者の顔より少し小さい矩形領域とするのが望ましい。
【００１７】
顔位置追跡部２２は、顔位置初期発見部２１により顔位置が発見された後、テンプレートマッチングなどの周知の手法により、撮像画像における運転者の顔位置をトラッキング（追跡）するものである。このテンプレートマッチングは、撮像画像からテンプレートと同形の切り出し領域を順次切り出してテンプレートと対比し、このテンプレートにマッチング（適合）する切り出し領域を探索する手法である。なお、テンプレートマッチングの方式は、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Square Difference）、正規化相関などの何れであってもよい。そして、顔位置追跡部２２は、撮像画像における所定の探索領域においてテンプレートマッチングにより運転者の顔位置を探索し、運転者の顔位置をトラッキングする。また、顔位置追跡部２２は、運転者の顔位置を探索すると、この探索した顔位置の切り出し領域で、運転者の顔のテンプレートを更新する。
【００１８】
顔探索位置設定部２３は、撮像画像における顔位置を探索するための探索領域を設定するものである。すなわち、顔探索位置設定部２３は、前回探索された顔位置を中心とした所定の矩形領域を探索領域として設定する。なお、この探索範囲は、テンプレートの矩形領域よりも大きな範囲であって、探索速度が低下しない程度の大きさの範囲となる。これにより、顔位置追跡部２２は、顔探索位置設定部２３により設定された探索領域において、顔位置を探索する。
【００１９】
顔位置履歴記録部２４は、顔位置初期発見部２１及び顔位置追跡部２２における顔位置の探索履歴を記録するものである。すなわち、顔位置履歴記録部２４は、顔位置初期発見部２１及び顔位置追跡部２２において顔位置を探索すると、この探索した顔位置の座標値（ｘ，ｙ）を探索履歴として記録する。そして、顔位置履歴記録部２４は、この探索履歴から、２次元頻度ヒストグラムＨ（ｘ，ｙ）を作成する。
【００２０】
図２は、２次元頻度ヒストグラムの一例を示した図である。図２に示すように、２次元頻度ヒストグラムＨ（ｘ，ｙ）は、撮像画像をｘｙ座標軸で表したものであり、顔位置が探索された数だけ、対応する座標（ｘ，ｙ）の値を加算（＋１カウントアップ）するものである。このため、２次元頻度ヒストグラムＨ（ｘ，ｙ）を参照することで、顔位置が探索された頻度の多い位置を容易に探索することができる。
【００２１】
また、顔位置履歴記録部２４は、２次元頻度ヒストグラムＨ（ｘ，ｙ）に用いるデータをＦＩＦＯ（First In First Out）処理して、探索されてから所定時間（例えば、５〜１０分）経過したデータは２次元頻度ヒストグラムＨ（ｘ，ｙ）から削除（−１カウントダウン）する。
【００２２】
更に、顔位置履歴記録部２４は、作成した２次元頻度ヒストグラムＨ（ｘ，ｙ）の平滑化処理を行い、２次元頻度ヒストグラムＨ’（ｘ，ｙ）を作成する。
【００２３】
次に、図３を参照しながら、第１の実施形態に係る画像監視装置１の処理動作について説明する。図３は、第１の実施形態に係る画像監視装置の処理動作を示すフローチャートである。なお、以下に説明する処理は、画像監視装置１のＥＣＵ２０の処理によって行われるものであり、画像センサ１０からＥＣＵ２０に撮像画像が送信されるたびに、下記の処理が繰り返し行われる。
【００２４】
まず、運転者により車両のイグニションがＯＮにされると、画像センサ１０は、３０ｆ／Ｓ（１秒間に３０フレーム）又は６０ｆ／Ｓの間隔で撮像を開始する。そして、ＥＣＵ２０は、この画像センサ１０において撮像した運転者の顔の撮像画像を取得したことを契機として（ステップＳ１）、以下の処理を開始する。
【００２５】
ＥＣＵ２０は、撮像画像を取得すると、ステップＳ１における撮像画像の取得が初回であるか否かを判定する（ステップＳ２）。すなわち、車両のイグニションをＯＮにした直後などであって画像監視装置１の処理が始めての場合は、撮像画像の取得が初回であると判定し、撮像画像の取得が２回目以降であって前回の処理で既に顔位置を探索（又は発見）している場合は、撮像画像の取得が初回ではないと判定する。
【００２６】
撮像画像の取得が初回であると判定した場合（ステップＳ２：ＹＥＳ）、ＥＣＵ２０は、取得した撮像画像から、運転者の顔位置の初期発見（探索）を行う（ステップＳ３）。顔位置の初期発見は、ステップＳ１において取得した撮像画像全体を探索範囲として、ニューラルネットワークなどの周知の手法を用いて運転者の顔を探索し、撮像画像における顔の中心座標を顔位置（ｘ，ｙ）として特定する。
【００２７】
次に、ＥＣＵ２０は、運転者の顔位置をトラッキングするためのテンプレートを作成する（ステップＳ４）。テンプレートの作成は、まず、ステップＳ１において取得した撮像画像（濃淡画像）に対して３×３の横ソーベルフィルタでフィルタ処理を行い、横ソーベルフィルタ画像を生成する。図４は、撮像画像を示した図であり、図５は、横ソーベルフィルタの一例を示す図であり、図６は、横ソーベルフィルタ画像を示した図である。図５に示すように、横ソーベルフィルタは、注目画素を中心とした９の画素に重み付けを行い合計することで、エッジが強調された画像を生成するものである。そして、図４に示す濃淡画像の撮像画像に対して、図５に示す３×３の横ソーベルフィルタでフィルタ処理を行うと、図６に示すエッジが強調された横ソーベルフィルタ画像が生成される。なお、横ソーベルフィルタによるフィルタ処理を行うことで、光環境の変化などに対する頑健性が向上する。
【００２８】
横ソーベルフィルタ画像を生成すると、次に、この横ソーベルフィルタ画像に対して３×３の平滑化フィルタで平滑化処理を行い、横ソーベルフィルタ平滑化画像を生成する。図７は、平滑化フィルタの一例を示した図であり、図８は、横ソーベルフィルタ平滑化画像を示した図である。図７に示すように、平滑化フィルタは、注目画素を中心とした９の画素に同一の重み付けを行い合計することで、ノイズなどを平滑化した画像を生成するものである。そして、図６に示す横ソーベルフィルタ画像に対して、図７に示す３×３の平滑化フィルタで平滑化処理を行うと、図８に示すノイズが平滑化された横ソーベルフィルタ平滑化画像が生成される。
【００２９】
横ソーベルフィルタ平滑化画像を生成すると、次に、テンプレートの切り出し処理を行う。図９は、横ソーベルフィルタ平滑化画像からテンプレートを切り出す処理を説明するための図である。図９に示すように、テンプレートの切り出し処理は、横ソーベルフィルタ平滑化画像から、顔位置の座標（ｘ，ｙ）を中心とした縦横一定の幅の矩形領域Ａを切り出す。そして、この切り出した矩形領域ＡをテンプレートＴとする。
【００３０】
そして、ステップＳ４が終了すると、又は、上述したステップＳ２において撮像画像の取得が初回でないと判定した場合（ステップＳ２：ＮＯ）、ＥＣＵ２０は、テンプレートマッチングによる顔位置のトラッキングを行う（ステップＳ５）。図１０は、顔位置のトラッキングを説明するための図である。図１０に示すように、顔位置のトラッキングは、まず、前回に探索された顔位置を中心とした所定範囲の矩形領域を探索領域Ｂとして設定する。次に、この探索領域Ｂ内において、前回に探索された顔位置を中心とした縦横一定幅の矩形領域を切り出し領域Ｃとして順次切り出す。そして、ステップＳ４で作成されたテンプレートＴ又は後述するステップＳ９で更新されたテンプレートＴを用いて、順次切り出し領域Ｃのテンプレートマッチングを行う。そして、テンプレートマッチングの値が所定の閾値以内にある切り出し領域Ｃが検出されると、この切り出し領域Ｃを、運転者の顔位置とする。
【００３１】
次に、ＥＣＵ２０は、トラッキングが成功したか否かを判定する（ステップＳ６）。ステップＳ６において、トラッキングが成功したか否かは、ステップＳ５におけるテンプレートマッチングの値が所定の閾値以内にある切り出し領域が検出されたか否かによって判定する。
【００３２】
トラッキングが成功したと判定した場合（ステップＳ６：ＹＥＳ）、ＥＣＵ２０は、ステップＳ５において切り出した切り出し領域の中心座標（ｘ，ｙ）、すなわち、運転者の顔位置の座標（ｘ，ｙ）を記録する（ステップＳ７）。
【００３３】
そして、ＥＣＵ２０は、ステップＳ７において記録した顔位置の座標（ｘ，ｙ）に基づいて、２次元頻度ヒストグラムＨ（ｘ，ｙ）のカウントアップ処理を行うとともに、ＦＩＦＯ処理を行う（ステップＳ８）。すなわち、ステップＳ８では、ステップＳ７において記録した顔位置の座標（ｘ，ｙ）に対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）の値を＋１カウントアップし、一方で、ステップＳ７において記録してから所定時間経過した顔位置の座標（ｘ、ｙ）に対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）の値を−１カウントダウンする。このように、２次元頻度ヒストグラムＨ（ｘ，ｙ）のデータをＦＩＦＯ処理し、最新のデータによって顔位置の探索を行うことで、より高精度なトラッキングを行うことができる。
【００３４】
次に、ＥＣＵ２０は、テンプレートを更新する（ステップＳ９）。ステップＳ９において更新されるテンプレートは、ステップＳ４において作成したテンプレート又は前回のステップＳ９で更新したテンプレートである。そして、テンプレートの更新は、ステップＳ１で取得した撮像画像から、ステップＳ７において記録した顔位置の座標（ｘ，ｙ）を中心とした縦横一定の幅の矩形領域を切り出して、この切り出した画像でテンプレートを更新する。このようにテンプレートを更新することで、運転者の表情変化や光環境の変化などへのロバスト性を高めることができる。
【００３５】
一方、上述したステップＳ６においてトラッキングが失敗したと判定した場合（ステップＳ６：ＮＯ）、ＥＣＵ２０は、顔位置の探索を行う前段階として、２次元頻度ヒストグラムＨ（ｘ，ｙ）の平滑化処理を行う（ステップＳ１０）。平滑化処理を行うための平滑化フィルタは、図７に示した３×３の平滑化フィルタを用いる。そして、この３×３の平滑化フィルタを用いて、２次元頻度ヒストグラムＨ（ｘ，ｙ）に平滑化処理を行い、２次元頻度ヒストグラムＨ’（ｘ，ｙ）を作成する。このように、顔位置の探索を行う前に２次元頻度ヒストグラムＨ（ｘ，ｙ）の平滑化処理を行うことで、トラッキングされた顔位置（ｘ，ｙ）の誤差やノイズの影響を低減させることができる。
【００３６】
次に、ＥＣＵ２０は、ステップＳ１０において平滑化処理した２次元頻度ヒストグラムＨ’（ｘ，ｙ）を参照して、２次元頻度ヒストグラムＨ’（ｘ，ｙ）におけるカウント数の多い座標（ｘ，ｙ）から順に、運転者の顔位置を探索する（ステップＳ１１）。ステップＳ１１では、まず、２次元頻度ヒストグラムＨ’（ｘ，ｙ）の各座標を、カウント値の高い順にソートする（並べ替える）。そして、カウント値の高い座標から順にテンプレートマッチングを行う。このとき、ステップＳ５と同様に、前回探索された顔位置の座標（ｘ，ｙ）を中心とした所定の探索領域においてテンプレートマッチングを行うが、この探索領域において顔位置が探索されない場合は、テンプレートマッチングを行う範囲を広げていく。なお、テンプレートマッチングで用いるテンプレートは、ステップＳ４で作成されたテンプレート又はステップＳ９において更新されたテンプレートとなる。
【００３７】
そして、上述したステップＳ９又はステップＳ１１が終わると、一旦処理を終了して、再度ステップＳ１から処理を繰り返す。
【００３８】
このように、第１の実施形態に係る画像監視装置１によれば、顔位置のトラッキングに失敗した場合は、２次元頻度ヒストグラムＨ（ｘ，ｙ）を参照して、過去の探索数の多い座標から順に顔位置を探索することで、顔位置が存在する可能性の高い順に顔位置を探索することができるため、より短時間で撮像画像から顔位置の探索を行うことができる。
【００３９】
［第２実施形態］
次に、第２の実施形態について説明する。第２の実施形態に係る画像監視装置は、第１の実施形態に係る画像監視装置にステアリング角度検出センサとウィンカー状態検出センサを加えたものであり、その他の構成は同一である。このため、以下では、第１の実施形態に係る画像監視装置と異なる部分のみ説明する。
【００４０】
図１１は、第２の実施形態に係る画像監視装置のブロック構成を示した図である。図に示すように、第２の実施形態に係る画像監視装置１０１は、画像センサ１０及びＥＣＵ２０に加え、更に、ステアリング角度検出センサ３０と、ウィンカー状態検出センサ４０とを備えている。
【００４１】
ステアリング角度検出センサ３０は、運転者の方向変更動作情報として、運転者が操作するステアリングのステアリング角度θを検出するセンサである。ステアリング角度検出センサ３０は、例えば、ステアリング角度θを１°単位で検出してもよく、所定角度幅単位で検出してもよい。そして、ステアリング角度検出センサ３０は、検出したステアリング角度θをＥＣＵ２０に送信する。
【００４２】
ウィンカー状態検出センサ４０は、運転者の方向指示動作情報として、運転者が操作するウィンカーの状態を示すウィンカー状態φを検出するセンサである。このウィンカー状態φは、ウィンカーが右又は左に操作されたこと示す情報である。そして、ウィンカー状態検出センサ４０は、検出したウィンカー状態φをＥＣＵ２０に送信する。
【００４３】
ＥＣＵ２０の顔位置履歴記録部２４は、撮像画像から探索した顔位置を、この撮像画像が撮像された時点のステアリング角度θ及びウィンカー状態φに対応付けて、２次元頻度ヒストグラムＨ（ｘ，ｙ）を作成する。具体的には、ステアリング角度θとウィンカー状態φとの組合せごとに２次元頻度ヒストグラムＨ（ｘ，ｙ）を作成しておき、撮像画像から顔位置が探索されると、この撮像画像が撮像された時点のステアリング角度θ及びウィンカー状態φの組み合わせに対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）に対して、顔位置の座標（ｘ，ｙ）の値を＋１カウントアップする。なお、２次元頻度ヒストグラムＨ（ｘ，ｙ）は、ステアリング角度θが１°変わるごとに設けてもよく、ステアリング角度θが３０°、６０°、９０°等の所定範囲変わるごとに設けてもよく、ステアリング角度θが＋（プラス）側と−（マイナス）側とで分けて設けてもよい。
【００４４】
次に、図１２を参照しながら、第２の実施形態に係る画像監視装置１０１の処理動作について説明する。図１２は、第２の実施形態に係る画像監視装置の処理動作を示すフローチャートである。なお、以下に説明する処理は、画像監視装置１０１のＥＣＵ２０の処理によって行われるものであり、画像センサ１０からＥＣＵ２０に撮像画像が送信されるたびに、下記の処理が繰り返し行われる。
【００４５】
まず、運転者により車両のイグニションがＯＮにされると、第１の実施形態と同様に、ステップＳ１〜６が行われる。
【００４６】
そして、ステップＳ６において、トラッキングが成功したと判定した場合（ステップＳ６：ＹＥＳ）、ＥＣＵ２０は、ステップＳ５において切り出した切り出し領域の中心座標、すなわち、運転者の顔位置の座標（ｘ，ｙ）を記録するとともに、ステアリング角度検出センサ３０が検出したステアリング角度θ及びウィンカー状態検出センサ４０が検出したウィンカー状態φを検出して記録する（ステップＳ２１）。
【００４７】
次に、ＥＣＵ２０は、ステップＳ２１において記録した顔位置の座標（ｘ，ｙ）、ステアリング角度θ及びウィンカー状態φに基づいて、２次元頻度ヒストグラムＨ（ｘ，ｙ）のカウントアップ処理を行うとともに、ＦＩＦＯ処理を行う（ステップＳ２２）。すなわち、ステップＳ２２では、ステップＳ２１において記録したステアリング角度θ及びウィンカー状態φの組合せに対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）を選択し、この選択した２次元頻度ヒストグラムＨ（ｘ，ｙ）における顔位置の座標（ｘ，ｙ）に対応した値を＋１カウントアップする。一方で、ステップＳ２１において記録してから所定時間経過した顔位置の座標（ｘ、ｙ）に対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）の値を−１カウントダウンする。このとき、所定時間経過した顔位置の座標（ｘ，ｙ）に対応する値を、全ての２次元頻度ヒストグラムＨ（ｘ，ｙ）から−１カウントダウンする。
【００４８】
次に、ＥＣＵ２０は、テンプレートを更新し（ステップＳ９）、一旦処理を終了する。
【００４９】
一方、上述したステップＳ６においてトラッキングが失敗したと判定した場合（ステップＳ６：ＮＯ）、ＥＣＵ２０は、まず、ステップＳ１において取得した撮像画像が撮像された時点（又は、ステップＳ６においてトラッキングが失敗した時点）のステアリング角度θ及びウィンカー状態φを検出して記録する（ステップＳ２３）。
【００５０】
そして、ＥＣＵ２０は、ステップＳ２３において検出したステアリング角度θ及びウィンカー状態φの組合せに対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）を選択し、顔位置の探索を行う前段階として、この選択した２次元頻度ヒストグラムＨ（ｘ，ｙ）の平滑化処理を行い、２次元頻度ヒストグラムＨ’（ｘ，ｙ）を作成する（ステップＳ１０）。
【００５１】
次に、ＥＣＵ２０は、ステップＳ１０において平滑化処理した２次元頻度ヒストグラムＨ’（ｘ，ｙ）を参照して、２次元頻度ヒストグラムＨ’（ｘ，ｙ）におけるカウント数の多い座標（ｘ，ｙ）から、運転者の顔位置を探索する（ステップＳ１１）。すなわち、ステップＳ１１では、ステップＳ２３において検出したステアリング角度θ及びウィンカー状態φの組合せに対応する２次元頻度ヒストグラムＨ（ｘ，ｙ）を参照して、顔位置を探索する。
【００５２】
そして、ステップＳ１１の顔位置の探索が終わると、一旦処理を終了して、再度ステップＳ１から処理を繰り返す。
【００５３】
このように、第２の実施形態に係る画像監視装置１０１によれば、運転者は、車両の方向変更動作等を行う場合は、顔を傾けるなどの同じような動作を行う傾向にあることに鑑み、過去に探索された運転者の顔位置の座標（ｘ，ｙ）を、ステアリング角度θ及びウィンカー状態φとの組合せに対応付けて２次元頻度ヒストグラムＨ（ｘ，ｙ）に記録しておくことで、ステアリング角度θ及びウィンカー状態φにより顔位置の探索範囲を絞り込むことができるため、より短時間で撮像画像から顔位置の探索を行うことができる。
【００５４】
［第３実施形態］
次に、第３の実施形態について説明する。第３の実施形態に係る画像監視装置は、第１の実施形態に係る画像監視装置と基本的に構成が同じであり、その処理動作のみ相違する。このため、以下では、第１の実施形態に係る画像監視装置と異なる部分のみ説明する。
【００５５】
図１３は、第３の実施形態に係る画像監視装置のブロック構成を示した図である。図に示すように、第３の実施形態に係る画像監視装置２０１は、画像監視装置１と同様に、画像センサ１０と、ＥＣＵ２０とを備えており、ＥＣＵ２０は、顔位置初期発見部２１と、顔位置追跡部２２と、顔探索位置設定部２３と、顔位置履歴記録部２４として機能する。
【００５６】
そして、ＥＣＵ２０の顔位置履歴記録部２４は、探索した顔位置を記録すると、２次元頻度ヒストグラムＨ（ｘ，ｙ）ではなく、２次元探索実績行列Ｈ（ｘ，ｙ）を作成する。図１４は、２次元探索実績行列の一例を示した図である。図１４に示すように、２次元探索実績行列Ｈ（ｘ，ｙ）は、撮像画像をｘｙ座標軸で表したものであり、顔位置が探索された座標の値を１に変更するものである。このため、２次元探索実績行列Ｈ（ｘ，ｙ）を参照することで、顔位置が探索されたことのある位置を容易に探索することができる。なお、図１４において、黒く塗り潰した座標領域は１を示しており、黒く塗り潰されていない座標領域は０を示している。
【００５７】
次に、図１５を参照しながら、第３の実施形態に係る画像監視装置２０１の処理動作について説明する。図１５は、第３の実施形態に係る画像監視装置の処理動作を示すフローチャートである。なお、以下に説明する処理は、画像監視装置２０１のＥＣＵ２０の処理によって行われるものであり、画像センサ１０からＥＣＵ２０に撮像画像が送信されるたびに、下記の処理が繰り返し行われる。
【００５８】
まず、運転者により車両のイグニションがＯＮにされると、第１の実施形態と同様に、ステップＳ１〜６が行われる。
【００５９】
そして、ステップＳ６において、トラッキングが成功したと判定した場合（ステップＳ６：ＹＥＳ）、ＥＣＵ２０は、運転者の顔位置の座標（ｘ，ｙ）を記録する（ステップＳ７）。
【００６０】
次に、ＥＣＵ２０は、ステップＳ３１において記録した顔位置の座標（ｘ，ｙ）に基づいて、２次元探索実績行列Ｈ（ｘ，ｙ）の書き換え処理を行うとともに、ＦＩＦＯ処理を行う（ステップＳ３１）。すなわち、ステップＳ３１では、ステップＳ７において記録した顔位置の座標（ｘ，ｙ）に対応する２次元探索実績行列Ｈ（ｘ，ｙ）の値が０である場合は、この値を１に変更する。なお、２次元探索実績行列Ｈ（ｘ，ｙ）の値が既に１に変更されている場合は、特にこの値を変更しない。一方、ステップＳ７において記録してから所定時間経過した顔位置の座標（ｘ、ｙ）に対応する２次元探索実績行列Ｈ（ｘ，ｙ）の値を０に変更する。
【００６１】
次に、ＥＣＵ２０は、テンプレートを更新し（ステップＳ９）、一旦処理を終了する。
【００６２】
一方、上述したステップＳ６においてトラッキングが失敗したと判定した場合（ステップＳ６：ＮＯ）、ＥＣＵ２０は、２次元探索実績行列Ｈ（ｘ，ｙ）を参照して、探索実績範囲を算出する（ステップＳ３２）。図１６は、図１４に示した２次元探索実績行列Ｈ（ｘ，ｙ）における探索実績範囲を示した図である。図１６に示すように、探索実績範囲Ｄは、２次元探索実績行列Ｈ（ｘ，ｙ）において１に変更されているｘ座標及びｙ座標の最大値及び最小値を算出する。そして、この最大値及び最小値を囲む長方形の範囲を、探索実績範囲Ｄとする。すなわち、探索実績範囲Ｄは、ＦＩＦＯで削除される前の間に、一度でも探索された座標を含む長方形の範囲となる。なお、この探索実績範囲Ｄは、例えば、２次元探索実績行列Ｈ（ｘ，ｙ）において１に変更されている座標を全て含む最小円の範囲としてもよい。
【００６３】
そして、ＥＣＵ２０は、ステップＳ３２において算出した探索実績範囲Ｄにおいて、運転者の顔を探索する（ステップＳ３３）。図１７は、２次元探索実績行列を用いた運転者の顔の探索を説明するための図である。図１７に示すように、ステップＳ３３では、トラッキングに失敗した直前に探索した顔位置の座標（ｘ０，ｙ０）を中心として、探索実績範囲内を内方から順に外方に向けて顔位置の探索を行う。すなわち、探索実績範囲内において、座標（ｘ０，ｙ０）と距離が近い座標から順に顔を探索していく。
【００６４】
そして、ステップＳ３３の顔位置の探索が終わると、一旦処理を終了して、再度ステップＳ１から処理を繰り返す。
【００６５】
このように、第３の実施形態に係る画像監視装置２０１によれば、トラッキングに失敗した場合に、探索する範囲を過去に探索された顔位置を含む探索実績範囲Ｄとし、探索に失敗した直前に探索された顔位置（ｘ０，ｙ０）から外方に向けて探索することで、探索範囲を顔位置が存在する可能性の高い範囲に絞り込み、しかも、より顔位置が存在する可能性の高い順に顔位置を探索するため、より短時間で撮像画像から顔位置の探索を行うことができる。
【００６６】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、顔位置を示す座標は、撮像画像の１画素を示すものであってもよく、複数の画素範囲（所定領域）を示すものであってもよい。
【００６７】
また、第３の実施形態では、探索実績範囲Ｄを用いて探索範囲を絞り込むように説明したが、例えば、ステアリング角度θ及びウィンカー状態φの組合せ毎に探索実績範囲を用意し、トラッキングが失敗した時点におけるステアリング角度θ及びウィンカー状態φの組合せに対応する探索実績範囲で、探索範囲を絞り込むようにしてもよい。
【図面の簡単な説明】
【００６８】
【図１】第１の実施形態に係る画像監視装置のブロック構成を示した図である。
【図２】２次元頻度ヒストグラムの一例を示した図である。
【図３】第１の実施形態に係る画像監視装置の処理動作を示すフローチャートである。
【図４】撮像画像を示した図である。
【図５】横ソーベルフィルタの一例を示す図である。
【図６】横ソーベルフィルタ画像を示した図である。
【図７】平滑化フィルタの一例を示した図である。
【図８】横ソーベルフィルタ平滑化画像を示した図である。
【図９】横ソーベルフィルタ平滑化画像からテンプレートを切り出す処理を説明するための図である。
【図１０】顔位置のトラッキングを説明するための図である。
【図１１】第２の実施形態に係る画像監視装置のブロック構成を示した図である。
【図１２】第２の実施形態に係る画像監視装置の処理動作を示すフローチャートである。
【図１３】第３の実施形態に係る画像監視装置のブロック構成を示した図である。
【図１４】２次元探索実績行列の一例を示した図である。
【図１５】第３の実施形態に係る画像監視装置の処理動作を示すフローチャートである。
【図１６】図１４に示す２次元探索実績行列における探索実績範囲を示した図である。
【図１７】２次元探索実績行列を用いた運転者の顔の探索を説明するための図である。
【符号の説明】
【００６９】
１…画像監視装置、１０…画像センサ、２０…ＥＣＵ、２１…顔位置初期発見部、２２…顔位置追跡部、２３…顔探索位置設定部、２４…顔位置履歴記録部、３０…ステアリング角度検出センサ、４０…ウィンカー状態検出センサ、１０１…画像監視装置、２０１…画像監視装置、Ａ…矩形領域、Ｂ…探索領域、Ｃ…切り出し領域、Ｄ…探索実績範囲、Ｔ…テンプレート。
【図１】
2010128961.tif 000003
【図２】
2010128961.tif 000004
【図３】
2010128961.tif 000005
【図５】
2010128961.tif 000006
【図７】
2010128961.tif 000007
【図１１】
2010128961.tif 000008
【図１２】
2010128961.tif 000009
【図１３】
2010128961.tif 000010
【図１４】
2010128961.tif 000011
【図１５】
2010128961.tif 000012
【図１６】
2010128961.tif 000013
【図１７】
2010128961.tif 000014
【図４】
2010128961.tif 000015
【図６】
2010128961.tif 000016
【図８】
2010128961.tif 000017
【図９】
2010128961.tif 000018
【図１０】
2010128961.tif 000019