(57)【特許請求の範囲】
【請求項１】
運転者の顔の周囲を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された映像のうち、前記運転者の顔領域の周囲に顔近接領域を設け、当該顔近接領域よりも外側に顔遠隔領域を設け、手領域の動き情報を検出する動き検出手段と、
前記動き検出手段により検出された手領域が顔遠隔領域から顔近接領域に移動する第１動き方向情報と手領域が顔近接領域から顔遠隔領域に移動する第２動き方向情報とに分類し、前記第１動き方向情報が検出された後に前記第２動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定するイベント判定手段と
を備えることを特徴とする運転支援装置。
【請求項２】
前記動き検出手段は、前記顔領域検出手段により検出された顔領域が移動したことに応じて、前記顔領域検出手段により検出された顔領域よりも外側の前記顔遠隔領域及び前記顔近接領域を移動させること
を特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記顔領域よりも外側の領域を前記顔遠隔領域及び前記顔近接領域として特定し、前記顔遠隔領域及び前記顔近接領域における明度に基づいて動き情報を検出する２値化閾値を設定する閾値設定手段
を備える請求項１に記載の運転支援装置。
【請求項４】
前記撮像手段により撮像された映像のうち車両内の天井領域における明度に基づいて、時間帯を認識する時間帯認識手段と、
前記時間帯認識手段により認識された時間帯に基づいて、前記動き検出手段が前記顔遠隔領域及び前記顔近接領域における明度に基づいて動き情報を検出する２値化閾値を設定する閾値設定手段とを備えることを特徴とする請求項１に記載の運転支援装置。
【請求項５】
急峻に明度が高くなる光環境の変化を検出する光環境検出手段を備え、
前記イベント判定手段は、前記光環境検出手段により急峻に明度が高くなることが検出された場合に、前記運転者の手の動きイベントが発生したと判定する処理を中止することを特徴とする請求項１に記載の運転支援装置。
【請求項６】
撮像手段により撮像された映像のうち、運転者の顔領域の周囲に顔近接領域を設け、当該顔近接領域よりも外側に顔遠隔領域を設け、手領域の動き情報を検出し、
前記検出された動き情報を顔遠隔領域から顔近接領域に移動する第１動き方向情報と顔近接領域から顔遠隔領域に移動する第２動き方向情報とに分類し、
前記第１動き方向情報が検出された後に前記第２動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定すること
を特徴とする運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバの運転を支援する情報を提示する運転支援装置及び方法に関する。
【背景技術】
【０００２】
従来より、下記の特許文献１のように運転者の手の動きを検出する技術が知られている。この特許文献１には、メニュー選択やヘッドアップディスプレイの見え方のために、運転者の手の動きを検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、運転者の手の動きを誤検出する可能性があった。例えば、運転者の顔が動いた時や他の乗員が動いた時に、運転者の手の動きとを区別できず、運転者の顔の動きや他の乗員の動きを手の動きと誤検出してしまう可能性があった。
【０００５】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者の手の動きに対する誤検出を抑制することができる運転支援装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、運転者の顔領域の周囲に顔近接領域を設け、当該顔近接領域よりも外側に顔遠隔領域を設け、手領域の動き情報を検出し、当該動き情報を顔遠隔領域から顔近接領域に移動する第１動き方向情報と顔近接領域から顔遠隔領域に移動する第２動き方向情報とに分類し、第１動き方向情報が検出された後に第２動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する。
【発明の効果】
【０００７】
本発明によれば、第１動き方向情報が検出された後に第２動き方向情報が検出された場合に、手の動きイベントが発生したと判定するので、運転者の顔が動いた時や他の乗員が動いたことを手動きのイベントとして誤検出することを抑制できる。
【図面の簡単な説明】
【０００８】
【図１】本発明を実施形態として示す運転支援装置の概略を示すブロック図である。
【図２】本発明の実施形態として示す運転支援装置において、カメラシステムの設置例を説明する図である。
【図３】本発明の実施形態として示す運転支援装置における手動き検出装置の機能的な構成を示すブロック図である。
【図４】本発明の実施形態として示す運転支援装置において、カメラ画像に設定される顔近接領域、顔遠隔領域を示す図である。
【図５】本発明の実施形態として示す運転支援装置において、顔近接領域、顔遠隔領域に対する手が進入及び退出するときの検出率を示すタイムチャートである。
【図６】本発明の実施形態として示す運転支援装置において、カメラ画像の明度と２値化閾値との関係を示す図であり、（ａ）が夜間環境、（ｂ）がトンネル環境、（ｃ）が昼間環境である。
【図７】本発明の実施形態として示す運転支援装置において、光環境判定領域を顔領域に応じて変更することを示す図である。
【図８】本発明の実施形態として示す運転支援装置において、カメラ画像に第１顔周辺領域及び第２顔周辺領域を設定することを示す図である。
【図９】本発明の実施形態として示す運転支援装置において、カメラ画像に第１顔周辺領域及び第２顔周辺領域を設定することを示す他の図である。
【図１０】本発明の実施形態として示す運転支援装置において、動き検出・コントラスト対策部によって動きマスク画像を生成する処理を示す図である。
【図１１】本発明の実施形態として示す運転支援装置において、（Ａ）の（ａ）〜（ｆ）は明度が一時的に変化するときのカメラ画像を示し、（Ｂ）の（ａ）〜（ｆ）は、このカメラ画像の時の動きマスク画像を示す。
【図１２】本発明の実施形態として示す運転支援装置において、（Ａ）の（ａ）〜（ｆ）は手領域が現れたときのカメラ画像を示し、（Ｂ）の（ａ）〜（ｆ）は、このカメラ画像の時の動きマスク画像を示す。
【図１３】本発明の実施形態として示す運転支援装置において、一時的に急峻に明度が変化する様子を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。
【００１０】
本発明の実施形態として示す運転支援装置は、例えば図１に示すように構成される。
【００１１】
運転支援装置は、撮像手段としてのカメラ１、赤外線光源２、手動き検出装置３を有する。
【００１２】
カメラ１は、運転者の顔の周囲を含む領域を撮像する。カメラ１は、例えば赤外線光源２によって照射された顔領域を含むカメラ画像を所定時間ごとに手動き検出装置３に供給する。赤外線光源２は、運転者の顔を含む領域に赤外線を照射する。この赤外線光源２は、運転者の顔領域の明度が不足しているときに、当該顔領域の明度を補足するために用いられる。なお、カメラ１は、赤外線カメラに限らず、他の形式のカメラであってもよいことは勿論である。
【００１３】
この運転支援装置は、カメラ画像に基づいて手動き検出装置３により運転者の手の動き状態を検出した時に、当該手動き検出信号を出力する。この手動き検出信号は、例えば、図示しない運転者状態の監視装置に供給される。これにより、手動き検出信号は、例えば、運転者の覚醒状態を認識するために使用され、覚醒状態に応じて休息をとるよう警報音をスピーカ等から出力させるために用いることができる。また、この手動き検出信号は、車両の動作を制御するためや、車両外部の情報センタに送信するために用いることもできる。
【００１４】
この運転支援装置は、例えば図２に示すように、運転者が操作する運転席に設けられる。カメラ１及び赤外線光源２を含むカメラシステム３０２は、ステアリング３００の近傍であって、運転者が視認できる計器類３０１の前辺りに設置される。これにより、カメラシステム３０２は、少なくとも運転者の顔画像及び当該顔の周囲画像を撮影できる。カメラ１により撮像して得たカメラ画像は、手動き検出装置３に供給される。
【００１５】
手動き検出装置３は、例えば図３に示すような機能的な各部を備えている。なお、手動き検出装置３は、実際にはＲＯＭ、ＲＡＭ、ＣＰＵ等にて構成されているが、当該ＣＰＵがＲＯＭに格納された手動き検出用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。
【００１６】
この手動き検出装置３は、例えば図４に示すように、カメラ１によって撮像されたカメラ画像１００のうち、運転者の顔領域の周囲に顔近接領域２０１を設け、当該顔近接領域よりも外側に顔遠隔領域２０２を設ける。顔近接領域２０１は、上下左右の領域２０１Ｕ，２０１Ｄ，２０１Ｒ，２０１Ｌからなる。顔遠隔領域２０２は、上下左右の領域２０２Ｕ，２０２Ｄ，２０２Ｒ，２０２Ｌからなる。
【００１７】
ここで、運転者が手を顔に近づけた後に、手を顔から離すという手動きのイベントの発生を考える。
【００１８】
手動き検出装置３は、運転者の手の外側から内側への第１方向への動き及び運転者の手の内側から外側への第２方向への動きを検出する。運転者の手の外側から内側への第１方向への動きが発生した後に、運転者の手の内側から外側への第２方向への動きが発生したとき、手動き検出装置３は、図５に示すような信号を検出する。
【００１９】
図５によれば、先ず、時刻ｔ１にて顔遠隔領域２０２に手が進入したことの信号Ｓ１が検出され、その後の時刻ｔ２に、顔近接領域２０１に手が進入したことの信号Ｓ２が検出される。更にその後の時刻ｔ３にて、顔近接領域２０１に手が進入したことの信号Ｓ３が検出され、その後の時刻ｔ４に、顔遠隔領域２０２に手が進入したことの信号Ｓ４が検出される。
【００２０】
このように、手動き検出装置３は、手動きのイベント発生時には、手動きを、運転者の顔の周囲に対して外部から内部への第１動き方向情報と、内部から外部への第２動き方向情報とに分類できる。そして、手動き検出装置３は、第１動き方向情報が検出された後に第２動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する（イベント判定手段）。以下、このような手動きのイベントを検出するための具体的な構成について説明する。
【００２１】
手動き検出装置３は、顔検出・顔特徴追跡部１１、光環境判別部１２、動き検出・コントラスト対策部１３、光変化検出部１４、動き方向判定・イベント検出部１５を含む。
【００２２】
顔検出・顔特徴追跡部１１は、カメラ１からカメラ画像１００が供給される。顔検出・顔特徴追跡部１１は、カメラ画像１００を用いて、当該カメラ画像１００に含まれる顔領域を検出する。この顔領域情報は、複数の座標データからなり、例えば長方形の領域として特定される。また、顔検出・顔特徴追跡部１１は、顔領域の特徴を抽出し、当該顔領域の特徴を追跡する。これにより、顔検出・顔特徴追跡部１１は、顔の動きを検出して、顔領域の移動を検出する。顔検出・顔特徴追跡部１１は、顔領域を表す座標データである顔領域情報を光環境判別部１２及び動き検出・コントラスト対策部１３に供給する。
【００２３】
光環境判別部１２は、カメラ１からカメラ画像１００が供給されると共に、顔検出・顔特徴追跡部１１から顔領域情報が供給される。光環境判別部１２は、カメラ画像１００に基づいて運転者の周囲における光環境を判別する。光環境判別部１２は、カメラ１により撮像されたカメラ画像１００内のうち、車両内の天井領域における明度に基づいて、日中、夜間、トンネル内の何れかの光環境であるかを判別する。光環境判別部１２は、判別した光環境に基づいて、後段の動き検出・コントラスト対策部１３が、カメラ画像１００のうちの顔領域以外の動き検出領域から手領域を識別する２値化閾値を設定する（閾値設定手段）。
【００２４】
光環境判別部１２は、顔領域情報から得られた顔領域よりも外側の領域を動き検出・コントラスト対策部１３によって動き情報を検出する動き検出領域として特定する。そして、光環境判別部１２は、当該動き検出領域における明度に基づいて動き情報を検出する２値化閾値を設定する（閾値設定手段）。
【００２５】
光環境判別部１２は、カメラ１により撮像された映像のうち車両内の天井領域における明度に基づいて、時間帯（夜間、昼間、トンネル）を認識する（時間帯認識手段）。光環境判別部１２は、当該認識された時間帯に基づいて、動き検出・コントラスト対策部１３が動き検出領域における明度に基づいて動き情報を検出する２値化閾値を設定する（閾値設定手段）。
【００２６】
具体的には、光環境判別部１２は、図６に示すように、カメラ画像１００における天井に相当する領域に光環境判定領域１０１Ｒ、１０１Ｌを設ける。この光環境判定領域１０１Ｒ、１０１Ｌは、車両の走行に応じて明度が変化しにくく、光環境に応じて明度が変化する領域が設定されている。この光環境判定領域１０１Ｒ、１０１Ｌは、縦方向長さＣＨ、横方向長さＣＷが所定の長さに予め設定されている。この光環境判定領域１０１Ｒ、１０１Ｌは、カメラ１の取り付け位置及び画角、カメラ１と通常の運転者の顔位置等に基づいて設定される。
【００２７】
夜間環境である場合には、図６（ａ）に示すように、光環境判定領域１０１Ｒ、１０１Ｌの平均明度は低い値となる。したがって、光環境判別部１２は、手領域を判定するための２値化閾値を低い値に設定する。トンネル環境である場合には、図６（ｂ）に示すように、光環境判定領域１０１Ｒ、１０１Ｌの平均明度は、夜間環境よりも高く昼間環境よりも低い。したがって、光環境判別部１２は、手領域を判定するための２値化閾値を、夜間環境よりも高い値に設定する。昼間環境である場合には、図６（ｃ）に示すように、光環境判定領域１０１Ｒ、１０１Ｌの平均明度は、最も高くなる。したがって、光環境判別部１２は、手領域を判定するための２値化閾値を、トンネル環境よりも高い値に設定する。
【００２８】
また、光環境判定領域１０１Ｒ、１０１Ｌは、顔領域に応じて変動しても良い。例えば図７に示すように、運転者が顔を傾けた時には、顔領域１０２と光環境判定領域１０１Ｒ、１０１Ｌとの重複領域１０３が発生する。このとき、光環境判別部１２は、光環境判定領域１０１Ｒ、１０１Ｌのうち顔領域１０２を除いた領域を光環境判定領域１０１Ｒ、１０１Ｌに設定する。これにより、光環境判別部１２は、顔領域１０２の明度によって光環境を誤検出することを抑制でき、より正確に光環境を判別して２値化閾値を設定できる。
【００２９】
更に、光環境判別部１２は、顔領域１０２外の手領域を検出するために単一の２値化閾値でなく、複数の２値化閾値を設定しても良い。
【００３０】
例えば図８に示すように、カメラ画像１００のうち、顔領域１０２の外側に隣接した第１顔周辺領域１０４と、当該第１顔周辺領域１０４よりも外側に隣接した第２顔周辺領域１０５を設定する。光環境判別部１２は、第１顔周辺領域１０４に対しては、第１の２値化閾値を設定し、第２顔周辺領域１０５に対しては、第２の２値化閾値を設定する。夜間環境において、赤外線光源２から運転者の顔に赤外線光を照射している状況では、運転者の顔付近にも赤外線光が照射されている。よって、光環境判別部１２は、第１の２値化閾値を、第２の２値化閾値よりも高く設定する。これにより、第１顔周辺領域１０４及び第２顔周辺領域１０５に現れた手領域を精度良く検出できる。
【００３１】
他の例としては、図９に示すように、カメラ画像１００のうち、顔領域１０２の窓側に隣接した第１顔周辺領域１０６と、顔領域１０２の車内側に隣接した第２顔周辺領域１０７を設定する。光環境判別部１２は、第１顔周辺領域１０６に対しては、第１の２値化閾値を設定し、第２顔周辺領域１０７に対しては、第２の２値化閾値を設定する。昼間環境において、窓側から運転者の顔に自然光が照射されている状況では、窓側の平均明度が高く、車内側の平均明度は低い。よって、光環境判別部１２は、第１の２値化閾値を、第２の２値化閾値よりも高く設定する。これにより、第１顔周辺領域１０６及び第２顔周辺領域１０７に現れた手領域を精度良く検出できる。
【００３２】
動き検出・コントラスト対策部１３は、カメラ１からのカメラ画像１００、顔検出・顔特徴追跡部１１からの顔領域情報、光環境判別部１２からの２値化閾値が供給される。動き検出・コントラスト対策部１３は、カメラ画像１００のうち顔検出・顔特徴追跡部１１により検出された顔領域よりも外側の領域を、動き検出領域として認識する。また、動き検出・コントラスト対策部１３は、カメラ画像１００のうち、顔検出・顔特徴追跡部１１により検出された顔領域が移動したことに応じて、当該移動した顔領域よりも外側の動き検出領域を移動させる。
【００３３】
動き検出・コントラスト対策部１３は、カメラ画像１００のうち顔領域１０２を除く領域である動き検出領域から、手領域を検出する。このとき、動き検出・コントラスト対策部１３は、カメラ画像１００の顔領域１０２を除く動き検出領域のうち、２値化閾値よりも高い明度の領域を手領域とし、２値化閾値よりも低い明度の領域を手領域ではないと判定する。動き検出・コントラスト対策部１３は、手領域の値が「１」であり、手領域以外がマスク（値＝０）された動きマスク情報を光変化検出部１４に供給する。
【００３４】
動き検出・コントラスト対策部１３は、図１０に示すように、新たにカメラ画像１００を入力すると、当該カメラ画像１００に対してフィルタリング処理を施す（ステップＳＴ１）。このフィルタリング処理は、局所的に輝度高い領域等を除去したカメラ画像１００に加工する。
【００３５】
次に動き検出・コントラスト対策部１３は、フィルタリング処理が施されたカメラ画像１００ａに対して前景抽出処理を行う（ステップＳＴ３）。この前景抽出処理は、図１０に示すようにフィルタリングされたカメラ画像１００ａと、前フレームの背景抽出処理（ステップＳＴ２）において予め作成された背景画像との差分処理によって行われ、その結果、動きが検出された領域を抽出した動き画像１００ｃを取得する。そして、動き検出・コントラスト対策部１３は、光環境判別部１２により設定された２値化閾値と、動き画像の画素値とを比較して、２値化閾値を超える画素値の画素を手領域として抽出する（ステップＳＴ４）。これにより、動き検出・コントラスト対策部１３は、値が「１」の手領域１００ｄ(1)と値が「０」のマスク領域１００ｄ(0)とを含む動きマスク画像１００ｄを生成する。また、図１０に示す背景抽出処理（ステップＳＴ２）では、現在の背景画像に、今回入力されたカメラ画像にフィルタリング処理を施したカメラ画像１００ａとの加重平均処理を行い、次のフレーム処理で利用する背景画像を作成する。
【００３６】
夜間環境においては、カメラ画像１００の全体が低コントラストとなり、赤外線光源２から顔領域１０２に照射されている赤外線光によって顔付近が明るくなる傾向がある。よって、動き検出・コントラスト対策部１３は、図８に示したように、顔領域１０２の周囲の第１顔周辺領域１０４と第２顔周辺領域１０５とで異なる２値化閾値を用いることが望ましい。これは、光環境やカメラ１の特性によって、同じ手領域や背景（動き検出領域）であっても、カメラ画像１００内の位置によって差分値が異なる傾向となる対策のためである。よって、動き検出・コントラスト対策部１３は、光環境に応じて、カメラ画像１００の位置に応じて異なる２値化閾値を用いることが望ましい。
【００３７】
夜間環境においては、顔領域１０２を中心として、顔領域１０２に対しては赤外線光源２の赤外線光が照射されるために、顔領域１０２以外の領域（動き検出領域）でも明るくなり、顔領域１０２から更に離れた領域では更に暗くなる。そのために、同じ動き検出領域に手領域が現れても、顔領域１０２周囲での差分値よりも、カメラ画像１００の端部における差分値が小さくなる。更に、一般的なカメラ１の特性は、カメラ画像１００の中央に比べて、カメラ画像１００の端部ではコントラストが低くなる。このため、同じ動き検出領域に手領域が現れても、顔領域１０２周囲での差分値よりも、カメラ画像１００の端部における差分値が小さくなる。
【００３８】
このような夜間環境及びカメラ１の特性を考慮して、動き検出・コントラスト対策部１３は、光環境判別部１２によって夜間環境であると判別されている場合、顔領域１０２以外の２値化閾値nighttimeNoFaceTHと、顔領域１０２の２値化閾値nighttimeFaceTHとの大小関係を、
nighttimeNoFaceTH ≦ nighttimeFaceTH
とする。これにより、赤外線光源２の照明及びカメラ１の特性に関わらず、顔領域１０２以外での手領域を高精度に検出できる。
【００３９】
トンネル環境、昼間環境においても同様に、赤外線光源２から顔領域１０２に対して赤外線光が照射されているが、夜間環境に比較して赤外線光の影響は少ない。しかし、カメラ１の特性より、顔領域１０２よりもカメラ画像１００の端部においては、コントラストが低下する。このことを考慮して、動き検出・コントラスト対策部１３は、トンネル環境における顔領域１０２以外の領域（動き検出領域）の２値化閾値tunnelNoFaceTH、トンネル環境における顔領域１０２の２値化閾値tunnelFaceTH、昼間環境における顔領域１０２以外の領域（動き検出領域）の２値化閾値daytimeNoFaceTH、昼間環境における顔領域１０２の２値化閾値daytimeFaceTHの大小関係を、
tunnelNoFaceTH ≦ tunnelFaceTH
daytimeNoFaceTH ≦ daytimeFaceTH
とする。これにより、顔領域１０２よりも、当該顔領域１０２より端側にある動き検出領域のコントラストが低くても、低い２値化閾値によって精度良く手領域を検出できる。
【００４０】
更に、各光環境での照明条件を考慮すると、
nighttimeNoFaceTH ≦ tunnelNoFaceTH ≦ daytimeNoFaceTH
と２値化閾値を設定することによって、光環境によらず効果的に手領域を検出できる。しかし、必ずしもこのように２値化閾値を設定する必要はない。
【００４１】
更に、動き検出・コントラスト対策部１３は、上述した図８や図９のように、カメラ画像１００の領域ごとに２値化閾値を異なる値としても良い。
【００４２】
図８に示すように、顔領域１０２の周辺に、第１顔周辺領域１０４及び第２顔周辺領域１０５を設定した場合、顔領域１０２での２値化閾値FaceTH、第１顔周辺領域１０４での２値化閾値NoFaceTH1、第２顔周辺領域１０５での２値化閾値NoFaceTH2は、
NoFaceTH2 ≦ NoFaceTH1 ≦ FaceTH
とする。動き検出・コントラスト対策部１３は、顔領域１０２、第１顔周辺領域１０４、第２顔周辺領域１０５といったようにカメラ画像１００の端部となるほどコントラストが低下しても、顔領域１０２よりも第１顔周辺領域１０４での手領域を精度良く検出し、第１顔周辺領域１０４よりも第２顔周辺領域１０５での手領域を精度良く検出できる。
【００４３】
昼間環境において、窓側のコントラストが高く、車内側のコントラストが低い場合がある。このような昼間環境において、動き検出・コントラスト対策部１３は、図９に示したように、顔領域１０２から窓側の第１顔周辺領域１０６での２値化閾値NoFaceTH3、顔領域１０２から車内側の第２顔周辺領域１０７での２値化閾値NoFaceTH4とすると、
NoFaceTH4 ≦ NoFaceTH3 ≦ FaceTH
とする。これにより、動き検出・コントラスト対策部１３は、顔領域１０２よりも第１顔周辺領域１０６及び第２顔周辺領域１０７での手領域を精度良く検出し、コントラストが低下する第２顔周辺領域１０７での手領域を精度良く検出できる。
【００４４】
光変化検出部１４は、動き検出・コントラスト対策部１３から動きマスク情報が供給される。光変化検出部１４は、急峻に明度が高くなる光環境の変化を検出する。光変化検出部１４は、急峻に明度が明るくなることによって動きマスク情報によって手領域が出現する可能性を判断する。光変化検出部１４は、急峻な明度が発生していた場合には、当該動きマスク情報をキャンセルして、動き方向判定・イベント検出部１５に対して動きマスク情報を供給しない。これにより、光変化検出部１４は、急峻に明度が高くなることが検出された場合に、運転者の手動きイベントが発生したと判定する処理を中止する。
【００４５】
具体的には、図１１（Ａ）に示すように、時系列でカメラ画像１００が（ａ）〜（ｆ）のように供給された場合、動き検出・コントラスト対策部１３によって、図１１（Ｂ）の（ａ）〜（ｆ）のように、時系列で動きマスク画像１００ｄが光変化検出部１４に供給された場面を考える。急峻に明度が高くなるような光環境の変化が発生すると、動きマスク画像１００ｄのうち、手領域と認識された手領域１００ｄ(1)が数フレームに亘ってのみ発生する。また、この手領域１００ｄ(1)の面積は、マスク領域１００ｄ(0)の面積と比較して非常に小さくなる。
【００４６】
一方、図１２（Ａ）に示すように、運転者が手を動かしている状況で（ａ）〜（ｆ）のカメラ画像１００が取得されると、図１２（Ｂ）の（ａ）〜（ｆ）に示すように、手領域１００ｄ(1)の面積が大きく、多数のフレーム（長時間）に亘って手領域１００ｄ(1)が現れる。
【００４７】
以上より、光変化検出部１４は、手領域１００ｄ(1)の面積が小さく、当該手領域１００ｄ(1)が発生したフレーム数が少ない（短時間）である場合には、急峻に明度が上昇した場面であると判定して、当該動きマスク画像１００ｄを動き方向判定・イベント検出部１５には供給しない。
【００４８】
更に、光変化検出部１４は、図１３に示すように、カメラ画像１００のうち、光環境判定領域１０１Ｒ、１０１Ｌの平均明度を求めて、急峻に明度の変化を検出しても良い。例えば、窓側から日光が急に差し込んだ場面においては、光環境判定領域１０１Ｌの平均明度が上限値に近い値となる。このような場面であっても、光変化検出部１４は、当該光環境判定領域１０１Ｒ、１０１Ｌに急峻に明度が変化したときに動き検出・コントラスト対策部１３から取得した動きマスク画像１００ｄを動き方向判定・イベント検出部１５には供給しない。
【００４９】
これにより、光変化検出部１４は、急峻に明度の変化が生じたときに発生した動きマスク画像１００ｄを動き方向判定・イベント検出部１５に供給することによる手領域の誤検知を抑制できる。
【００５０】
動き方向判定・イベント検出部１５は、光変化検出部１４を介して動きマスク画像１００ｄが供給される。動き方向判定・イベント検出部１５は、時間的に連続する動きマスク画像１００ｄを参照して、上述の図４に示したように、手領域１００ｄ(1)が顔遠隔領域２０２から顔近接領域２０１に移動する第１動き方向情報と、手領域１００ｄ(1)が上述の顔近接領域２０１から顔遠隔領域２０２に移動する第２動き方向情報とに分類する。
【００５１】
動き方向判定・イベント検出部１５は、図５に示したように、第１動き方向情報（Ｓ１→Ｓ２）の後に第２動き方向情報（Ｓ３→Ｓ４）が検出された場合に、当該一連の手領域１００ｄ(1)の動作を、手動きのイベントとして認識する（イベント判定手段）。
【００５２】
動き方向判定・イベント検出部１５は、当該手動きのイベントを認識したときには、手動き検出信号を外部に出力する。なお、顔近接領域２０１及び顔遠隔領域２０２は、所定の座標データによって表されていても良く、顔領域１０２の移動に応じて、動的に移動させても良い。
【００５３】
ここで、動き方向判定・イベント検出部１５は、顔近接領域２０１及び顔遠隔領域２０２のうち手領域１００ｄ(1)が含まれている占有率（％）が所定値以上である場合に、手領域１００ｄ(1)が顔近接領域２０１及び顔遠隔領域２０２に進入したと判定する。手領域１００ｄ(1)が顔近接領域２０１又は顔遠隔領域２０２に進入すると、最初は顔近接領域２０１又は顔遠隔領域２０２の全体に対する手領域１００ｄ(1)の占有率が低く、次第に手領域１００ｄ(1)の占有率が高くなり、その後、手が顔近接領域２０１又は顔遠隔領域２０２を通過して、手領域１００ｄ(1)の占有率が低くなる。動き方向判定・イベント検出部１５は、手領域１００ｄ(1)の占有率が最大となった座標値を検出することによって、顔近接領域２０１と顔遠隔領域２０２とで何れかから先に手が進入し、どの方向に手が移動したかを判定することができる。これにより、動き方向判定・イベント検出部１５は、手がカメラ画像１００の外から内に移動し、更に、手がカメラ画像１００の内から外に移動する動き方向を検出できる。
【００５４】
第１動き方向情報（Ｓ１→Ｓ２）の後に第２動き方向情報（Ｓ３→Ｓ４）が検出された場合には、運転者が自身の顔又は頭部に触れる振る舞いをしたことを表している。ここで、顔近接領域２０１及び顔遠隔領域２０２は、顔領域１０２の周囲の上方、下方、右側及び左側に設けられている。したがって、手領域１００ｄ(1)の進入方向と手領域１００ｄ(1)の退出方向とが一致しない場合があり、この場合には、手動きイベントの検出精度が曖昧になってしまう。
【００５５】
これに対し、動き方向判定・イベント検出部１５は、各顔近接領域２０１及び顔遠隔領域２０２に重み付けを設定しても良い。この顔近接領域２０１又は顔遠隔領域２０２の重み付けは、運転者自身が手によって自己の顔又は頭部に触れる振る舞いに合致するよう設定する。例えば、顔領域１０２に対する右側の顔近接領域２０１Ｒ及び顔遠隔領域２０２Ｒと顔領域１０２に対する左側の顔近接領域２０１Ｌ及び顔遠隔領域２０２Ｌの重み付けは、顔領域１０２に対する上側の顔近接領域２０１Ｕ及び顔遠隔領域２０２Ｕと顔領域１０２に対する下側の顔近接領域２０１Ｄ及び顔遠隔領域２０２Ｄの重み付けよりも、高くする。これは、右側又は左側から手が進入及び退出する手動きのイベントの発生確率が、上側又は下側から手が進入する手動きのイベントの発生確率よりも、高いからである。
【００５６】
これにより、動き方向判定・イベント検出部１５は、重み付けが高い顔近接領域２０１Ｒ及び顔遠隔領域２０２Ｒ、顔近接領域２０１Ｌ及び顔遠隔領域２０２Ｌに手領域１００ｄ(1)が現れたときに、当該手領域１００ｄ(1)の占有率が低くても、当該領域に手が進入したと判定しやすくする。すなわち、動き方向判定・イベント検出部１５は、右側又は左側から手が進入して、退出する手動きのイベントを検出しやすくできる。
【００５７】
以上詳細に説明したように、本発明の実施形態として示した運転支援装置によれば、図５で示したように、手領域１００ｄ(1)の動き情報を顔領域１０２に対して外部から内部への第１動き方向情報と内部から外部への第２動き方向情報とに分類し、第１動き方向情報が検出された後に第２動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する。これにより、この運転支援装置によれば、運転者の顔が動いた時や他の乗員が動いたことを手動きのイベントとして誤検出することを抑制できる。また、この運転支援装置によれば、顔領域１０２の背景を動き検出領域として設定して手領域１００ｄ(1)の方向を検出するので、簡単な構成で、少ない処理負荷で手動きのイベントを検出できる。
【００５８】
また、この運転支援装置によれば、顔検出・顔特徴追跡部１１によって検出された顔領域よりも外側の領域を、動き検出領域として認識するので、顔領域１０２を動き検出領域から排除できる。また、この運転支援装置によれば、顔検出・顔特徴追跡部１１により検出された顔領域が移動したことに応じて、顔領域１０２よりも外側の動き検出領域を移動させる。これにより、この運転支援装置によれば、手の動きではない頭部の動きを手領域１００ｄ(1)から排除でき、手領域１００ｄ(1)の検出率を向上することができ、手動きのイベントの誤検出を抑制できる。
【００５９】
更に、この運転支援装置によれば、顔検出・顔特徴追跡部１１により検出された顔領域１０２よりも外側の領域を動き検出領域として特定し、当該動き検出領域における明度に基づいて動き情報を検出する２値化閾値を設定する。これにより、この運転支援装置によれば、例えば夜間環境、昼間環境、トンネル環境といったように車内での光環境が変動しても適切な２値化閾値を設定して、精度良く手領域１００ｄ(1)を検出でき、手動きのイベントの誤検出を抑制できる。
【００６０】
更にまた、この運転支援装置によれば、カメラ画像１００のうち車両内の天井領域に相当する光環境判定領域１０１Ｒ、１０１Ｌにおける明度に基づいて時間帯を認識して、動き検出領域における明度に基づいて２値化閾値を設定する。これにより、この運転支援装置よれば、精度良く車室内の光環境を判定して適切な２値化閾値を設定でき、精度良く手領域１００ｄ(1)を検出して手動きのイベントの誤検出を抑制できる。
【００６１】
更にまた、この運転支援装置によれば、急峻に明度が高くなる光環境の変化を検出したときには、運転者の手の動きイベントが発生したと判定する処理を中止するので、一時的に急峻に明度が変化したときに手動きのイベントを誤検出することを抑制できる。
【００６２】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【００６３】
１  カメラ
２  赤外線光源
３  検出装置
１１  顔検出・顔特徴追跡部
１２  光環境判別部
１３  検出・コントラスト対策部
１４  光変化検出部
１５  方向判定・イベント検出部
【図１】
0005587068.tif 000002
【図２】
0005587068.tif 000003
【図３】
0005587068.tif 000004
【図４】
0005587068.tif 000005
【図５】
0005587068.tif 000006
【図６】
0005587068.tif 000007
【図７】
0005587068.tif 000008
【図８】
0005587068.tif 000009
【図９】
0005587068.tif 000010
【図１０】
0005587068.tif 000011
【図１１】
0005587068.tif 000012
【図１２】
0005587068.tif 000013
【図１３】
0005587068.tif 000014