(57)【要約】【課題】光環境の悪化等があっても被検出者の眼の開度を正確に検出することを可能とする。【解決手段】制御部７が、運転者の眼の位置に応じてＣＣＤカメラ部２による撮像のための制御条件をフィードバック制御により変更する。これにより、太陽光，近赤外照明光，対向車の照明光等の光が運転者の顔に照射され光環境が悪い際や、運転者の顔が撮像エリアの中央に無い際においても、眼の開度検出処理に適した運転者の顔画像データを安定して撮像し、運転者の眼の開度を正確に検出することができる。【選択図】  図１
2006139701.tif 000002
【特許請求の範囲】
【請求項１】
被検出者の顔画像データを所定の制御条件で撮像する撮像部と、
撮像された顔画像データに対し画像処理を施すことにより、被検出者の眼の開度を検出する制御部とを有し、
前記制御部は、前記画像処理の結果に応じて前記撮像部の制御条件を変更するようにフィードバック制御する
ことを特徴とする眼の開度検出装置。
【請求項２】
請求項１に記載の眼の開度検出装置であって、
前記制御部は、前記顔画像データを複数のエリアに分割し前記画像処理結果に基づいて複数のエリアの中から被検出者の眼の位置が含まれるエリアに基づき前記撮像部の制御条件を変更する
ことを特徴とする眼の開度検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者等の被検出者の眼の開度を検出する眼の開度検出装置に関する。
【背景技術】
【０００２】
従来より、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ等の撮像素子を利用して被検出者の顔画像を撮像し、撮像された顔画像データから被検出者の眼の開度を検出する眼の開度検出装置が知られている。そして、このような眼の開度検出装置によれば、検出された眼の開度に基づいて車両の運転者，船舶の操船者，プラントのオペレータ等の被検出者の居眠り状態を検出することができる。
【０００３】
しかしながら、一般に、ＣＣＤカメラ等の撮像素子を利用して顔画像を撮像する場合には、太陽光，近赤外照明光，対向車の照明光等の光が被検出者の顔に照射され光環境が悪い際や、被検出者の顔が撮像エリアの中央に無い際に、被検出者の顔周辺の輝度が極端に低下又は上昇することがある。また、夜間撮影時に近赤外光を照明光として利用した場合には、被検出者の顔が撮像エリアの端付近にある際に、アナログゲイン制御が適切に行われないことがある。
【０００４】
このような背景から、従来までの開度検出装置によれば、光環境の悪化等により開度検出処理に適した被検出者の顔画像データを安定して撮像できないと被検出者の眼の開度を正確に検出できないことがあった。
【０００５】
なお、ハレーションや開度検出処理に適さない画像に対し画像処理を行う眼の開度検出装置も開示されているが、この眼の開度検出装置は、被検出者の顔画像データを安定的に撮像できる状況を前提としているので、被検出者の顔画像データを安定して撮像できない場合には、たとえ画像処理を行っても被検出者の眼の開度を正確に検出することには限界があった。
【０００６】
【特許文献１】特開平１０−４０３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
解決しようとする問題点は、光環境の悪化等があると画像処理を行っても被検出者の眼の開度を正確に検出することには限界があった点である。
【課題を解決するための手段】
【０００８】
本発明は、光環境の悪化等があっても被検出者の眼の開度を正確に検出することを可能とするため、画像処理の結果に応じて撮像部の制御条件を変更するようにフィードバック制御することを基も主要な特徴とする。
【発明の効果】
【０００９】
本発明の眼の開度検出装置は、画像処理の結果に応じて撮像部の制御条件を変更するようにフィードバック制御するため、撮像部の制御条件を光環境等に応じて適正な制御条件に変更することができ、開度検出処理に適した被検出者の顔画像データを安定して撮像し、被検出者の眼の開度を正確に検出することができる。
【発明を実施するための最良の形態】
【００１０】
被検出者の顔画像データを安定して撮像するという目的を、撮像部の制御条件をフィードバック制御することで実現した。
【実施例１】
【００１１】
図１は、本発明の実施例１に係り、開度検出装置の構成を示すブロック図である。
【００１２】
本発明の実施例の眼の開度検出装置は、例えば、車両の運転者の顔画像データを撮像し、撮像された顔画像データから運転者の眼の開度を検出する処理に適用する。
〔眼の開度検出装置の構成〕
本発明の実施例１となる眼の開度検出装置１は、車両に搭載され、図１に示すように、運転者の顔画像を撮像する撮像部としてのＣＣＤカメラ部２と、スルー画像，インポーズ画像，記憶画像等の画像を車室内の表示装置に出力する画像出力部３と、オン状態，オフ状態，ビジー状態等の眼の開度検出装置１の処理状態を表示するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニター部４と、運転者の目の開度に応じて警報を発する警報部５と、夜間撮影時の照明光としての近赤外光を出力するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｓｓｉｏｎ  Ｄｉｏｄｅ）アレイ部６と、眼の開度検出装置１全体の動作を制御する制御部７と、制御部７に車両信号を入力する車両信号入力部８とを主な構成要素として備える。
【００１３】
ＣＣＤカメラ部２は、ＣＣＤイメージャ９，ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕ−ｂｌｅ  Ｓａｍｐｌｉｎｇ，相関２重サンプリング回路）／ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ，ゲイン制御回路）１０，及びＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１１を有する。ＣＣＤイメージャ９は、ＣＣＤ撮像素子により構成され、運転者の顔画像を撮像する。ＣＤＳ／ＡＧＣ１０は、一般的なアナログ信号処理回路により構成され、制御部７からの制御信号に従ってＣＣＤイメージャ９が撮像した顔画像データ（電荷量データ，輝度データ）に対し相関２重サンプリング処理，アナログゲイン制御処理，及びアナログ／デジタル変換処理を施す。ＤＳＰ１１は、マイクロプロセッサにより構成され、制御部７からの制御信号に従って撮像処理に係わる制御条件として制御パラメータを調整する。
【００１４】
画像出力部３は、ＤＳＰ１１，マルチプレクサ１２，インポーズ用メモリ１３，及びビデオドライバー１４を有する。ＤＳＰ１１は、ＣＤＳ／ＡＧＣ１０から出力された画像データをフィールド毎に画像メモリ１５に出力する。マルチプレクサ１２は、ＤＳＰ１１から出力された画像データ（スルー画像）と、インポーズ用メモリ１３内に記憶されたインポーズ用画像データとＤＳＰ１１から出力された画像データとを重畳したインポーズ画像とを切り換えてＤＳＰ１１に出力する。そして、ＤＳＰ１１は、マルチプレクサ１２から出力された画像データに対し画像処理を施した後、ビデオドライバ１４を介して画像処理後の画像データをコンポジットビデオ出力として車室内の表示装置に接続された出力端子ＯＵＴに出力する。
【００１５】
警報部５は、警報ブザー１６と目覚ましスイッチ（ＳＷ）１７を有する。警報部５は、一般的な音声出力装置により構成され、制御部７からの指示に従って運転者を覚醒させるための警報を発する。目覚ましＳＷ１７は、運転者により操作されるのに応じて、警報の出力停止を指示する信号を制御部７に入力する。
【００１６】
制御部７は、プログラム用ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１８内部に記憶された制御プログラムに従って、運転者の眼の開度を検出すると共にＣＣＤカメラ部２の動作を制御する。具体的には、制御部７は、ＣＤＳ／ＡＧＣ１０から入力された電荷量データを利用して逆光補正，シャッタースピード，アイリス，アナログゲイン等の外部環境に応じて変化する制御パラメータを演算し（制御パラメータ演算処理）、演算された制御パラメータで動作するようにＣＤＳ／ＡＧＣ１０やＤＳＰ１１をフィードバック制御する。
【００１７】
また、制御部７は、アドレスバス配線１９を介して画像メモリ１５にアドレス信号を出力することにより画像メモリ１５から画像データをフィールド単位で読み出し、読み出された画像データをデータバス配線２０を介して画像データ演算メモリ２１に一時記憶する。また、制御部７は、アドレスバス配線１９を介して画像データ演算メモリ２１にアドレス番号を出力することによりデータバス配線２０を介して画像データ演算メモリ２１から画像データをフィールド単位で読み出し、読み出された画像データを用いて運転者の眼（車両が右ハンドルの場合は運転者の左目）の開度を検出する。
【００１８】
そして、制御部７は、検出された開度に基づいて運転者の居眠り状態を検出し、運転者の居眠り状態が検出された場合、警報部５を制御することにより警報を発する。また、制御部７は、必要に応じてインポーズ用画像を生成し、生成したインポーズ用画像をインポーズ用メモリ１３に記憶する。
【００１９】
なお、上記制御パラメータ演算処理において、制御部７は、図２に示すように撮像エリア（５１２画素×２４０画素）を複数のエリアに分割し、各エリアの電荷量データに係数を掛け（重み付け処理）、重み付けした後の各エリアの電荷量データを利用して制御パラメータを演算する。従って、重み付け量が大きい（大きな係数が掛けられている）エリアは制御パラメータに大きな影響を与える。また、通常、制御部７は、運転者は撮像エリアの中心エリアにあるという仮定に基づき、中心エリアの重み付け量を大きくする（中央重点測光処理）。このような中央重点測光処理によれば、撮像エリアの中心エリア（図２に示す例ではエリア６）の電荷量データが急激に増減した場合であっても、他のエリアの電荷量データが増減した場合と比較して、瞬時に制御パラメータが演算，調整され、安定した映像を出力することができる。
【００２０】
そして、このような構成を有する眼の開度検出装置１では、制御部７が以下に示す撮像制御処理を実行することにより、開度検出処理に適した運転者の顔画像データを安定して撮像し、運転者の眼の開度を正確に検出することを可能にする。以下、図３に示すフローチャートを参照して、撮像制御処理を実行する際の眼の開度検出装置１の動作について説明する。
〔撮像制御処理〕
図３に示すフローチャートは、眼の開度検出装置１の電源がオン状態になるのに応じて開始となり、撮像制御処理はステップＳ１の処理に進む。ここで、この撮像制御処理は、顔画像のフィールド毎に繰り返し実行され、この時、制御部７は、画像メモリ１５内に記憶されている顔画像データを用いて運転者の眼の開度を検出する処理（開度検出処理）を平行して実行する。なお、この開度検出処理は、特開平１０−４０３６１号公報に開示されている等、本願発明の出願時点で既に公知であるので詳細な説明は省略するが、主として、顔画像データの中から運転者の眼の位置を検出する処理と、運転者の眼の開度を検出する処理と、眼の開度に基づいて運転者の覚醒度を判定する処理等の画像処理が含まれる。
【００２１】
ステップＳ１の処理では、制御部７が、ＣＤＳ／ＡＧＣ１０から撮像エリア内の各エリア１〜６（図２参照）の電荷量データを受信する。これにより、このステップＳ１の処理は完了し、開度検出処理はステップＳ２の処理に進む。
【００２２】
ステップＳ２の処理では、制御部７が、運転者の眼の位置を検出する処理（位置検出処理）が完了したか否かを判別する。そして、判別の結果、位置検出処理が完了している場合、制御部７は開度検出処理をステップＳ４の処理に進める。一方、位置検出処理が完了していない場合には、制御部７は開度検出処理をステップＳ３の処理に進める。
【００２３】
ステップＳ３の処理では、制御部７が、撮像エリアの中心エリアの重み付け量（係数）を他のエリアの重み付け量より大きく設定する（中点重点測光処理）。これにより、このステップＳ３の処理は完了し、開度検出処理はステップＳ７の処理に進む。
【００２４】
ステップＳ４の処理では、制御部７が、位置検出処理により検出された眼の位置座標に基づいて運転者の目の位置が含まれるエリアを抽出する。これにより、このステップＳ４の処理は完了し、開度検出処理はステップＳ５の処理に進む。
【００２５】
ステップＳ５の処理では、制御部７が、ステップＳ４の処理により算出されたエリアと前回運転者の眼の位置があったエリアが同じであるか否かを判別する。そして、判別の結果、エリアが同じである場合、制御部７は開度検出処理をステップＳ７の処理に進める。一方、エリアが異なる場合には、制御部７は開度検出処理をステップＳ６の処理に進める。
【００２６】
ステップＳ６の処理では、制御部７は、眼の位置が含まれるエリアの重み付け量を他のエリアの重み付け量より大きくすると共に、次回の処理のために、ステップＳ４の処理により抽出されたエリアの情報を記憶する。これにより、このステップＳ６の処理は完了し、開度検出処理はステップＳ７の処理に進む。
【００２７】
ステップＳ７の処理では、制御部７が、上記処理により設定された重み付け量に基づいて制御パラメータを演算する。これにより、このステップＳ７の処理は完了し、開度検出処理はステップＳ８の処理に進む。
【００２８】
ステップＳ８の処理では、制御部７が、ステップＳ７の処理により演算された制御パラメータで動作するようにＣＤＳ／ＡＧＣ１０及びＤＳＰ１１を制御する。これにより、このステップＳ８の処理は完了し、一連の開度検出処理は終了する。
【００２９】
このように、眼の開度検出装置１によれば、制御部７が、運転者の眼の位置に応じてＣＣＤカメラ部２による撮像のための制御条件をフィードバック制御するので、太陽光，近赤外照明光，対向車の照明光等の光が運転者の顔に照射され光環境が悪い際や、運転者の顔が撮像エリアの中央に無い際においても、開度検出処理に適した運転者の顔画像データを安定して撮像し、運転者の眼の開度を正確に検出することができる。
【００３０】
また、制御部７は、顔画像データを複数のエリアに分割し、複数のエリアの中から運転者の眼の位置が含まれるエリアを重点測光領域とするように、運転者の眼の位置が含まれるエリアに基づいてＣＣＤカメラ部２の撮像のための制御条件を変更制御するので、開度検出処理に適した運転者の顔画像データを安定して撮像し、運転者の眼の開度を正確に検出することができる。
【図面の簡単な説明】
【００３１】
【図１】眼の開度検出装置の構成を示すブロック図である（実施例１）。
【図２】重み付け処理を説明するため撮像画像のエリア分け図である（実施例１）。
【図３】撮像制御処理の流れを示すフローチャート図である（実施例１）。
【符号の説明】
【００３２】
１  眼の開度検出装置
２  ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ部（撮像部）
３  画像出力部
４  ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニター部
５  警報部
６  ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｓｓｉｏｎ  Ｄｉｏｄｅ）アレイ部
７  制御部
８  車両信号入力部
ＯＵＴ  出力端子
【図１】
2006139701.tif 000003
【図２】
2006139701.tif 000004
【図３】
2006139701.tif 000005