(57)【要約】【課題】  眼鏡を掛けている人物のように撮像目標の前面に反射面を有する対象物に対しても撮像目標の画像を正しく取得することを可能とした投光器制御装置を提供する。【解決手段】  撮像対象４の撮像対象位置における撮像範囲面（Ｐ１のうちカメラ１の画角αＣ内に入る部分）を判定し、この範囲面を垂直断面とする四角柱より外側（同四角柱と同一水平断面上であれば図中太矢印に示す範囲）でかつ、この撮像範囲面よりカメラ１寄りに照明用の投光器を配置する。【選択図】  図３
2011042179.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の撮像対象に対して撮像用の光を照射する投光器の制御装置であって、
前記投光器を複数有しており、撮像装置の撮像対象位置における撮像範囲面を判定し、同範囲面を垂直断面とする四角柱より外側を前記投光器による照明位置として設定することを特徴とする投光器制御装置。
【請求項２】
前記撮像装置は、車両に搭載される運転者の顔認識用の撮像装置であって、前記撮像対象位置における撮像範囲面は、車室形状に基づいて設定されることを特徴とする請求項１記載の投光器制御装置。
【請求項３】
前記撮像装置で取得した運転者の顔画像から顔位置を取得し、顔位置に基づいて投光器の照明量を制御することを特徴とする請求項２記載の投光器制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の撮像対象に対して撮影用の光を照射する投光器の制御装置に関し、例えば、車両において運転者の顔認識用に顔画像を取得する撮像装置用の投光器制御装置に関する。
【背景技術】
【０００２】
車両の運転者の覚醒度や脇見運転等を検出する手法としてカメラにより運転者の顔画像を取得し、画像処理によって顔の向きや視線方向、瞬きの状態などを検知し、得られた情報を基にして判定を行う装置が知られている。この種の装置では、昼夜の別や天候によらずに安定した運転者画像を取得するため、運転者に対して、近赤外光を照射する投光器が備えられている。特許文献１に記載されている技術は、そうした投光器に関する技術であって、メインカメラとサブカメラによる取得画像から投光器から顔までの距離を検出し、その距離に応じて投光器による照射光量を調整するものである。
【特許文献１】特開２００５−３２３１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この種の撮像装置としては、図１１に示されるようにカメラ１と投光器３３、３４とをセットにして運転者の顔４に向けて配置する装置が広く用いられている。しかし、こうした撮像装置においては運転者が眼鏡を掛けていたりすると、投光器３３、３４からの照射光が眼鏡のレンズ表面で反射した際、その反射光が直接カメラ１へと入射してしまうことにより、運転者の眼周辺の画像をうまく取得できず、視線方向や瞬きの様子を検出することができない。
【０００４】
そこで本発明は、眼鏡を掛けている人物のように撮像目標の前面に反射面を有する対象物に対しても撮像目標の画像を正しく取得することを可能とした投光器制御装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係る投光器制御装置は、撮像装置の撮像対象に対して撮像用の光を照射する投光器の制御装置であって、撮像装置の撮像対象位置における撮像範囲面を判定し、同範囲面を垂直断面とする四角柱より外側を投光器による照明位置として設定することを特徴とする。
【０００６】
この撮像装置は、車両に搭載される運転者の顔認識用の撮像装置であって、撮像対象位置における撮像範囲面は、車室形状に基づいて設定されるとよい。例えば、車室形状から標準的な体格範囲の運転者の顔が位置すると予想される位置範囲に基づいて上記撮像範囲面を設定する。
【０００７】
撮像装置で取得した運転者の顔画像から顔位置を取得し、顔位置に基づいて投光器の照明量を制御するとよい。例えば、顔位置に応じた照明量のマップを予め定めておき、マップに応じて照明を行うとよい。
【発明の効果】
【０００８】
照明位置を上記範囲に設定することで、カメラの光軸と光の照射方向とに角度をもたせることができ、この結果、撮像対象表面からの反射光がカメラへ直接入射するのを抑制し、撮像画像で取得する画像中への光の写り込みが抑えられ、所望の輝度の画像を得ることができる。例えば、運転者の顔認識用の撮像装置であれば、眼鏡を掛けている運転者の場合でも眼鏡が照射光で光った状態で写ることがなく、視線方向や瞬きの状態などを適切に検出することが可能となる。
【０００９】
車両形状に基づいて撮像範囲面を設定しておくことで、製造時点で適切な照明位置に投光器を設置・固定しておくことができ、撮像時の調整が不要となり、利便性が向上する。
【００１０】
従来技術によれば、運転者の体格や運転姿勢によってカメラまでの距離だけでなく、顔位置も異なってくるため、顔とカメラとの位置関係によって図１２、図１３に示されるように適切な顔位置４Ｃの場合には良好な照射光量であっても、顔位置がずれている４Ｌ、４Ｒ、４ｕの場合には、光量不足となる一方、顔位置４ｄの場合には光量過多となり、画像処理に適切な画像を取得できない可能性がある。顔位置に基づいて照明量を制御することにより、図１２、図１３において光量不足や光量過多となる条件であっても適切な光量で照明を行うことが可能となり、所望の輝度の画像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１２】
本発明に係る投光器制御装置を含む撮像装置の構成を図１にブロック図として示す。この撮像装置は、運転者の顔認識用に車両に搭載され、運転者の顔画像を取得するものである。この撮像装置は、撮像用のカメラ１と、投光器制御装置２と、投光器である照明Ａ３１、照明Ｂ３２とを備えている。投光器制御装置２は、顔位置検出部２１と照明制御部２２、照明制御用の制御マップ２３からなる。カメラ１は、例えばステアリングコラム上や計器パネル内に配置され、運転者の顔画像を例えばＴＶフレームレートで連続的に取得する。顔位置検出部２１と照明制御部２２とは、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されるものであり、ハードウェア的に独立していてもよいが、一部または全部を共有し、ソフトウェア的に実現されていてもよい。あるいは、画像認識装置の一部として構成されていてもよい。制御マップ２３は、照明制御用の情報を格納した記憶装置であり、磁気ディスクや不揮発性半導体メモリ、ＲＯＭ等を用いることができる。照明Ａ３１、照明Ｂ３２は、それぞれ後に詳述するように運転者とカメラ１の軸線上から離れた位置で、かつ、それぞれが異なる方向から運転者に対して光（近赤外光）を照射するものである。
【００１３】
カメラ１で連続的に取得した画像は、カメラ１内部あるいは図示していないカメラ１と投光器制御装置２の間に配置されたＡＤコンバータにより、所定の形式のデジタルデータに変換されて顔位置検出部２１に入力される。顔位置検出部２１では、入力された画像から画像抽出によって顔画像を抽出し、その顔位置を求める（ステップＳ１）。次に照明制御部２２は、求めた顔位置情報を制御マップ２３に格納されている照明制御マップと照合し（ステップＳ２）、顔位置情報に対する光量情報を読み出す。次いで、読み出した光量情報に応じた光量となるよう照明Ａ３１、照明Ｂ３２各々を制御する（ステップＳ３）。
【００１４】
具体的な照明Ａ３１、照明Ｂ３２の配置位置について図３〜図５を参照して説明する。図３は、カメラ１と撮像対象となる顔４の関係を上から見た図であり、図４は、これを横（運転者からみて左側）から見た図である。
【００１５】
ここで、カメラ１の水平方向の画角をαＣ、垂直方向の画角をβＣとすると、水平方向ではラインＬＣＬとＬＣＲに挟まれた領域、垂直方向ではラインＬｃｄとＬｃｕに挟まれた領域がカメラ１によって撮像される範囲となる。設計時に車両の形状に基づいて運転者の顔４が位置しうる領域からその眼球位置の９５％中心位置を含む鉛直平面Ｐ１を求める。ここで、平面Ｐ１上に眼球が位置する際の顔中心位置は、図３においてラインＬ１上に位置することになる。ここで、平均的な顔４の横幅が２Ｗａ、顔４が位置しうる領域の幅が２Ｗｂである。図３において平面Ｐ１とＬＣＬの交点を通り、平面Ｐ１に垂直なラインをＬＬ、同様に平面Ｐ１とＬＣＲの交点を通り、平面Ｐ１に垂直なラインをＬＲとすると、照明Ａ３１、Ｂ３２を平面Ｐ１中でカメラ１で撮像される領域が含まれる高さ範囲に配置する場合は、これらの照明３１、３２は、いずれも上からみてラインＬＬ、ＬＲより外側で平面Ｐ１よりカメラ１に近い側（図中太矢印で示される領域）に配置される。
【００１６】
一方、図４において平面Ｐ１とＬｃｕの交点を通り、平面Ｐ１に垂直なラインをＬｕ、同様に平面Ｐ１とＬｃｄの交点を通り、平面Ｐ１に垂直なラインをＬｄとすると、照明Ａ３１、Ｂ３２を平面Ｐ１中でカメラ１で撮像される領域が含まれる横幅範囲内に配置する場合は、これらの照明３１、３２は、ラインＬｕ、Ｌｄより外側で平面Ｐ１よりカメラ１に近い側（図中太矢印で示される領域）に配置される。
【００１７】
言い換えると、平面Ｐ１のうちカメラ１で撮像される矩形領域を垂直断面とする四角柱より外側で当該領域よりカメラ１側に照明Ａ３１、Ｂ３２を配置する。このとき、照明Ａ３１と照明Ｂ３２とは、運転者の顔４を異なる方向から照らすように配置するとさらに好ましい。具体的な配置例を図５に示す。例えば、図５（ａ）に示されるように顔４に対して、下方の左右に照明３１、３２を配置したり、図５（ｂ）に示されるように顔４に対して、左下と右上にそれぞれ照明３１、３２を配置するとよい。車両における配置位置としては図５（ｃ）に示されるように、運転席と助手席の間にあるインストゥルメンタルパネル６２内の位置Ａやフロントピラー６１の下部の位置Ｂあるいは上部の位置Ｄ、ルームミラー６０の上部の位置Ｃから選んで配置するとよい。ここでは、２カ所に配置する例を示したが、照明は１カ所でもよく、あるいは、３カ所以上に配置してもよい。３カ所以上に配置する場合、各照明は、少なくとも２つの異なる方向から運転者の顔４を照らすよう配置するとよい。複数の異なる方向から光を照射することで、顔４全体にむらなく照明光を照射することができるとともに、顔４の位置が異なる場合でも均一な照明を行うことができる。
【００１８】
次に、上記手法に基づいて配置された投光器（照明）による場合と図１１に示される装置と同様の配置による場合とでカメラ１で得られる顔画像について比較した結果を図６、図７を用いて説明する。図６は、上記比較における照明配置と顔との位置関係を説明する図であり、図７は、図６に示した各照明配置による取得画像を比較して示す図である。
【００１９】
図６（ｂ）に示される従来の配置においては、運転者が顔４に眼鏡４１を掛けていた場合、照明３１、３２からの照明光が眼鏡４１の表面の眼球位置に重なる位置で反射し、照明３１、３２の間にあるカメラ１に入射してしまうため、取得した画像中では、眼鏡４１が光り、眼球周辺の画像をうまく取得することができず（図７（ｂ）参照）、視線方向や瞬きを精度よく判定することができない。
【００２０】
これに対して、図６（ａ）に示される本発明に係る照明配置においては、運転者が顔４に眼鏡４１を掛けていた場合に、照明３１、３２からの照明光が眼鏡４１の表面で反射してカメラ１に入射する場合であってもその反射位置は、眼球位置からずれてこれと重なることがないため、取得した画像中で眼鏡４１が光っている場合であっても眼球周辺の画像をうまく取得することができ（図７（ａ）参照）、視線方向や瞬きを精度よく判定することができる。
【００２１】
次に、照明量制御の具体例について説明する。ここでは、図８に示される画像５０中での運転者の顔画像の輝度が基準を満たすように制御する例を説明する。最初に車室内を図９に示されるようにゾーン分けしておく。ここでは、車両に対して、Ｚ軸が車両の前後軸方向、Ｙ軸が車両の鉛直軸方向、Ｘ軸が車両の左右軸方向にそれぞれ並行となり、原点が設計上の平均的な運転者における頭部中心座標と合致する位置に３次元座標系を設定している。図では３×３×３の領域に分けているが、これに限られるものではなく、また、各ゾーンは均等な大きさである必要はない。ここで、各ゾーンの中心位置に頭部中心座標が存在する場合に、顔画像の輝度が基準を満たすようにする照明量を予め設定しておく。この基準としては、例えば図８に示される例においては、画像中の顔領域５１を所定の領域（図では４×４領域）に分割し、各領域内における最高輝度あるいは平均輝度が所定の輝度範囲内である条件を満たすというものである。この所定領域の分割数は上記例に限られるものではなく分割後の領域が同一の大きさである場合に限られるものではない。こうして予め設定された各ゾーンに対する光量制御情報を予めマップとして制御マップ２３に格納しておく。光量制御としては、照明の点灯個数を変更する手法や照明自体の光量を電流値または電圧値を変更することで制御する手法を用いることができる。
【００２２】
顔位置の検出は、画像処理により顔領域を抽出し、認識結果を基にして顔向き情報を参考にして頭部回転中心を求める手法（図１０参照）や別に距離測定手段を有し、それにより顔までの距離を求めて頭部回転中心を求める手法などを用いることができる。求めた顔位置に基づいて照明を制御することで、所望の輝度を有する顔画像を取得することができ、顔画像の画像認識や認識結果に基づいた各種の判定処理を精度よく行うことが可能となる。
【００２３】
本発明は上記実施例に限られるものではない。例えば、車両に搭載される撮像装置以外にもセキュリティシステム用の顔画像認識のための撮像装置や顔以外の対象物、反射しやすい表面を有し、その内側の画像を取得する必要がある対象物を撮像する撮像装置に対しても適用できる。
【産業上の利用可能性】
【００２４】
本発明に係る撮像装置用の投光器制御装置は、顔認識用の撮像装置に対して用いることができ、特に車両に搭載される運転者画像を取得する撮像装置の投光器制御装置として好適である。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る投光器制御装置を含む撮像装置の構成を示すブロック図である。
【図２】図１の装置による投光制御のフローチャートである。
【図３】図１の装置におけるカメラと撮像対象の位置関係を上から見た図である。
【図４】図３に対応する位置関係を横から見た図である。
【図５】投光器の配置例を示す図である。
【図６】眼鏡を掛けた運転者に対する照明について従来例と照明配置と顔との位置関係等を比較して示す図である。
【図７】図６に示した各照明配置による取得画像を比較して示す図である。
【図８】顔上の光量測定について説明する図である。
【図９】照明制御用のマップを説明する図である。
【図１０】顔位置検出を説明する図である。
【図１１】従来の投光器を有する撮像装置の構成を示す図である。
【図１２】従来の投光器による照明例を示す図である。
【図１３】従来の投光器による別の照明例を示す図である。
【符号の説明】
【００２６】
１…カメラ、２…投光器制御装置、４…顔、２１…顔位置検出部、２２…照明制御部、２３…制御マップ、３１、３２、３３……照明（投光器）、４１…眼鏡、５０…画像、５１…顔領域、６０…ルームミラー、６１…フロントピラー、６２…インストゥルメンタルパネル
【図１】
2011042179.tif 000003
【図２】
2011042179.tif 000004
【図３】
2011042179.tif 000005
【図４】
2011042179.tif 000006
【図５】
2011042179.tif 000007
【図６】
2011042179.tif 000008
【図９】
2011042179.tif 000009
【図１０】
2011042179.tif 000010
【図１１】
2011042179.tif 000011
【図１２】
2011042179.tif 000012
【図１３】
2011042179.tif 000013
【図７】
2011042179.tif 000014
【図８】
2011042179.tif 000015