(57)【要約】【課題】撮像状態を容易に最適化する。【解決手段】撮像制御装置１０は、所定周期毎に所定の撮像対象領域を撮像して得た画像からなる画像データを出力する撮像素子２３と、撮像素子２３から出力された画像データから複数の特徴量を抽出する特徴量抽出部３５と、複数の画像データ毎に複数の特徴量を記憶する特徴量記憶部３６と、既に記憶された複数の特徴量に基づいて、次回以降の撮像により撮像素子２３から出力される画像データから抽出される複数の予測特徴量を予測する特徴量予測部３７と、複数の予測特徴量に基づいて、次回以降の撮像時における撮像モードを設定する撮像モード設定部４３とを備える。【選択図】図１
2011023973.tif 000002
【特許請求の範囲】
【請求項１】
所定周期毎に所定の撮像対象領域を撮像して得た画像からなる画像情報を出力する撮像素子と、
前記撮像素子から出力された前記画像情報から複数の特徴量を抽出する特徴量抽出手段と、
前記撮像素子から出力された複数の前記画像情報毎に前記特徴量抽出手段により抽出された前記複数の特徴量を記憶する記憶手段と、
前記記憶手段により既に記憶された前記複数の特徴量に基づいて、次回以降の撮像により前記撮像素子から出力される前記画像情報から前記特徴量抽出手段により抽出される前記複数の特徴量である複数の予測特徴量を予測する予測手段と、
前記複数の予測特徴量に基づいて、前記次回以降の撮像時における撮像モードを設定する撮像モード設定手段と
を備えることを特徴とする撮像制御装置。
【請求項２】
前記予測手段は、前記記憶手段により既に記憶された前記複数の特徴量を用いた線形予測により前記複数の予測特徴量を予測することを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記記憶手段により既に記憶された前記複数の特徴量に基づいて、最新の前記画像情報から前記特徴量抽出手段により抽出される前記複数の特徴量である複数の最新特徴量を、選択的に更新する選択更新手段を備えることを特徴とする請求項１または請求項２に記載の撮像制御装置。
【請求項４】
前記撮像素子の撮像範囲から注目領域を抽出する注目領域抽出手段を備え、
前記複数の特徴量は、前記注目領域抽出手段により抽出された前記注目領域のみに基づいて決定されることを特徴とする請求項１から請求項３の何れか１つに記載の撮像制御装置。
【請求項５】
複数の前記撮像素子と、
複数の前記撮像素子から出力される前記画像情報に基づいて、前記画像の画素に対応した実空間での距離情報による距離分布を演算する距離分布演算手段とを備え、
前記複数の特徴量は、前記距離分布演算手段により演算された前記距離分布を含むことを特徴とする請求項１から請求項４の何れか１つに記載の撮像制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像制御装置に関する。
【背景技術】
【０００２】
従来、例えば画像の測光データから複数の特徴量を抽出し、これらの複数の特徴量に基づき、予め設定された複数パターンに対応付けられた複数の露光量演算式に、各特徴量と判定条件との一致度に基づく重み付けを行い、これらの重み付けに応じて複数の露光量演算式により露光量を算出する複写装置が知られている（例えば、特許文献１参照）。
また、従来、例えば車室内の前方座席領域を撮像する撮像装置の撮像画像内に露光枠を設定して、この露光枠内の画素毎の輝度値に基づいて撮像装置の露光を調整する車両用撮像装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２６１２９５６号公報
【特許文献２】特開２００６−２６４４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る複写装置によれば、重み付けされた複数の露光量演算式により算出された露光量が原画像の全領域の複写に採用されるだけであり、実際の複写により得られた複写画像が原画像に対して最適であるか否か、つまり露光量が原画像に対して最適であるか否かについては考慮されていない。
また、上記従来技術に係る車両用撮像装置によれば、単に、露光枠内の領域が所望の明度となるように露光を調整するだけであって、撮像状態を詳細に最適化することは困難であるという問題が生じる。
しかも、上記従来技術に係る複写装置および車両用撮像装置によれば、車両の衝突時などにおいて、画像のフレームレートに比べて、より速く瞬間的に移動する撮像対象によって画像の状態が変化してしまうと、露光調整が適切に追従できずに、過剰な露光調整が行なわれてしまうなどによって、複数のフレーム間での撮像対象の検知精度のばらつきが増大してしまう虞がある。
本発明は上記事情に鑑みてなされたもので、撮像状態を容易に最適化することが可能な撮像制御装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る撮像制御装置は、所定周期毎に所定の撮像対象領域を撮像して得た画像からなる画像情報を出力する撮像素子（例えば、実施の形態での撮像素子２３）と、前記撮像素子から出力された前記画像情報から複数の特徴量を抽出する特徴量抽出手段（例えば、実施の形態での特徴量抽出部３５）と、前記撮像素子から出力された複数の前記画像情報毎に前記特徴量抽出手段により抽出された前記複数の特徴量を記憶する記憶手段（例えば、実施の形態での特徴量記憶部３６）と、前記記憶手段により既に記憶された前記複数の特徴量に基づいて、次回以降の撮像により前記撮像素子から出力される前記画像情報から前記特徴量抽出手段により抽出される前記複数の特徴量である複数の予測特徴量を予測する予測手段（例えば、実施の形態での特徴量予測部３７）と、前記複数の予測特徴量に基づいて、前記次回以降の撮像時における撮像モードを設定する撮像モード設定手段（例えば、実施の形態での撮像モード設定部４３）とを備える。
【０００６】
さらに、本発明の第２態様に係る撮像制御装置では、前記予測手段は、前記記憶手段により既に記憶された前記複数の特徴量を用いた線形予測により前記複数の予測特徴量を予測する。
【０００７】
さらに、本発明の第３態様に係る撮像制御装置は、前記記憶手段により既に記憶された前記複数の特徴量に基づいて、最新の前記画像情報から前記特徴量抽出手段により抽出される前記複数の特徴量である複数の最新特徴量を、選択的に更新する選択更新手段（例えば、実施の形態での特徴量抽出部３５が兼ねる）を備える。
【０００８】
さらに、本発明の第４態様に係る撮像制御装置は、前記撮像素子の撮像範囲から注目領域を抽出する注目領域抽出手段（例えば、実施の形態での特徴量抽出部３５が兼ねる）を備え、前記複数の特徴量は、前記注目領域抽出手段により抽出された前記注目領域のみに基づいて決定される。
【０００９】
さらに、本発明の第５態様に係る撮像制御装置は、複数の前記撮像素子と、複数の前記撮像素子から出力される前記画像情報に基づいて、前記画像の画素に対応した実空間での距離情報による距離分布を演算する距離分布演算手段（例えば、実施の形態での距離分布演算部３２）とを備え、前記複数の特徴量は、前記距離分布演算手段により演算された前記距離分布を含む。
【発明の効果】
【００１０】
本発明の第１態様に係る撮像制御装置によれば、過去の複数回の撮像により得られた画像情報毎から抽出された複数の特徴量に基づいて、次回以降の撮像での複数の予測特徴量を予測し、これらの予測特徴量に基づいて、次回以降の撮像時における撮像モードを設定する。これにより、例えば雑音の発生や撮像対象の変化などに起因して画像の状態が急激に変化する場合であっても、この急激な変化に応じて過剰な露光調整が行なわれてしまうことを防止し、適切な撮像状態を継続して維持することができ、撮像対象の検知精度が低下してしまうことを防止することができる。
例えば撮像時のフレームレートが遅く、前後の画像において画像状態が大きく変化している可能性が有る場合であっても、前後の画像の差異に応じて撮像モードが過度に大きく変化してしまうことを防止することができる。また、例えば撮像時のフレームレートが速い場合であっても、撮像モードを緩やかに変化させることができる。
【００１１】
さらに、本発明の第２態様に係る撮像制御装置によれば、特徴量が線形に変化することから、画像情報の補正、例えば露出などの撮像状態の補正あるいは撮像により得られた画像のガンマ補正などの画像処理の補正での補正量が線形に変化し、輝度などの特徴量の分布特性を相似形にすることができる。
さらに、本発明の第３態様に係る撮像制御装置によれば、画像情報にばらつきが存在した場合に、突発的な雑音などを除去して、次回以降の予測特徴量を予測することができ、撮像対象の検知精度を向上させることができる。
さらに、本発明の第４態様に係る撮像制御装置によれば、複数の特徴量は注目領域のみに基づいて決定されることから、注目領域での検知感度を向上させることができる。
さらに、本発明の第５態様に係る撮像制御装置によれば、撮像対象の検知に対する撮像素子の感度の影響を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る撮像制御装置を具備する車両用の乗員検知装置の構成図である。
【図２】本発明の実施の形態に係る撮像対象領域ＰＴと、画像データＰａ，Ｐｂと、距離分布画像ＬＰと、処理用画像ＴＰと、距離画像ＰＬとの一例を示す図である。
【図３】本発明の実施の形態に係る注目領域Ｒの一例を示す図である。
【図４】本発明の実施の形態に係る領域画像Ｒａ，Ｒｂの一例を示す図である。
【図５】本発明の実施の形態に係る前回（Ｔ＝−１）の撮像に対する輝度の度数分布と、今回（Ｔ＝０）の撮像に対する最新の輝度の度数分布と、次回（Ｔ＝＋１）の撮像に対する輝度の度数分布との一例を示す図である。
【図６】本発明の実施の形態に係る領域画像Ｒａ，Ｒｂ毎の一致度の一例を示す図である。
【図７】本発明の実施の形態に係る撮像制御装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る撮像制御装置について添付図面を参照しながら説明する。
本実施の形態による撮像制御装置１０は、例えば車両用の乗員検知装置に備えられ、図１に示すように、車室内の座席領域を撮像対象領域とする撮像装置１１および光源１２と、処理装置１３とを備えて構成されている。
【００１４】
撮像装置１１は、例えばステレオカメラなどのように複数（例えば、２つ）のカメラを備え、各カメラは、複数のレンズおよび各種フィルタなどを具備するレンズ部２１と、機構部２２と、撮像素子２３とを備えて構成されている。
機構部２２は、例えばシャッタおよび絞り機構などを備え、処理装置１３から出力される制御信号に応じて撮像時のシャッタスピードおよび絞り値を制御する。
撮像素子２３は、例えば可視光領域から赤外線領域にて撮像可能なＣＭＯＳセンサなどを備え、撮像により得られる画像データの信号を出力する。
撮像装置１１は、処理装置１３から出力される制御信号に応じた撮像状態（つまり、シャッタスピードおよび絞り値など）毎に、複数（例えば、２つ）の撮像素子２３によりほぼ同時（つまり、所定時間以内）に異なる方向から撮像をおこない、複数（例えば、２つ）の画像データの信号を出力する。
光源１２は、例えば可視光領域から赤外線領域に亘る光を発光するＬＥＤなどから構成され、撮像装置１１の撮像対象領域に光を照射する。
【００１５】
処理装置１３は、例えば、信号補正部３１と、距離分布演算部３２と、処理用データ生成部３３と、距離データ生成部３４と、特徴量抽出部３５と、特徴量記憶部３６と、特徴量予測部３７と、一致度演算部３８と、基準値記憶部３９と、基準補正量設定部４０と、補正量記憶部４１と、補正量制御部４２と、撮像モード設定部４３と、撮像制御部４４とを備えて構成されている。  
【００１６】
信号補正部３１は、補正量制御部４２から出力される制御信号に応じて、撮像装置１１から出力される複数（例えば、２つ）の画像データの信号にトーンカーブ補正やレベル補正やガンマ補正などの画像処理の補正を行なう。
例えば、信号補正部３１は、予め作成された補正マップ、撮像装置１１の出力特性や撮像状態や撮像対象領域の環境などと輝度補正との相間を示す補正マップにより画像データの信号に階調補正を行なう。
距離分布演算部３２は、信号補正部３１から出力される撮像時刻がほぼ等しい複数（例えば、２つ）の画像データに基づきステレオマッチングをおこない、画像データを構成する画素毎に実空間での撮像対象の距離を演算し、画像データの画素での距離の分布のデータ（距離分布データ）を生成する。
【００１７】
例えば図２に示すように、車室内の前方座席領域を撮像対象領域ＰＴとして、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像時刻毎に、撮像装置１１から２つの画像データ（例えば、撮像対象領域に対して水平方向で左右にずれた位置から撮像された画像データ）Ｐａ，Ｐｂが出力されると、距離分布演算部３２は、３回の撮像時刻毎に距離分布データとして距離分布画像ＬＰを生成する。
距離分布画像ＬＰは、例えば、画像データの各画素の輝度を各画素毎に対応する実空間での撮像対象の距離に応じた値とした３次元の情報（つまり、２次元座標上での画素の位置と画素の輝度）を有する可視化可能な画像のデータとされている。なお、距離分布データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。
【００１８】
処理用データ生成部３３は、距離分布演算部３２から出力される距離分布データから距離の情報の信頼度が低いデータを除外して処理用データを生成する。
例えば図２に示すように、３回の撮像時刻毎の距離分布画像ＬＰにおいて、各画素毎に対応する実空間での撮像対象の距離が短くなることに伴い、画素の輝度が大きくなるように設定されている状態では、処理用データ生成部３３は、距離の分散が所定値未満となることで距離が無限大であると判断されるデータを距離分布画像ＬＰから除外して、処理用画像ＴＰを生成する。なお、処理用データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。
【００１９】
距離データ生成部３４は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正の変化に伴う複数の処理用データ間での距離の分布の変化量に基づき、処理用データ生成部３３から出力される複数の処理用データを合成して距離データを生成する。
例えば図２に示すように、距離データ生成部３４は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像時刻毎の処理用画像ＴＰに基づき、互いに画素のデータが存在しない領域を補完するようにしてデータの合成を行ない、距離画像ＰＬを生成する。また、互いに画素のデータが存在する領域では、例えば距離の情報のばらつき度合いなどに応じて距離の情報の信頼度が高い領域のみを対象として、あるいは、距離の情報が類似する領域を対象として、データの合成を行ない、距離画像ＰＬを生成する。なお、距離データは、可視化可能な画像のデータに限定されず、単に、２次元座標上での画素の位置と、各画素毎に対応する実空間での撮像対象の距離の情報とが対応付けられた３次元のデータであればよい。
【００２０】
特徴量抽出部３５は、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる各撮像時刻毎に処理用データ生成部３３から出力される処理用データから複数の特徴量を抽出し、各撮像時刻毎の複数の特徴量を特徴量記憶部３６に格納する。
複数の特徴量は、例えば下記表１に示す特徴量（ｆｉ（ＭＯＤＥ））のように、処理用画像ＴＰの輝度の度数分布での度数に係る度数状態量（例えば、ゼロ輝度数、２５％輝度、５０％輝度、７５％輝度、飽和（上下）輝度数など）と、処理用画像ＴＰの輝度に係る輝度状態量（例えば、最頻値など）と、処理用画像ＴＰの輝度の度数分布での統計値に係る統計状態量（例えば、平均輝度、分散など）とから構成されている。
【００２１】
【表１】
2011023973.tif 000003
【００２２】
なお、ゼロ輝度数は、例えば、処理用画像ＴＰにおいて距離が無限大であると判断されて輝度の情報が存在しない画素領域、あるいは、撮像装置１１による撮像時の白とび又は黒つぶれに起因して処理用画像ＴＰにおいて輝度の情報が存在しない画素領域のうち、面積が最大となる画素領域の画素数である。
２５％輝度と、５０％輝度と、７５％輝度とは、例えば、処理用画像ＴＰの輝度の度数分布において輝度０％から輝度１００％に向かい度数（つまり画素数）を積算した場合に、この積算値が処理用画像ＴＰの全画素数に対して、順次、２５％と、５０％と、７５％とに到達するときの輝度である。
飽和（上下）輝度数は、例えば、輝度０％の度数（つまり画素数）および輝度１００％の度数（つまり画素数）である。
最頻値は、処理用画像ＴＰの輝度の度数分布において、度数（つまり画素数）が最大となる輝度である。
平均輝度および分散は処理用画像ＴＰの輝度の度数分布での平均値および分散である。
【００２３】
なお、複数の特徴量は、処理用画像ＴＰにおいて距離の情報に係る距離状態量を含んでいてもよく、距離状態量は、例えば所定距離範囲の距離の情報を有する画素領域の形状や存在の有無などである。
また、特徴量の個数は、例えば２のべき乗の個数とすることで、後述する一致度演算部３８での演算処理を迅速に行なうことができる。
【００２４】
なお、特徴量抽出部３５は、処理用データにおいて各画素毎に対応する実空間での撮像対象の距離が所定の基準距離と一致あるいは所定の基準距離範囲内の値となる画素領域を除外して注目領域を設定し、この注目領域から複数の特徴量を抽出してもよい。
例えば図３に示すように車室内に存在する乗員のみを注目領域とする場合には、特徴量抽出部３５は、撮像装置１１から出力された２つの画像データＰａ，Ｐｂに基づきステレオマッチングにより生成された距離分布画像ＬＰから、予め乗員が存在しない状態で作成された基準距離のデータ（つまり車室内装に対する距離の情報）と一致する距離の情報を有する画素領域を除外して注目領域画像ＮＰを生成する。そして、この注目領域画像ＮＰにて距離の情報を有する画素領域を注目領域Ｒとし、この注目領域Ｒを処理用データ内に設定する。
【００２５】
なお、特徴量抽出部３５は、処理用データを複数の領域データに分割し、各領域データ毎から複数の特徴量を抽出してもよい。
例えば図４に示すように処理用画像ＴＰにおいて車室内に存在する乗員のみを注目領域とし、この注目領域を乗員毎に分割して複数の領域データ（領域画像）を設定する場合には、特徴量抽出部３５は、例えば処理用画像ＴＰを、乗員が存在する注目領域Ｒと、車室内装のみが存在する領域Ａと、外乱光による露光状態の変動が大きい領域Ｂとに分割する。さらに、乗員が存在する注目領域Ｒを、乗員毎に分割して複数の領域画像Ｒａ，Ｒｂを設定する。
【００２６】
また、特徴量抽出部３５は、特徴量記憶部３６に記憶された過去の撮像に対する複数の特徴量に基づき、処理用データ生成部３３から出力される最新の処理用データに対する最新の複数の特徴量（最新特徴量）を、選択的に更新する。なお、処理用データが複数の領域データに分割されている場合には各領域データ毎に、最新特徴量を選択的に更新する。
例えば特徴量抽出部３５は、特徴量記憶部３６に記憶された過去の所定回数の撮像による所定フレーム数での特徴量のばらつきに基づき、最新の特徴量として、最新の処理用データから抽出した特徴量または前回の撮像に対して特徴量記憶部３６に記憶された前回の特徴量を選択する。
具体的には、先ず、例えば下記数式（１）に示すように、任意の自然数ｎ（ｎ≧２）による過去の（ｎ−１）フレームでの特徴量の平均値ｘａｖ（ｎ−１）と、各（ｎ−１）フレーム毎での特徴量記憶部３６に記憶された特徴量の値ｘｉ（ｉ＝１〜（ｎ−１））とにより記述される（ｎ）フレームに対する偏差σｎを算出する。
【００２７】
【数１】
2011023973.tif 000004
【００２８】
そして、最新の処理用データから抽出した特徴量の値ｘｍｎを選択するか否かを判定するための閾値として、例えば下記数式（２）に示すように、平均値ｘａｖ（ｎ−１）と、偏差σｎとにより記述される上限閾値Ｍａｘおよび下限閾値Ｍｉｎを算出する。
【００２９】
【数２】
2011023973.tif 000005
【００３０】
そして、例えば下記数式（３）に示すように、最新の処理用データから抽出した特徴量の値ｘｍｎが上限閾値Ｍａｘまたは下限閾値Ｍｉｎを超えていれば、前回の撮像に対して特徴量記憶部３６に記憶された前回の特徴量の値ｘ（ｎ−１）を最新の特徴量の値ｘｎとする。一方、最新の処理用データから抽出した特徴量の値ｘｍｎが上限閾値Ｍａｘおよび下限閾値Ｍｉｎによる範囲内であれば、この値ｘｍｎを最新の特徴量の値ｘｎとする。
【００３１】
【数３】
2011023973.tif 000006
【００３２】
特徴量予測部３７は、特徴量記憶部３６に記憶された過去の撮像に対する複数の特徴量と、特徴量抽出部３５により選択的に更新された最新の複数の特徴量とに基づき、次回以降の撮像に対する複数の特徴量（予測特徴量）を予測する。
例えば特徴量予測部３７は、過去の各（ｎ−１）フレーム毎での特徴量記憶部３６に記憶された特徴量の値ｘｉ（ｉ＝１〜（ｎ−１））と、最新の特徴量の値ｘｎとに基づき、例えば下記数式（４）に示すように記述される平均値、あるいは、例えば下記数式（５）に示すように記述される中間値フィルタの出力値、あるいは、例えば値ｘｉ（ｉ＝１〜（ｎ−１））と値ｘｎとの時間変化に適宜の関数をあてはめる外挿による予測値（例えば、一次関数による線形予測の予測値など）などを、次回の撮像に対する特徴量（予測特徴量）の値ｘ（ｎ+１）とする。
【００３３】
【数４】
2011023973.tif 000007
【００３４】
【数５】
2011023973.tif 000008
【００３５】
例えば図５（Ａ）〜（Ｃ）に示す処理用画像では、通常の走行状態の車室内での乗員の存在領域のみを注目領域Ｒとし、この注目領域Ｒでの輝度の度数分布を特徴量として、一連の撮像時刻（Ｔ＝−１，０，＋１）において車両の衝突などにより乗員の姿勢が大きく変動している。この場合、前回（Ｔ＝−１）の撮像に対する輝度の度数分布と、今回（Ｔ＝０）の撮像に対する最新の輝度の度数分布とから、次回（Ｔ＝＋１）の撮像に対する輝度の度数分布が予測される。これにより、次回（Ｔ＝＋１）の撮像時において一時的に注目領域Ｒから乗員が大きく逸脱する場合であっても、この急激な乗員移動に応じて輝度の度数分布が一時的に大きく変動してしまうことを防止することができる。
【００３６】
一致度演算部３８は、処理用データ生成部３３により生成された処理用データ毎に、さらに、処理用データが複数の領域データに分割されている場合には各領域データ毎に、特徴量抽出部３５から出力される複数の特徴量と基準値記憶部３９に記憶されている基準値との一致度を演算する。
【００３７】
基準値記憶部３９は、撮像装置１１の撮像対象領域の状態（例えば、乗員の有無など）が異なる複数の所定の領域状態（Ｓ１，Ｓ２，…，Ｓｋ，…，Ｓｎ）と、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる複数の補正モード（Ｍ１，Ｍ２，…，Ｍｋ，…，Ｍｎ）との各組み合わせで撮像装置１１による撮像が実行された場合に対して、特徴量抽出部３５により抽出される複数の特徴量に対する基準値（ＦｉＭｋ，Ｓｋ）を記憶している。
【００３８】
一致度演算部３８は、例えば特徴量抽出部３５から出力される複数の特徴量による多次元ベクトル空間において、複数の特徴量と基準値との相間（例えば、内積など）を演算し、この演算結果において、例えば内積が大きくなることに伴い一致度が大きくなると判定する。
例えば所定の補正モードＭ１にて撮像装置１１による撮像が実行されて上記表１に示すような複数（例えば、８つ）の特徴量（ｆｉＭ１）が特徴量抽出部３５により抽出されると、一致度演算部３８は、例えば下記表２に示すように、補正モードＭ１に対して複数（例えば、８つ）の領域状態（Ｓ１，…，Ｓ８）毎に設定された基準値（Ｆｉ（Ｍ１，Ｓ１），…，Ｆｉ（Ｍ１，Ｓ８））を基準値記憶部３９から取得する。そして、各領域状態（Ｓ１，…，Ｓ８）毎に特徴量（ｆｉＭ１）と基準値（Ｆｉ（Ｍ１，Ｓ１），…，Ｆｉ（Ｍ１，Ｓ８））との内積を演算する。なお、下記表２においては、処理用画像ＴＰの注目領域Ｒが２つの領域画像Ｒａ，Ｒｂに分割されていることから、内積の演算は各領域画像Ｒａ，Ｒｂ毎に実行される。
【００３９】
【表２】
2011023973.tif 000009
【００４０】
基準補正量設定部４０は、一致度演算部３８から出力される一致度が最も高い基準値に対応する領域状態を抽出し、この領域状態に対応する補正モードの補正量を補正量記憶部４１から取得し、この補正量を基準補正量として設定する。なお、処理用データが複数の領域データに分割され、各領域データ毎に一致度が最も高い基準値に対応する領域状態が異なる場合には、複数の領域データ間において一致度を比較して基準補正量を設定する。
【００４１】
補正量記憶部４１は、複数の所定の領域状態（Ｓ１，Ｓ２，…，Ｓｋ，…，Ｓｎ）毎に対応した最適な補正モードおよび補正量の情報、つまり撮像装置１１の最適な撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の最適な補正の情報を記憶している。
例えば下記表３に示すように、上記表２に示す各領域状態（Ｓ１，…，Ｓ８）に対しては、各補正モード（ＭＯＤＥ１，…，ＭＯＤＥ２）が対応付けられて記憶されている。
【００４２】
【表３】
2011023973.tif 000010
【００４３】
基準補正量設定部４０は、例えば上記表２に示す領域画像Ｒａに対しては、一致度が最も高い基準値に対応する領域状態として、各領域状態（Ｓ１，…，Ｓ８）毎の特徴量（ｆｉＭ１）と基準値（Ｆｉ（Ｍ１，Ｓ１），…，Ｆｉ（Ｍ１，Ｓ８））との内積のうち、内積が最大となる基準値（Ｆｉ（Ｍ１，Ｓ２）＝０．９３７）に対応する領域状態Ｓ２を抽出する。そして、この領域状態Ｓ２に対して最適となる補正モードＭＯＤＥ２および補正量を補正量記憶部４１から取得する。また、例えば上記表２に示す領域画像Ｒｂに対しては、一致度が最も高い基準値に対応する領域状態として、内積が最大となる基準値（Ｆｉ（Ｍ１，Ｓ３）＝０．８９３）に対応する領域状態Ｓ３を抽出する。そして、この領域状態Ｓ３に対して最適となる補正モードＭＯＤＥ３および補正量を補正量記憶部４１から取得する。
【００４４】
基準補正量設定部４０は、処理用データが複数の領域データに分割され、各領域データ毎に一致度が演算されたときに、各領域データ毎に一致度が最も高い基準値に対応する領域状態が異なる場合には、複数の領域データ間において一致度を比較する。
【００４５】
例えば図６（Ａ）〜（Ｄ）に示す実施例では、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正が異なる３回の撮像毎に、処理用画像ＴＰの注目領域Ｒが２つの領域画像Ｒａ，Ｒｂに分割され、各領域画像Ｒａ，Ｒｂ毎に一致度（例えば、内積）の演算が実行されている。  
【００４６】
例えば図６（Ａ）に示すように、３回の撮像度数の全てにおいて２つの領域画像Ｒａ，Ｒｂ毎の一致度が所定の下限値Ｌｔｈ以上であり、３回の撮像度数間において一致度が最も高い撮像度数が一致している場合には、この一致度が最も高い撮像度数（例えば、撮像度数＝１）に対応する補正モードの補正量が、基準補正量として設定される。
【００４７】
また、例えば図６（Ｂ）に示すように、３回の撮像度数間において一致度が最も高い撮像度数が２つの領域画像Ｒａ，Ｒｂで一致せず、一部の撮像度数において一致度が所定の下限値Ｌｔｈ未満である場合には、２つの領域画像Ｒａ，Ｒｂ毎の一致度が所定の下限値Ｌｔｈ以上となる撮像度数が選択される。さらに、２つの領域画像Ｒａ，Ｒｂの一致度の和あるいは積などの総合的な一致度が最も高い撮像度数（例えば、撮像度数＝２）に対応する補正モードの補正量が、基準補正量として設定される。
【００４８】
また、例えば図６（Ｃ）に示すように、３回の撮像度数の全てにおいて一方の領域画像Ｒｂの一致度が所定の下限値Ｌｔｈ未満である場合には、この領域画像Ｒｂ以外の他方の領域画像Ｒａにおいて一致度が最も高い撮像度数（例えば、撮像度数＝１）に対応する補正モードの補正量が、基準補正量として設定される。  
【００４９】
また、例えば図６（Ｄ）に示すように、３回の撮像度数の全てにおいて何れの領域画像Ｒａ，Ｒｂの一致度が所定の下限値Ｌｔｈ未満である場合には、撮像装置１１あるいは撮像対象領域の状態（例えば、乗員の姿勢など）が異常状態であると判定され、基準補正量の設定は禁止される。
【００５０】
補正量制御部４２は、基準補正量設定部４０から出力される基準補正量に応じて、撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）あるいは信号補正部３１の画像処理の補正を制御する制御信号を出力する。
また、補正量制御部４２は、基準補正量設定部４０から出力される基準補正量に応じて、光源１２の照射状態を制御する制御信号を出力する。
【００５１】
撮像モード設定部４３は、特徴量予測部３７から出力される次回以降の撮像に対する複数の特徴量（予測特徴量）と、補正量制御部４２から出力される制御信号とに基づき、次回以降の撮像時における撮像モードを設定し、この撮像モードに応じた撮像装置１１の撮像状態および光源１２の照射状態を制御する制御信号を出力する。
【００５２】
撮像制御部４４は、例えば一致度演算部３８から出力される一致度などに応じて、撮像装置１１による撮像の実行および停止を制御する。
例えば、撮像制御部４４は、一致度演算部３８から出力される一致度の全てが所定の下限値Ｌｔｈ未満である場合には、撮像装置１１による撮像を停止する。
【００５３】
本実施の形態による撮像制御装置１０は上記構成を備えており、次に、この撮像制御装置１０の動作について説明する。
【００５４】
先ず、例えば図７に示すステップＳ０１においては、撮像装置１１から出力される画像データにおいて複数の特徴量を抽出するための注目領域を設定する。
そして、ステップＳ０２においては、予め設定された所定の初期撮像モードあるいは前回の撮像時に設定された撮像モードを、今回の撮像モード（つまり、シャッタスピードおよび絞り値など）として設定する。
そして、ステップＳ０３においては、今回の撮像モードにより撮像装置１１の撮像を実行する。
そして、ステップＳ０４においては、撮像装置１１の２つの撮像素子２３によりほぼ同時に異なる方向（例えば、撮像対象領域に対して水平方向で左右にずれた位置）から撮像された左右の画像データＰａ，Ｐｂを取得する。
【００５５】
そして、ステップＳ０５においては、各画像データＰａ，Ｐｂの信号に対してトーンカーブ補正やレベル補正やガンマ補正などの画像処理の補正を行なう。
そして、ステップＳ０６においては、補正後の２つの画像データＰａ，Ｐｂに基づきステレオマッチングを行なう。
そして、ステップＳ０７においては、２つの画像データＰａ，Ｐｂを構成する画素毎に実空間での撮像対象の距離を演算し、距離分布画像ＬＰを生成する。
そして、ステップＳ０８においては、距離分布画像ＬＰから距離の情報の信頼度が低い画素領域を除外して処理用画像ＴＰを生成する。
【００５６】
そして、ステップＳ０９においては、処理用画像ＴＰから複数の特徴量を抽出する。そして、過去の所定回数の撮像による所定フレーム数での特徴量のばらつきに基づき、最新の特徴量として、今回の処理用画像ＴＰから抽出した特徴量または前回の撮像に対して記憶した前回の特徴量を選択する。
そして、ステップＳ１０においては、過去の撮像毎に対して記憶した複数の特徴量と、最新の複数の特徴量とに基づき、次回の撮像に対する複数の特徴量（予測特徴量）を予測する。
そして、ステップＳ１１においては、複数の特徴量による多次元ベクトル空間において、最新の複数の特徴量と基準値との相間（例えば、内積など）を演算することで、最新の複数の特徴量と基準値との一致度を算出する。
そして、ステップＳ１２においては、撮像モードまたは画像処理の補正が異なる複数の処理用画像ＴＰ間において一致度を比較する。
そして、ステップＳ１３においては、複数の処理用画像ＴＰ間での一致度の比較結果に応じて、基準補正量を設定する。
【００５７】
そして、ステップＳ１４においては、次回の撮像に対する複数の特徴量（予測特徴量）と、基準補正量とに基づき、次回の撮像時における撮像モードを設定する。
そして、ステップＳ１５においては、最新の複数の特徴量を、今回の撮像に対する複数の特徴量として記憶する。
そして、ステップＳ１６においては、基準補正量に応じて信号補正部３１の画像処理の補正を変更して新たな処理用画像ＴＰを取得することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、基準補正量に応じて撮像装置１１の撮像状態（つまり、シャッタスピードおよび絞り値など）を変更して新たな処理用画像ＴＰを取得することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１８に進む。
そして、ステップＳ１８においては、複数の処理用画像ＴＰを合成して距離画像ＰＬを生成する。
そして、ステップＳ１９においては、撮像の停止が指示されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、エンドに進む。
【００５８】
上述したように、本実施の形態による撮像制御装置１０によれば、過去の複数回の撮像により得られた処理用データ毎から抽出された複数の特徴量に基づいて、次回以降の撮像での複数の予測特徴量を予測し、これらの予測特徴量に基づいて、次回以降の撮像時における撮像モードを設定する。これにより、例えば雑音の発生や撮像対象の変化などに起因して画像の状態が急激に変化する場合であっても、この急激な変化に応じて過剰な露光調整が行なわれてしまうことを防止し、適切な撮像状態を継続して維持することができ、撮像対象の検知精度が低下してしまうことを防止することができる。
例えば撮像時のフレームレートが遅く、前後の画像において画像状態が大きく変化している可能性が有る場合であっても、前後の画像の差異に応じて撮像モードが過度に大きく変化してしまうことを防止することができる。また、例えば撮像時のフレームレートが速い場合であっても、撮像モードを緩やかに変化させることができる。
【００５９】
また、予測特徴量を線形予測により予測する場合には、特徴量が線形に変化することから、画像データの補正、例えば露出などの撮像状態の補正あるいは撮像により得られた画像のガンマ補正などの画像処理の補正での補正量が線形に変化し、輝度などの特徴量の分布特性を相似形にすることができる。
【００６０】
また、過去の撮像に対する複数の特徴量に基づき、最新の処理用データに対する最新の複数の特徴量（最新特徴量）を、選択的に更新することから、画像データにばらつきが存在した場合に、突発的な雑音などを除去して、次回の予測特徴量を予測することができ、撮像対象の検知精度を向上させることができる。
さらに、複数の特徴量は注目領域のみに基づいて決定されることから、注目領域での検知感度を向上させることができる。
【００６１】
さらに、複数の特徴量は、画像データの画素での距離の分布を含むことから、撮像対象の検知に対する撮像素子の感度の影響を低減することができる。
【００６２】
なお、上述した実施の形態において、特徴量抽出部３５は最新特徴量を選択的に更新するとしたが、これに限定されず、単に、最新の処理用データから抽出された複数の特徴量を最新特徴量としてもよい。
【符号の説明】
【００６３】
１０  撮像制御装置
２２  機構部（補正手段）
２３  撮像素子
３２  距離分布演算部（距離分布演算手段）
３５  特徴量抽出部（特徴量抽出手段、選択更新手段、注目領域抽出手段）
３６  特徴量記憶部（記憶手段）
３７  特徴量予測部（予測手段）
４３  撮像モード設定部（撮像モード設定手段）
【図１】
2011023973.tif 000011
【図６】
2011023973.tif 000012
【図７】
2011023973.tif 000013
【図２】
2011023973.tif 000014
【図３】
2011023973.tif 000015
【図４】
2011023973.tif 000016
【図５】
2011023973.tif 000017