(57)【要約】【課題】撮像装置による撮像時において、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像が得られるようにする。【解決手段】撮像装置は、テーブル作成処理において、撮像装置において事前に撮像された複数の参照用画像から予め設定されたターゲットを認識することができる値としてノイズ成分の量に応じて設定されたＩＱＬ（Ｋ）（認識性能限界値）を取得する（Ｓ１０４）。そして、撮像装置１において撮像素子から得られた撮像信号から撮像画像を得る際のアナログゲイン値を、ＩＱＬ（Ｋ）を加味して設定し（Ｓ１０７）、このアナログゲイン値に設定した際に、撮像画像において予め設定された輝度が得られるシャッタ時間を、想定される撮像信号の大きさ毎に設定する（Ｓ１０８）。さらに、撮像信号の大きさ毎に、アナログゲイン値およびシャッタ時間との関係が記録された制御テーブルを生成する（Ｓ１０９）。【選択図】図３
2014086909.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像の処理を行う画像処理装置（３０、４０）において実施され、撮像画像を撮像する撮像装置（１）において撮像を行う際の制御設定が記録された制御テーブルを生成する制御テーブル生成方法（４０）であって、
前記撮像装置において事前に撮像された複数の参照用画像から予め設定されたターゲットを認識することができる値としてノイズ成分の量に応じて設定された認識性能限界値を取得する限界値取得工程（Ｓ１０４）と、
前記撮像装置において撮像素子から得られた撮像信号から撮像画像を得る際の増幅率を、前記認識性能限界値を加味して設定する増幅率設定工程（Ｓ１０７）と、
前記増幅率に設定した際に、前記撮像画像において予め設定された輝度が得られる露光時間を、想定される撮像信号の大きさ毎に設定する露光時間設定工程（Ｓ１０８）と、
前記撮像信号の大きさ毎に、前記増幅率および前記露光時間との関係が記録された制御テーブルを生成するテーブル生成工程（Ｓ１０９）と、
を実施することを特徴とする制御テーブル生成方法。
【請求項２】
請求項１に記載の制御テーブル生成方法において、
前記限界値取得工程では、前記参照用撮像画像から予め設定されたターゲットを認識可能な確率を表す認識率が予め設定された基準認識率以上となるときにおける、前記参照用撮像画像のノイズ成分の量に応じた値を、前記認識性能限界値として取得すること
を特徴とする制御テーブル生成方法。
【請求項３】
請求項１または請求項２に記載の制御テーブル生成方法において、
前記参照用撮像画像のノイズ成分の量と、前記撮像画像内の予め設定されたターゲット付近の領域でのコントラスト比と、の関係に応じて認識性能値が設定されており、
前記限界値取得工程では、前記認識性能値のうちから選択される前記認識性能限界値を取得すること
を特徴とする制御テーブル生成方法。
【請求項４】
請求項１〜請求項３の何れか１項に記載の制御テーブル生成方法において、
前記限界値取得工程では、温度に応じて設定された複数の認識性能限界値を取得し、
当該制御テーブル生成方法では、認識性能限界値毎に前記制御テーブルを生成すること
を特徴とする制御テーブル生成方法。
【請求項５】
撮像画像を撮像する撮像装置において撮像を行う際の制御設定が記録された制御テーブルが記録された記録媒体（５０）であって、
前記制御テーブルとして、
撮像画像のノイズ成分の量に応じて設定された認識性能限界値に基づいて設定された、前記撮像装置において撮像素子から得られた撮像信号から撮像画像を得る際の増幅率と、
前記撮像装置において撮像素子から得られると想定される撮像信号の大きさ毎に、前記増幅率に設定した際に、前記撮像画像において予め設定された輝度を得るための露光時間と、
を含むことを特徴とする記録媒体。
【請求項６】
撮像画像を撮像する撮像装置において、撮像素子から得られた撮像信号を得る際の露光時間と、撮像信号を増幅する際の増幅率とを、予め記録媒体内に準備された制御テーブルに基づいて設定する撮像制御装置であって、
前記記録媒体として、請求項５に記載の記録媒体を備えていることを特徴とする撮像制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を撮像する撮像装置において撮像を行う際の制御設定が記録された制御テーブルを生成する制御テーブル生成方法、並びに制御テーブルが記録された記録媒体および撮像制御装置に関する。
【背景技術】
【０００２】
撮像画像を撮像する撮像装置として、撮像素子による撮像信号を増幅する際のアナログゲイン値とシャッタ時間（露光時間）とを制御テーブルにおいて管理するものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２３５４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで一般的には、夜間の車両内部等、比較的暗い領域において撮像を行う場合、アナログゲイン値を小さくし、シャッタ時間を長くするとノイズが少ない撮像画像が得られる傾向があることが知られている。しかしながら、シャッタ時間を極端に長くすると、補助光源の駆動回路等、撮像に必要なハードウェアの消費電力が多くなったり発熱量が多くなったりするため、ハードウェアへの負担が大きくなるという問題点があった。
【０００５】
そこで、このような問題点を鑑み、撮像装置による撮像時において、撮像装置を構成するハードウェアの負担を極力軽減しつつ、良好な撮像画像が得られるようにすることを本発明の目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために成された請求項１に記載の制御テーブル生成方法においては、限界値取得工程にて、撮像装置において事前に撮像された複数の参照用画像から予め設定されたターゲットを認識することができる値としてノイズ成分の量に応じて設定された認識性能限界値を取得する。そして、増幅率設定工程にて、撮像装置において撮像素子から得られた撮像信号から撮像画像を得る際の増幅率を、認識性能限界値を加味して設定し、露光時間設定工程にて、この増幅率に設定した際に、撮像画像において予め設定された輝度を得るための露光時間を、想定される撮像信号の大きさ毎に設定する。さらに、テーブル生成工程にて、撮像信号の大きさ毎に、増幅率および露光時間との関係が記録された制御テーブルを生成する。
【０００７】
このような制御テーブル生成方法によれば、認識性能限界値を加味して増幅率を設定することで、露光時間を極力短くすることができる。よって、露光の際に必要となる電力を抑制することができ、撮像装置を構成するハードウェアの発熱も抑制することができる。また、このようにすると、増幅率は一定となり、露光時間を変更することで撮像画像の明るさを適切な範囲内とすることができる。
【０００８】
なお、上記目的を達成するためには、制御テーブル生成方法を実行する制御テーブル生成装置としてもよいし、コンピュータにおいて、制御テーブル生成方法における各工程を実現するためのプログラムとしてもよい。また、この方法において生成した制御テーブルを記録する記録媒体として構成してもよい。また、この記録媒体に記録された制御テーブルを利用して撮像時の制御を行う撮像制御装置として構成してもよい。
【０００９】
さらに、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
【図面の簡単な説明】
【００１０】
【図１】本発明が適用された撮像装置１の概略構成を示すブロック図である。
【図２】コンピュータが画像認識部３０および制御部４０の機能として実行する撮像制御処理を示すフローチャートである。
【図３】コンピュータが画像認識部３０および制御部４０の機能として実行する制御テーブル作成処理を示すフローチャートである。
【図４】ＩＱＬと認識率との関係を示すグラフである。
【図５】アナログゲイン値とシャッタ時間との関係を示すグラフ（ａ）およびコンピュータが制御部４０の機能として実行するＡ−Ｓ曲線算出処理を示すフローチャート（ｂ）である。
【図６】Ａ−Ｓ曲線およびＩＱＬ曲線を示すグラフである。
【図７】ＩＱＬの算出方法を示す説明図である。
【図８】アナログゲイン値の設定方法を示すグラフである。
【図９】コンピュータが制御部４０の機能として実行するシャッタ時間算出処理を示すフローチャート（ａ）、および制御テーブルの一例を示す説明図（ｂ）である。
【発明を実施するための形態】
【００１１】
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本実施形態の撮像装置１は、撮像を行う際の制御設定が記録された制御テーブルを参照し、この制御テーブルに基づく設定で撮像を行うことで、良好な画像を得ることができるよう配慮されている。また、撮像装置１は、前述の制御テーブルを生成する機能を有する。
【００１２】
詳細には、図１に示すように、撮像装置１は、撮像部１０、照明部２０、画像認識部３０、制御部４０、および辞書部５０を備えて構成されている。撮像装置１は、例えば乗用車等の車両の内部に配置され、運転者の顔を撮像するため等に利用される。
【００１３】
撮像部１０は、多数の撮像素子やレンズ等を備えた周知のカメラとしての構成を備えている。そして撮像部１０は、制御部４０から送信される駆動信号に従った設定で撮像素子から得られる撮像信号を画像化し、画像化によって得られた撮像画像を画像認識部３０に送る。
【００１４】
照明部２０は、例えば赤外光を発するＬＥＤ等を備えた補助照明装置として構成されており、撮像部１０による撮像範囲内を照射することで、撮像を補助する。なお、照明部２０は、制御部４０による駆動信号に応じて作動し、詳細には、撮像部１０が露光を行うタイミングだけ、発光するよう制御される。
【００１５】
画像認識部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ（図示省略）が実行する機能を示している。具体的に、画像認識部３０としての機能では、コンピュータがＲＯＭ等のメモリに記録されたプログラムに基づく処理を実施し、特に、撮像画像を構成するある領域の平均輝度を検出し、この平均輝度を輝度情報として制御部４０に送る。
【００１６】
制御部４０は、画像認識部３０と同様に、コンピュータが実行する機能を示している。具体的には  制御部４０の機能では、コンピュータがＲＯＭ等のメモリに記録されたプログラムに基づく処理を実施し、特に、メモリとして構成された辞書部５０に記録された制御テーブルに記述されたパラメータ値を読み出し、このパラメータ値に基づく撮像制御処理（図２参照）を実行する。また、制御テーブルを作成する制御テーブル作成処理（図３参照）も実施する。
【００１７】
［本実施形態の処理］
次に、制御テーブルを参照しつつ撮像処理を行う撮像制御処理について、図２を用いて説明する。撮像制御処理では、まず、撮像部１０から撮像画像を取得する（Ｓ１）。なお、初回起動時においては、撮像部１０は予め設定された初期パラメータ（初期アナログゲイン値および初期シャッタ時間）を利用して撮像画像を得る。
【００１８】
そして、画像認識部３０の機能を利用して画像認識を行う（Ｓ２）。画像認識の処理では、撮像画像に含まれる目や鼻等の顔部品の位置を検出する。
続いて、輝度算出範囲を設定する（Ｓ３）。ここで、輝度算出範囲とは、撮像画像中において目標とする輝度値（平均輝度）に制御する領域を示し、例えば、顔部品の位置に基づいて、顔全体や、頬や額の部分等、予め設定された領域が設定される。
【００１９】
続いて、平均輝度Ｉtを算出する（Ｓ４）。ここで、平均輝度Ｉtは、前述の輝度算出範囲内の平均輝度を示す。
そして、制御部４０の機能を利用して目標とする輝度Ｉtargetと平均輝度Ｉtとに基づいて、次のフレームの撮像画像を取得する際の総合の増幅率であるゲインＧを算出する（Ｓ５）。ゲインＧの算出には、例えば次式を用いる。
【００２０】
【数１】
2014086909.tif 000003
続いて、制御テーブル（例えば、図９（ｂ）参照）を参照し、ゲインＧに対応するアナログゲイン値およびシャッタ時間を読み出す（Ｓ６）。そして、制御テーブルのアナログゲイン値とシャッタ時間とに従って、撮像部１０および照明部２０を駆動させるための駆動信号を撮像部１０と照明部２０とに送信し（Ｓ７）、Ｓ１の処理に戻る。
【００２１】
次に、制御テーブルの作成を行うテーブル作成処理について図３を用いて説明する。テーブル作成処理では、図３に示すように、まず、画質評価指標（以下、「ＩＱＬ値」とする。）の異なる複数の撮像画像（参照用画像）を取得する（Ｓ１０１）。ここで取得する複数の撮像画像は、予めＩＱＬ値が対応付けられている。なお、ＩＱＬ値の求め方については後述する。
【００２２】
続いて、認識率を演算する（Ｓ１０２）。この処理では、複数の撮像画像のそれぞれから例えば瞼の上の部分や瞳等、所定の顔部品を検出できたか否かを判定し、検出できた確率を認識率とする。そして、図４に示すように、ＩＱＬ値に対応付けて認識率をプロットしておく。
【００２３】
続いて、認識率とＩＱＬ値との相関を算出する（Ｓ１０３）。この処理では、例えば図４に示すＩＱＬ値と認識率との関係のグラフにおいて、最小二乗法等を用いて近似曲線を描くことで、認識率とＩＱＬ値との対応関係を求める。
【００２４】
そして、認識率が予め設定された基準認識率（例えば９５％）以上となるときにおけるＩＱＬ値をＫ（ＩＱＬ（Ｋ））を求める（Ｓ１０４）。図４に示す例では、Ｋ＝２９となる。
【００２５】
続いて、Ａ−Ｓ曲線を取得する（Ｓ１０５）。ここで、Ａ−Ｓ曲線とは、例えば、図５（ａ）に示すように、アナログゲイン値とシャッタ時間との関係を示す曲線を表す。シャッタ時間Ｓｉ（ｉ＝１〜Ｎ）は、撮像画像の目標輝度を得るためのアナログゲイン値およびシャッタ時間の積Ｃ（＝定数）を用いて、次式で求められる。
【００２６】
【数２】
2014086909.tif 000004
Ａ−Ｓ曲線は、図５（ｂ）に示すＡ−Ｓ曲線算出処理にて求められる。すなわち、Ａ−Ｓ曲線算出処理では、まず、定数Ｃを設定し（Ｓ２０１）、上記式（２）において、Ａｉを少しずつ大きく変更しつつ、このときのＳｉを求める処理（Ｓ２０３）をＡｉが所定の大きさ（ｉ＝Ｎ）になるまで繰り返すことで、各Ａｉに対応するＳｉを得る。そして、全てのＳｉが求められるとＡ−Ｓ曲線算出処理を終了する。
【００２７】
続いて、ＩＱＬ曲線を取得する（Ｓ１０６）。ここで、アナログゲイン値およびシャッタ時間とＩＱＬ値との関係は、図６に示すように、予めアナログゲイン値とシャッタ時間とを変化させて撮像を行った多数の撮像画像においてＩＱＬ値を算出することによって準備されている。そして、この処理では、ＩＱＬ値がＫとなる複数の点を抽出し、これらの点を近似曲線で接続することで図６に示すようなＩＱＬ曲線を得る。
【００２８】
なお、ＩＱＬ値は、ノイズの量の標準偏差σ0、および信号強度Ｓを用いて、
【００２９】
【数３】
2014086909.tif 000005
と定義できる。
【００３０】
ここで、標準偏差σ0は、図７（ａ）に示すように、予め参照用画像として同一の構図で時刻が異なる複数の画像（図７（ａ）では時刻ｔ−１の画像と時刻ｔの画像）を準備し、各参照用画像を構成する同じ位置の画素の輝度差を求め、これらの分散を得ることで演算される。また、信号強度Ｓは、図７（ａ）の右図に示す範囲Ａ−Ａのような所定のターゲット（この例では瞳）を横断する際の輝度を連続的に検出し、図７（ｂ）に示すように、この際の最大輝度（ＳA）と最小輝度（ＳB）との輝度差を採用する。
【００３１】
つまり、ＩＱＬ値は、参照用画像のノイズ成分の量と、撮像画像内の予め設定されたターゲット付近の領域でのコントラスト比と、の関係（シグナル（Ｓ）／ノイズ（Ｎ）比）に応じて設定されている。
【００３２】
次に、アナログゲイン値を取得する（Ｓ１０７）。アナログゲイン値は、撮像装置１において撮像素子から得られた撮像信号から撮像画像を得る際の増幅率を示し、ＩＱＬ（Ｋ）（認識性能限界値）を加味して設定される。
【００３３】
詳細には、図８に示すように、Ｓ１０５の処理にて取得されたＡ−Ｓ曲線と、Ｓ１０５の処理にて取得されたＩＱＬ曲線との交点におけるアナログゲイン値（Ａ）を取得する。
続いて、シャッタ時間を算出するシャッタ時間算出処理を実施する（Ｓ１０８）。シャッタ時間算出処理では、図９（ａ）に示すように、予め設定された値として、ゲインが０ｄＢ時のシャッタ時間Ｓ0を設定し（Ｓ３０１）、下記数式において、ｎを０〜Ｎまで順に変更しつつシャッタ時間Ｓnを繰り返し求める（Ｓ３０２）。
【００３４】
【数４】
2014086909.tif 000006
なお、本実施形態の例では、シャッタ時間に拘わらずアナログゲイン値が一定になるため、上記数式（４）を利用するが、アナログゲイン値が一定にならない場合には下記数式を利用すればよい。
【００３５】
【数５】
2014086909.tif 000007
最後に、制御テーブルを登録する（Ｓ１０９）。この処理では、図９（ｂ）に示すように、ゲイン（撮像信号の大きさ）毎に、アナログゲイン値およびシャッタ時間との関係が記録された制御テーブルを生成し、辞書部５０に登録する。
【００３６】
このような処理が終了すると、テーブル作成処理を終了する。
［本実施形態による効果］
以上のように詳述した撮像装置１の制御部４０は、テーブル作成処理において、撮像装置１において事前に撮像された複数の参照用画像から予め設定されたターゲットを認識することができる値としてノイズ成分の量に応じて設定されたＩＱＬ（Ｋ）（認識性能限界値）を取得する（Ｓ１０４）。そして、撮像装置１において撮像素子から得られた撮像信号から撮像画像を得る際のアナログゲイン値を、ＩＱＬ（Ｋ）を加味して設定し（Ｓ１０７）、このアナログゲイン値に設定した際に、撮像画像において予め設定された輝度が得られるシャッタ時間を、想定される撮像信号の大きさ毎に設定する（Ｓ１０８）。さらに、撮像信号の大きさ毎に、アナログゲイン値およびシャッタ時間との関係が記録された制御テーブルを生成する（Ｓ１０９）。
【００３７】
このような撮像装置１によれば、ＩＱＬ（Ｋ）を加味してアナログゲイン値を設定することで、シャッタ時間を極力短くすることができる。よって、露光の際に必要となる電力を抑制することができ、ハードウェアの発熱も抑制することができる。また、このようにすると、アナログゲイン値は一定となり、シャッタ時間を変更することで撮像画像の明るさを適切な範囲内とすることができる。
【００３８】
また、上記テーブル作成処理において、制御部４０は、参照用撮像画像から予め設定されたターゲットを認識可能な確率を表す認識率が予め設定された基準認識率以上となるときにおける、参照用撮像画像のノイズ成分の量に応じた値を、ＩＱＬ（Ｋ）として取得する。
【００３９】
このような撮像装置１によれば、認識率が基準認識率以上となるような制御テーブルを生成することができる。
さらに、上記テーブル作成処理において、参照用撮像画像のノイズ成分の量と、撮像画像内の予め設定されたターゲット付近の領域でのコントラスト比と、の関係に応じてＩＱＬ値が設定されており、制御部４０（Ｓ１０４）では、ＩＱＬ値のうちから選択されるＩＱＬ（Ｋ）を取得する。
【００４０】
このような撮像装置１によれば、ＩＱＬ（Ｋ）をノイズ成分の量とコントラスト比との関係（Ｓ／Ｎ比）に応じて設定することができるので、Ｓ／Ｎ比を適切な値とするための制御テーブルを生成することができる。
【００４１】
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００４２】
例えば、上記実施形態において、テーブル作成処理では、単独のＩＱＬ（Ｋ）を決定したが、撮像環境において想定される温度（温度帯）毎に複数のＩＱＬ（Ｋ）を設定し、ＩＱＬ（Ｋ）毎に制御テーブルを生成するようにしてもよい。この場合、撮像環境の温度を周知の温度計等から取得し、温度に応じて利用する制御テーブルを選択するようにすればよい。
【００４３】
このような撮像装置１によれば、温度に応じた制御テーブルを生成するので、より撮像環境に適した撮像制御を行うことができる。
また、本実施形態では、制御テーブル作成処理を撮像装置１にて実施したが、他の装置を用いて実施してもよい。
【００４４】
［本実施形態の構成と本発明の構成との関係］
本実施形態の画像認識部３０および制御部４０の機能は本発明でいう画像処理装置に相当する。また、撮像装置１が実施する処理においてＳ１０４の処理は本発明でいう限界値取得工程に相当し、本実施形態のＳ１０７の処理は本発明でいう増幅率設定工程に相当する。
【００４５】
さらに、本実施形態のＳ１０８の処理は本発明でいう露光時間設定工程に相当し、本実施形態のＳ１０９の処理は本発明でいうテーブル生成工程に相当する。
【符号の説明】
【００４６】
１…撮像装置、１０…撮像部、２０…照明部、３０…画像認識部、４０…制御部、５０…辞書部。
【図１】
2014086909.tif 000008
【図２】
2014086909.tif 000009
【図３】
2014086909.tif 000010
【図５】
2014086909.tif 000011
【図８】
2014086909.tif 000012
【図９】
2014086909.tif 000013
【図４】
2014086909.tif 000014
【図６】
2014086909.tif 000015
【図７】
2014086909.tif 000016