(57)【要約】      （修正有）【課題】動画ビデオ取得プロセスのために露出設定を計算する、改善された方法を提供する。【解決手段】画像フレームを取得するための露出を、初期の露出設定値に基づいて取得し、合計コスト計算によって、実質的に最適値が得られる露出値を見つけ、一時的露出値を決定する。特定の露出値から合計コストを計算することは、コスト関数によって、取得された画像フレームの画像ピクセルの特定の露出値における信号レベルに基づいて決定し、一時的露出値において、取得された画像の飽和ピクセルのコストを計算する。一時的露出値に対する露出値の低下を見つけることによって、次の露出値を決定する。露出値の低下において、一時的露出値における、非飽和ピクセルの合計コストの変化は、一時的露出値で計算された、飽和ピクセルのコストと実質的に等しくなるように決定する。新たな画像フレームを取得するために、この決定された次の露出値を使用する。【選択図】図２
2015211469.tif 000002
【特許請求の範囲】
【請求項１】
画像センサによって画像フレームを取得することであって、当該取得するための露出を、初期の露出設定値に基づいて取得することと、
合計コスト計算に適用された時に、実質的に最適値が得られる露出値を見つけることによって、一時的露出値を決定することであって、
特定の露出値から前記合計コストを計算することは、コスト関数と組み合わされた、前記取得された画像フレームの画像ピクセルの前記特定の露出値における信号レベルに基づく、決定することと、
前記一時的露出値において、前記取得された画像の飽和ピクセルに関する、前記飽和ピクセルのコストを計算することと、
前記一時的露出値に対する露出値の低下を見つけることによって、次の露出値を決定することであって、前記露出値の低下において、前記一時的露出値における、非飽和ピクセルの前記合計コストに対する、非飽和ピクセルの合計コストの変化は、前記一時的露出値で計算された、前記飽和ピクセルのコストと実質的に等しい、決定することと、
新たな画像フレームを取得するために、この決定された次の露出値を使用することと、
を含む方法。
【請求項２】
取得した画像フレームを、実質的にすべて動画ビデオストリームに挿入することをさらに含む、請求項１に記載の方法。
【請求項３】
前記新たな画像フレームの前記取得により、前記一時的露出値を決定するステップ、飽和ピクセルのコスト値を決定するステップ、及びさらに画像フレームを取得するために、次の露出値を決定するステップの繰り返しが始まる、請求項１又は２に記載の方法。
【請求項４】
前記合計コストの計算は、コスト関数と組み合わされた、前記取得された画像のヒストグラムに基づき、当該ヒストグラムは、前記特定の露出値における、前記取得された画像フレームの異なる強度レベルにおけるピクセル数を表している、請求項１から３のいずれか一項に記載の方法。
【請求項５】
ヒストグラムは、フレーム露出の間に、特定の強度レベルで光を受ける、画像センサの画像センサ要素の数を表す関数である、請求項４に記載の方法。
【請求項６】
前記一時的露出値を決定することにおいて、特定の露出値の合計コストを計算することは、前記取得された画像データから、異なる露出値を表す複数のヒストグラムを計算することと、
登録された各強度レベルの前記ヒストグラム値を、前記コスト関数の対応する強度レベルにおけるコスト値で乗算することと、
特定の露出値に関する各ヒストグラムに対し、前記ヒストグラムの、実質的にすべての強度レベルの各乗算の積を加えることによって、各露出値の合計コストを計算することと、
最低合計コスト、及び対応露出値を見つけるために、各露出値の計算された合計コストをアルゴリズムで使用することと、
を含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記コスト関数は、特定の強度レベルにおける前記画像センサの動作関数である、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記一時的露出値の決定、前記飽和ピクセルのコストの決定、前記次の露出値の決定の、一反復は、前記取得された同じ画像データに基づく、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記飽和ピクセルのコストは、前記一時的露出値における、前記画像データの飽和ピクセル数を、飽和ピクセルの所定のコスト値で乗算して計算される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記画像フレームの特定の対象エリアに属するピクセルが、前記合計コストの計算において複数回カウントされる、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記画像フレームの特定の対象エリアに属するピクセルが、非飽和ピクセルの前記合計コストの計算において複数回カウントされる、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
画像取得装置であって、
画像フレームを取得するように適合された画像センサと、
露出値を記憶するメモリと、
当該メモリに記憶された前記露出値に基づき、前記画像センサによって取得されるべき、画像の露出を制御するように適合された露出コントローラと、
合計コストの計算に適用された時に、実質的な最適値が得られる露出値を見つけることによって、第１露出値を決定する手段であって、
特定の露出値から前記合計コストを計算することは、コスト関数と組み合わされた、前記取得された画像フレームの画像ピクセルの、前記特定の露出値の信号レベルに基づいている、第１露出値を決定する手段とを備え、
前記第１露出値において、前記取得された画像の前記飽和ピクセルに関する、飽和ピクセルのコストを計算するように適合された、飽和ピクセルのコスト計算機と、
前記第１露出値に対する露出値の低下を見つけることによって、第２露出値を決定する手段であって、露出値の低下において、前記第１露出値における非飽和ピクセルの、前記合計コストに対する非飽和ピクセルの合計コストの変化は、前記第１露出値において計算された、前記飽和ピクセルのコストと実質的に等しい、決定する手段と、
前記第２露出値を、前記露出値としてメモリに記憶する手段と、
によって特徴づけられる画像取得装置。
【請求項１３】
前記取得された画像フレームを受け入れて、動画ビデオストリームの中へ加えるように適合された、動画ビデオエンコーダをさらに備える、請求項１２に記載の画像取得装置。
【請求項１４】
前記コスト関数は、特定の強度レベルにおける前記画像センサの動作関数である、請求項１２又は１３に記載の画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得装置の露出を設定するための方法、及び装置に関する。さらに、本発明は、画像及び動画ビデオを取得するための、露出設定を決定するプロセスに関する。
【背景技術】
【０００２】
技術的な手段を用いた画像の取得は、静止画像及び／又は動画ビデオを取得することができる装置を持って、歩く人が増えるにつれ、増加している。さらに、取得された画像、静止画像、及び／又は動画ビデオは、監視及び偵察システムで使われることが増えている。特定の使用向けに画像情報を取得するために、画像センサが取得しようとしている光への、画像センサの露出を正確に制御する必要がある。エンドユーザが使用に適した画像を、より簡単に取得できるようにするために、適切な露出の自動設定方式が開発されている。長期間、静止画像及び／又は動画ビデオを連続的に取得するシステムにおいて、上記露出の自動設定方式は特に重要視される。例えば、いかなる長期間、具体的には夜、朝、及び全日にわたる期間において、照明条件は実質的に変化する。照明条件は、天気の変化、雲量の変化、現場の照明の変化、例えば電灯のスイッチオン又はオフが原因で、実質的に短時間に変わる可能性もある。
【０００３】
幾つかのカメラにおいて、カメラの前の現場の露出設定は、カメラに装着された別々の露出計からの入力に基づいて、自動的に計算される。他のカメラでは、現場の露出設定は、カメラの画像センサによって取得された、画像データに基づいて自動的に計算される。露出設定を計算するために、画像センサから画像データを使用する一例が、米国特許第８４４６４８０  Ｂ２号明細書（ＫＡＬＥＶＯ）に提示されている。この特許明細書には、露出制御のための方法及び装置が記載されている。特定の強度レベルにおいて光を受ける、画像センサのセンサ要素の数のヒストグラムが決定される。さらに、受光強度の関数として、画像センサの機能を表すコスト関数は、複数の露出時間について利用可能である。次に、このヒストグラムとコスト関数に基づいて露出時間が決定される。この文献の教示内容は、静止画像の取得のための露出を見つけることに関する。上記方法の一つの問題は、この方法が単一の静止画像の取得における使用のために構成されたものであり、この方法の教示内容は従って、長期間にわたってカメラ視野を表すシリーズの一部として取得される、動画ビデオ又は静止画像を取得することに関する問題に対処するものではないことである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの目的は、動画ビデオ取得プロセスのために露出設定を計算する、改善された方法を提供することである。
【課題を解決するための手段】
【０００５】
この目的は、請求項に記載の方法を用いて、また請求項に記載の画像取得装置を用いて達成される。本発明のさらなる実施形態は、従属請求項に提示される。
【０００６】
具体的には、本発明の一実施形態によれば、ある方法は、画像センサを用いて画像フレームを取得することであって、取得するための露出は、初期の露出値設定に基づいて取得することと、合計コストの計算に適用された時に、実質的に最適値となる露出値を見つけることによって、一時的露出値を決定することであって、特定の露出値から合計コストを計算することは、コスト関数と組み合わされた、取得された画像フレームの、画像ピクセルの特定の露出値の信号レベルに基づいて決定することと、一時的露出値において取得された、画像の飽和ピクセルに関する飽和ピクセルのコストを計算することと、一時的露出値に対する露出値の低下を見つけることによって、次の露出値を決定することであって、露出値の低下において、一時的露出値における非飽和ピクセルの合計コストに対する、非飽和ピクセルの合計コストの変化は、一時的露出値において計算される、飽和ピクセルのコストに実質的に等しい、決定することと、新たな画像フレームを取得するために、この決定された次の露出値を使用することとを含む。この方法の一つの利点は、次から次へ取得された画像、すなわち動画ビデオで、動揺しない安定した露出設定を有する。さらに、この方法は迅速である。
【０００７】
別の実施形態では、本方法は、取得した画像フレームを、実質的にすべて動画ビデオストリームに挿入することをさらに含む。振動する露出を避けることの利点は、上記実施形態においてさらに顕著となる。
【０００８】
一実施形態では、新たな画像フレームの取得により、一時的露出値を決定するステップ、飽和ピクセルのコスト値を決定するステップ、及びさらに画像フレームを取得するために次の露出値を決定するステップが繰り返される。
【０００９】
一実施形態によれば、合計コストの計算は、コスト関数と組み合わされた、取得された画像のヒストグラムに基づき、ヒストグラムは、特定の露出値における、取得された画像フレームの異なる強度レベルにおける、ピクセル数を表している。ヒストグラムを使用することの利点は、このプロセスで必要とされる処理容量が、ヒストグラムを使用しない場合よりも少なくなりうることである。さらに、記憶する必要のあるデータ量も削減されうる。
【００１０】
一実施形態では、ヒストグラムは、露出の間に、特定の強度レベルで光を受ける画像センサの、画像センサ要素の数を表す関数である。
【００１１】
別の実施形態によれば、一時的露出値を決定することにおいて、特定の露出値の合計コストを計算することは、取得された画像データから、異なる露出値を表す複数のヒストグラムを計算することと、登録された各強度レベルのヒストグラム値を、コスト関数の対応する強度レベルにおけるコスト値で乗算することと、特定の露出値に関する各ヒストグラムに対し、前記ヒストグラムの、実質的にすべての強度レベルの各乗算の積を加えることによって、各露出値の合計コストを計算することと、最低合計コスト、及び対応する露出値を見つけるために、各露出値の前記計算された合計コストを、アルゴリズムで使用することとを含む。この実施形態で説明したように、合計コストを計算することによって、このプロセスで使用される処理容量が減る可能性があり、処理がさらに速くなりうる。
【００１２】
別の実施形態では、コスト関数は、特定の強度レベルにおける画像センサの動作関数である。
【００１３】
さらに別の実施形態では、一時的露出値の決定、飽和ピクセルのコストの決定、次の露出値の決定の、一反復は、取得された同じ画像データに基づいている。
【００１４】
一実施形態によれば、飽和ピクセルのコストは、一時的露出値における画像データの飽和ピクセル数を、飽和ピクセルの所定のコスト値で乗算して計算される。
【００１５】
別の実施形態によれば、画像フレームにおいて、特定の対象エリアに属するピクセルは、合計コストの計算において複数回カウントされる。この実施形態の利点は、露出設定が画像フレームの限定されたエリア又は認識された対象物をより簡単に、迅速に優先する、又はこれらに重点をおくことができることである。これにより、より適切な、及び／又は正確な露出を達成することができる。
【００１６】
さらに別の実施形態によれば、画像フレームの特定の対象エリアに属するピクセルが、非飽和ピクセルの合計コストの計算において、複数回カウントされる。この実施形態の利点は、露出設定が画像フレームの限定されたエリア又は認識された対象物をより簡単に、迅速に優先する、又はこれらに重点をおくことができることである。これにより、より適切な、及び／又は正確な露出を達成することができる。
【００１７】
本発明の別の態様によれば、画像取得装置は、画像フレームを取得するように適合された画像センサと、露出値を記憶するメモリと、メモリに記憶された露出値に基づき、画像センサによって取得されるべき画像の露出を制御するように適合された露出コントローラと、合計コストの計算に適用された時に、実質的な最適値が得られる露出値を見つけることによって、一時的露出値を決定する手段であって、特定の露出値から合計コストを計算することは、コスト関数と組み合わされた、取得された画像フレームの画像ピクセルの特定の露出値の信号レベルに基づいている、一時的露出値を決定する手段と、一時的露出値において取得された、画像の飽和ピクセルに関する飽和ピクセルのコストを計算するように適合された、飽和ピクセルのコスト計算機と、一時的露出値に対する露出値の低下を見つけることによって、次の露出値を決定する手段であって、露出値の低下において、一時的露出値における非飽和ピクセルの合計コストに対する非飽和ピクセルの合計コストの変化は、一時的露出値において計算された飽和ピクセルのコストと実質的に等しい、決定する手段と、次の露出値を露出値としてメモリに記憶する手段とを備える。
【００１８】
別の実施形態では、画像取得装置はさらに、取得された画像フレームを受けとり、これを動画ビデオストリームの中に加えるように、適合された動画ビデオエンコーダを備える。
【００１９】
さらに別の実施形態では、コスト関数は、特定の強度レベルにおける画像センサの動作関数である。
【００２０】
本発明の適用性のさらなる範囲は、下記の詳細説明から明らかとなる。しかしながら、詳細説明及び特定例は、この詳細説明から本発明の範囲内の様々な変更及び修正が当業者に明らかとなるため、本発明の好ましい実施形態を示す一方で、説明の目的のみに与えられたものであることを理解すべきである。したがって、本発明は、説明した装置、又は説明した方法のステップの特定の構成要素パーツに限定されず、上記装置及び方法は、変更可能であることを理解すべきである。本明細書で使用される専門用語は、特定の実施形態を説明することのみが目的であり、限定を意図するものではないことも理解すべきである。本明細書及び添付の請求項の範囲で使用される、「ａ（一つの）」、「ａｎ（一つの」、「ｔｈｅ（その）」、及び「ｓａｉｄ（前記）」という冠詞は、他に明確な指示がない限り、一又は複数の要素があることを意味するものであることに留意されたい。したがって、例えば「ａ（一つの）センサ」、又は「ｔｈｅ（その）センサ」は、いくつかのセンサを含みうるといった具合である。さらに、「含む、又は備える（ｃｏｍｐｒｉｓｉｎｇ）」という単語は、他の要素又はステップを除外するものではない。
【００２１】
本発明の他の特徴及び利点は、添付の図面を参照しながら、現在好ましい実施形態の詳細説明を読むことから明らかとなる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態の概略ブロック図である。
【図２】本発明の一実施形態によるプロセスのフロー図である。
【図３】特定の露出値における、取得された画像フレームの例示のヒストグラムである。
【図４】高い露出値に対して再計算された図３のヒストグラムである。
【図５】画像要素の信号レベルを考慮して、画像センサのコスト関数が、どのように変化しうるかを示す例示のグラフである。
【図６】代替コスト関数の一例、及び画像要素の信号レベルを考慮して、代替コスト関数が、どのように変化するかを示す図である。
【図７】図２の一時的露出値を見つけるための、代替プロセスのフロー図である。
【発明を実施するための形態】
【００２３】
さらに図面において、同じ参照記号は、幾つかの図面全体で同じ、又は対応するパーツを指定している。
【００２４】
本明細書を実行するカメラは、一実施形態によれば、画像センサ及び処理容量を含む、いかなるの種類のカメラであってもよい。本発明の利点は、静止画像を取得する時よりも、動画ビデオを取得する時の方がより明らかである。
【００２５】
図１では、本発明の一実施形態によるカメラ１２が概略的に図示される。カメラは、画像センサ１６上に取得されるべき場面からの光を集束するレンズ１４を含む。画像センサ１６によって取得された画像情報は、デジタル画像データに変換される。これは、画像センサ１６の別々のブロックに、又は画像処理ユニット１８に配置されたアナログデジタルコンバータ（Ａ／Ｄコンバータ）によって行うことができる。画像処理ユニット１８は画像データを処理し、デモザイク、色の調節、露出設定の計算、オートフォーカス処理、取得した画像データの動画ビデオストリーム又は静止画像への符号化、ヒストグラムの計算等を行うことができる。画像処理ユニット１８は、使用される露出設定の決定に関する、下記のアルゴリズムを実行するように適合させることができる。中央処理ユニット２０は、例えばユーザインターフェース、サーバ機能等のカメラ１２の一般機能を制御するように適合される。カメラ１２は、カメラをコンピュータネットワーク２４に結合させるためのネットワークインターフェース２２を含むこともできる。
【００２６】
さらに、不揮発性メモリ２６は、画像処理ユニット１８及び中央処理ユニット２０によって実行される命令を記憶するように適合させることができる。カメラ１２は、画像処理ユニット１８及び中央処理ユニット２０の、一つの共通の不揮発性メモリ２６を含むことができる、又は、カメラ１２は、画像処理ユニット１８及び中央処理ユニット２０それぞれ別々の不揮発性メモリ２６を含むことができる。少なくとも一つの揮発性メモリ２８は、処理ユニット１８、２０のワーキングメモリとして適合される。内部通信及びデータ伝送は、内部バス３０を介して行うことができる。
【００２７】
さらに、カメラ１２は露出コントローラ３２を含む。露出コントローラ３２は特定の制御回路、画像処理ユニット１８又は中央処理ユニット２０の機能ブロック、又は特定の制御回路と機能ブロックとの組み合わせであってよい。露出コントローラ３２は、画像センサ１６のシャッター機能を制御するための、画像センサ１６に結合されたシャッター制御出力３４を有する。カメラが機械的シャッターを含む場合、シャッター出力３４は機械的シャッターと結合している。露出コントローラ３２は、露出時間、開口サイズ、ゲイン等を制御するように設計することができる。
【００２８】
本発明の一実施形態による、カメラ１２の露出設定を生成するプロセスを、図２を参照しながら以下に説明する。この実施形態では、露出設定を生成するプロセス２００は、動画ビデオを取得するプロセスの不可欠な部分である。このプロセスは、プリセット露出値ｅｉを露出値として使用することで開始される（ステップ２０２）。このプリセット値は、画像の取得を開始した時にメモリ２６又は２８に記憶される露出値であってよい。その後の露出設定は露出値ｅに基づく（ステップ２０４）。露出値ｅから生成された露出設定を使用して、カメラ１２の画像センサ１６を用いて画像を取得する（ステップ２０６）。露出値ｅは、揮発性メモリ２６に一時的に記憶されうる。ヒストグラムデータは、取得した画像から生成される（ステップ２０８）。ヒストグラムデータは、各光強度レベルにおいて取得したピクセル数を表す。このヒストグラムデータは、ピクセル数がｙ軸に対して描画され（縦座標値）、及び光強度レベルがｘ軸に対して描画される（横座標値）グラフとして一般に図示され、図３及び４に例が示される。
【００２９】
次に、ヒストグラムデータ、及びコストを強度レベルの関数として定義するコスト関数を使用して、現在使用される露出値の合計コスト値Ｃ（ｅ）、これにより現在使用される露出設定を計算する（ステップ２１０）。次に、この計算を、実質的な最低コストを見つけるために、ステップ２０６で取得した画像の画像データに基づいて予測された、任意の数の異なるヒストグラムに対して行い、実質的な最低コストは、実行されるコスト関数により、最高値又は最低値によって表すことができる。このプロセスにおいて、最低コストの探索は、最低コストが見つかった場合に関してチェックが行われるプロセスステップ２１２によって、及び露出値ｅが変更されるステップ２１４を介したループバックによって表され、新たなヒストグラムの予測は、取得した画像とこの変更された露出値ｅに基づく計算を用いて、ステップ２１０における新たな露出値のコストを計算するステップに対して行われる。露出値ｅの変更は、最低コストにつながる露出値を見つけるために使用されるアルゴリズムと同時に行われる。
【００３０】
最低コストにつながる露出値を見つけるために使用されるアルゴリズムが、実質的に最低コストにつながる露出値を見つけた時、この露出値は一時的露出値（ｅｔｅｍｐ）として記憶される（ステップ２１６）。
【００３１】
一時的露出値ｅｔｅｍｐには、計算されたヒストグラムの飽和ピクセル、すなわち現在の画像表現が記録されうる最大強度レベル以上の強度レベルを表すピクセル、がある可能性がある。これらの飽和ピクセルのコストＣｓａｔは、飽和ピクセルにのみ関するコスト関数の一部に基づいて計算される（ステップ２１８）。飽和ピクセルが最大光強度レベルによって表されれば、コスト計算は、ピクセル数を、最大強度のコストを表すコスト関数のコスト値で、単純に乗算することによって行うことができる。
【００３２】
次に、切り捨てヒストグラムを、最初はｅｔｅｍｐと等しい露出値ｅについて計算する（ステップ２２０）。本願において、切り捨てヒストグラムとは、露出値ｅｔｅｍｐにおいて飽和したピクセル以外のすべてのピクセルを表すヒストグラムである。切り捨てヒストグラムは、計算のために使用すべき露出値とは関係なく、一時的露出値のｅｔｅｍｐにおいて飽和していないピクセルについて計算される。露出値ｅにおける画像の合計コストＣｔｒｕｎｃ（ｅ）は、露出値ｅとコスト関数における切り捨てヒストグラムに基づいて計算される（ステップ２２２）。ステップ２２４において、このプロセスでは現在の露出値Ｃｔｒｕｎｃ（ｅ）における切り捨てヒストグラムの合計コストが、一時的露出値Ｃｔｒｕｎｃ（ｅｔｅｍｐ）における切り捨てヒストグラムの合計コストに対して、Ｃｓａｔと実質的に等しい、すなわちＣｔｒｕｎｃ（ｅ）−Ｃｔｒｕｎｃ（ｅｔｅｍｐ）＝Ｃｓａｔが成り立つ程度に増加したかをチェックする（ステップ２２４）。合計コストの増加が、実質的にＣｓａｔと等しくない場合、切り捨てヒストグラムのコストＣｔｒｕｎｋ（ｅ）が、飽和ピクセルＣｓａｔのコストと実質的に等しくなる露出値を見つけるためのアルゴリズムにしたがって、露出値ｅを次に変更する（ステップ２２６）。次に、プロセスは、切り捨てヒストグラム、及び新たな露出値ｅのコスト値Ｃｔｒｕｎｋ（ｅ）を計算するためにステップ２２０及び２２２に戻る。
【００３３】
ステップ２２４において、切り捨てヒストグラムＣｔｒｕｎｃ（ｅ）−Ｃｔｒｕｎｃ（ｅｔｅｍｐ）の合計コストの増加が、Ｃｓａｔと実質的に等しいことがわかった時、次に、画像配列における次の画像の露出値を決定し、次の画像を取得し、次に、露出を再びチェックするために、プロセスはステップ２０４に戻る。
【００３４】
別の実施形態では、取得した画像フレームについてヒストグラムは計算されない。その代り、コスト関数を実質的に各個別のピクセルに適用して、合計コスト値が算出される。
【００３５】
上述の実施形態で使用し、説明した露出値は、カメラの露出設定を定義する値である。露出値は、露出時間、開口サイズ、及びゲインのうちの任意の一つ、又は任意の組み合わせを少なくとも決定することができる。この説明の例では、露出値と露出設定との間の関係は、露出値を２５％上げた後に、すべての光強度レベル（以下、信号レベルと呼ぶ）が２５％増加すると予想される関係である。この光強度レベルにより、画像センサから信号レベルが出力され、この信号レベルはピクセル値とも呼ぶことができる。本発明が実行されるカメラの露出値、及び結果的に得られる合計光強度レベルは、上述したように線形でない場合であっても、上述した推定される関係は、十分にヒストグラムの予測のベースとなる。当業者は、露出値と露出設定との間の値及び関係は別々に選択したとしても、やはり同じ効果が得られることが可能であることを理解するだろう。
【００３６】
したがって、計算されたこれらのヒストグラムのベースとなる、取得した画像データの露出値以外の、他の露出値を表すヒストグラムの計算において、取得した画像データの露出値に対する露出値の変更を利用して、新たなヒストグラムを計算することができる。上述したように、各ピクセル信号レベルを乗算することによって、又は比率によってヒストグラムの各項目（ｅｎｔｒｙ）を乗算することによって、所望の露出値ｅｄｅｓと露出値との比率、元の露出値−取得された画像のｅｏｒｇ、すなわち比率＝ｅｄｅｓ／ｅｏｒｇを新たなヒストグラムの計算に利用することができる。しかしながら、元の露出値よりも低い露出値を利用したヒストグラム予測の計算により、取得した画像データの飽和ピクセルが、上限値の信号レベルを有する値として記憶され、取得した画像データは、各飽和ピクセルの実際の値が、飽和レベルよりどれくらい高いかのいかなる情報も含まないため、深刻な誤差が生じうる。したがって、低い露出値に対する、取得した画像データに基づくヒストグラムの再計算によっては、飽和信号レベルのピクセルを低い信号レベルへ移すだけであり、この低い信号レベルと飽和信号レベルの値との間の信号レベルによりいかなるデータも完全に無効となる。
【００３７】
ヒストグラムを図として提示しうる図３及び４を参照する。図３のヒストグラムは、例えば、信号レベルＳＬ１において最もピクセルを有する、取得した画像のヒストグラムを表すことができ、このレベルのピクセル数はＰ１である。飽和ピクセル数Ｐｓは、飽和信号レベルｓｓａｔに示されている。このヒストグラムは、露出値ｅ１において取得した画像データに基づいている。図４のヒストグラムは、ｅ１よりも１．２５倍高い、すなわち露出値が２５％増加した露出値ｅ２において、図３のヒストグラムによって表される画像データから計算される再計算されたヒストグラムを表したものである。図４から分かるように、信号レベルＳＬ２の最も多いピクセルを表すピークが、低い露出値を表すヒストグラムにおける対応位置よりも高い信号レベルに移動している。図３の飽和ピクセル数Ｐｓ１を図４の飽和ピクセル数Ｐｓ２と比較すると、この露出値の増加により、より多数のピクセルも飽和ピクセルを表す信号レベルに到達している。
【００３８】
一実施形態によれば、ヒストグラムは関数ｈ（ｓ）として記載され、この関数において、ｓは信号レベルであり、０〜Ｓｓａｔの間の値に限定される。上述した比率に対応しうる露出変更ｅの新たなヒストグラムｈ´（ｓ）の計算は、新たなヒストグラムの非飽和部分の数式１によって記載することができる。
【００３９】
2015211469.tif 000003
【００４０】
上述したコスト関数は、特定ピクセル値の適合性を付与する関数として定義することができる。コスト関数は、取得した画像の信号レベルを表し、飽和ピクセルの値を含むこともできる。この目的で利用することができる多くの種類のコスト関数が存在する。さらに、コスト関数は、コストを計算する時の空間的見地を考慮に入れることができる、すなわち、コスト関数は取得した画像のコンテンツを考慮するように適合させることができる。一実施形態によれば、コスト関数は、異なる信号レベルのピクセルのノイズレベルに基づいている。これは、上述したアルゴリズムが、全体的にノイズは低いが、露出を考慮して、実質的に安定した画像配列を生成する画像を生成する露出値を、見つけるように適合されることを意味する。
【００４１】
コスト関数は従って、ノイズに基づくものでありうる。リードノイズ（ｎｒ）及びフォトンショットノイズ（ｎｓ）は概して、カメラ応用形態において主要なノイズ源である。リードノイズは、信号レベルに関わらず一定であるが、ショットノイズは信号レベル（ｓ）の二乗根として計算することができる。
【００４２】
2015211469.tif 000004
【００４３】
一実施形態では、コスト関数は、システムの信号レベルの範囲にわたる信号ノイズ比（ＳＮＲ）に基づいている。上記コスト関数は数式５に提示されている。
【００４４】
2015211469.tif 000005
【００４５】
上記コスト関数を図に描画すると、図５に提示されるグラフのようになりうる。グラフから、信号ノイズ比は、低信号レベルではかなり悪いが、信号レベルが増加するにつれて良くなることがわかる。グラフが中途で終わっているのは、単純に、画像センサの最大信号レベルに到達し、この値を超えて信号ノイズ比は存在しないことを示している。
【００４６】
特定の露出のコスト関数とヒストグラムを組み合わせることによって、露出の合計コストを計算することができる（図６参照）。
【００４７】
2015211469.tif 000006
この式では、ｓｍａｘは、画像取得装置において表される最大信号レベルである。
【００４８】
コスト関数が、最高ピクセル品質において高い値を有するとして定義されるため、最大値を生成するヒストグラムを見つけることによって、最大の露出を見つけることは簡単であるはずである。したがって、最大（ｃｈ）値を生成する露出値を見つけるためには十分である。
【００４９】
しかしながら、この最大化法だけを実行した場合、取得した動画ビデオの露出には振動が生じ、この振動は視聴者を大幅に妨げる可能性がある。具体的には、カメラが、オペレータが動画ビデオを長時間スクリーン上に表示する監視システムの一部である場合、画像の露出の上記振動効果は、オペレータにとって有害にさえなりうる。この振動現象に潜む問題は、飽和ピクセルの処理に見出しうる。例えば、現在の画像が暗すぎる場合、飽和ピクセルが少なすぎるわけであるが、既定の露出の増加に対し、幾つのピクセルがさらに飽和するかを予測することができる。これはつまり、所望の数の飽和ピクセルが得られる、新たな露出を直接選択することができることを意味する。言い換えれば、現在の画像が明るすぎて露出を減らす必要がある場合に、既定の露出の低下に対して、非飽和になるピクセルの数を知るすべがなく、これはつまり、新たな露出を直接見つけることができないことを意味する。この問題の一解決策は、アルゴリズムを２つの露出決定ステップに分けることである。したがって、図２に関連して提示されるアルゴリズムは、様々な露出値を利用して露出された画像の最適コストを見つける第１部と、露出値が飽和ピクセルを考慮して調節される第２部とを含む。一実施形態によれば、第１部は取得した画像の露出値よりも高い露出値をテストするだけであり、第２部は一時的露出値よりも低い露出値をテストするだけである。
【００５０】
図２を参照する。一実施形態によれば、ステップ２１０、２１２、２１４を含む露出値を見つける第１部は、上述したように、ステップ２０６において画像を取得するために使用される露出値よりも、大きい露出値を有する露出のみを評価するように適合される。より大きい露出値のみを評価することの利点は、既知のデータを使用することができることと、どの露出値において、取得された画像の飽和ピクセルが非飽和になるかに関する仮定が避けられることである。したがって、画像を取得するために使用される露出値よりも大きく、最適コストが得られる露出値が検索される。決定されると、一時的露出値（ｅｔｅｍｐ）と呼ばれるこの露出値が、継続されるプロセスで使用される。第１部は露出値を上げるためのみに適合されているため、第２部は露出値を下げるべきかを調べるように適合される。
【００５１】
この第２部は、ステップ２１８、２２０、２２２、２２４、及び２２６を含み、先述したように、飽和ピクセルが画像に与える影響を評価するように適合される。一実施形態において、これは、一時的露出値（ｅｔｅｍｐ）における飽和ピクセルの数を考慮して、どれほどの追加コストが容認されるかを計算することによって達成される。ステップ２１８に関連させて説明した飽和ピクセルのコスト計算は、飽和ピクセル用に定義された一定のコスト値を有することによって、そして次にこのコスト値を、一時的露出値において飽和されるべき計算されたピクセル数で、乗算することによって行うことができる。飽和ピクセルのこのコストは次に、容認されるコスト上昇の値として使用される。
【００５２】
次にステップ２２０、２２２、２２４、及び２２６において、飽和ピクセルを除外したヒストグラムが使用される。このヒストグラムは、切り捨てヒストグラムと呼ばれる。この切り捨てヒストグラムを使用することによって、露出値を低下させる時に、いつ飽和ピクセルが非飽和になるべきかがわからない問題が克服される。ステップ２２０、２２２、２２４及び２２６に関して説明したように、切り捨てヒストグラムが計算され、現在の露出値における、切り捨てヒストグラムのコストが計算される。次に、露出値が、現在の露出値において計算されるヒストグラムの合計コストが、一時的露出値において飽和ピクセルに対して計算されるコストに実質的に対応する値だけ低下するまで、低下する。このプロセスから生じる露出値を次に、次の画像を取得するための露出値として使用することができる。
【００５３】
一実施形態によれば、コスト関数において使用されるＳＮＲは、例えば、ノイズ信号比等の逆ＳＮＲ関数によって置換される（図６参照）。ＳＮＲ関数の代わりに、逆ＳＮＲ関数をコスト関数の基本とすることによって、第１プロセスステップは、最適な一時的露出値を、最大値の代わりに最小値として算出する。さらに、ＳＮＲに基づくコスト関数は、逆か否かにかかわらず、各露出で使用されるゲインに依存する。しかしながら、ゲインが変わるたびにコスト関数を再計算することは、装置の性能の観点から効率的とは言えない。一実施形態では、異なる露出に対する飽和コストが、代わりに変更される。この結果、コストを再計算するのと実質的に同じ効果であるが、計算の複雑性が大幅に低減される。異なる露出レベルでの飽和コストは、アルゴリズムが設定された時に、主観的に構成されるパラメータであってよい。
【００５４】
図２に関連して説明した、プロセスの第１部の間に最適露出値を見つけるプロセスでは、改変された二分探索法を使用することができる。この探索法は図７のフロー図に示されており、このプロセスを図２に現在あるプロセスステップの代わりに、図２のプロセスステップ２０８と２１６との間に直接挿入することができる。探索法は、現在の露出値の間隔において、等距離に配分された５つの露出値ポイントを選択すること（ステップ７０２）を含む。この初期の露出値の間隔は、妥当な露出値を含む所定の露出値の間隔である。次に、これら５つの露出値のヒストグラムが計算され、各露出値ポイントの合計コストが、コスト関数及び各露出値のヒストグラムに基づいて計算される（ステップ７０４）。現在の露出値の間隔は２つに分割され、最適合計コストにつながる露出値を含む、現在の露出値の間隔の半分が、新たな現在の露出値の間隔として選択される（ステップ７０６）。最適合計コストは、使用されるコスト関数によって、最小値又は最大値であってよい。ステップ７０８では、プロセスはステップ７０２に戻るか、又はプロセスを継続するかが決定される。一実施形態によれば、第１部の間に最適露出値を見つけるプロセスは、３回繰り返した後で終了するように適合され、プロセスは、３回繰り返した後で、実質的に最適露出値が見つかることを規定している。これにより、多数の実装態様において十分な精度が得られる。しかしながら、応用形態において利点がある場合は、プロセスはより多い、所定回数の繰り返しの後で終了することができる。あるいは、異なる露出値における、２つの連続的な合計コストの計算の間の合計コストの変化が、所定の閾値未満の時は、実質的な最適露出値を見つけるプロセスを終了することができる。
【００５５】
切り捨てヒストグラムの一時的露出値に関するコストに比べて、切り捨てヒストグラムの合計コストの変化が、一時的露出値における飽和ピクセルのコストに実質的に等しい露出値を見つける第２部のプロセスでは、標準の二分法を検索に適用することができる。このプロセスでは、実質的な最適値を見つけるための繰り返しを３回に制限することも実行可能である。しかしながら、応用形態において利点がある場合は、プロセスは、より多い所定回数の繰り返しの後で終了することができる。あるいは、合計コストと、飽和ピクセルのコストとの間の変化が、所定の閾値未満である場合に、実質的な最適露出値を見つけるプロセスを終了することができる。
【００５６】
代替実施形態では、ヒストグラムのコスト関数が再計算される。ある場合には、ヒストグラムを再計算するよりも、コスト関数を再計算する方が計算が簡単である。露出値の上昇をシミュレーションする場合、代わりに、コスト関数を信号レベルの方向に圧縮することができ、露出値の低下をシミュレーションする場合、コスト関数は信号レベルの方向に広げることができる。露出値の上昇をシミュレーションする場合、飽和ピクセルは、圧縮コスト関数の最大信号レベルの位置よりも高い信号レベルを有するピクセルとなる。コスト関数の最大信号レベルは、これらの飽和ピクセル及びコストも表すことができる。
【００５７】
上述の実施形態では、コスト関数はノイズレベルのみの関数として記載されている。しかしながら、コスト関数は、画像特徴の動き及び識別された種類、例えば、対象物の認識、顏の認識等に基づくものであってよい。これら追加のコスト特徴を実行する一つの方法は、やはりＳＮＲをコスト関数の基本にすることであるが、取得された場面の動きを表すピクセル、又は特定の対象物を表すピクセルも、露出設定に対してコスト関数が与える影響が大きいことを所望するか、あるいは小さいことを所望するかにより、程度の差はあるが、カウントされるようにすることである。これを実行する一つの単純な方法は、動きがある又は検出されるべき対象物の一部であるとして検出される各ピクセルを、複数のピクセルとしてカウントするようにすることである。複数のピクセルとしてカウントされたピクセルは、一ピクセルを超える、すなわちｘ掛けるピクセルとしてカウントされたピクセルとして解釈され、ｘは任意の実数であってよい。例えば、コスト計算に適用された場合、顏として識別されたエリアのピクセルを１．３４ピクセルとしてカウントすることができる、又は顏の露出が、露出設定にどれだけ影響を与えるべきかによって、顏として識別されたエリアのピクセルを、２ピクセルとしてカウントすることができる。
【符号の説明】
【００５８】
１２    カメラ
１４    レンズ
１６    画像センサ
１８    画像処理ユニット
２０    中央処理ユニット
２２    ネットワークインターフェース
２４    コンピュータネットワーク
２６    不揮発性メモリ
２８    揮発性メモリ
３０    内部バス
３２    露出コントローラ
３４    シャッター制御出力
Ｐ１    ピクセル数
Ｐｓ１    飽和ピクセル数
ＳＬ１    信号レベル
ＳＬｓａｔ    飽和信号レベル
１／ＳＮＲ    １／信号ノイズ比
ＳＮＲ    信号ノイズ比
【図１】
2015211469.tif 000007
【図２】
2015211469.tif 000008
【図３】
2015211469.tif 000009
【図４】
2015211469.tif 000010
【図５】
2015211469.tif 000011
【図６】
2015211469.tif 000012
【図７】
2015211469.tif 000013
【外国語明細書】
2015211469000001.pdf
2015211469000002.pdf
2015211469000003.pdf
2015211469000004.pdf