(57)【特許請求の範囲】
【請求項１】
複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータと共にデータストリームに埋め込まれた埋め込み露出パラメータデータを受信する段階と、
露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データであって、複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する前記収束予定データを得る段階と、
複数のフレームからなる前記シーケンスのフレームのための前記埋め込み露出パラメータデータと、前記露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインを判断する段階と
複数のフレームからなる前記シーケンスの前記フレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための前記追加デジタルゲインを提供する段階と
を有する自動露出制御のコンピュータ実装方法。
【請求項２】
複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための前記追加デジタルゲインを提供する段階を含む請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項３】
前記埋め込み露出パラメータデータは、前記フレームのための実全体露出を計算することを目的として使われ、前記目標露出パラメータは目標全体露出である請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項４】
前記露出収束予定は第２露出収束予定であり、
前記方法は、
複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む前記第１露出収束予定を生成する段階と、
新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で前記第１露出収束予定から前記第２露出収束予定を更新する段階と、
前記追加デジタルゲインを計算するべく前記第２露出収束予定を使用する段階と
を有する請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項５】
前記第１露出収束予定は、前記シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ前記２つのフレームの間の複数のフレームのための前記複数の全体露出を補間することにより生じる露出データを含む請求項４に記載の自動露出制御のコンピュータ実装方法。
【請求項６】
前記埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、およびアナログゲインの少なくとも１つを含む請求項１から請求項５のいずれか１項に記載の自動露出制御のコンピュータ実装方法。
【請求項７】
前記少なくとも１つの埋め込み露出パラメータは、前記データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信される請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項８】
前記追加デジタルゲインは、前記埋め込みデータから生成された全体露出により目標全体露出と前記収束予定とを分割することにより生成された倍数である請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項９】
前記追加デジタルゲインは、それぞれのフレームに対して提供され、前記目標全体露出が前記埋め込みデータから生成された対応する全体露出に満たない場合に、前記追加デジタルゲインは最小制限値に等しい請求項３、４、８のいずれか１項に記載の自動露出制御のコンピュータ実装方法。
【請求項１０】
フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を前記埋め込みデータに意図的に提供させる露出データを提供する段階を有する請求項１から請求項９のいずれか１項に記載の自動露出制御のコンピュータ実装方法。
【請求項１１】
複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための前記追加デジタルゲインを提供する段階を有し、
前記埋め込み露出パラメータデータは、前記フレームのための実全体露出を計算することを目的として使われ、前記目標露出パラメータは目標全体露出であり、
前記露出収束予定は、第２露出収束予定であり、
前記自動露出制御のコンピュータ実装方法は、
複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む前記第１露出収束予定を生成する段階と、
新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で前記第１露出収束予定から前記第２露出収束予定を更新する段階と、
前記追加デジタルゲインを計算するべく前記第２露出収束予定を使用する段階と
を有し、
前記第１露出収束予定は、前記シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ前記２つのフレームの間の複数のフレームのための前記複数の全体露出を補間することにより生じる露出データを含み、
前記埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、およびアナログゲインの少なくとも１つを含み、
前記少なくとも１つの埋め込み露出パラメータは、前記データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信され、
前記追加デジタルゲインは、前記埋め込みデータから生成された全体露出により目標全体露出と前記収束予定とを分割することにより生成された倍数であり、
前記追加デジタルゲインは、それぞれのフレームに対して提供され、前記目標全体露出が前記埋め込みデータから生成された対応する全体露出に満たない場合に、前記追加デジタルゲインは最小制限値に等しく、前記最小制限値は、１．０に等しく、
前記方法は、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を前記埋め込みデータに意図的に提供させる露出データを提供する段階を有する請求項１に記載の自動露出制御のコンピュータ実装方法。
【請求項１２】
ディスプレイと、
前記ディスプレイに通信可能に接続された少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信可能に接続された少なくとも１つのメモリと、
前記プロセッサに通信可能に接続された埋め込み露出データアナライザと
を備え、
前記埋め込み露出データアナライザは、
複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータと共にデータストリームに埋め込まれた埋め込み露出パラメータデータを受信し、
露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データであって、複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する前記収束予定データを得て、
複数のフレームからなる前記シーケンスのフレームのための前記埋め込み露出パラメータデータと、前記露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインを判断し、
複数のフレームからなる前記シーケンスの前記フレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための前記追加デジタルゲインを提供する
自動露出制御を用いた画像処理のためのシステム。
【請求項１３】
前記埋め込み露出データアナライザは、複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための前記追加デジタルゲインを提供する請求項１２に記載のシステム。
【請求項１４】
前記埋め込み露出パラメータデータは、前記フレームのための実全体露出を計算することを目的として使われ、前記目標露出パラメータは目標全体露出である請求項１２または請求項１３に記載のシステム。
【請求項１５】
前記露出収束予定は第２露出収束予定であり、
前記システムは、
複数のフレームからなるシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む前記第１露出収束予定を有し、
前記第２露出収束予定は、新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で前記第１露出収束予定から更新され、前記追加デジタルゲインを計算するべく使用される請求項１２から請求項１４のいずれか１項に記載のシステム。
【請求項１６】
前記第１露出収束予定は、前記シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ前記２つのフレームの間の複数のフレームのための前記複数の全体露出を補間することにより生じる露出データを含む請求項１５に記載のシステム。
【請求項１７】
前記埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、およびアナログゲインの少なくとも１つを含む請求項１２から請求項１６のいずれか１項に記載のシステム。
【請求項１８】
前記少なくとも１つの埋め込み露出パラメータは、前記データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信される請求項１２に記載のシステム。
【請求項１９】
前記追加デジタルゲインは、前記埋め込みデータから生成された全体露出により目標全体露出を分割することにより生成された倍数であり、前記全体露出および前記目標全体露出の両方は、同じフレームに対応する請求項１２から請求項１８のいずれか１項に記載のシステム。
【請求項２０】
前記埋め込みデータは、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を意図的に提供する露出データを含む請求項１２から請求項１９のいずれか１項に記載のシステム。
【請求項２１】
前記埋め込み露出データアナライザは、複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための前記追加デジタルゲインを提供し、
前記埋め込み露出パラメータデータは、前記フレームのための実全体露出を計算することを目的として使われ、前記目標露出パラメータは目標全体露出であり、
前記露出収束予定は、第２露出収束予定であり、
前記システムは、
複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む前記第１露出収束予定を有し、
前記第２露出収束予定は、新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で前記第１露出収束予定から更新され、前記追加デジタルゲインを計算するべく使用され、
前記第１露出収束予定は、前記シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ前記２つのフレームの間の複数のフレームのための前記複数の全体露出を補間することにより生じる露出データを含み、
前記埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、およびアナログゲインの少なくとも１つを含み、
前記少なくとも１つの埋め込み露出パラメータは、前記データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信され、
前記追加デジタルゲインは、前記埋め込みデータから生成された全体露出により目標全体露出を分割することにより生成された倍数であり、全体露出の両方は、同じフレームに対応し、
前記追加デジタルゲインは、それぞれのフレームに対して提供され、前記目標全体露出が前記埋め込みデータから生成された対応する全体露出に満たない場合に、前記追加デジタルゲインは最小制限値に等しく、前記最小制限値は、１．０に等しく、
前記埋め込みデータは、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を意図的に提供する露出データを含む請求項１２に記載のシステム。
【請求項２２】
複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータと共にデータストリームに埋め込まれた埋め込み露出パラメータデータを受信し、
露出収束予定の少なくとも一部を形成する複数の目標全体露出からなる収束予定データであって、複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する前記収束予定データを得て、
前記埋め込み露出パラメータデータを利用することにより計算され、複数のフレームからなる前記シーケンスのフレームのための実全体露出と、前記露出収束予定に関連付けられた対応する目標全体露出との両方を利用することにより算出された追加デジタルゲインを判断し、
複数のフレームからなる前記シーケンスの前記フレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための前記追加デジタルゲインを提供することを、コンピューティングデバイス上で実行されることに応じて、前記コンピューティングデバイスにさせる複数の命令を含むコンピュータ可読媒体を持つ物品。
【請求項２３】
前記複数の命令は、前記コンピューティングデバイスに、
複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための前記追加デジタルゲインを提供させ、
前記埋め込み露出パラメータデータは、前記フレームのための実全体露出を計算することを目的として使われ、目標露出パラメータは目標全体露出であり、
前記露出収束予定は、第２露出収束予定であり、前記コンピューティングデバイスに、
複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む前記第１露出収束予定を生成させ、
新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で前記第１露出収束予定から前記第２露出収束予定を更新させ、
前記追加デジタルゲインを計算するべく前記第２露出収束予定を使用させ、
前記第１露出収束予定は、前記シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ前記２つのフレームの間の複数のフレームのための前記複数の全体露出を補間することにより生じる露出データを含み、
前記埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、およびアナログゲインの少なくとも１つを含み、
前記少なくとも１つの埋め込み露出パラメータは、前記データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信され、
前記追加デジタルゲインは、前記埋め込みデータから生成された全体露出により目標全体露出と前記収束予定とを分割することにより生成された倍数であり、
前記追加デジタルゲインは、それぞれのフレームに対して提供され、前記目標全体露出が前記埋め込みデータから生成された対応する全体露出に満たない場合に、前記追加デジタルゲインは最小制限値に等しく、前記最小制限値は、１．０に等しく、
前記コンピューティングデバイスに、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を前記埋め込みデータに意図的に提供させる露出データを提供させる請求項２２に記載のコンピュータ可読媒体を持つ物品。
【請求項２４】
コンピューティングデバイス上で実行されることに応じて、前記コンピューティングデバイスに請求項１から請求項１１のいずれか１項に記載の前記自動露出制御のコンピュータ実装方法を実行させる複数の命令を含むプログラム。
【請求項２５】
請求項１から請求項１１のいずれか１項に記載の前記自動露出制御のコンピュータ実装方法を実行する手段を備える装置。
【発明の詳細な説明】
【背景技術】
【０００１】
デジタルカメラなどのデジタル画像処理デバイスは、記録されたイメージおよび記録されたビデオだけでなくデジタルカメラのプレビュー画面などの画像の質を向上させる自動機能を使う。これは、自動ホワイトバランス（ＡＷＢ）、オートフォーカス（ＡＦ）、自動露出制御（ＡＥＣ）を示す３Ａ機能を含む。露出は、センサによりキャプチャされる入射光量であり、ＮＤフィルタ制御およびフラッシュパワーだけでなくカメラのアパーチャサイズおよびシャッタ速度を調整することにより調整されてもよい。それらのいくつかは、メカニカルデバイスというよりもむしろ電子システムであってもよい。ＮＤフィルタは、メカニカルシャッタが最も明るい照明条件に対して十分に高速ではない場合に、ときどきメカニカルシャッタと共に用いられるニュートラルデンシティフィルタを示す。ＡＥＣは、また、使われた露出時間に起因するロー画像信号を増幅するアナログゲイン、および存在すればデジタルゲインを計算してもよい。同時に露出パラメータは、全体露出として本明細書に示される全体露出時間を決定する。ゲインは、カメラセンサから出力されるローイメージの信号レベル、または輝度に影響を与える。全体露出が短すぎると、イメージは、実シーンよりも暗いように見えるだろう。これは露出アンダーと呼ばれる。信号がノイズフロアに満たない、または０に量子化される場合に、画像信号は失われるほど露出アンダーにさえなり得る。一方、全体露出が長すぎると、出力イメージは、実シーンよりも明るいように見えるだろう。これは露出オーバーと呼ばれる。信号値がピクセルのフルウェル容量を超える場合、または、アナログもしくはデジタルゲインが信号値に最大デジタル値を超えさせる場合など、信号が飽和する場合に、画像信号は露出オーバーが原因で失われることさえあり得る。信号は、それが飽和されたなら、失われることさえあり得る。両方の場合は、質の悪いイメージをもたらす詳細の損失をもたらすかもしれない。
【０００２】
自動露出制御は、カメラのビューファインダまたはプレビュー画面、記録されたビデオ、および／または静止画に対してなど、デジタルカメラから条件に合った表示イメージを取得するために必要な正確な露出を計算することを目的として使われる。そのような計算は、また、後続するイメージをカメラでキャプチャするための露出設定を調節することを目的として使われてもよい。したがって、ＡＥＣ計算を実行するプロセッサとカメラコントローラとの間でのパラメータの送信タイミングは、非常に重要である。送信遅延が起これば、デジタルカメラ画面に輝度のフリッカまたはジャンプが、ビューファインダスクリーンまたは記録されたビデオを介して、ユーザに見えるかもしれず、イメージは誤った露出でキャプチャまたは記録されるかもしれない。したがって、高品質のイメージおよびビデオを維持する自動露出制御を持つことが望ましい。
【０００３】
図面の説明
【０００４】
本明細書において説明される素材は、添付の図面において限定ではなく例として示されている。図示を単純かつ明瞭にすべく、図面において示される要素は、必ずしも縮尺通りに描写されていない。例えば、いくつかの要素の寸法は、明瞭にすべく他の要素と比較して誇張されているかもしれない。さらに、適切であると見なされた場合、対応する、または類似の要素を示すべく、複数の図面間で参照ラベルが繰り返されている。
【図面の簡単な説明】
【０００５】
【図１Ａ】協同的に、デジタル撮像デバイスの自動制御機能のオペレーションのためのタイミングチャートである。
【図１Ｂ】協同的に、デジタル撮像デバイスの自動制御機能のオペレーションのためのタイミングチャートである。
【図２】露出制御処理方法の例を示すフローチャートである。
【図３】自動制御機能を用いた画像処理方法を示すフローチャートである。
【図４】オペレーションにおける画像処理システムの例図である。
【図５】画像処理方法の例のオペレーションを示す、フレームベースのタイミング図である。
【図６】自動露出制御プロセスの例を示すフローチャートである。
【図７】収束予定を提供するためのプロセスの例を示すフローチャートである。
【図８】画像処理システムの例の説明図である。
【図９】システムの例の説明図である。
【図１０】全てが本開示の少なくともいくつかの実装形態に従って構成された例示的なシステムを示す図である。
【発明を実施するための形態】
【０００６】
添付の図面を参照して、１または複数の実装形態を説明する。特定の設定および構成が説明されるが、これは例示のみを目的とされていることが理解されるべきである。当業者は、本説明の思想および態様から逸脱することなく他の設定および構成が採用され得ることを認識されよう。当業者には、本明細書において説明される技術および／または構成が、本明細書において説明される以外の他の様々なシステムおよびアプリケーションにおいても採用され得ることが明らかであろう。
【０００７】
以下の説明は、例えばシステムオンチップ（ＳｏＣ）アーキテクチャなどのアーキテクチャで実現され得る様々な実施例を明らかにするが、本明細書において説明される技術および／または構成の実施例は特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的で任意のアーキテクチャおよび／またはコンピューティングシステムで実装され得る。例えば、複数の集積回路（ＩＣ）チップおよび／またはパッケージ、並びに／若しくは、様々なコンピューティングデバイス、および／またはセットトップボックス、スマートフォン、その他など消費者電子（ＣＥ）デバイスを例えば採用する様々なアーキテクチャが、本明細書において説明される技術および／または構成を実装し得る。さらに、以下の説明は、ロジック実装、システムコンポーネントのタイプおよび相互関係、ロジック区分／統合の選択、その他など多数の特定の詳細を明らかにするかもしれないが、特許請求される主題は、そのような特定の詳細なしでも実施され得る。他の例においては、本明細書において開示される素材を曖昧にしないよう、例えば制御構造および完全なソフトウェア命令シーケンスなど何らかの素材が詳細には示されていないかもしれない。
【０００８】
本明細書において開示される素材は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの何らかの組み合わせにより実装され得る。本明細書において開示される素材は、１または複数のプロセッサによって読み取られ実行され得る、機械可読媒体に格納された命令としても実装され得る。機械可読媒体は、機械（例えば、コンピューティングデバイス）により読み取り可能な形態で情報を格納または送信するための何らかの媒体および／またはメカニズムを含み得る。例えば、機械可読媒体は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電子、光、音響、または他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号、その他）、およびその他を含み得る。他の形態において、非一時的なコンピュータ読み取り可能媒体などの非一時的な物品は、任意の上記の例または一時的な信号それ自体含まないということを除いて他の例と共に使われてもよい。ＲＡＭなど"暫定的"な様式においてデータを一時的に保持してもよい信号それ自体以外のそれらの要素を含む。
【０００９】
本明細書において「一実施例」、「実施例」、「例示的な実施例」、その他について言及した場合、その説明される実施例が、特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施例がその特定の特徴、構造、または特性を必ずしも含まないかもしれない。さらに、そのようなフレーズは、必ずしも同じ実施例について言及しているとは限らない。さらに、特定の特徴、構造、または特性が実施例に関連して説明された場合、本明細書において明示的に説明されていようとされていなかろうと、他の実施例に関連してそのような特徴、構造、または特性を実現することは当業者の知識の範囲に含まれるものである。
【００１０】
埋め込みデータを用いたロバスト自動露出制御を提供するシステム、物品、および方法は、以下に説明される。
【００１１】
上記のように、そのようなカメラを備える多くのデジタルカメラおよびデバイスは、オートフォーカス（ＡＦ）、自動露出制御（ＡＥＣ）、および自動ホワイトバランス（ＡＷＢ）を含む３Ａ機能などの自動制御機能を提供する。本明細書に関連して、デジタルカメラのライブプレビュー画面、または他の記録されるディスプレイであろうとなかろうと、自動露出制御（ＡＥＣ）は、イメージをキャプチャする露出パラメータを調節し、イメージの表示、および後で鑑賞するためのイメージまたはビデオの格納またはエンコードのための輝度パラメータに対する調節を提供するアルゴリズムを使う。パラメータが十分な速度で更新されている場合に、ライブプレビュー画面または記録されたビデオの輝度は、輝度の滑らかな収束（または顕著な、安定した輝度）が実現されるように、顕著なフリッカまたは輝度の突然の変化を感じないでフレームからフレームへ滑らかに変化するように見えるだろう。これは、入念に制御された、高品質な見掛けイメージを提供する。露出パラメータのそのような滑らかで十分に高速の更新を実現するために、更新されるパラメータは、例えば少なくとも約３０Ｈｚのレートでカメラセンサに提供される。
【００１２】
ＡＥＣ計算を実行するプロセッサがカメラセンサから遅れて最新の露出パラメータを受信する場合に、遅延が生じるかもしれない。加えて、新たな露出パラメータの送信が要求され、開始され、そして終了されるショートタイムウィンドウがセットされるかもしれない。送信が完了する前にウィンドウが閉じると、その次のフレームに対して輝度の突然の変化のリスクが増加するので、そのとき新たな設定はセンサの次のイメージまたはフレームに使われない。そうでなければ、カメラセンサにデータを返信することを目的として使われる、比較的に遅いｉ２ｃプロトコルで遅延が生じるかもしれない。カメラ制御モジュールまたはプロセッサが他の処理タスクでビジーであるかもしれないような、カメラセンサ制御、画像信号プロセッサ（ＩＳＰ）、または他のシェアードプロセッサであろうとなかろうと、これらの遅延は、制御処理ユニット（ＣＰＵ）での帯域幅が原因で生じるかもしれない。そうでなければ、遅延は任意のシステムコンポーネント間でのデータ送信パスウェイにおける帯域幅が原因で簡単に生じるかもしれない。
【００１３】
これらの問題を解決する試みのための１つの方法は、他の処理がＡＥＣ処理を遅延させないだろうということを保証することを目的として３Ａアルゴリズムを実行する専用プロセッサを提供することである。そうでなければ、他のトラフィックが３Ａトラフィックを遅延させないということを保証することを目的として専用ｉ２ｃコントローラが追加されてもよい。しかしながら、これらの解決策は、比較的に高価なハードウェアを必要とするかもしれない。
【００１４】
他の可能性がある解決策は、ＡＥＣアルゴリズムのために割り当てられる処理時間の制限を厳しく強制することである。しかしながら、この解決策は、まだ不十分であるかもしれず、どっちみち追加のハードウェアを必要とするかもしれない。そのような制限は、実装するには非常に困難であり、ＡＥＣによりセットされる、結果として生じる目標輝度は、全てのイメージキャプチャ状況において最適ではないかもしれない。なぜなら、全ての必要な分析が、全てのフレームに対する既定の厳格な処理時間の制限内に生じるように保証され得るというわけではないからである。
【００１５】
代わりに、本明細書に提案される解決策は、タイミングに対してあまり重大でない自動露出制御（ＡＥＣ）の送信および計算を行う。本画像処理システムは使用された実露出パラメータをカメラセンサからのデータストリームに組み込む。ＩＳＰまたは他のプロセッサは、それから、目標全体露出時間の目標自動露出収束予定、すなわち、より正確には、目標全体露出に対する埋め込みデータをチェックすることを目的として、実際の埋め込みデータのフレームに対応するフレームからなるシーケンスに沿って輝度の滑らかな変化を創造し得る埋め込みデータアナライザ（ＥｍＤＡ）を使う。目標全体露出時間は、それが本明細書に説明されるように要するに時間以外の因子により形成されるので、目標全体露出と呼ばれる。カメラプレビュー画面、または最後のイメージ表示、格納、および／またはエンコードのためのローフレームの処理前に、ＥｍＤＡは、一例を挙げれば追加デジタルゲインの形式で調節値を提供する。追加デジタルゲインは、ＩＳＰ設定を目標全体露出の因子に調節することを目的として使われる。このシステムのために、連続したフレームからなるシーケンスのための埋め込み露出パラメータ値が、カメラセンサへの更新された露出パラメータの送信の遅延が原因で少しも最適でないかもしれないとしても、遅延にもかかわらず、追加デジタルゲインの使用は、更なる画像処理に対して輝度の滑らかな変化をもたらして、この問題を克服する。
【００１６】
図１Ａ‐図１Ｂは、時間が左から右に経過する時間ラインチャートに接して画像処理システム１００を協同的に示し、少なくともカメラまたはイメージセンサ１０２のオペレーション、Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）または他の入力プロトコルなどのカメラデータストリーミングプロトコル入力システム１０４、１または複数の画像信号プロセッサ（ＩＳＰ）または他のプロセッサ１０６を含む。同じまたは１または複数の他のプロセッサは、また、埋め込みデータアナライザ（ＥｍＤＡ）１０８をオペレートしてもよい。自動制御論理コンポーネントまたはユニット１１０は、３Ａ自動調節制御により使用するための３Ａ統計値を提供する。システム１００、または１つの形において自動制御ユニット１１０は、オートフォーカス（ＡＦ）コンポーネント１１２、自動露出制御（ＡＥＣ）コンポーネント１１４、および自動ホワイトバランス（ＡＷＢ）コンポーネント１１６、これらの任意の組み合わせなどのオペレーションを含んでもよいし、または通信可能に結合されてもよい。
【００１７】
図２を参照すると、本明細書に説明されるイメージングシステムによって自動露出制御のためのプロセス２００例は、本開示の少なくともいくつかの実装形態に従ってアレンジされる。示される実装形態において、プロセス２００は、オペレーション２０２、２０４および／または２０６の１または複数により示されるように、１または複数のオペレーション、機能、または行為を含んでもよい。非限定的な例を手段として、プロセス２００は、関連する図１Ａ−図１Ｂおよび図８の画像処理システムの例を参照して、本明細書に説明されるだろう。
【００１８】
画像処理システムの１つの実装形態によって、プロセス２００は、"複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータのデータストリームに埋め込まれた露出パラメータデータの受信"２０２を含んでもよい。一例において、カメラセンサ１０２などのカメラまたはイメージセンサは、入力システム１０４などの入力システムのビットストリーム１３２に配置され、画像信号プロセッサ（ＩＳＰ）１０６などの１または複数のプロセッサに提供される露出データを提供してもよい。
【００１９】
プロセス２００は、また、"露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データの取得"２０４を含んでもよく、特に、露出収束予定データは、複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する。露出収束予定は、データベース、バッファ、またはインテル３Ａライブラリ１６０などの他のメモリから得られてもよい。露出収束予定（もしくは明度または輝度収束予定）は、全体露出のリストである。リストは、更に、または択一的に、実露出時間（ｅｔ）、アナログゲイン（ａｇ）、およびデジタルゲイン（ｄｇ）などの、全体露出を計算するためのパラメータを含んでもよい。全体露出は、輝度の突然の変化を回避するために、開始フレームから終了フレームまでフレームシーケンスに対して輝度を徐々におよび滑らかに変化するように提供される。一形態によって、ＡＥＣコンポーネント１１４は、輝度の変化を示すデータを受信し、それから輝度の段階的な変化を取得するべく中間フレームの所望の数に対して、一例を挙げれば補間によってなど、中間の露出時間を形成する。このＡＥ収束予定は、それから例えばＥｍＤＡに提供され、またはＥｍＤＡによってアクセス可能である。ＡＥ収束予定は、露出時間ごとに、インデックスの形であるかもしれない、対応するフレーム識別またはフレーム番号を含む。このプロセスは、図７の説明と共に下部に今まで以上に詳しく説明される。
【００２０】
プロセス２００は、"複数のフレームからなるシーケンスのフレームのための埋め込み露出パラメータデータと、露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインの判断"２０６のオペレーションを継続してもよい。言い換えれば、この追加デジタルゲインは、イメージが効果的に表示される、そうでなければ輝度フリッカをもたらすかもしれない実全体露出よりもむしろ目標全体露出の値を使用して処理されるように、誤り訂正に似ている。追加デジタルゲインは、誤り、調節、および／または訂正と呼ばれてもよいし、目標と実際のフレーム露出パラメータとの間の比率を表す値でもよい。追加デジタルゲインは、埋め込み露出時間（ゲインが適用される前に）、デジタルゲイン、またはアナログゲインを使うことにより計算されてもよいとはいえ、一形態によって、追加デジタルゲインは、フレームに対する実全体露出を使うことにより計算され、埋め込みデータ、および目標露出パラメータとして対応する目標全体露出から計算される。プロセス２００の後続のオペレーションは、"複数のフレームからなるシーケンスのフレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための追加デジタルゲインの提供"２０８である。
【００２１】
さて、さらに詳細に図１Ａ−図１Ｂを再度参照しながら、示されたイメージセンサ１０２は、ピクセルがラインシーケンシャル（１ラインずつ）様式の光電荷に対してリセットされ、全体のフレームに対してラインシーケンシャル様式で読み出されるローリングシャッタまたは電子フォーカルプレーンシャッタプロセスを動作するように制御されてもよい。このタイプのシステムにおいて、行から行までの露出時間は、オーバーラップしてもよく、同時に実行されなくてもよい。行リセット（ｒｔ）１１８と行読み出し（ｒｄ）時間１２０の間の時間は、積分時間または露出時間（Ｔ＿ｅｘｐｏｓｕｒｅ）１２２であり、フレーム（またはピクチャまたはイメージ）の１または複数のピクセル行、もしくはちょうど行の一部の光電荷の蓄積に使われる時間である。積分１２２の長さは、どれくらいの行またはピクセルが積分によりカバーされるかによって変化してもよい。行読み出しは、積分時間を開始した最後のリセットから行の光電荷量を測定する。
【００２２】
リセット１１８は、フレーム下で１つずつ、１行ずつ、実行される。そのため、ここでは、積分行（また、露出時間と呼ばれる）１２２のそれぞれの斜めのコラム１２４は、フレーム１２６に対応する。フレーム１２６は、８つの積分行の全体に対して積分行１２２ａ−１２２ｈと共に示されるが、理解されるように、フレームは８つより多くの積分行を持つか、持ってもよいが、ここで示される必要はない。リセット１１８は時間のオフセットであるので、露出時間１２２が単一のフレームの間中ずっと同じまたは類似する場合に、斜めのコラムは均一ステップで形成される。積分１２２の長さおよびリセット１１８の位置にかかわらず、読み出し１２０は、読み出しがフレーム１２６下でそれぞれの積分行に対して１つずつ実行されるように指定時刻に作動し、図のように、均一または均一に近いステップによって読み出し１２０の斜めのラインを形成する。ここで、３つのフレーム１２６（ｎ）、１２６（ｎ＋１）、および１２６（ｎ＋２）のための露出時間または積分が示される。フレームの明るさをキャプチャする期間（Ｔ＿ｆｒａｍｅ）は、読み出しから読み出しまで測定される。しかしながら、当然のことながら、積分１２２の長さは、積分によりカバーされるラインの数または部分に依存するフレームによって変化してもよい。この場合において、リセットの位置は、完璧な斜めのラインを形成しないかもしれないし、ましてやジグザグ状かもしれない。一方、読み出しのタイミングが、読み出しが図のように１つずつ順番に実行されてもよいように維持される。そうでなければ、露出時間の長さは、露出時間がフレーム長より長くできないように、フレームの長さによって制限されるかもしれない。これは、斜めのコラム１２６（図示されないローデータ）の下部に配置され得る例えば垂直（フレーム）ブランキングの位置によってマークされる。しかしながら、フレーム長は以下に述べるようにフレームブランキング（垂直ブランキング）をより長くすることによって増加され得る。
【００２３】
読み出し１２０は、水平またはラインブランキング空間１２８および調節または予約時間ブロック１３０によって同じ行の次の行リセット１１８からセパレートされてもよい。ここで、フレームのピクセル行毎の終わりに配置される水平ブランキング空間の代わりに、水平ブランキング空間が図のように積分行毎の終わりに提供されてもよい（フレームのピクセル行毎の終わりに調整してもよいし、しなくてもよい）。実際には、全体のライン長さ（水平）の検知エリアもフレーム（垂直）におけるライン数も、デバイスのまたは分析される可視空間よりも大きくてもよい。したがって、水平またはラインブランキングは、ラインに沿ってピクセル位置のスキャン時間をカバーする非送信期間であり、目に見えない。下部で導入される垂直ブランキングも同じである。ブランキング空間は、同期のために使われる。水平またはラインブランキングは、入力データを処理する十分な時間をコンポーネント（ＩＳＰなど）に提供するために使われてもよい。例えば、ラインブランキングがピクセルクロックまたはセンサがデータを送信するレートと比較して短すぎる場合に、ＩＳＰ処理は失敗し得る（入力バッファオーバーランでなど）。垂直またはフレームブランキングは、次のフレームの読み出しが開始する前に計算を実行するためのより多い時間、より長い最大可能露出時間、より遅いフレームレート、より長い垂直ブランキングのフレームレートを制御することを目的として使われる。予約時間ブロック１３０は、読み出し期間の任意のオーバーラップを制限または防ぐことを目的として使われる。
【００２４】
デジタルカメラセンサは、ある埋め込みデータを実際のローイメージデータと一緒に出力するように構成され得る。例えば、Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＭＩＡ）１．０グループおよびＭｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）規格は、そのような埋め込みデータの例を画定する。この埋め込みデータは、埋め込みデータが関連付けられたローフレームに事実上存在する露出パラメータ（露出時間、アナログゲイン、デジタルゲイン）の記述を持ってもよい。本明細書のローイメージデータは、まだ処理されておらず、ディスプレイのためにビットマップグラフィックエディタによってプリントまたはエディットの準備ができているイメージデータを示し、入力データまたはビットストリーム１３２にあってもよい（ここでは、ビットストリームを形成する期間を実際には示すバーによって表される）。ビットストリーム１３２は、カメラまたはイメージモジュールまたはセンサ１０２からプロセッサ１０６にストリーミングされ、または送信される。
【００２５】
１つのアプローチによって、入力データまたはビットストリーム１３２は、例えば単一のフレーム１２６ｎに関連付けられた積分列１２６における多重重複行のローイメージデータの主送信部分Ｔｘ１３６、フィールドの開始（ＳＯＦ）１３４を持ってもよい。示される形態において、積分行１２２ａ―１２２ｈ（および提供される場合にはより多くの行）の全８つの読み出し１２０のためのデータは、主送信部分Ｔｘ１３６に配置される。主送信部分１３６は水平ブランキング時間１４０によってフォローされるフィールドの終了（ＥＯＦ）１３８で終了し、それから、１つのフレームが終了に達し、次のフレームのデータが開始する場合に、より長い垂直ブランキング周期１４１が提供される。ビットストリーム１３２の水平ブランキング時間は、例えば、次のラインが送信される前に、受信側（ＩＳＰなど）がそれの入力バッファを空にすることを許可するべくフルフレームの読み出しに必要な時間を増大させる。他の代替例によって、水平ブランキングは、水平ブランキングがゼロまたはノンゼロの所に使われず、ラインブランキングまたは伝送されない間に仮想ピクセルは伝送され得る。
【００２６】
実露出パラメータデータは、ビットストリーム１３２のフィールド１３４部分の開始および／またはフィールド部分１３８の終了に埋め込まれてもよい。ＩＳＰ処理がストリーミングされるよりもむしろメモリからのデータを使う場合に、埋め込みデータはフィールド１３８の終了に配置されてもよい。埋め込みデータはイメージデータをキャプチャするイメージセンサ１０２によって実際に使われ、自動露出制御（ＡＥＣ）１１４からセンサに前もって提供される露出時間を含む。埋め込みデータは、また、データに付随するフレームの全体露出を計算するために使われ、読み出しに適用されるデジタルゲイン（ｄｇ）およびアナログゲイン（ａｇ）を含む。センサがアナログデジタル変換を実行する前に、アナログゲインはそれによって適用されてもよい。デジタルゲインと比較してアナログゲインからの利益は、それがＡ／Ｄコンバータによってもたらされる量子化ノイズを減少させることである。増加される露出が露出アンダーを回避する必要がある場合を除いて、カメラの振動による被写体ぶれを回避するために、露出時間が最大値などの他の制限を持つ場合に、アナログゲインは全体露出の増大をもたらしてもよい。アナログゲインは、データがＡ／Ｄコンバータのフルレンジのより多くをカバーすることをさらに保証し、それによって、例えば、より高い量子化ノイズのペデスタルをちょうど上回るより低い端部に集中することを回避する。
【００２７】
ゲインは、また、以下で詳述されるように、ＡＥＣ１１４によってセンサに提供される。１つの形態において、上記のように、ＭＩＰＩプロトコルは、この伝送のために使われてもよい。埋め込みデータは、時間または乗数としてのゲインに関して、露出時間を持たないかもしれない。代わりに、露出時間は、それぞれのラインが露出時間によってカバーされるラインの数であるライン周期、および露出時間によってカバーされるラインの部分であるピクセル期間に関して場合により１ラインの付加的なわずかな部分に関してカメラセンサで制御されてもよい。これはアナログゲインに対しても同じであり、ゲインコードを単位として制御される。これらのパラメータは、センサが使う同じユニットと共に埋め込みデータに格納される。したがって、ピクセルクロック周波数は、センサユニットから下記で説明される追加デジタルゲインを算出する包括ユニットに変換するべく使われてもよい。フレームの１ライン周期はピクセル期間（ｌｉｎｅ＿ｌｅｎｇｔｈ＿ｉｎ＿ｐｉｘｅｌ＿ｐｅｒｉｏｄｓ）のある数に等しくてもよい。センサによってサポートされる場合にライン周期およびピクセル期間は、センサからイメージデータと共にビットストリーム１３２で送信される。露出時間は、（任意に）どれでも付加的なピクセル期間を加えたライン周期の量を制御することによって制御されてもよい。
【００２８】
図３を参照して、システム１００のオペレーションの残りの説明の多くは、増加したイメージ品質の自動カメラ制御のためのプロセス３００と共に説明されるかもしれない。本明細書で説明されるプロセス３００は、本開示の少なくともいくつかの実装形態に従って配置される。示される実装形態において、均等に番号が付けられたオペレーション３０２−３３８の１または複数によって示されるように、プロセス３００は、１または複数のオペレーション、機能、または行為を含んでもよい。非限定的な例を手段として、プロセス３００は、図１Ａ−図１Ｂおよび８の画像処理システムの例を参照して本明細書で説明されるだろう。
【００２９】
プロセス３００は"カメラセンサから埋め込みデータを受信"３０２を含んでもよい。一例において、ＩＳＰ１０６は、受信されるビットストリーム１３２の部分であるフィールド１３４の開始またはフィールド１３８の終了から埋め込みデータを取得してもよいし、または入手する機会を持ってもよい。ＩＳＰ１０６は、ビットストリーム１３２からフィールドの開始およびフィールドの終了データを受信後に開始される埋め込みデータの読み出しおよび分析の実行の期間１４２を持ってもよい。水平および垂直ブランキング周期１４０および１４１の間、ＩＳＰ１０６は、それから、隣接フレームの受信の間のアイドル期間１４６を持つ期間（ＩＳＰ解析）１４４でイメージデータを受信および分析してもよい。
【００３０】
一般的な画像処理のために、ＩＳＰがローイメージデータのいくつかを受信３０６するとすぐに、それはローデータに前処理を適用３０８してもよい。これは、ノイズ減少、ピクセル線形化、およびシェーディング補償を含む。それは、また、解像度低減、ベイヤデモザイク、および／またはビネット除去を含んでもよい。前処理がなされるとすぐに、一般的なイメージ統計情報は計算３１０されてもよい。これは、輝度／クロミナンス値および平均、輝度／クロミナンス高周波数およびテクスチャコンテンツ、フレームからフレームまでのモーションコンテンツ、任意の他の色コンテンツ値、デブロッキング制御に関するピクチャ統計データ（例えば、デブロッキング／ノンデブロッキングを制御する情報）、ＲＧＢＳグリッド、フィルタ応答グリッド、および２、３の例を指定するＲＧＢヒストグラムを含んでもよい。この情報は、マクロブロックまたはコーディングユニット（ＣＵ）ベイシス（例えば１６×１６、または８×８、またはピクセルの他のサイズブロックごとに）に提供されてもよし、Ｈ２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、またはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、ＪＰＥＧまたは他の画像処理およびエンコード規格などのある規格コーディングスキームのための互換性パラメータによって所望されるように、ピクセル、または他のユニットベイシスごとに提供されてもよい。ＹＵＶデータが利用でき、かつＩＳＰがイメージを再構成した場合に、これらの規格は後処理３３４の終わりに使われてもよい。イメージデータおよび計算された統計は、ダブルデータレート（ＤＤＲ）または他の十分なメモリに格納されてもよいし、それから、期間イメージアウト１４６および統計アウト１４８の間、更なる分析のために提供されてもよい。
【００３１】
ＩＳＰおよび埋め込みデータアナライザＥｍＤＡ１０８は順に、フィールド１３４の開始、または他のＳＯＦまたはフィールド１３４または１３８のＥＯＦの１または複数から埋め込みデータが受信されると開始するかもしれない期間Ｔ＿ＥｍＤａｔａ＿ｒｅｃｅｉｖｅｄ１５０の間に埋め込みデータを受信してもよい。受信されるとすぐに、埋め込みデータアナライザは、下部にプロセス６００および７００と共に本明細書で説明される露出収束予定に従って追加デジタルゲイン（ｄｇ＿ｉｓｐ）１５１を提供するべく期間Ｔ＿ｒｕｎ＿ｅｍｄａ（）１５２の間、実行３０４されてもよく、更なる画像処理のために使われるべくＩＳＰに戻って提供３３１される。追加デジタルゲインは、例えば、ＩＳＰのホワイトバランスゲインを調節するために含まれてもよい。１つのアプローチによって、ホワイトバランスゲインは、ｇａｉｎＲ、ｇａｉｎＧおよびｇａｉｎＢであり、それから、ｎｅｗ＿ｇａｉｎＲ ＝ ｇａｉｎＲ＊ｄｇ＿ｉｓｐであり、ｎｅｗ＿ｇａｉｎＧ ＝ ｇａｉｎＧ＊ｄｇ＿ｉｓｐであり、ｎｅｗ＿ｇａｉｎＢ ＝ ｇａｉｎＢ＊ｄｇ＿ｉｓｐである。代替的に、追加デジタルゲインは、ガンマテーブルに含まれ得る。ガンマテーブルは、それぞれのカラーコンポーネントのｇａｍｍａＬＵＴ［］である。そのとき、全てのｉ ＝ ［０, ｍａｘ＿ｖａｌｕｅ］に対して、ｎｅｗ＿ｇａｍｍａＬＵＴ［ｉ］ ＝ ｇａｍｍａＬＵＴ［ｉ］＊ｄｇ＿ｉｓｐである。さらに他の代替例によって、ＲＧＢ値が線形増加で追加される限りは、任意の他のＩＳＰオペレーションは下記のように目標全体露出の因子に対して追加デジタルゲインを使ってもよい。
【００３２】
追加デジタルゲインをＩＳＰレジスタに更新することは、ＩＳＰ処理が各フレームに対して開始する前に（対応するＩＳＰレジスタ値が既に補正される場合を除いて）、発生しなければならない。たとえ３Ａ実行が遅延されたとしても更新がなされ得るように、ｒｕｎ＿ｅｍｄａ１５２は、比較的にごく僅かな計算量である。１つのアプローチによって、ｒｕｎ＿ｅｍｄａコードは、これが保証されるように（および、１つの場合において、ｒｕｎ＿ｅｍｄａが３Ａ分析アルゴリズムと同一プロセッサ上で実行することが必ずしも必要でないように）、システムに配置される。ＩＳＰパラメータの新たな更新が３Ａから利用できない場合に、そのとき、既にセットされたＩＳＰパラメータが採用される。
【００３３】
したがって、プロセス３００は、後処理を適用３３４し続け、そしてフレームまたはイメージの最終またはプレビュー表示、例えば後で用いるための格納、および／またはエンコード、またはこれら３３６の任意の組み合わせを求め続けてもよい。
【００３４】
自動制御ユニット１１０は、ＡＥＣコンポーネント１１４、または最初のＡＥＣまたはＡＥ露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）を形成し、また、本明細書でＡＥ収束予定または自動露出収束予定と呼ばれ、目標未来全体露出のリストまたはインデックス、および必ずしもまだキャプチャされる必要のない未来フレームを含むフレームからなるシーケンスの全体毎に対応するフレーム識別を含む、ＡＥＣコンポーネント１１４の部分またはアルゴリズムを持つ少なくともＡＥ収束予定コンポーネント１５９を含むと思われてもよい。この最初のＡＥ露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）は、自動制御ユニット１１０およびＡＥＣ１１４にアクセス可能である３Ａ統計ライブラリ１６０に格納されてもよい。例えば３Ａ統計の周期１５８の間、ＡＥ露出収束予定の形成後などＡＥ露出収束予定が利用可能にされるとすぐに、ＡＥ露出収束予定は、埋め込みデータアナライザ１０８に提供３２２され、またはｅｍｄａ露出収束予定を更新する周期１５６を起動する期間Ｔ＿ｓｅｎｄ＿ｅｍｄａ（）１６１の間、埋め込みデータアナライザ１０８は新たなＡＥ露出収束予定を検索してもよい。ｅｍｄａ露出収束予定（ｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ）は、また、本明細書でＥｍＤＡ予定、ｅｍｄａ収束予定、ｅｍｄａ ＡＥ収束予定などと呼ばれてもよい。ＡＥ収束予定の形成は、プロセス６００および７００と共に下部に説明される。
【００３５】
また、イメージおよび一般的な統計が得られまたは計算される（１４６、１４８）とすぐに、自動制御ユニット１１０は、フォーカス、露出時間およびホワイトバランスを調節する自動制御によって使用される期間Ｔ＿３Ａ＿ｓｔａｔ １５８で更なる３Ａ統計を形成するべくイメージデータおよび一般的なイメージ統計を使う。３Ａ統計が利用できるとすぐに、３Ａ制御および調節は、また、実行されてもよいし、次々に実行されてもよいし、または１つの場合においてそれぞれの制御機能は、１または複数の専用プロセッサを持ってもよく、それらは並列に実行されてもよい。前の場合において、ＡＦ制御装置１１２は、期間（Ｔ＿３Ａ＿ｓｔａｔ＿ｄｅｌｉｖｅｒｙ） １６４の間、３Ａ統計を受信する。３Ａ統計が受信されるとすぐに、ＡＦ論理ユニットまたはコンポーネント１６２は、周期Ｔ＿ＡＦ＿ｅｘｅｃｕｔｉｏｎ １６６の間、フォーカス調節を実行３１２または計算する。一形態において、ｉ２ｃプロトコルを持つレンズドライバ１６８は、それから、期間Ｔ＿ＡＦ＿Ｉ２Ｃ １７０の間、ＡＦ実行周期１６６の後に、新たなフォーカス設定３１４のための命令を形成し、カメラのレンズハードウェア１７１がそれから、周期Ｔ＿ＡＦ＿Ｌｅｎｓ １７２の間、レンズを移動してもよいように、新たなＡＦ設定をカメラモジュールまたはセンサ３２６に送信３２４する。レンズハードウェアはＡＦ制御装置１１２の一部であると思われるかもしれないし、思われないかもしれない。カメラモジュール３２８はさらにイメージをキャプチャするべく新たな設定を使ってもよいし、図３に示されるように、サイクルをリスタートするべく新たな埋め込みデータ３３２およびローイメージデータ３３０を提供してもよい。また、ＡＦ制御装置１１２は、積分時間がレンズ移動の時間Ｔ＿ＡＦ＿ｌｅｎｓ １７２にオーバーラップしているフレームからの統計を使うことができない。そのフレーム、ここでは１２６ｎ＋１に対して、命令は遅すぎる。そうでなければ、本明細書の埋め込みデータシステムは、ＡＦを持たない固定フォーカスカメラモジュールで使われてもよい。
【００３６】
プロセッサが３Ａコントローラの間でシェアされている場合に、第１遅延期間（Ｔ＿３Ａ＿ｌａｔｅｎｃｙ＿１）は、ＡＦ制御装置１１２がＡＦ調節演算１６６を完了するまで、自動露出制御１１４の実行３１６を遅延してもよい。ＡＥコンポーネント１７４は、期間（Ｔ＿ＡＥ＿ｅｘｅｃｕｔｉｏｎ）１７６の間、カメラセンサのために新たなまたは更新された露出設定を形成するべく、露出調節演算を実行３１６してもよい。代替的に、専用コンポーネントを有するシステムにおいて、ＡＦ制御装置１１２がＡＦ調節１６６を実行している間、自動露出実行１７８が生じてもよい。センサＩ２Ｃコンポーネント１８０は、それから、期間Ｔ＿ＡＥ＿Ｉ２Ｃ １８２の間、新たな露出設定をセンサに提供３２３および送信３２４してもよい。
【００３７】
ＡＥおよびＡＦ命令のためのＩ２Ｃ送信の両方で、ワード不確実性は本明細書で先に述べたように示されたより長くかかる期間１７０および／または１８２によるこの時点で生じるかもしれない潜在的な遅延を示すべく既定されることに留意する。ＥｍＤＡ収束予定１５６を処理および更新するＩＳＰに追加デジタルゲイン１５０、１５２、１５１を提供する時間は、ＡＥＣ、ＡＦ、ＡＷＢ実行１６６、１７６、１８６またはＩ２Ｃ送信１７０、１８２のタイミングに直接に依存しないということに注目すべきである。また、システムのいくつかの他の一部が同じＩ２ＣまたはＣＰＵリソースを競合する場合に、これは、ＡＥＩ２Ｃ実行時間（Ｔ＿ＡＥ＿Ｉ２Ｃ）またはそれらのリソースを必要とする任意の他の一部に対してだけではなく、ＡＥ実行時間（Ｔ＿ＡＥ＿ｅｘｅｃｕｔｉｏｎ）のバリエーションを引き起こしてもよい。いっそう綿密な分析がフレーム毎にまたはより掘り下げた分析を要求する少なくともあるフレームに実行され得るように、フレーム毎にフレキシブルな時間エンベロープを持つＡＥＣ実行または分析を提供することは有益なので、これはさらにいっそう重要になる。システムをタイミングがより重大でないようにするので、ＥｍＤＡはこの利益を増大させる。
【００３８】
そうでなければ、３Ａ統計１６４の受信からの第２遅延期間（Ｔ＿３Ａ＿ｌａｔｅｎｃｙ＿２）１８４の後に、プロセス３００は、ＡＷＢ制御１１６の実行３１８を継続してもよい。この場合において、処理は、自動露出実行周期１７６が完了する後まで、開始しないかもしれない。それから、ＡＷＢ制御は、期間（Ｔ＿ＡＷＢｅｔｃ＿ｅｘｅｃｕｔｉｏｎ）１８６の間、第２遅延の後に、新たなホワイトバランス（ＷＢ）ゲイン３２０を提供する調節演算を実行する。代替的に、専用プロセッサが提供されれば、ＡＦおよびＡＥ制御がそれらの調節演算を実行している間に、ＡＷＢ実行は、周期１８８の間、生じてもよい。
【００３９】
イメージを処理する（例えば表示、格納、および／またはエンコードするために）ＩＳＰパラメータは、ＩＳＰによってＴｘ時間１３６の間にまだ処理されていないフレームのアイドル期間（図１Ａのアイドル（１）など）などのウィンドウの間、３Ａ調節または設定を含むデータ１９０または１９２で更新されてもよい。図１Ａ−図１Ｂに示されるように、３Ａ処理は遅延されており、アイドル（１）のちょうど後のＩＳＰ処理周期１３６の間に処理されるフレームがそれらの適切な調節を受信しないようなアイドル（１）の間、処理されるには遅すぎる。代替的に、３Ａ処理が次のアイドル（２）（不図示）のためにある場合に、更新データ１９２は、アイドル（２）がまだ生じていないので、次のＩＳＰＴｘ１３６周期を更新するべく受信されてもよい。
【００４０】
ＷＢゲインは、そのとき、イメージデータの処理のために使われてもよし、それからイメージデータの後処理３３４に進んでもよい。後処理は、ＣＦＡ（カラーフィルタアレイ）補間、色空間変換（例えば、まだ処理されていないローＲＧＢ−ｓＲＧＢなど）、ガンマ補間、ＲＧＢ−ＹＵＶ変換、イメージ鮮明化などを含んでもよい。後処理は、ソフトウェアおよび／またはＩＳＰのハードウェアパイプラインによってこれらのプロセスを実行するための本明細書で言及された他のプロセッサ、またはＩＳＰ１０６などのプロセッサによって実行されてもよい。
【００４１】
次に、処理された画像は、ビューファインダまたはデジタルカメラまたは携帯画面のプレビューか、もしくは他のデバイスの最終ディスプレイに表示３３６されてもよい。また、後に鑑賞するために格納されてもよい。さらに、ビデオまたは静止画であってもよい。代替的に、または付加的に、イメージデータは圧縮および送信のためのエンコーダ、他のディスプレイまたはストレージデバイスに提供されてもよい。記録またはイメージキャプチャの停止の後すぐに、カメラはクローズ３３８されてもよいし、または、そうでなければ、システムは新たなイメージのキャプチャを継続してもよい。
【００４２】
図４を参照すると、プロセス４００は、本開示の少なくともいくつかの実装形態に従って埋め込みデータを用いた自動露出制御のための画像処理システム８００のサンプルのベーシックオペレーションを示す。さらに詳細に、示された形態において、均等に番号が付けられた行為４０２−４２４の１または複数によって示されるように、プロセス４００は、１または複数のオペレーション、機能、または行為を含む。非限定的な例を手段として、プロセス４００は図８を参照して本明細書で説明されるだろう。特に、システム８００は、ＡＥＣコンポーネント８１８と埋め込みデータアナライザ８３４とを含む。システムのオペレーションは、次の通りに進んでもよい。
【００４３】
ＡＥＣコンポーネント８１８は"イメージおよび埋め込みデータ"４０２と、"ＡＥＣ起動"４０４とを受信してもよい。ＡＥＣは、一例によってシステムからの要求によって、起動されてもよく、カメラのビューファインダまたはプレビューが起動されるときはいつでも、またはそうでなければ、ビデオ記録またはイメージキャプチャプロセスが起動される場合に、プロセスが停止するまで動作し続けてもよい。プレビュー画面の場合において、これは、カメラがオフされるまで、または例えばマルチ機能スマートフォンの異なる機能に変えられるまで、ではないかもしれない。
【００４４】
ＡＥＣは、それから、"輝度の滑らかな変化のための露出収束予定を形成"４０６してもよい。１つのアプローチによって、起動されるとすぐに、収束予定の値を使い果たすＥｍＤＡの可能性を限定するべく起動されるたびに、ＡＥＣは新たな収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）を形成するだろう。一例によって、新たな収束予定は、フレーム毎にまたは少なくとも小さなフレーム間隔（フレーム１つおきまたは３フレームに１フレームの割合など）において提供され、また、ＥｍＤＡの保証を試みるべく、常に、分析されるフレームに対してアクセス可能な収束予定を持ち、収束予定値がなくならない。フレーム毎にまたは近いフレームに収束予定を提供することは、収束予定のオーバーラップを引き起こすとはいえ、ＥｍＤＡは、複数の予定をマージする、または一例において、新たな予定で前の予定を更新するそのＥｍＤＡ収束予定（ｅｍｄａ＿ｃｏｎｖ＿ｐｌａｎ）の更新のためにフレームインデックス（例えばフレーム番号を持つ）を使うだろう。
【００４５】
他の代替例によって、システムは、新たな収束予定が必要であるかを判断するべく、および輝度の任意の突然の変化が、いくつかの例において、シーン変化が生じたかを検知することにより、または隣接フレームで使われる全体露出を比較することにより、実際に使われる露出パラメータで生じるかどうかを判断するべくセットされてもよい。そうでなければ、現在の効果的な収束予定が終了するときはいつでも、プロセス４００は、単に連続的に、新たな収束予定を提供または前もって提供のために計画してもよい。輝度のそのような変化が起こる場合、または新たな収束予定が所望される場合に、ＡＥＣコンポーネント８１８は、新たな露出収束予定を形成し、または前の予定を更新してもよい。しかしながら、これらの代替例の予定は、ＥｍＤＡが収束予定値を切らさないことの保証を試みるためにタイミングの卓越した制御を必要とする。
【００４６】
本明細書で言及されるように、収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）は、ちょうど２つよりも多い数のフレーム、一例において、より多くてもよいが３つから５つを通して、輝度の同一または類似の変化を提供する。ＡＥ露出収束予定を形成するためのプロセスは、図７のプロセスと共に下部に説明される。１つのアプローチによって、露出収束予定は、目標全体露出および対応するフレーム番号を含む。したがって、新たな収束予定は、埋め込みデータアナライザ（ＥｍＤＡ）８３４に提供４０８される。ＡＥＣコンポーネント８１８は、フレーム毎に"新たな露出設定を計算"４１０するべく、イメージデータを別々に使ってもよいし、露出時間、デジタルゲイン、およびアナログゲインを含んでもよいし、"新たな設定をカメラセンサに提供"４１２してもよい。このように、ＡＥ露出収束予定の使用のタイミングは、センサへの新たな露出設定の送信のタイミングによって実質的に影響されないかもしれない。
【００４７】
ＥｍＤＡ８１８は、また、センサからのイメージデータビットストリームによって、およびフレームに対して使われる実露出時間、デジタルゲイン、およびアナログゲインなどの"埋め込みデータを受信"４１４してもよい。プロセスは、それから、"埋め込みデータを用いた実全体露出の計算"４１６を継続してもよい。新たなＡＥ収束予定が受信される、または、ＡＥＣコンポーネント８３４から得られる場合に、ＥｍＤＡ８１８は、それから、ほとんどの場合目標全体露出および全体露出毎のフレームの対応する識別であってよいデータで"ＥｍＤＡ露出収束予定を更新"４１８してもよい。受信され、または少なくともアクセス可能になるとすぐに、ＥｍＤＡ８１８は、同一フレームに対応する"対応する実際のおよび目標全体露出を探索"４２０してもよい。それからプロセス４００は、例えば対応する目標および実露出パラメータ、一例において、目標および実全体露出の比較を提供するべく、"追加デジタルゲインを計算"４２２を実行してもよい。このプロセスは、プロセス６００と共に下部により詳細に説明される。プロセス４００は、それから、"表示、格納、および／またはイメージをエンコードすることを目的とする画像処理のための追加デジタルゲインを提供"４２４を継続してもよい。
【００４８】
図５を参照すると、フレーム時間チャートが本明細書で説明された他のプロセスに類似するプロセス５００のオペレーションを示し、さらに、異なる方法で図１Ａおよび図１Ｂの期間のいくつかを示す。３つのフレームのＩＳＰ解析のための時間は、Ｎ（５０２）、Ｎ＋１（５０４）、およびＮ＋２（５０６）で示される。各フレームは、ライン０−Ｌで示される。統計計算５１４、５１６または５１８の実行のための時間は、各対応するフレームの後に示される。別個のコラムは、センサ１０２に類似するセンサ５０８、ＥｍＤＡ１０８に類似するＥｍＤＡ５１０、コンポーネント１１０、１１４および／または１５９に類似する自動制御／ＡＥＣコンポーネント５１２によって、フレーム毎にオペレーションを示すべく提供される。
【００４９】
プロセス５００は、埋め込みデータを形成するセンサ５０８、および追加デジタルゲインを算出するＥｍＤＡ５１０を示す。プロセス５００は、また、フレームＮの分析およびその統計５１４の計算の後であるが次のフレームＮ＋１の分析の前に、アイドル期間の間、フレームＮ＋１〜Ｎ＋４の新たな露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）をＥｍＤＡに送信または提供する自動制御／ＡＥＣコンポーネント５１２を含む。フレームＮ＋１の分析の間、ｅｍｄａ露出収束予定は更新され、それから、ＥｍＤＡは更新されたｅｍｄａ収束予定を用いてフレームＮ＋１の追加デジタルゲインを計算するべく実行される。いずれは、ＥｍＤＡはＮ＋２のために実行され、Ｎ＋１のｅｍｄａ収束予定はＮ＋２に更新される。一例によって、プロセスはフレーム毎に繰り返され、新たなまたは更新されたｅｍｄａ露出収束予定は未来フレーム毎に提供される。
【００５０】
図６を参照すると、プロセス６００はさらに詳細にＥｍＤＡのオペレーションを示すべく提供される。本明細書で説明されるプロセス６００は、本開示の少なくともいくつかの実装形態に従って配置される。示される実装形態において、プロセス６００は、均等に番号が付けられたオペレーション６０２−６１４の１または複数によって示されるように、１または複数のオペレーション、機能、または行為を含んでもよい。非限定的な例の手段によって、プロセス６００は、図１Ａ−図１Ｂおよび／または８の画像処理システムの例を参照して本明細書で説明されるだろう。
【００５１】
プロセス６００は、"ＥＴ、ＡＧおよびＤＧ露出パラメータを含み、ローフレームＮに事実上存在する埋め込み露出パラメータデータを受信"６０２を含んでもよい。言い換えれば、ＡＥＣコンポーネント１１４からセンサ１０２に提供された露出パラメータデータは、フレームの露出時間をセットするべく使われ、それからキャプチャされたイメージデータと共にデータストリームに埋め込まれた。このオペレーションは、（ＥＴ）（ＤＧ）（ＡＧ）＝実全体露出である実全体露出の算出を含むかもしれないし、また含まないかもしれない。
【００５２】
埋め込みデータが受信されるとすぐに、他のコンポーネントの多くが代わりにこれらのオペレーションを実行するかもしれないが、プロセス６００は、次のＥｍＤＡ手順を動作するべく"ＥｍＤＡ実行"６０４を継続してもよい。これは、まず、"新たな自動露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）が利用可能であればＥｍＤＡ収束予定（ｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ）を更新"６０６を含んでもよい。したがって、ＥｍＤＡは新たな収束予定が利用できるかを見るべくチェックし、それから予定を取得する、または予定から露出データを取得する。これは目標全体露出および時間毎のフレーム識別または数を含んでもよい。代替的に、ＥｍＤＡは、目標露出時間、デジタルゲイン、およびアナログゲインを備えてもよい。それから、ＥｍＤＡは全体露出を計算してもよい。
【００５３】
（ｅｔ）（ｄｇ）（ａｇ）＝目標全体露出  （１）
【００５４】
１つのアプローチによって、ｅｍｄａ収束予定に配置された新たな露出データは、既にｅｍｄａ収束予定にある任意のフレーム番号スロットのデータをオーバーライドしてもよいし置き換えてもよい。新たなフレーム番号は、ｅｍｄａ収束予定のリストの端に付加されてもよい。渡される、古い既に使われたフレーム番号のスロットは、新たなフレーム番号スロットによって再度使われ得、バッファ８３８（図８）などの円形バッファが収束予定を格納するべくＥｍＤＡによって使われ得る。
【００５５】
プロセス６００は、それから、"フレームＮの埋め込み露出パラメータデータを包括ユニットに変換"６０８を継続してもよい。変換の擬似コードは、下部に提供される。上記のように、この変換は、得られた実際のアナログおよびデジタルゲインコードを乗数に変換することだけではなく、統合ピクセルおよびライン周期の単位で存在するかもしれない露出時間（ＥＴ）をマイクロ秒に変換することなど、センサユニットを包括ユニットに変換することを含んでもよい。ゲインコードのフォーマットは、センサの実装形態に依存する。典型的なフォーマットはＳＭＩＡ１．０フォーマットである。
【００５６】
0005942301.tif 000002
【００５７】
Ｍ０、Ｃ０、Ｍ１、Ｃ１は、センサに関連付けられる定数パラメータである。"コード"は、ゲインコードであり、"ゲイン"は、乗数としての実数アナログゲインである。埋め込みデータはアナログゲインコード"コード"を持ってもよい。デジタルゲインは、８分数ビットを持つ１６ビット固定小数点として例えば埋め込みデータに格納されてもよい。
【００５８】
プロセス６００は、"フレームＮに対応するＥｍＤＡ収束予定（ｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ）のエントリを探索"６１０を含んでもよい。したがって、ＥｍＤＡは、ＥｍＤＡ露出収束予定から適合する目標全体露出を探索するために、ＥｍＤＡによって今分析されている実露出パラメータを持つフレームＮのフレーム番号または他のフレーム識別を検索する。
【００５９】
適合が検索されるとすぐに、プロセス６００は"ＩＳＰ処理に適用される追加デジタルゲイン（ｄｇ＿ｉｓｐ）を計算"６１２に進んでもよい。下記の擬似コードからここで繰り返されるように、追加デジタルゲインは、フレームの実全体露出によって目標全体露出を分割することによって計算されてもよい。
【００６０】
ｄｇ＿ｉｓｐ＝ｅｍｄａ＿ｃｏｎｖ＿ｐｌａｎ［ｉｎｄ］／（ｅｔ＊ａｇ＊ｄｇ）  （３）
【００６１】
ｅｍｄａ＿ｃｏｎｖ＿ｐｌａｎ［ｉｎｄ］は、ｅｍｄａ収束予定インデックスで検索された目標全体露出を示す。ｅｔ、ａｇ、およびｄｇは、実露出時間、アナログゲイン、およびデジタルゲインをそれぞれ示す。１つのアプローチによって、追加デジタルゲインの最小値は、少なくとも１．０に、一つのオプションにおいて、約１．０または厳密に１．０にセットされる。この場合において、比率または割合が１よりも大きい場合に、それより値が乗数として使われる。乗数が１．０に満たない場合に、そのときは、１．０は最小として使われ、変化しないゲインを示す（追加デジタルゲインがｘ１．０）。ｄｇ＿ｉｓｐは、そのとき、使われる方程式において１．０としてセットされる。この場合に、追加デジタルゲインは、フレーム毎に提供されてもよい。ホワイトバランスゲインに対して追加デジタルゲインを適用する場合に許可されるゲイン１．０より少なければイメージの飽和領域は有色になり得るので、制限が使われる。例えば、イメージで飽和して白く見えるべき非常に明るいランプは、代わりに紫に見えるかもしれない。ＩＳＰがＥｍＤＡから追加デジタルゲインを使うコンポーネントを持ち、かつ、この最小追加デジタルゲインの限定が必要ない場合に、そのときは、限定は取り除かれてもよい。
【００６２】
本例によって、追加デジタルゲインは、通常、乗数として提供され、ＩＳＰは、そのとき、ホワイトバランスまたはガンマ調節のためなどその計算のために必要に応じて乗数を修正してもよい。他の例に対して、追加デジタルゲインは、代わりに目標全体露出から差し引かれた対応する実全体露出であるかもしれない。当然のことながら、追加デジタルゲインを算出する多くの代替例がある。
【００６３】
また、他の代替例として、全体露出の比率についての追加デジタルゲインを基準として用いる代わりに、デジタルゲインは、実露出時間に対する目標の比率に基づき得る。また、使われる全体露出は、アパーチャゲインおよび／またはＥｔｏｔ ＝ ＥＴ＊ＡＧ＊ＤＧ＊ＡｐｅｒｔｕｒｅＧａｉｎ＊ＮＤＦｉｌｔｅｒＧａｉｎのようなＮＤフィルタゲインなどの他のパラメータを計算に入れてもよい。アパーチャゲインは参照アパーチャサイズよりも異なるアパーチャサイズを用いた掛け算の効果であり、ＮＤフィルタゲインは、ＮＤフィルタを用いないことと比べてＮＤフィルタを用いた掛け算の効果である。いくつかのシステムにおいて、知られている場合に埋め込みデータにおいてイメージ輝度測定（例えばイメージデータの平均輝度）を提供することが可能であってもよい。それから、比率は、目標輝度に対する実際の輝度の間で計算され得る。
【００６４】
プロセス６００は、それから、"表示、格納、および／またはイメージのエンコードのための新たなデジタルゲイン（ｄｇ＿ｉｓｐ）を用いたフレームＮのイメージデータを提供"６１４を含んでもよい。本明細書で言及されるように、追加デジタルゲインは、例えばホワイトバランスゲイン値によってそれを乗算することによってＩＳＰ処理に使われてもよい。
【００６５】
他の態様によって、意図的な露出アンダーは露出オーバーを低減するべく使われてもよい。特に、および上記のように、ＥｍＤＡによって算出された追加デジタルゲインは、１．０などの最小値に限定されるかもしれない。適所にその制限によって、そして、露出の上から下に収束する場合に、目標露出が実際の露出に満たない場合に、ＥｍＤＡは目標露出を適合させ、追加デジタルゲインの追加比率を提供することができない。この問題は意図的に露出アンダーにすること、そして、それ故にＥｍＤＡデジタルゲインのヘッドルームをそのままにしておくことによって軽減され得る。収束およびプレビューまたはビデオノイズの間、これは輝度精度間のトレードオフを提供する。言い換えれば、意図的な露出アンダーを用いることの否定的側面は、露出アンダーがより悪い信号−ノイズ比率（ＳＮＲ）を引き起こし、そしてそのときノイズが実際の信号のように同じ量によってデジタルゲインによって増幅されるので、ノイズが増加するということである。
【００６６】
この態様の実装に対して、カメラセンサに送信される目標全体露出（例えばＥＴ、ＡＧ、ＤＧ値によって）は、追加デジタルゲインがＥｍＤＡによって計算される前にイメージが露出アンダーにされることを意図的に可能にするために、ｅｍｄａ収束予定にセットされる最適目標全体露出未満に意図的にセットされてもよい。露出オーバーのフレームがより小さい輝度値に収束する場合に、これは使われてもよい。１つの非限定的な例のために、ＡＥＣが特定のシーンのために推定する目標全体露出は、例えば、６０ｍｓ（ＥＴ＝３０ｍｓ、ＡＧ＝２．０、ＤＧ＝１．０から）になり得、目標全体露出は、ＡＥ収束予定に配置され得る。しかしながら、ＡＥＣはセンサにＥＴ＝３０ｍｓ、ＡＧ＝１．０、ＤＧ＝１．０（３０ｍｓの全体露出に対応する）を送信してもよい。それからＥｍＤＡは、ｘ２．０追加デジタルゲイン（３０以上の６０）を提案し得る。この場合において、実際の画像信号を生成する露出時間ではなく、センサ上のアナログゲインだけが影響を及ぼされたので、ノイズに対する影響は最小になり得る。例を拡大するために、それから、カメラが突然より明るいシーンに向けられた場合に、６０ｍｓの全体露出は、露出オーバーのイメージをもたらすだろう。しかし、ｘ２．０追加デジタルゲインが事実上あるので、１．０を下回るデジタルゲイン値を使うことを必要とするＥｍＤＡなしに、輝度が滑らかに減少し始めるように、収束予定は突然に変更され得る。つまり、センサの新たな露出パラメータの適用に遅延があったならば、ＥｍＤＡはｘ２．０から追加デジタルゲインを減らすことによって補償し得る。露出時間がＥＴ＝６０ｍｓ、ＡＧ＝１．０およびＤＧ＝１．０のゲインの１つの代わりに変更される場合に、このフレームは、意図的にＥＴ＝３０ｍｓ、ＡＧ＝１．０およびＤＧ＝１．０に対して露出アンダーであり、そのとき、オペレーションは同一であるだろうが、露出時間が半分であったので、ノイズはより増大するだろう。肯定的な側面の効果として、露出時間が減少したので、被写体ぶれのリスクは減少するだろう。
【００６７】
図７を参照すると、プロセス７００は、自動露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）の形成を示すべく提供される。本明細書で説明されるプロセス７００は、本開示の少なくともいくつかの実装形態に従って配置される。示される実装形態において、プロセス７００は、均等に番号が付けられたオペレーション７０２−７１４の１または複数によって示されるように、１または複数のオペレーション、機能、または行為を含んでもよい。非限定的な例の手段によって、プロセス７００は、図１Ａ−図１Ｂおよび／または８の画像処理システムの例を参照して本明細書で説明されるだろう。
【００６８】
プロセス７００は、"イメージデータ並びにＥＴ、ＡＧおよびＤＧ露出パラメータを含み、ローフレームに事実上存在した埋め込み露出パラメータデータを受信"７０２を含んでもよい。したがって、ＡＥＣコンポーネント１１４、１５９、８１８または８３７は、７０４および"どの露出パラメータがフレームに実際に使われたかを判断するべく埋め込み露出パラメータデータをモニタ"７０６を実行してもよい。ＡＥＣがＩ２Ｃ伝送を介してセンサに新たな露出パラメータを送信するとはいえ、ＡＥＣはタイミングを事前に識別できず、新たな露出パラメータを使うだろうフレームを要求できない。したがって、露出パラメータの使用は、フレームと共に受信される埋め込みデータを読むことによって判断され得、それはカメラセンサから提供されるそのままに使われた。
【００６９】
プロセス７００は、"自動露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）の開始フレームを特定"７０８を継続してもよい。先に述べたように、ＥｍＤＡが収束予定の最新の全体露出に達する前に、露出予定は上手に更新されるべきである。なぜならば、そうでなければＥｍＤＡが既に最新の全体露出を使い切っている場合にＡＥＣ分析が遅延されるときに、新たなフレームがセンサから到着する場合にＥｍＤＡは利用できるいずれの参照全体露出を持たないだろう。一形態において、上記のように、ＡＥＣが所望される間、収束予定はフレーム毎に自動的に提供される。そうでなければ、収束予定の更新は、フレーム毎に必要とされないかもしれないが、より低い品質のイメージが検出されるようなそれが遅延しない限りは、離れたいくつかのフレームであってよい。デジタルカメラのために、収束およびビューファインディングの間に実行される、順に収束予定の更新は、イメージがキャプチャされるまで、連続的であってもよい。そして、それから、収束およびビューファインディングは再度開始される。そうでなければ、ビューファインダ露出は、常にフレーミングにおける変化およびイメージシーンにおける変化に十分に高速にかつ滑らかに反応しないかもしれない。
【００７０】
それにもかかわらず、他の代替例のアプローチによって、例のためのＡＥＣコンポーネント１１４、１５９または８１８は、シーンの変化がイメージデータを用いて検出されるときはいつでも、新たな収束予定を自動的に形成してもよい。そのようなシーン変化検出は、例えば、インター予測動き推測技術またはシーンの平均輝度の変化に基づいてもよい。他の代替例によって、プロセス７００は、全体露出またはフレーム間（Ｎ＋１〜Ｎ）の輝度差のモニタリングを含んでもよい。そのような比較または差は、閾値と比較されてもよい。それが閾値を超えれば、そのとき、新たな、より段階的なまたはより滑らかな収束予定が必要とされる。そうでなければ、埋め込みデータは、モニタされてもよく、そして、収束予定の終了が予期され（Ｎで開始しＮ＋３で終了するべき収束予定など）、かつ、最終目標輝度がまだ到達されていない場合に、目標輝度が到達されるまで、新たな収束予定がモニタされている予定を延ばすべく生成されてもよい。実際には事実上Ｎ＋１、Ｎ＋２、Ｎ＋３に対して、および、どれくらいのフレーム数が最終目標全体露出に達するために必要とされるかに対してのように、これは、Ｎ＋３で実全体露出からの新たな補間計算が最終目標全体露出に出るか、収束予定が単に輝度の同一変化を継続してもよいか（または言い換えれば、輝度の間隔または段階は、ポジティブまたはネガティブ方向において同一である）によってなされてもよい。
【００７１】
新たな収束予定が必要であると決定されるとすぐに、プロセス７００は、それから、"収束予定の中間フレームの数および最後のフレームの位置を判断"７１０してもよい。一形態において、記録されている高速に動くオブジェクトまたはスローモーションなどの所望される特別な効果をキャプチャするべく、これはエンジニアの設計によって記録する速度の調整された設定によって影響されてもよい。この場合において、ＡＥＣは記録する速度がより速くなる（より大きいフレーム／秒）場合のような異なるスピードで動作してもよい。フレームを単位としてＡＥＣリアクションは、より遅くてもよい（例えば、記録する速度がより遅い場合に、ＡＥＣは３フレームに１フレームの割合よりもむしろ６＋フレーム毎に１フレームを分析する）。フレームレートにかかわらず特定の使用例のために定数収束時間（例えばフレーム数）を持つことは望ましいことがあり得るので、これは提供される。ＡＥＣが非常に高速に反応するべく調整されると、ＡＥＣは完全な再分析を、例えば３フレームに１フレームの割合でしてもよい。この場合において、フレームＮが分析され、そして、フレームＮ＋４であると、中間フレームＮ＋１およびＮ＋２は、Ｎ＋３で生じる最終目標輝度（または全体露出）で滑らかな輝度遷移を提供するべく補間される。
【００７２】
一方、ＡＥＣがより遅く反応するべく調整されると、そのときは、より多いフレームが補間されてもよい。そして、ＡＥＣがフレームＮの統計の十分な分析をする場合に、ＡＥＣは例えばこの新たな露出がフレームＮ＋５で効果的になるだろうということを計画してもよい。そして、フレームＮ＋１〜Ｎ＋４は、新たな露出時間に向けて滑らかな遷移を作るべく補間されるだろう。他の代替例によって、使われる補間フレームの数は、状況を問わず、例えば２、３、または４などで固定されてもよい。そうでなければ、補間フレームの数は、隣接フレーム間の全体露出の最大差によってセットされてもよい。したがって、輝度の変化または全体露出がフレームからフレームまでのｘよりも大きいことによって異なることができない場合に、そして、収束予定は、５ｘの輝度の全体変化を必要とし、それから、開始フレーム、終了フレームおよび３つの補間フレームは、使われるだろう。他の代替例においてＡＥＣはフレーム毎に収束予定を変化してもよい。そして、ＡＥＣ分析がいくつかの理由のために遅れる場合のみに、予定はそれほど頻繁ではないが更新される。あるアルゴリズム−特定パラメータを含むＡＥＣの安定化のための調整パラメータは、また、収束速度に影響を及ぼし得る。多くの他の例が存在する。
【００７３】
収束予定のためのフレーム数がセットされるとすぐに、フレームは特定され、プロセス７００は、補間全体露出が計算され、かつこれらの中間フレーム数スロットに対してセットされるように、"中間フレームの全体露出時間を計算"７１２を継続してもよい。
【００７４】
プロセス７００は、そのとき、"露出時間およびフレーム位置と共に自動露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）を更新"７１４を含んでもよい。したがって、中間または補間全体露出は、開始および最終目標全体露出と一緒に、自動露出収束予定フレームスロットにセットされる。他の代替例によって、露出時間、デジタルゲイン、およびアナログゲイン（ゲインそれ自体は実際のまたは補間でもよい）などの、計算された露出パラメータは、ＥｍＤＡがＡＥ収束予定によって提供されている全体露出の代わりに全体露出を計算できるように、代わりに収束予定にセットされてもよい。したがって、ＡＥ露出収束予定（ａｅ＿ｃｏｎｖ＿ｐｌａｎ）は送信され、またはＥｍＤＡにアクセス可能にされる。
【００７５】
システムを動作するための擬似コードの例は、以下の通りであってよい。
【００７６】
変数／パラメータのセット
ｔｙｐｅｄｅｆ ｓｔｒｕｃｔ
｛
ｕｉｎｔ３２＿ｔ ｔｏｔａｌ＿ｅｘｐｏｓｕｒｅ； ／／ マイクロ秒
ｕｉｎｔ３２＿ｔ ｆｒａｍｅ＿ｎｕｍｂｅｒ； ／／ｔｏｔａｌ＿ｅｘｐｏｓｕｒｅがどのフレームに対応するか
｝ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｃｅｌｌ；
ｔｙｐｅｄｅｆ ｓｔｒｕｃｔ
｛
ｕｉｎｔ１６＿ｔ ｅｔ＿ｐｉｘ＿ｐｅｒｉｏｄ；
ｕｉｎｔ１６＿ｔ ｅｔ＿ｌｉｎｅ＿ｐｅｒｉｏｄ；
ｕｉｎｔ１６＿ｔ ａｇ＿ｇａｉｎ＿ｃｏｄｅ；
ｕｉｎｔ１６＿ｔ ｄｇ＿ｇａｉｎ；
｝ｉａ＿ｃａｍｅｒａ＿ｓｅｎｓｏｒ＿ｅｍｂｅｄｄｅｄ＿ｄａｔａ；
ｉｎｔ ｉｎｉｔ＿ｅｍｄａ（ｕｉｎｔ３２＿ｔ＊ ｆｒａｍｅ＿ｎｕｍｂｅｒ）
｛
＊ｆｒａｍｅ＿ｎｕｍｂｅｒ ＝ ０；
｝
予定にｅｍｄａ収束予定サイズをセット：
ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｃｅｌｌ ｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ［ｅｍｄＡ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｓｉｚｅ］； ／／ 例えばｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｓｉｚｅ ＝ ８
ＥｍＤＡオペレーションは以下の通り。
／／主機能ｒｕｎ＿ｅｍｄａ（・・・）。埋め込みデータを受信した後、機能はＩＳＰまたは他の適切な処理ユニットにおいてフレーム毎に呼ばれる。
／／センサから。新たな予定が受信されない場合にａｅ＿ｃｏｎｖ＿ｐｌａｎはＮＵＬＬである。
ｉｎｔ ｒｕｎ＿ｅｍｄａ（ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｃｅｌｌ＊ ａｅ＿ｃｏｎｖ＿ｐｌａｎ, ｃｏｎｓｔ  ｉｎｔ  ａｅ＿ｃｏｎｖ＿ｐｌａｎ＿ｓｉｚｅ，  ｃｏｎｓｔ  ｉａ＿ｃａｍｅｒａ＿ｓｅｎｓｏｒ＿ｅｍｂｅｄｄｅｄ＿ｄａｔａ ｅｍｂｅｄｄｅｄ＿ｄａｔａ, ｃｏｎｓｔ ｕｉｎｔ３２＿ｔ ｆｒａｍｅ＿ｎｕｍｂｅｒ）
｛
0005942301.tif 000003
［ここのコード］
／／ｅｍｂｅｄｄｅｄ＿ｄａｔａを包括露出ユニットｅｔ（ユニットはマイクロ秒）、ａｇ（浮動小数）、およびｄｇ（浮動小数）に変換
ｃｏｎｖｅｒｔ＿ｓｅｎｓｏｒ＿ｕｎｉｔｓ＿ｔｏ＿ｅｘｐｏｓｕｒｅ＿ｔｉｍｅ（）
｛
ｒｅｔｕｒｎ（（ｃｏａｒｓｅ＿ｉｎｔｅｇｒａｔｉｏｎ＿ｔｉｍｅ＊ｐｉｘｅｌ＿ｐｅｒｉｏｄｓ＿ｐｅｒ＿ｌｉｎｅ）＋ｆｉｎｅ＿ｉｎｔｅｇｒａｔｉｏｎ＿ｔｉｍｅ）／ｐｉｘｅｌ＿ｃｌｏｃｋ＿ｆｒｅｑ＿ｍｈｚ）
｝
［ここのコード］
／／ｆｒａｍｅ＿ｎｕｍｂｅｒに対応するｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎでインデックス"ｉｎｄ"を探索
［ここのコード］
／／目標全体露出が露出によって実現されない場合にＩＳＰ側で必要なデジタルゲインを計算
／／事実上、現在のところのパラメータ
ｄｏｕｂｌｅ ｄｇ＿ｉｓｐ ＝ ｍａｘ（１．０, ｅｍｄａ＿ａｅ＿ｃｏｎｖ＿ｐｌａｎ［ｉｎｄ］／（ｅｔ＊ａｇ＊ｄｇ））；
／／ｄｇ＿ｉｓｐでＩＳＰにおけるＷＢゲインを乗じる（また、ＷＢゲインよりも他のＩＳＰブロックであり得るが、してはいけない）
／／３Ａ統計の影響）
［ここのコード］
｝
【００７７】
ライン周期に関して露出は粗い、そして、ピクセル期間に関して追加の露出時間が好ましい。
【００７８】
加えて、図２−４および６−７のオペレーションの任意の１または複数は、１または複数のコンピュータプログラム製品によって提供される命令に応じて始められてもよい。そのようなプログラム製品は、例えばプロセッサにより実行される場合に、本明細書で説明された機能性を提供してもよい命令を提供する信号搬送媒体を含んでもよい。コンピュータプログラム製品は、１または複数の機械可読媒体の任意の形態で提供されてもよい。したがって、例えば、１または複数のプロセッサコアを含むプロセッサは、１または複数のコンピュータまたは機械可読媒体によってプロセッサに搬送されるプログラムコードおよび／または命令または命令セットに応じて、本明細書で説明されるプロセス例のオペレーションの１または複数を開始してもよい。一般的に、機械可読媒体は、任意のデバイスおよび／またはシステムに本明細書で説明されたように実行させるプログラムコードおよび／または命令または命令セットの形でソフトウェアを搬送してもよい。機械またはコンピュータ可読媒体は、非一時的なコンピュータ読み取り可能媒体などの非一時的な物品または媒体であってよい。そして、任意の上記例または一時的な信号それ自体を含まないということを除いて他の例に使われてもよい。ＲＡＭなど"暫定的"な様式においてデータを一時的に保持してもよい信号それ自体以外のそれらの要素を含む。
【００７９】
本明細書で説明された任意の実装形態で使われたように、用語"モジュール"は本明細書で説明された機能性を提供するように構成されるソフトウェアロジックおよび／またはファームウェアロジックの任意の組み合わせを示す。ソフトウェアは、ソフトウェアパッケージ、コード、および／または命令セット、および／またはプログラマブル回路によって実行される命令を格納するファームウェアとして具体化されてもよい。モジュールは、集合的にまたは個別に、より大きいシステム、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）などの一部として実装形態のために具体化されてもよい。
【００８０】
本明細書で説明された任意の実装形態で使われたように、用語"論理ユニット"は、本明細書で説明された機能性を提供するように構成されたファームウェアロジックおよび／またはハードウェアロジックの任意の組み合わせを示す。本明細書で説明された任意の実装形態で使われたように、"ハードウェア"は、例えば、単独にまたは任意の組み合わせで、ハードワイヤード回路、プログラマブル回路、状態機械回路、および／またはプログラマブル回路によって実行される命令を格納するファームウェアを含んでもよい。論理ユニットは、集合的にまたは個別に、より大きいシステム、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）などの一部を形成する回路として具体化されてもよい。例えば、論理ユニットは、本明細書で説明されたシステムのファームウェアまたはハードウェアの実装形態のための論理回路に具体化されてもよい。さらに、当業者は、ハードウェアおよび／またはファームウェアによって実行されるオペレーションが、また、ソフトウェアの部分を論理ユニットの機能性を実装するべく利用してもよいということを十分理解するだろう。
【００８１】
本明細書で説明された任意の実装形態で使われたように、用語"エンジン"および／または"コンポーネント"は、これらの用語が上記されたように、モジュールまたは論理ユニットを示してもよい。それに応じて、用語"エンジン"および／または"コンポーネント"はソフトウェアロジック、ファームウェアロジック、および／または本明細書で説明された機能性を提供するように構成されたハードウェアロジックの任意の組み合わせを示してもよい。例えば、当業者は、ハードウェアおよび／またはファームウェアによって実行されるオペレーションが、代替的に、ソフトウェアパッケージとして具体化されてもよいソフトウェアモジュール、コード、および／または命令セットを介して実装されてもよいことを十分理解するだろう。また、論理ユニットがまたソフトウェアの部分をそれの機能性を実装するべく利用してもよいことを十分理解するだろう。
【００８２】
図８を参照すると、画像処理システム８００の例が本開示の少なくともいくつかの実装形態に従って配置される。種々の実装形態において、画像処理システム８００の例は、キャプチャされたイメージデータを形成または受信する撮像デバイス８０２を持ってもよい。これは、種々の方法で実装され得る。したがって、一形態において、画像処理システム８００は、デジタルカメラまたは他のイメージキャプチャデバイスであってよく、撮像デバイス８０２は、この場合、カメラハードウェアおよびカメラセンサソフトウェア、モジュールまたはコンポーネント８１２であってよい。他の例において、画像処理システム８００は、カメラを含む、またはカメラであってよい撮像デバイス８０２を持ってもよく、論理モジュール８０４は、イメージデータの更なる処理のための撮像デバイス８０２とリモートから通信してもよく、またそうでなければ通信可能に結合されてもよい。
【００８３】
いずれにしても、そのような技術は、スティルピクチャまたはビデオカメラまたは両方の組み合わせであろうとなかろうと、デジタルカメラシステム、専用カメラデバイス、またはカメラ付き携帯電話などのカメラを含んでもよい。したがって、一形態において、撮像デバイス８０２はカメラハードウェア、およびオートフォーカス、ズーム、アパーチャ、ＮＤフィルタ、オート露出、フラッシュ、およびアクチュエータ制御だけではなく１または複数のセンサを含む光学を含んでもよい。これらの制御は、センサを動作させるためのセンサモジュールまたはコンポーネント８０６の一部であってよい。センサコンポーネント８１２は、撮像デバイス８０２の一部であってよいし、または、論理モジュール８０４の一部であってもよいし、両方であってもよい。そのようなセンサコンポーネントは、ビューファインダのためのイメージを生成するべく使われ得るし、スティルピクチャまたはビデオを撮ることができる。撮像デバイス８０２は、また、レンズ、ＲＧＢベイヤ色フィルタを持つイメージセンサ、アナログアンプ、Ａ／Ｄコンバータ、入射光をデジタル信号に変換する他のコンポーネントなど、および／またはそれらの組み合わせを有してもよい。デジタル信号は、また、本明細書でローイメージデータと呼ばれてもよい。
【００８４】
他の形態は、赤‐緑‐青（ＲＧＢ）デプスカメラおよび／または誰が話しているかを見つけるためのマイクロフォンアレイを使用せずに、カメラセンサタイプの撮像デバイスなど（例えば、ウェブカムまたはウェブカムセンサ、または他の相補型ＭＯＳ（ＣＭＯＳ））を含んでもよい。ＥｍＤＡがイメージデータの前に利用できる限りは、カメラセンサは、また、ローリングシャッタに加えて、または代わりにグローバルシャッタ、および多くの他のシャッタタイプなどの電子シャッタの他のタイプをサポートしてもよい。他の例においては、ＲＧＢデプスカメラおよび／またはマイクロフォンアレイは、カメラセンサに加えて、または代替例に使われてもよい。いくつかの例において、撮像デバイス８０２は、アイトラッキングカメラを備えてもよい。
【００８５】
示された例において、論理モジュール８０４は、自動ホワイトバランス制御８１４、オートフォーカス（ＡＦ）モジュール８１６、および自動露出制御（ＡＥＣ）モジュール８１８を含んでもよい。埋め込みデータアナライザ８０８または８３４は、論理モジュールの一部としておよび／またはＩＳＰ８２２などのプロセッサ８２０に搭載して提供されてもよい。自動制御ユニット８３６または８１０は同様に提供されてもよい。論理モジュールは、ローイメージデータおよび本明細書で説明された埋め込みデータを受信するために、撮像デバイス８０２に通信可能に結合されてよい。
【００８６】
自動制御ユニット８３６は、３Ａ統計を備える。そして、埋め込みデータからＡＥ収束予定を規定し更新するためのＡＥＣ収束予定コンポーネント８３７は、自動制御ユニット８３６の一部と考えられてもよい。そうでなければ、ＡＥＣコンポーネント１１４は、ＡＥ収束予定の生成に対処してもよい。
【００８７】
画像処理システム８００は、インテルアトムなどの専用画像信号プロセッサ（ＩＳＰ）８２２を含んでよい１または複数のプロセッサ８２０、メモリ格納８２４、１または複数のディスプレイ８２６、エンコーダ８２８、およびアンテナ８３０を持ってもよい。一例の実装形態においては、画像処理システム１００は、ディスプレイ８２６、ディスプレイに通信可能に結合された少なくとも１つのプロセッサ８２０、プロセッサに通信可能に結合され、かつＥｍＤＡ収束予定を格納するための一例によって円形バッファ８３８を持つ少なくとも１つのメモリ８２４を持ってもよい。エンコーダ８２８およびアンテナ８３０は、送信のために修正されたイメージデータを圧縮するべくイメージをディスプレイまたは格納するかもしれない他のデバイスに提供されてもよい。当然のことながら、画像処理システム８００は、また、システム８００によって処理するためのイメージデータを受信およびデコードするデコーダ（またはエンコーダ８２８はデコーダを含んでもよい）を含んでもよい。そうでなければ、処理された画像８３２は、ディスプレイ８２６に表示されてもよいし、メモリ８２４に格納されてもよい。示されるように、任意のこれらのコンポーネントは、互いに通信ができてもよいし、および／または論理モジュール８０４および／または撮像デバイス８０２の部分と通信ができてもよい。したがって、プロセッサ８２０は、それらのコンポーネントを動作するためのイメージデバイス８０２と論理モジュール８０４の両方に通信可能に結合されてもよい。１つのアプローチによって、画像処理システム８００は、図８に示されるように、１つの特定のブロックセット、または特定のコンポーネントまたはモジュールに関連付けられた行為を含んでもよいが、これらのブロックまたは行為は、ここで示された特定のコンポーネントまたはモジュールより異なるコンポーネントまたはモジュールに関連付けされてもよい。
【００８８】
図９を参照すると、システム９００の例は、本開示に従って、本明細書で説明された画像処理システムの１または複数の態様を動作する。下記に示すシステムコンポーネントの性質から当然のことながら、そのようなコンポーネントは、上記説明された画像処理システムのある一部または複数の部分に関連付けられてもよいし、動作するべく使われてもよい。種々の実装形態において、システム９００はこのコンテキストに限定されるものではないが、システム９００はメディアシステムであってもよい。例えば、システム９００は、デジタルスティルカメラ、デジタルビデオカメラ、カメラ付き携帯電話などのカメラまたはビデオ機能を持つモバイルデバイス、ウェブカム、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えばスマートフォン、スマートタブレットまたはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイスなどに組み込まれてもよい。
【００８９】
種々の実装形態において、システム９００は、ディスプレイ９２０に接続されるプラットフォーム９０２を含む。プラットフォーム９０２は、コンテンツサービスデバイス９３０またはコンテンツ配信デバイス９４０または他の類似のコンテンツソースなどのコンテンツデバイスからコンテンツを受信してもよい１または複数のナビゲーション機能を含むナビゲーションコントローラ９５０は、例えば、プラットフォーム９０２および／またはディスプレイ９２０と相互作用するように使われてもよい。これらのコンポーネントのそれぞれは、下記により詳細に説明される。
【００９０】
種々の実装形態において、プラットフォーム９０２は、チップセット９０５、プロセッサ９１０、メモリ９１２、ストレージ９１４、グラフィックサブシステム９１５、アプリケーション９１６および／または無線９１８の任意の組み合わせを含んでもよい。チップセット９０５はプロセッサ９１０、メモリ９１２、ストレージ９１４、グラフィックサブシステム９１５、アプリケーション９１６および／または無線９１８の間の相互通信を備えてもよい。例えば、チップセット９０５は、ストレージ９１４との相互通信を提供できるストレージアダプタ（不図示）を含んでもよい。
【００９１】
プロセッサ９１０はＣｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（ＣＩＳＣ）またはＲｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（ＲＩＳＣ）プロセッサ、プロセッサと互換性があるｘ８６命令セット、マルチコア、または任意の他のマイクロプロセッサ、または中央処理ユニット（ＣＰＵ）として実装されてもよい。種々の実装形態において、プロセッサ９１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサなどであってもよい。
【００９２】
メモリ９１２は、限定するものではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはスタティックＲＡＭ（ＳＲＡＭ）などの揮発性メモリデバイスとして実装されてもよい。
【００９３】
ストレージ９１４は、限定するものではないが、マグネティックディスクドライブ、オプティカルディスクドライブ、テープドライブ、内部ストレージデバイス、付加ストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワークアクセス可能ストレージデバイスなどの不揮発性ストレージデバイスとして実装されてもよい。種々の実装形態において、ストレージ９１４は、例えば、並列ハードドライブが含まれる場合に、重要なデジタルメディアのための保護が改良されたストレージ性能を増大する技術を含んでもよい。
【００９４】
グラフィックサブシステム９１５は表示のためのスティルまたはビデオなどのイメージ処理を実行してもよい。グラフィックサブシステム９１５は、例えばグラフィック処理ユニット（ＧＰＵ）またはビジュアル処理ユニット（ＶＰＵ）であってよい。アナログまたはデジタルインタフェースは、グラフィックサブシステム９１５およびディスプレイ９２０に通信可能に接続されて使われてもよい。例えば、インタフェースは、任意の高解像度マルチメディアインタフェース、ディスプレイポート、無線ＨＤＭＩ（登録商標）、および／または無線ＨＤ準拠技術であってよい。グラフィックサブシステム９１５はプロセッサ９１０またはチップセット９０５に組み込まれてもよい。いくつかの実装形態において、グラフィックサブシステム９１５は、チップセット９０５に通信可能に結合されたスタンドアローンカードであってよい。
【００９５】
本明細書で説明されたグラフィックおよび／またはビデオ処理技術は、種々のハードウェアアーキテクチャに実装されてもよい。例えば、グラフィックおよび／またはビデオ機能性は、チップセットに組み込まれてもよい。代替的に、個別のグラフィックおよび／またはビデオプロセッサは使われてもよい。さらに他の実装形態として、グラフィックおよび／またはビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって提供されてもよい。更なる実施形態において、機能はコンシューマ電子デバイスに実装されてもよい。
【００９６】
無線９１８は種々の適切な無線通信技術を使って信号を送信および受信できる１または複数の無線を含んでもよい。そのような技術は、１または複数の無線ネットワークにわたる通信を含んでもよい。無線ネットワークの例は、無線ローカルエリアネットワーク（ＷＬＡＮｓ）、無線パーソナルエリアネットワーク（ＷＰＡＮｓ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮｓ）、セルラーネットワーク、およびサテライトネットワークを含む（限定するものではないが）。そのようなネットワークにわたる通信において、無線８１８は、任意のバージョンの１または複数の適切な規格に従って動作してもよい。
【００９７】
種々の実装形態において、ディスプレイ９２０は任意のテレビタイプモニタまたはディスプレイを含んでもよい。ディスプレイ９２０は、例えば、コンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビのようなデバイス、および／またはテレビを含んでもよい。ディスプレイ９２０は、デジタルおよび／またはアナログであってよい。種々の実装形態において、ディスプレイ９２０は、ホログラフィックディスプレイであってよい。また、ディスプレイ９２０は、ビジュアル投影を受信するかもしれない透明な表面であってよい。そのような投影は、情報、イメージ、および／またはオブジェクトの種々の形態を伝送してもよい。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのためのビジュアルオーバレイであってよい。１または複数のソフトウェアアプリケーション９１６の制御下で、プラットフォーム９０２はユーザインタフェース９２２をディスプレイ９２０に表示してもよい。
【００９８】
種々の実装形態において、コンテンツサービスデバイス９３０は、任意のナショナル、インターナショナル、および／または独立した、そしてそれ故に、例えばインターネットを介してプラットフォーム９０２にアクセス可能であるサービスによってホストされてもよい。コンテンツサービスデバイス９３０は、プラットフォーム９０２および／またはディスプレイ９２０に接続されてもよい。プラットフォーム９０２および／またはコンテンツサービスデバイス９３０はネットワーク９６０へおよびネットワーク９６０からメディア情報を通信する（例えば送信および／または受信する）ためにネットワーク９６０に接続されてもよい。コンテンツ配信デバイス９４０は、また、プラットフォーム９０２および／またはディスプレイ９２０に接続されてもよい。
【００９９】
種々の実装形態において、コンテンツサービスデバイス９３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット可能デバイスまたはデジタル情報および／またはコンテンツを配送できる電化製品、およびネットワーク９６０を介してまたは直接にコンテンツプロバイダおよびプラットフォーム９０２および／またはディスプレイ９２０の間で一定方向にまたは双方向にコンテンツを通信できる任意の他の類似のデバイスを含んでもよい。当然のことながら、コンテンツは一定方向におよび／または双方向にシステム９００の任意の１つのコンポーネントおよびコンテンツプロバイダにおよびからネットワーク９６０を介して通信されてもよい。  コンテンツの例は、例えば、ビデオ、音楽、医療およびゲーム情報などを含む任意のメディア情報を含んでもよい。
【０１００】
コンテンツサービスデバイス９３０はメディア情報、デジタル情報および／または他のコンテンツを含むケーブルテレビ番組などのコンテンツを受信してもよい。コンテンツプロバイダの例は、任意のケーブルまたはサテライトテレビまたは無線またはインターネットコンテンツプロバイダを含んでもよい。提供される例は、多少なりとも本開示に従って実装形態を限定することを意図されているわけではない。
【０１０１】
種々の実装形態において、プラットフォーム９０２は、１または複数のナビゲーション機能を持つナビゲーションコントローラ９５０から制御信号を受信してもよい。コントローラ９５０のナビゲーション機能は、例えばユーザインタフェース９２２に相互作用するように使われてもよい。実施形態において、ナビゲーションコントローラ９５０は、ユーザが空間（例えば、連続およびマルチ次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（特に、ヒューマンインタフェースデバイス）であるかもしれないポインティングデバイスであってよい。グラフィカルユーザインタフェース（ＧＵＩ）などの多くのシステム並びにテレビおよびモニタは、ユーザが身体的なジェスチャを使ってコンピュータまたはテレビに対してデータを制御および提供することを許容する。
【０１０２】
コントローラ９５０のナビゲーション機能の動作は、ポインタ、カーソル、フォーカスリング、またはディスプレイに表示される他のビジュアルインジケータの動作によってディスプレイ（例えばディスプレイ９２０）で再現されてもよい。      例えば、ソフトウェアアプリケーション９１６の制御下で、ナビゲーションコントローラ９５０に置かれたナビゲーション機能は、例えばユーザインタフェース９２２に表示されたバーチャルナビゲーション機能にマッピングされてもよい。実施形態において、コントローラ９５０は、別個のコンポーネントでないかもしれないが、プラットフォーム９０２および／またはディスプレイ９２０に組み込まれてもよい。しかしながら、本開示は、本明細書で示されたまたは説明された要素またはコンテキストを限定するものではない。
【０１０３】
種々の実装形態において、ドライバ（不図示）は、初期ブートアップ後、例えば使用可能な場合に、ユーザが即座にワンタッチでテレビなどのプラットフォーム９０２をオンまたはオフにすることを可能にする技術を含んでもよい。プラットフォームが"オフ"されるときでさえ、プログラム論理は、プラットフォーム９０２がコンテンツをメディアアダプタまたは他のコンテンツサービスデバイス９３０またはコンテンツ配信デバイス９４０に流すことを許可する。加えて、チップセット９０５は、例えば８．１サラウンドサウンドオーディオおよび／または高解像度（７．１）サラウンドサウンドオーディオのためのハードウェアおよび／またはソフトウェアサポートを含んでもよい。ドライバは、組み込まれたグラフィックプラットフォームのためのグラフィックドライバを含んでもよい。実施形態において、グラフィックドライバは、ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）Ｅｘｐｒｅｓｓグラフィックカードを含んでもよい。
【０１０４】
種々の実装形態において、システム９００に示されるコンポーネントの任意の１または複数は、組み込まれてもよい。例えば、プラットフォーム９０２およびコンテンツサービスデバイス９３０は、統合されてもよい。または、プラットフォーム９０２およびコンテンツ配信デバイス９４０は統合されてもよい。または、プラットフォーム９０２、コンテンツサービスデバイス９３０、およびコンテンツ配信デバイス９４０は、統合されてもよい。種々の実施形態において、プラットフォーム９０２およびディスプレイ９２０は、組み込みユニットであってよい。例えば、ディスプレイ９２０およびコンテンツサービスデバイス９３０は、統合されてもよい。または、ディスプレイ９２０およびコンテンツ配信デバイス９４０は、統合されてもよい。これらの例は、本開示を限定することを意図されているわけではない。
【０１０５】
種々の実施形態において、システム９００は、無線システム、有線システム、または両方の組み合わせとして実装されてもよい。無線システムとして実装される場合に、システム９００は、１または複数のアンテナ、送信機、受信機、トランシーバ、アンプ、フィルタ、制御論理など、無線共有媒体と通信するために適切なコンポーネントおよびインタフェースを含んでもよい。無線共有媒体の例は、ＲＦスペクトルなどの無線スペクトルの部分を含んでもよい。有線システムとして実装される場合に、システム９００は、入出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する物理的なコネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラなど、有線通信媒体と通信するために適切なコンポーネントおよびインタフェースを含んでもよい。有線通信媒体の例は、ワイヤ、ケーブル、金属鉛、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアケーブル、同軸ケーブル、ファイバオプティクスなどを含んでもよい。
【０１０６】
プラットフォーム９０２は、情報を通信するべく１または複数の論理的または物理的なチャネルを確立する。情報は、メディア情報および制御情報を含んでもよい。メディア情報は、ユーザのために意味されるコンテンツを表す任意のデータを示す。コンテンツの例は、例えば、音声会話からのデータ、ビデオ会議、ストリーミングビデオ、電子メール（"ｅメール"）メッセージ、ボイスメールメッセージ、英数字シンボル、グラフィック、イメージ、ビデオ、テキストなどを含んでもよい。音声会話からのデータは、例えば、スピーチ情報、沈黙時間、バックグラウンドノイズ、快適ノイズ、トーンなどであってよい。制御情報はオートメーション化されたシステムのために意味される命令、指示または制御ワードを表す任意のデータを示してもよい。例えば、制御情報は、システムを通してメディア情報を送るために、または、あらかじめ決められた方法でメディア情報をプロセスするノードを指示するために使われてもよい。しかしながら、実装形態は、図９に示されるまたは説明される要素またはコンテキストに限定されるものではない。
【０１０７】
図１０を参照すると、小さなフォームファクタデバイス１０００は、システム９００が具体化されるかもしれない物理的なスタイルまたはフォームファクタの変形の一例である。このアプローチによって、デバイス１０００は、無線機能を持つモバイルコンピューティングデバイスとして実装されてもよい。モバイルコンピューティングデバイスは、処理システムおよび例えば１または複数のバッテリなどのモバイルパワーソースまたはサプライを持つ任意のデバイスを示してもよい。
【０１０８】
上記のように、モバイルコンピューティングデバイスの例は、デジタルスティルカメラ、デジタルビデオカメラ、カメラ付き携帯電話などのカメラまたはビデオ機能を有するモバイルデバイス、ウェブカム、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレットまたはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイスなどを含んでもよい。
【０１０９】
モバイルコンピューティングデバイスの例は、または、人間によって身に着けられるように配置される、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、アイグラスコンピュータ、ベルトチップコンピュータ、アームバンドコンピュータ、シューコンピュータ、クロージングコンピュータ、および他のウェアラブルコンピュータなどのコンピュータを含んでもよい。種々の実施形態において、例えば、モバイルコンピューティングデバイスは、ボイス通信および／またはデータ通信だけではなくコンピュータアプリケーションを実行できるスマートフォンとして実装されてもよい。いくつかの実施形態は、例のためにスマートフォンとして実装されるモバイルコンピューティングデバイスで説明されてもよいかもしれないが、他の実施形態は他の無線モバイルコンピューティングデバイスも用いて実装されてもよいことは好まれているかもしれない。実施形態は、このコンテキストに限定されない。
【０１１０】
図１０に示されるように、デバイス１０００は、筐体１００２、スクリーン１０１０を含むディスプレイ１００４、入出力（Ｉ／Ｏ）デバイス１００６およびアンテナ１００８を含んでもよい。デバイス１０００は、また、ナビゲーション機能１０１２を含んでもよい。ディスプレイ１００４は、モバイルコンピューティングデバイスのために適切な情報を表示するための任意の適切なディスプレイユニットを含んでもよい。Ｉ／Ｏデバイス１００６は、情報をモバイルコンピューティングデバイスに入力するための任意の適切なＩ／Ｏデバイスを含んでもよい。Ｉ／Ｏデバイス１００６の例は、英数字のキーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイク、スピーカ、音声認識デバイスおよびソフトウェアなどを含んでもよい。情報は、また、マイク（不図示）によってデバイス１０００に入力されてもよい。そのような情報は、音声認識デバイス（不図示）によってデジタル化されてもよい。実施形態は、このコンテキストに限定されない。
【０１１１】
本明細書で説明されるデバイスおよびプロセスの種々の形態は、ハードウェア要素、ソフトウェア要素または両方の組み合わせを用いて実装されてもよい。ハードウェア要素の例には、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗、コンデンサ、誘電子、およびその他）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、およびその他が含まれ得る。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはこれらの何らかの組み合わせが含まれ得る。実施形態をハードウェア要素を用いて実装する、および／またはソフトウェア要素を用いて実装 することについての決定は、所望される演算レート、電力レベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計または性能制約など任意の数の要因に従って変わり得る。
【０１１２】
少なくとも１つの実施形態の１または複数の態様は、機械に読み取られた場合に、当該機械に本明細書に説明される技術を実行するためのロジックを組み立てさせる、プロセッサ内の様々なロジックを表す、機械可読媒体に格納された代表的な命令により実装され得る。「ＩＰコア」として公知であるそのような表現は、有形の機械可読媒体に格納され、実際にロジックまたはプロセッサを作成する組み立て機械にロードする様々な顧客または製造施設へ供給され得る。
【０１１３】
本明細書において明らかにされる特定の特徴は様々な実施例を参照して説明されてきたが、本説明は、限定的な意味で解釈されるよう意図されていない。したがって、本開示が関連する分野の当業者には明らかである、本明細書において説明される実施例の様々な修正、および他の実施例が、本開示の思想および態様の範囲に含まれるものとして見なされる。
【０１１４】
以下の例は更なる実施形態に関連する。
【０１１５】
一例によって、自動露出制御のコンピュータ実装方法は、複数のフレームに対してイメージデータをキャプチャするために使われ、かつイメージデータと共にデータストリームに埋め込まれる埋め込み露出パラメータデータを受信すること、露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データを得ることを含む。収束予定データは、複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する。この方法は、また、複数のフレームからなるシーケンスのフレームのための埋め込み露出パラメータデータと、露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインを判断すること、複数のフレームからなるシーケンスのフレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための追加デジタルゲインを提供することを含んでもよい。
【０１１６】
他の実装形態によって、方法は、複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための追加デジタルゲインを提供することを含んでもよい。埋め込み露出パラメータデータは、フレームのための実全体露出を計算することを目的として使われ、目標露出パラメータは目標全体露出である。一形態によって、露出収束予定は第２露出収束予定であり、方法は、複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定を生成することを含む。第１露出収束予定は、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む。方法は、また、新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で第１露出収束予定から第２露出収束予定を更新すること、追加デジタルゲインを計算するべく第２露出収束予定を使用することを含む。第１露出収束予定は、シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ２つのフレームの間の複数のフレームのための複数の全体露出を補間することにより生じる露出データを含む。
【０１１７】
この方法のために、埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、アナログゲイン、および上記全３つのパラメータ、のうちの少なくとも１つを含む。少なくとも１つの埋め込み露出パラメータは、データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信される。追加デジタルゲインは、埋め込みデータから生成された全体露出により目標全体露出と収束予定とを分割することにより生成された倍数である。追加デジタルゲインはフレーム毎に提供され、目標全体露出が埋め込みデータから生成された対応する全体露出に満たない場合に追加デジタルゲインは最小制限値に等しい。一例において最小制限値は１．０に等しい。方法は、また、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を埋め込みデータに意図的に提供させる露出データを提供することを含む。
【０１１８】
さらに他の実装形態によって、自動露出制御を持つ画像処理のためのシステムは、ディスプレイ、ディスプレイに通信可能に接続された少なくとも１つのプロセッサ、少なくとも１つのプロセッサに通信可能に接続された少なくとも１つのメモリ、およびプロセッサに通信可能に接続された埋め込み露出データアナライザを含む。埋め込み露出データアナライザは、複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータと共にデータストリームに埋め込まれた埋め込み露出パラメータデータを受信し、露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データを取得し、収束予定データは複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供し、複数のフレームからなるシーケンスのフレームのための埋め込み露出パラメータデータと、露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインを判断し、複数のフレームからなるシーケンスのフレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための追加デジタルゲインを提供するように構成されてもよい。
【０１１９】
他の例によって、埋め込み露出データアナライザは、複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための追加デジタルゲインを提供するように構成される。埋め込み露出パラメータデータは、フレームのための実全体露出を計算することを目的として使われ、目標露出パラメータは目標全体露出である。露出収束予定は、第２露出収束予定であり、システムは、複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定を含む。第１露出収束予定は、複数の露出パラメータまたは複数の全体露出または両方を含む。第２露出収束予定は、新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で第１露出収束予定から更新され、追加デジタルゲインを計算するべく使用される。第１露出収束予定は、シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ２つのフレームの間の複数のフレームのための複数の全体露出を補間することにより生じる露出データを含む。
【０１２０】
更なる例によって、埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、アナログゲイン、および上記全３つのパラメータ、のうちの少なくとも１つを含む。少なくとも１つの埋め込み露出パラメータは、データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信される。また、追加デジタルゲインは、埋め込みデータから生成された全体露出により目標全体露出を分割することにより生成された倍数である。両方の全体露出は同一フレームに対応し、追加デジタルゲインはフレーム毎に対して提供される。目標全体露出が埋め込みデータから生成された対応する全体露出に満たない場合に追加デジタルゲインは最小制限値と等しい。一例において、最小制限値は１．０に等しい。また、埋め込みデータは、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を意図的に提供する露出データを含む。
【０１２１】
１つのアプローチによって、可読媒体を持つ物品は、コンピューティングデバイスで実行されることに応じて、コンピューティングデバイスに、複数のフレームに対してイメージデータをキャプチャすることを目的として使われ、かつイメージデータと共にデータストリームに埋め込まれた埋め込み露出パラメータデータを受信させ、露出収束予定の少なくとも一部を形成する複数の目標露出パラメータ値からなる収束予定データを取得させ、収束予定データは複数のフレームからなるシーケンスに沿って輝度の目標変化量を形成するデータを提供する、複数の命令を含む。これは、また、複数のフレームからなるシーケンスのフレームのための埋め込み露出パラメータデータと、露出収束予定の対応する目標露出パラメータとの両方を利用することにより算出された追加デジタルゲインを判断し、複数のフレームからなるシーケンスのフレームを表示、格納、および／またはエンコードすることを目的とする画像処理のための追加デジタルゲインを提供することを含んでもよい。
【０１２２】
他のアプローチによって、複数の命令は、コンピューティングデバイスに、複数のフレームからなるシーケンスをキャプチャするカメラセンサに複数の露出パラメータを提供することを目的として使われる遅延タイミングと異なるタイミングで画像処理のための追加デジタルゲインを提供させる。埋め込み露出パラメータデータは、フレームのための実全体露出を計算することを目的として使われ、目標露出パラメータは目標全体露出である。一形態によって、露出収束予定は、第２露出収束予定であり、コンピューティングデバイスに、複数のフレームのシーケンスに沿って輝度の滑らかな変化を提供する第１露出収束予定であって、複数の目標露出パラメータまたは複数の目標全体露出または両方を含む第１露出収束予定を生成させる。コンピューティングデバイスは、また、新たな複数の目標露出パラメータまたは新たな複数の目標全体露出で第１露出収束予定から第２露出収束予定を更新すること、追加デジタルゲインを計算するべく第２露出収束予定を使用することを含む。第１露出収束予定は、シーケンスに沿って互いに間隔が空けられた２つのフレームに対して複数の全体露出を計算し、かつ２つのフレームの間の複数のフレームのための複数の全体露出を補間することにより生じる露出データを含む。
【０１２３】
この物品のために、埋め込み露出パラメータデータは、露出時間、実デジタルゲイン、アナログゲイン、および上記全３つのパラメータ、のうちの少なくとも１つを含む。少なくとも１つの埋め込み露出パラメータは、データストリームのフィールドの開始またはフィールドの終了の部分に配置され、かつカメラセンサから受信される。追加デジタルゲインは、埋め込みデータから生成された全体露出により目標全体露出と収束予定とを分割することにより生成された倍数である。追加デジタルゲインはフレーム毎に提供され、目標全体露出が埋め込みデータから生成された対応する全体露出に満たない場合に追加デジタルゲインは最小制限値に等しい。一例において最小制限値は１．０に等しい。コンピューティングデバイスは、また、フレームに対して露出アンダーをもたらす、またはもたらし得る全体露出を埋め込みデータに意図的に提供させる露出データを提供する。
【０１２４】
更なる例において、少なくとも１つの機械可読媒体は、コンピューティングデバイスで実行されることに応じて、コンピューティングデバイスに、上記した例のうちいずれか１つに係る方法を実行させる複数の命令を含み得る。
【０１２５】
また更なる例において、装置は、上記した例のうちいずれか１つに係る方法を実行する手段を含み得る。
【０１２６】
上記した例は、特徴の特定の組み合わせを含み得る。しかし、上記した例はこの点に関して限定されず、様々な実施例において、上記した例は、そのような特徴のサブセットのみを実行すること、そのような特徴を異なる順序で実行すること、そのような特徴の異なる組み合わせを実行すること、および／または、明示的に列挙されたそれらの特徴以外の追加の特徴を実行することを含み得る。例えば、例示的な方法に関して説明された全ての特徴は、例示的な装置、例示的なシステム、および／または例示的な物品に関して実装され得、その逆もまた然りである。
【図１Ａ】
0005942301.tif 000004
【図１Ｂ】
0005942301.tif 000005
【図２】
0005942301.tif 000006
【図３】
0005942301.tif 000007
【図４】
0005942301.tif 000008
【図５】
0005942301.tif 000009
【図６】
0005942301.tif 000010
【図７】
0005942301.tif 000011
【図８】
0005942301.tif 000012
【図９】
0005942301.tif 000013
【図１０】
0005942301.tif 000014