(57)【要約】  いくつかの態様は、AWB算出のためのフレームスキップを動的に設定するためのシステムおよび技法に関する。たとえば、RGBゲインがいくつかのフレームにわたって安定していると見なされる場合、AWB算出に使われるフレームスキップ値は増大され得る。変化するRGBゲインは、変化するシーンおよび/または変化する発光体などの画像変化のインジケータであり、これらは、更新されたAWB算出の必要を示すことができ、したがって、フレームスキップ値は、ゼロまたは低フレーム数に設定され得る。
2018517369.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャシステムであって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを有する画像センサーと、
少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサは、
赤、緑および青チャネルを有する画像データを受信することであって、前記画像データは少なくとも現在のフレームおよび前のフレームを表し、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、受信することと、
前記赤、緑および青チャネルの各々について、前記感光性要素の前記複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、RGBゲイン情報を、
前記第1の複数のピクセルのうちの1つから第1の値を識別することと、
前記第2の複数のピクセルのうちの対応する1つから第2の値を識別することと、
前記第1の値と前記第2の値との間の変化を算出すること
に基づいて、算出することと、
前記RGBゲイン情報に基づいて、前記複数のロケーションの前記サブセットの少なくとも1つについての、前記第1の値と前記第2の値との間の最大差を表す最大変化値を決定することと、
前記最大変化値を少なくとも1つの閾値と比較することと、
前記最大変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行うように構成される、システム。
【請求項２】
前記少なくとも1つのプロセッサは、
前記最大変化値を第1の閾値と比較することと、
前記最大変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定することに基づいて、前記最大変化値を少なくとも1つの閾値と比較することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項３】
前記最大フレームスキップ値は10フレームである、請求項2に記載のシステム。
【請求項４】
前記第1の閾値は1パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1の値と前記第2の値との間のパーセンテージ差を表す、請求項2に記載のシステム。
【請求項５】
前記最大変化値が前記第1の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、
前記最大変化値を第2の閾値と比較することと、
前記最大変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行うようにさらに構成される、請求項2に記載のシステム。
【請求項６】
前記最大変化値が前記第2の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するようにさらに構成され、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項5に記載のシステム。
【請求項７】
前記第2の閾値は3パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1の値と前記第2の値との間のパーセンテージ差を表す、請求項5に記載のシステム。
【請求項８】
前記最小フレームスキップ値はゼロである、請求項6に記載のシステム。
【請求項９】
前記少なくとも1つのプロセッサは、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項１０】
前記少なくとも1つのプロセッサは、前記複数の追加フレームのうちの少なくともいくつかに基づいて、AWB算出を実施する合間にスキップするべき更新されたフレーム数を算出するようにさらに構成される、請求項9に記載のシステム。
【請求項１１】
前記少なくとも1つのプロセッサは、スキップするべき前記更新されたフレーム数に基づいて、追加の複数の追加フレームに対してAWB算出を実施するようにさらに構成される、請求項10に記載のシステム。
【請求項１２】
前記画像センサーと目標画像シーンからの入射光との間に位置するカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記赤、緑、および青チャネルのうちの1つに各々が対応する複数の帯域通過フィルタを含む、請求項1に記載のシステム。
【請求項１３】
オートホワイトバランスを実施するためのフレームスキップ値を動的に構成するための方法であって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを備える画像センサーから、少なくとも現在のフレームおよび前のフレームを表す画像データを受信するステップであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、ステップと、
少なくとも1つの色チャネルについて、および前記感光性要素の前記複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、前記第1の複数のピクセルのうちの1つからの第1の値、および前記第2の複数のピクセルのうちの対応する1つからの第2の値を識別するステップと、
前記第1のフレームからの前記第1の複数のピクセルのうちの前記1つの、前記第1の値と、前記第2のフレームの前記第2の複数のピクセルのうちの前記対応する1つの、前記第2の値との間の変化値を算出するステップと、
前記変化値を少なくとも1つの閾値と比較するステップと、
前記変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するステップとを含む方法。
【請求項１４】
前記変化値を少なくとも1つの閾値と比較するステップは、
前記変化値を第1の閾値と比較するステップと、
前記変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定するステップとを含む、請求項13に記載の方法。
【請求項１５】
前記変化値が前記第1の閾値よりも大きいと決定したことに応答して、
前記変化値を第2の閾値と比較するステップと、
前記変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定するステップであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、ステップとをさらに含む、請求項14に記載の方法。
【請求項１６】
前記変化値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するステップをさらに含み、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項15に記載の方法。
【請求項１７】
前記変化値を算出するステップは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算するステップを含む、請求項13に記載の方法。
【請求項１８】
前記変化値を算出するステップは、R、G、およびBゲインの前記最大変化を、複数の前のフレームのペアの間のR、G、およびBゲインの履歴平均と比較するステップを含む、請求項17に記載の方法。
【請求項１９】
R、G、およびBゲインの前記最大変化が、R、G、およびBゲインの前記履歴平均よりも大きいと決定したことに応答して、R、G、およびBゲインの前記最大変化を前記変化値として出力するステップと、
R、G、およびBゲインの前記最大変化がR、G、およびBゲインの前記履歴平均未満であると決定したことに応答して、R、G、およびBゲインの前記履歴平均を前記変化値として出力するステップとをさらに含む、請求項18に記載の方法。
【請求項２０】
複数の追加フレームを表す追加画像データを受信するステップと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施するステップと、
前記複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップするステップであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、ステップと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施するステップであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、ステップとをさらに含む、請求項13に記載の方法。
【請求項２１】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスの少なくとも1つのプロセッサに、
少なくとも現在のフレームおよび前のフレームを表す画像データを受信することであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含み、前記第1および第2の複数のピクセルの各々は、少なくとも1つのチャネルに関連付けられた値を有する、受信することと、
前記第1の複数のピクセルの少なくともサブセットおよび前記第2の複数のピクセルの対応するサブセットの前記値に基づいて、前記少なくとも1つのチャネルに関連付けられたゲイン値を算出することと、
前記ゲイン値を少なくとも1つの閾値と比較することと、
前記ゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行わせる、コンピュータ可読記憶媒体。
【請求項２２】
実行されると、前記少なくとも1つのプロセッサに、
前記ゲイン値を第1の閾値と比較させ、
前記ゲイン値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定させる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２３】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第1の閾値よりも大きいと決定したことに応答して、
前記ゲイン値を第2の閾値と比較することと、
前記ゲイン値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行わせる命令をさらに記憶した、請求項22に記載のコンピュータ可読記憶媒体。
【請求項２４】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定させる命令をさらに記憶し、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記ゲイン値を算出することは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算することを含む、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２６】
実行されると、前記少なくとも1つのプロセッサに、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行わせる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２７】
画像キャプチャ装置であって、
入射光を検知し、前記入射光を表す画像データを出力するための手段と、
前記画像データの第1のフレームおよび第2のフレームのチャネルデータを識別するための手段と、
前記第1のフレームおよび前記第2のフレームの前記チャネルデータに基づいて、チャネルゲイン値を算出するための手段と、
前記チャネルゲイン値を少なくとも1つの閾値と比較するための手段と、
前記チャネルゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するための手段とを備える装置。
【請求項２８】
スキップするべき前記フレーム数を決定するための前記手段は、前記チャネルゲイン値が前記少なくとも1つの閾値未満である場合は前記フレーム数を高スキップ値に設定するため、および前記チャネルゲイン値が前記少なくとも1つの閾値よりも大きい場合は前記フレーム数を低スキップ値に設定するための手段を備える、請求項27に記載の装置。
【請求項２９】
前記決定されたフレーム数に部分的に基づいてAWB算出を実施するための手段をさらに備える、請求項27に記載の装置。
【請求項３０】
カラーフィルタリングのための手段をさらに備え、前記カラーフィルタリング手段は、前記検知手段と目標画像シーンとの間に位置し、前記カラーフィルタ手段および検知手段は、前記チャネルデータを生じるように協働する、請求項27に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示するシステムおよび方法は、デジタル撮像における自動ホワイトバランスを対象とし、より詳細には、自動ホワイトバランスにおけるフレームスキップを動的に設定することを対象とする。
【背景技術】
【０００２】
ホワイトバランスは、実物では白く見えるオブジェクトが画像中で白くレンダリングされるように、非現実的な色かぶりを画像から取り除くプロセスを伴う。不適切なホワイトバランスは、目障りな青、橙、またはさらに緑の色かぶりを生じ得る。適切なホワイトバランスは、光の相対的な暖かさまたは冷たさを指す、光源の色温度を考慮に入れ、本明細書では発光体とも呼ばれる光源は、純白ではなく、特定の色への偏りを有する場合がある。人間の知覚は、純白でない照明を補償することが可能であり、したがって、色は、広範な照明条件において比較的一定に見える。
【０００３】
ただし、カメラは、発光体が変化すると、同じシーンを異なるように知覚し得る。デジタルカメラまたはビデオレコーダなどの電子画像キャプチャデバイスにおいて使われる典型的なセンサーは、純白でないソースからの照明に起因する色ずれを呈する画像をキャプチャし得る。キャプチャされた画像中で呈される色ずれは、人間の目には不自然に見え、センサーまたはキャプチャデバイスが、現実世界の画像を正確にキャプチャすることができないせいで低品質であるという認識を生じる場合がある。
【０００４】
カメラは、異なる色温度の光源によって照明されたとき、どのオブジェクトが白色であるか決定しようと試みるために、自動ホワイトバランス(AWB)を実施する。キャプチャされた画像は、発光体の照明条件および色温度を補償するために処理され得る。ホワイトバランス補償は、発光体の色温度に依存する。第1の色温度で発光体用に設定されたホワイトバランス補償は、第2の発光体の色温度にとって正しくない場合があり、画像中に追加の色ずれをもたらすことによって、画像品質をさらに低下する場合がある。デジタル画像における色調が、たとえばホワイトバランシングがないか、または正しくないホワイトバランシングにより、オフであるとき、人間による画像の知覚は、不快になり得る。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示のシステム、方法、およびデバイスは、いくつかの革新的態様を各々有し、それらのうちのいずれの態様も、本明細書において開示される望ましい属性を単独では担わない。
【０００６】
概して、本開示は、自動ホワイトバランスにおけるフレームスキップを動的に設定することに関する。いくつかのデジタルカメラは、カメラが画像の全体的色を分析し、最良適合ホワイトバランスを算出するための自動ホワイトバランス(AWB)を特徴とする。説明のために、カメラが、フレーム(本明細書では、統計フレームとも呼ばれる)を30fpsのフレームレートでキャプチャする場合がある。統計フレームとも呼ばれるこれらのフレームは、AWB算出ならびに他の画像処理動作、たとえばオートフォーカスおよびオート露出制御を実施するためのデータを生成するのに使われ得る。AWB算出は通常、1つおきの統計フレームに対して実施される。したがって、AWBアルゴリズムは計算集約的である場合があり、高い中央処理ユニット(CPU)および/または画像プロセッサ使用量を引き起こし、デバイス電力の高い使用量につながり、これは、蓄えられた電力を使うポータブルデバイスでは特に望ましくない場合がある。
【０００７】
これらの問題は、それ以外のものの中でも特に、いくつかの実施形態では、本明細書に記載する動的フレームスキッピング技法によって対処される。いくつかの実施形態では、AWB算出は、フレームスキップを動的に計算するのに使うことができるRGBゲインを出力し、そうすることによって、画像品質に悪影響を及ぼすことなく、AWBの電力コストが削減される。安定したシーンは、ほぼ不変なRGBゲインを有することができ、したがってフレームスキップは、シーンが安定したと決定されると、増大され得る。フレームスキップは、シーンが変化したと識別されると、低減され得る。たとえば、RGBゲインがいくつかのフレームにわたって安定していると見なされる場合、フレームスキップ値(つまり、AWB算出を実施する合間にスキップされるフレーム数)は増大され得る。変化するRGBゲインは、変化するシーンおよび/または変化する発光体などの画像変化のインジケータであり、これらは、更新されたAWB算出の必要を示すことができ、したがって、フレームスキップ値は、ゼロまたは低フレーム数に設定され得る。AWB算出におけるフレームスキップ値のそのような動的計算は、AWB出力が安定すると、CPU使用量を削減するのを助け得る。
【０００８】
したがって、一態様は、オートホワイトバランスを実施するためのフレームスキップの動的設定を実施するための方法に関し、この方法は、少なくとも現在のフレームおよび前のフレームを含む画像データを受信するステップと、現在のフレームと前のフレームとの間の、RGB値の差を算出するステップと、RGB値の差に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するステップとを含む。
【０００９】
別の態様は、画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを有する画像センサーと、少なくとも1つのプロセッサとを備える画像キャプチャシステムに関し、プロセッサは、赤、緑および青チャネルを有する画像データを受信することであって、画像データは、少なくとも現在のフレームおよび前のフレームを表し、現在のフレームは第1の複数のピクセルを含み、前のフレームは第2の複数のピクセルを含む、ことと、赤、緑および青チャネルの各々について、感光性要素の複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、RGBゲイン情報を、第1の複数のピクセルのうちの1つから第1の値を識別することと、第2の複数のピクセルのうちの対応する1つから第2の値を識別することと、第1の値と第2の値との間の変化を算出することに基づいて、算出することと、RGBゲイン情報に基づいて、複数のロケーションのサブセットの少なくとも1つについての、第1の値と第2の値との間の最大差を表す最大変化値を決定することと、最大変化値を少なくとも1つの閾値と比較することと、最大変化値を少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行うように構成される。
【００１０】
いくつかの実施形態では、少なくとも1つのプロセッサは、最大変化値を第1の閾値と比較することに基づいて、最大変化値を少なくとも1つの閾値と比較し、最大変化値が第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を最大フレームスキップ値に設定するようにさらに構成され得る。最大フレームスキップ値は10フレームであり得る。第1の閾値は1パーセントであってよく、最大変化値は、複数のロケーションのサブセットのうちの少なくとも1つについての第1の値と第2の値との間のパーセンテージ差を表し得る。最大変化値が第1の閾値よりも大きいと決定したことに応答して、少なくとも1つのプロセッサは、最大変化値を第2の閾値と比較し、最大変化値が第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を中間フレームスキップ値に設定するようにさらに構成されてよく、中間フレームスキップ値は最大フレームスキップ値未満である。最大変化値が第2の閾値よりも大きいと決定したことに応答して、少なくとも1つのプロセッサは、AWB算出を実施する合間にスキップするべきフレーム数を最小フレームスキップ値に設定するようにさらに構成されてよく、最小フレームスキップ値は中間フレームスキップ値未満である。第2の閾値は3パーセントであってよく、最大変化値は、複数のロケーションのサブセットのうちの少なくとも1つについての第1の値と第2の値との間のパーセンテージ差を表し得る。最小フレームスキップ値はゼロであってよい。
【００１１】
いくつかの実施形態では、少なくとも1つのプロセッサは、複数の追加フレームを表す追加画像データを受信することと、複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップすることであって、複数の追加フレーム中のフレームの数は、決定されたフレーム数に等しい、スキップすることと、複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、複数の追加フレームのサブセットは、時間的に第1および第2の追加フレームの間にキャプチャされた、実施することとを行うようにさらに構成され得る。少なくとも1つのプロセッサは、複数の追加フレームのうちの少なくともいくつかに基づいて、AWB算出を実施する合間にスキップするべき更新されたフレーム数を算出するようにさらに構成され得る。少なくとも1つのプロセッサは、スキップするべき更新されたフレーム数に基づいて、追加の複数の追加フレームに対してAWB算出を実施するようにさらに構成され得る。
【００１２】
いくつかの実施形態は、画像センサーと目標画像シーンからの入射光との間に位置するカラーフィルタアレイをさらに備えることができ、カラーフィルタアレイは、赤、緑、および青チャネルのうちの1つに各々が対応する複数の帯域通過フィルタを含む。
【００１３】
別の態様は、オートホワイトバランスを実施するためのフレームスキップ値を動的に設定するための方法に関し、この方法は、画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを備える画像センサーから、少なくとも現在のフレームおよび前のフレームを表す画像データを受信するステップであって、現在のフレームは第1の複数のピクセルを含み、前のフレームは第2の複数のピクセルを含む、ステップと、少なくとも1つの色チャネルについて、および感光性要素の複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、第1の複数のピクセルのうちの1つからの第1の値、および第2の複数のピクセルのうちの対応する1つからの第2の値を識別するステップと、第1のフレームからの第1の複数のピクセルのうちの1つの、第1の値と、第2のフレームの第2の複数のピクセルのうちの対応する1つの、第2の値との間の変化値を算出するステップと、変化値を少なくとも1つの閾値と比較するステップと、変化値を少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するステップとを含む。
【００１４】
いくつかの実施形態では、変化値を少なくとも1つの閾値と比較するステップは、変化値を第1の閾値と比較するステップと、変化値が第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を最大フレームスキップ値に設定するステップとを含む。この方法は、変化値が第1の閾値よりも大きいと決定したことに応答して、変化値を第2の閾値と比較するステップと、変化値が第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を中間フレームスキップ値に設定するステップであって、中間フレームスキップ値は最大フレームスキップ値未満である、ステップとをさらに含み得る。方法は、変化値が第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を最小フレームスキップ値に設定するステップをさらに含んでよく、最小フレームスキップ値は中間フレームスキップ値未満である。
【００１５】
変化値を算出するステップは、現在のフレームと前のフレームとの間の、R、G、およびBゲインの最大変化を計算するステップを含み得る。変化値を算出するステップは、R、G、およびBゲインの最大変化を、複数の前のフレームのペアの間のR、G、およびBゲインの履歴平均と比較するステップを含み得る。方法は、R、G、およびBゲインの最大変化が、R、G、およびBゲインの履歴平均よりも大きいと決定したことに応答して、R、G、およびBゲインの最大変化を変化値として出力するステップと、R、G、およびBゲインの最大変化がR、G、およびBゲインの履歴平均未満であると決定したことに応答して、R、G、およびBゲインの履歴平均を変化値として出力するステップとをさらに含み得る。
【００１６】
方法のいくつかの実施形態は、複数の追加フレームを表す追加画像データを受信するステップと、複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施するステップと、複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップするステップであって、複数の追加フレーム中のフレームの数は、決定されたフレーム数に等しい、ステップと、複数のフレームのうちの第2の追加フレームに対してAWB算出を実施するステップであって、複数の追加フレームのサブセットは、時間的に第1および第2の追加フレームの間にキャプチャされた、ステップとをさらに含み得る。
【００１７】
別の態様は、命令を記憶した非一時的コンピュータ可読媒体に関し、命令は、実行されると、デバイスの少なくとも1つのプロセッサに、少なくとも現在のフレームおよび前のフレームを表す画像データを受信することであって、現在のフレームは第1の複数のピクセルを含み、前のフレームは第2の複数のピクセルを含み、第1および第2の複数のピクセルの各々は、少なくとも1つのチャネルに関連付けられた値を有する、受信することと、第1の複数のピクセルの少なくともサブセットおよび第2の複数のピクセルの対応するサブセットの値に基づいて、少なくとも1つのチャネルに関連付けられたゲイン値を算出することと、ゲイン値を少なくとも1つの閾値と比較することと、ゲイン値を少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行わせる。
【００１８】
いくつかの実施形態では、非一時的コンピュータ可読媒体は、実行されると、少なくとも1つのプロセッサに、ゲイン値を第1の閾値と比較させ、ゲイン値が第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を最大フレームスキップ値に設定させる命令をさらに記憶していてよい。非一時的コンピュータ可読媒体は、実行されると、少なくとも1つのプロセッサに、ゲイン値が第1の閾値よりも大きいと決定したことに応答して、ゲイン値を第2の閾値と比較することと、ゲイン値が第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を中間フレームスキップ値に設定することであって、中間フレームスキップ値は最大フレームスキップ値未満である、設定することとを行わせる命令をさらに記憶していてよい。非一時的コンピュータ可読媒体は、実行されると、少なくとも1つのプロセッサに、ゲイン値が第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべきフレーム数を最小フレームスキップ値に設定することであって、最小フレームスキップ値は中間フレームスキップ値未満である、ことを行わせる命令をさらに記憶していてよい。ゲイン値を算出することは、現在のフレームと前のフレームとの間の、R、G、およびBゲインの最大変化を計算することを含み得る。
【００１９】
非一時的コンピュータ可読媒体のいくつかの実施形態は、実行されると、少なくとも1つのプロセッサに、複数の追加フレームを表す追加画像データを受信することと、複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、複数の追加フレームのサブセットに対してAWB算出を実施するのをスキップすることであって、複数の追加フレーム中のフレームの数は、決定されたフレーム数に等しい、スキップすることと、複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、複数の追加フレームのサブセットは、時間的に第1および第2の追加フレームの間にキャプチャされた、実施することとを行わせる命令をさらに記憶していてよい。
【００２０】
別の態様は、入射光を検知し、入射光を表す画像データを出力するための手段と、画像データの第1のフレームおよび第2のフレームのチャネルデータを識別するための手段と、第1のフレームおよび第2のフレームのチャネルデータに基づいて、チャネルゲイン値を算出するための手段と、チャネルゲイン値を少なくとも1つの閾値と比較するための手段と、チャネルゲイン値を少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するための手段とを備える画像キャプチャ装置に関する。
【００２１】
装置のいくつかの実施形態では、スキップするべきフレーム数を決定するための手段は、チャネルゲイン値が少なくとも1つの閾値未満である場合はフレーム数を高スキップ値に設定するため、およびチャネルゲイン値が少なくとも1つの閾値よりも大きい場合はフレーム数を低スキップ値に設定するための手段を備え得る。装置は、決定されたフレーム数に部分的に基づいてAWB算出を実施するための手段をさらに備え得る。装置は、カラーフィルタリングのための手段をさらに備えてよく、カラーフィルタリング手段は、検知手段と目標画像シーンとの間に位置し、カラーフィルタ手段および検知手段は、チャネルデータを生じるように協働する。
【００２２】
開示される態様は、以下で、開示される態様を限定するのではなく例示するために提供される添付図面および付録に関連して説明され、添付図面では、同様の符号が、同様の要素を表す。
【図面の簡単な説明】
【００２３】
【図１Ａ】動的フレームスキッピングの一実施形態の、説明のための例を示す図である。
【図１Ｂ】フレームスキッピング閾値の一実施形態の、説明のための例を示す図である。
【図２Ａ】動的フレームスキップ能力を有する画像キャプチャデバイスの実施形態のハイレベル概略図である。
【図２Ｂ】図2Aに示す構成要素のうちのいくつかの間の例示的データ通信を示す図である。
【図３】本明細書に記載する動的フレームスキッピング技法を実装する自動ホワイトバランスプロセスの実施形態のフローチャートである。
【図４】動的フレームスキッピングプロセスの実施形態のフローチャートである。
【図５Ａ】本明細書に記載する動的フレームスキッピング技法の例示的カメラ起動使用ケースを示す図である。
【図５Ｂ】本明細書に記載する動的フレームスキッピング技法の例示的カメラ起動使用ケースを示す図である。
【図６Ａ】本明細書に記載する動的フレームスキッピング技法の例示的カメラシーン変更使用ケースを示す図である。
【図６Ｂ】本明細書に記載する動的フレームスキッピング技法の例示的カメラシーン変更使用ケースを示す図である。
【図７】動的フレームスキッピングプロセスの実施形態のフローチャートである。
【発明を実施するための形態】
【００２４】
序論
本開示の実施形態は、AWB算出の合間にスキップするべきフレームの数を動的に計算するためのシステムおよび技法に関する。いくつかの実施形態では、RGBゲイン(連続的にキャプチャされたフレームの間のR、G、およびB値の差)が、フレームスキップを動的に計算するのに使われてよく、そうすることによって、画像品質に悪影響を及ぼすことなく、AWBの電力コストが削減される。たとえば、RGBゲインが、いくつかのフレームにわたって安定していると見なされる場合、フレームスキップ値は増大されてよいが、フレームスキップ値は、変化するRGBゲインに応答して、ゼロまたは低フレーム数に設定されてよい。AWB算出におけるフレームスキップ値のそのような動的計算は、AWB出力が安定すると、処理および電力使用を削減するのを助け得る。そのような動的フレームスキップ技法を使うAWB算出のいくつかの実装形態は、既存のAWB技法と比較すると、約30%〜40%のCPU使用削減を達成し得る。
【００２５】
説明のために、いくつかの実施形態は、RGBゲイン値が連続フレームの間のRGB値のパーセンテージ変化を表す場合、フレーム、たとえば10フレームの所定のウィンドウ内の連続フレームの間のRGBゲインを計算し得る。現在のフレームと前のフレームとの間のRGBゲインにおける最大値はRGBゲイン履歴に記憶されてよく、記憶された値は平均されてよい。最も大きいRGBゲイン値が、現在のフレームの最大RGBゲイン値と履歴値の平均との間で識別され得る。この最も大きい値は、フレームスキップについての値を決定するために、つまり、AWB算出の合間に何個のフレームをスキップするべきか決定するために、1つまたは複数の閾値と比較され得る。
【００２６】
一例では、最も大きい値が高スキップ閾値未満である場合、AWB算出は、高フレームスキップレートで実施され得る。最も大きい値が高スキップ閾値よりも大きい場合、最も大きい値は、低スキップ閾値と比較され得る。最も大きい値が低スキップ閾値未満である場合、AWB算出は低フレームスキップレートで実施され得る。最も大きい値が低スキップ閾値よりも大きい場合、AWB算出は、フレームスキッピングなしで、または最小限のフレームスキッピングで実施され得る。
【００２７】
いくつかの実施形態では、高スキップ閾値は1%に設定されてよく、低スキップ閾値は3%に設定されてよく、ここでRGBゲイン値は、連続フレームの間の、RGB値のパーセンテージ変化を表す。これらの閾値は、画像品質と電力消費との間の所望の妥協点に基づいて設定可能であってよい。これらの閾値は、いくつかの実施形態では、画像キャプチャデバイスの較正中に設定され得る。他の実施形態では、画像キャプチャデバイスのユーザは、画像品質と電力使用との間の所望のバランスに基づいて、設定を構成することが可能であり得る。他の実施形態では、閾値は、たとえば、画像キャプチャデバイスの残りのバッテリー電力および/または画像キャプチャデバイスの利用可能処理リソースに基づいて、動的に修正され得る。
【００２８】
他の実施形態では、最も大きい値が閾値未満である場合、関連付けられたフレームスキップ値を各々がもつ、2つよりも多い閾値が使われてよく、ここで、最も大きい値は、最初に最も小さい閾値と比較され、最後に最も大きい閾値と比較される。他のフレームスキップ値設定変更も可能であり、たとえばその場合、RGBゲイン値と1つまたは複数の閾値との比較の結果、現在のフレームスキップ値から最大フレームスキップ値まで、加算または減算をすることになる。
【００２９】
他の実施形態では、ウィンドウは、10フレームよりも大きく、または小さく設定されてよい。いくつかの実装形態では、画像キャプチャが続くとき、古いフレームがウィンドウから抜け落ち、新たなフレームがフレームスキップ計算における使用のためにウィンドウに入るように、ウィンドウはスライディングウィンドウであってよい。RGBゲイン履歴に記憶されたデータは、それに従って更新され得る。
【００３０】
本明細書で使用する「連続フレーム」は、本明細書に記載する動的フレームスキップ計算技法のために考慮するための、キューの中の隣接フレームを指す。連続フレームは、関連付けられた画像センサーによって次々とキャプチャされている場合があるが、フレームスキップ値がゼロでないときは、連続フレーム、たとえば10個以上のフレームの間に時間経過が存在し得る。
【００３１】
代替実施形態は、現在および前のフレームの入力統計の間の相関を計算し、相関パーセンテージが設定可能な閾値よりも小さい場合のみ、AWB算出を実施することができる。いくつかの実施形態は、この相関手法を動的フレームスキップ技法と組み合わせる場合がある。
【００３２】
主としてAWB算出のコンテキストにおいて論じるが、本明細書に記載するフレームスキップ技法は、他の画像処理技法、たとえばオート露出およびオートフォーカスの処理使用を削減するのに有用な場合がある。
【００３３】
様々な実施形態について、説明のために図面とともに以下に記載する。開示する概念の多くの他の実装形態が可能であり、開示する実装形態を用いて様々な利点が達成され得ることを諒解されたい。参照のため、および様々なセクションを見つけるのを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体にわたって適用性を有し得る。
【００３４】
自動ホワイトバランスのための動的フレームスキップの概要
図1Aは、AWB算出の合間にスキップするべきフレームの数を適応的に計算するための動的フレームスキップシステム100の一実施形態の、説明のための例を与える。動的フレームスキップシステム100は、AWBモジュール120および動的スキップモジュール130を含み得る。AWBモジュール120とは別個のものとして示されているが、動的スキップモジュール130は、他の実装形態ではAWBモジュール120のサブモジュールであってよい。
【００３５】
画像センサー105から読み出されたフレーム110が、AWBモジュール120に入力される。動的フレームスキップシステム100のいくつかの実施形態は、カメラがプレビューモードである間、プレビューフレームの連続するストリームをキャプチャすることができる。プレビューモードでは、動的フレームスキップシステム100を実装するデバイスのディスプレイ画面は、たとえば、どの自動決定またはユーザ選択キャプチャおよび/または後処理設定も適用された、目標画像シーンの表現を表示することができる。そのようなプレビューフレームは、いくつかの実装形態では、最終的な、キャプチャされた画像よりも低い解像度であり得る。他の実施形態は、画像キャプチャモードの始動の後、所定の時間だけ、プレビューフレームをキャプチャし得る。フレーム110は、いくつかの実装形態では、そのような上述のプレビューフレームであってよい。他の実装形態では、フレーム110はビデオフィードを含んでよい。
【００３６】
AWBモジュール120のRGBゲイン計算モジュール124は、連続フレームの間のRGBゲインを計算する。いくつかの実施形態では、フレームのペアに関連付けられたRGBゲイン値は、フレームの対応するピクセルのR、G、Bゲインの最大変化を表す値であり得る。フレームのペアに関連付けられたRGBゲイン値は、フレームのピクセルのR、G、Bゲインの和または平均であり得る。RGBゲインは、パーセンテージ変化、差値、または比として記憶され得る。AWBモジュール120は、AWB算出をそこにおいて実施するためのセンサーからフレームを選択する際に、決定されたフレームスキップ値を適用するように構成され得るAWB算出モジュール122も含む。
【００３７】
RGBゲインは、RGBゲイン計算モジュール124から、動的スキップモジュール130中のRGBゲイン変化リポジトリへ供給される。RGBゲインデルタ値の履歴が、RGBゲイン変化リポジトリ131の一部としての動的フレームスキップモジュールの中で、たとえばフレームのプリセットウィンドウ用に維持され得る。いくつかの実装形態では、10個の直近のRGBゲイン値が、フレームスキップ値を算出する際に使用するためにデータリポジトリ中に記憶され得る。他の実装形態は、より大きいか、または小さいRGBゲイン値を使う場合があり、たとえば一実装形態では、直近のRGBゲイン値のみが使われ得る。RGBゲイン値は次いで、max変化発見モジュール132によってアクセスされる。max変化発見モジュール132は、一例では、現在のフレームについてのmax RGBゲイン変化値それともRGBゲイン変化データリポジトリ中の値の平均が、より大きいかを決定し得る。別の例では、max変化発見モジュール132は、RGBゲイン変化リポジトリ131によって出力された値の中で、最も大きいRGBゲイン値を識別することができる。
【００３８】
最も大きい値は、フレームスキップ設定を、仮に変更するとして、どのように変更するかを決定するための、1つまたは複数の閾値との比較のために、max変化発見モジュール132から、閾値比較モジュール133へ出力され得る。閾値比較モジュール133は、閾値データリポジトリ135から閾値データを受信し得る。閾値データは1つまたは複数の閾値を含むことができ、各閾値はフレームスキップ値に関連付けられる。したがって、閾値比較モジュール133は、適切なフレームスキップ値を決定するために、最も大きいRGBゲイン値と閾値との間の比較を実施すればよい。
【００３９】
フレームスキップ値設定モジュール134は、閾値比較モジュールの出力に基づいてフレームスキップ値を設定する。いくつかの例では、閾値比較モジュール133は、フレームスキップ値を出力し得る。他の例では、閾値比較モジュール133は、最も大きいRGBゲイン値と閾値を比較した結果を出力することができ、フレームスキップ値設定モジュール134は、閾値比較結果が各々、フレームスキップ設定に関連付けられているデータベースにアクセスすることによって、対応するフレームスキップ値を識別することができる。一例では、最も大きい値は、閾値比較モジュール133によって2つの閾値と比較される場合があり、各閾値は、低フレームスキップ設定および高フレームスキップ設定のうちの1つに関連付けられる。最も大きい値が高スキップ閾値未満である場合、AWB算出は、高フレームスキップで実施されるように構成され得る。最も大きい値が高スキップ閾値よりも大きい場合、最も大きい値は、低スキップ閾値と比較され得る。最も大きい値が低スキップ閾値未満である場合、AWB算出は、低フレームスキップで実施されるように構成され得る。最も大きい値が低スキップ閾値よりも大きい場合、AWB算出は、フレームスキッピングを実施しないか、または最小限のフレームスキッピングを実施するように構成され得る。
【００４０】
フレームスキップ値は、決定されたフレームスキップ値に従って、後でキャプチャされた画像フレームに対するAWB算出を実施する際に使用するために、AWB算出モジュール122へ出力され得る。フレームスキップ値はまた、すべての連続フレームについてRGBゲインを計算するわけではない実施形態では、RGBゲイン計算モジュール124へ送られ得る。したがって、AWB算出によって使われる計算リソースが、RGBゲインに基づいて動的に削減され得る。
【００４１】
記載したモジュールは、様々な実施形態において、1つもしくは複数のハードウェアプロセッサによって実行されるソフトウェア命令として、または専用の論理回路構成として実装され得る。
【００４２】
図1Bは、パーセンテージRGB変化(x軸に沿って示される)およびフレームスキップ値(y軸に沿って示される)として表されるフレームスキッピング閾値の一実施形態の、説明のための例140を与える。図示される実施形態では、高スキップ閾値142は1%のRGBゲイン変化に対応し、低スキップ閾値152は3%のRGBゲイン変化に対応する。高スキップ閾値142は、2という高フレームスキップ値142に関連付けられ、低スキップ閾値は、1という低フレームスキップ値144に関連付けられる。低スキップ閾値152を上回るRGBゲイン変化は、ゼロという最小限のフレームスキップ値146に関連付けられる。したがって、RGBゲイン値がゼロと1パーセントとの間であるとき、AWBは2つのフレームをスキップすることになり、RGBゲイン値が1パーセントと3パーセントとの間であるとき、AWBは1つのフレームをスキップすることになり、RGBゲイン値が3パーセントを上回るとき、AWBは、どのフレームもスキップしない。これらの値は設定可能であり、他の実装形態では、画像品質の起こり得る低下ならびにプロセッサ使用および関連電力消費の削減におけるトレードオフを反映するように変えられてよい。さらに、閾値の数は、他の実施形態では変わってよく、たとえば、単一の閾値のみを使うか、または3つ以上の閾値を使う。
【００４３】
例示的な画像キャプチャデバイスの概要
図2Aは、動的フレームスキッピング能力をもつ画像キャプチャデバイス200の実施形態のハイレベル概略図を示し、デバイス200は、カメラ215にリンクされた画像プロセッサ220を含む構成要素のセットを有する。画像プロセッサ220はまた、作業メモリ205、メモリ230、およびデバイスプロセッサ250と通信しており、デバイスプロセッサ250は、ストレージ210および随意の電子ディスプレイ225と通信している。
【００４４】
デバイス200は、ポータブルパーソナルコンピューティングデバイス、たとえば、モバイルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などであり得る。本明細書に記載されているような、フレームスキッピング能力技法の使用が利点を提供することになる多くのポータブルコンピューティングデバイスが存在する。デバイス200はまた、フレームスキッピング技法が有利である静止型コンピューティングデバイスまたは任意のデバイスであり得る。複数のアプリケーションが、デバイス200上でユーザに利用可能であり得る。これらのアプリケーションは、従来の写真およびビデオアプリケーションならびに動的フレームスキップ設定に関するアプリケーションを含み得る。
【００４５】
画像キャプチャデバイス200は、外部画像をキャプチャするためのカメラ215を含む。カメラ215は、画像センサー、カラーフィルタアレイ、および関連付けられたレンズアセンブリを含み得る。画像センサーは、入射光を電気信号に変換するための感光性要素のアレイを含み得る。そのような画像センサーは、いくつかの実施形態では、電荷結合デバイス(CCD)、相補型金属酸化物半導体(CMOS)、または光を受け取り、受け取った光に応答して画像データを生成する任意の他の画像検知デバイスを含んでもよい。センサーには、上部カラーフィルタアレイ、たとえばRGBバイエルカラーフィルタが設けられてよく、そうすることによって、センサーによってキャプチャされた画像データは、カラーフィルタアレイの波長通過範囲に対応するいくつかの色チャネルを含む。従来のバイエルパターンを有するセンサーによってRGB画像データが生じられるので、本開示は主として、RGBゲインのコンテキストにおいて記載される。ただし、本開示のフレームスキップ技法は、カメラ215のカラーフィルタアレイによって生じられる他の色空間における画像データに対して作用するように修正されてよい。そのような他の色空間は、いくつか例を挙げると、RGBN、YCbCr、YUV、およびYIQ色空間を含んでよく、カラーフィルタアレイは、これらの色空間のチャネルに対応する帯域通過カラーフィルタのモザイクを含み得る。画像センサーは、スチル写真の画像データを取得することが可能な場合があり、キャプチャされたビデオストリームにおける動きに関する情報を提供することもできる。カメラ215は、1つの個別センサーを含み得るか、またはセンサーのアレイを含み得る。カメラ215は、プレビューフレームの継続的または間欠的なキャプチャおよびプリ発光画像キャプチャ、ならびに完全な解像度の最終画像のキャプチャのために構成され得る。
【００４６】
画像プロセッサ220は、動的フレームスキッピングを実行するために、受信された統計フレーム(プレビューフレームとして表示され得る)に対して様々な処理動作を実施するように構成され得る。プロセッサ220は、汎用処理ユニットでもよく、撮像アプリケーション用に特別に設計されたプロセッサでもよい。画像処理演算の例は、AWBおよびAECデータ生成、オートフォーカス、クロッピング、(たとえば、異なる解像度への)スケーリング、画像スティッチング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーティファクトまたは欠陥の補正などを含む。プロセッサ220は、いくつかの実施形態では、複数のプロセッサを備え得る。プロセッサ220は、1つもしくは複数の専用画像信号プロセッサ(ISP)、またはプロセッサのソフトウェア実装であり得る。
【００４７】
図示するように、画像プロセッサ220は、メモリ230および作業メモリ205に接続される。図示の実施形態では、メモリ230は、キャプチャ制御モジュール235と、動的スキップモジュール242を含むAWBモジュール240と、オペレーティングシステム245とを格納する。メモリ230のモジュールは、様々な画像キャプチャ、画像処理、およびデバイス管理タスクを実施するようにデバイスプロセッサ250の画像プロセッサ220を設定する命令を含む。作業メモリ205は、メモリ230のモジュールに含まれるプロセッサ命令の作業セットを記憶するために画像プロセッサ220によって使用され得る。代替的に、作業メモリ205は、デバイス200の動作中に生成された動的なデータを記憶するために画像プロセッサ220によって使用される場合もある。
【００４８】
AWBモジュール240は、統計フレームに対してAWB算出を実施することができ、サブモジュール動的スキップモジュール242を格納することができる。AWBモジュール240は、いくつかの実施形態では、AWBモジュール120および動的スキップモジュール130を備え得る。合わせて、これらのモジュールは、動的フレームスキッピング算出および関連AWB技法を実施するために協働することができる。
【００４９】
動的スキップモジュール242は、動的スキップモジュール130に関して図1Aにおいて上述したサブモジュールを含むことができ、連続フレームの間のRGBゲインを識別するために、いくつかの予備画像、たとえば統計フレームを分析するようにプロセッサ220を設定する命令を記憶するように構成され得る。上述したように、RGBゲインは、プロセッサ使用および関連電力消費を削減するためのAWB算出のためにスキップするべきフレームの数を決定するのに使われ得る。
【００５０】
上述のように、画像プロセッサ220は、メモリに格納されたいくつかのモジュールによって構成される。キャプチャ制御モジュール235は、カメラ215の焦点位置を調整するように画像プロセッサ220を設定する命令を含み得る。キャプチャ制御モジュール235は、デバイス200の全体的な画像キャプチャ機能を制御する命令をさらに含み得る。たとえば、キャプチャ制御モジュール235は、カメラ215を使用して目標画像シーンの1つまたは複数のフレームを含むプレビュー画像データをキャプチャするように、画像プロセッサ220を設定するためのサブルーチンを呼び出す命令を含み得る。一実施形態では、キャプチャ制御モジュール235は次いで、フレームスキップ算出およびAWB算出を実施するためにAWBモジュール240を呼び出し得る。
【００５１】
オペレーティングシステムモジュール245は、デバイス200の作業メモリ205および処理リソースを管理するように画像プロセッサ220を構成する。たとえば、オペレーティングシステムモジュール245は、ハードウェアリソース、たとえば、カメラ215を管理するための、デバイスドライバを含み得る。したがって、いくつかの実施形態では、上述した画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用しない場合があるが、代わりに、オペレーティングシステム構成要素245内に配置された標準サブルーチンまたはAPIを通じて相互作用する。オペレーティングシステム245内の命令は、次いで、これらのハードウェア構成要素と直接相互作用し得る。オペレーティングシステムモジュール245は、デバイスプロセッサ250と情報を共有するようにイメージプロセッサ220をさらに構成することができる。
【００５２】
デバイスプロセッサ250は、キャプチャされた画像、またはキャプチャされた画像のプレビューをユーザに表示するようにディスプレイ225を制御するように構成され得る。ディスプレイ225は、撮像デバイス200の外部にあってよく、または撮像デバイス200の一部分であってもよい。ディスプレイ225は、画像をキャプチャするのに先立って使用するためのプレビュー画像を表示するビューファインダーを提供し、たとえば、AWB補正された色かぶりをもつ画像の視覚表現、またはフレームスキップパラメータを調整するためのユーザインターフェースをユーザに提示するようにも構成され得る。ディスプレイ225は、LCDまたはLEDスクリーンを備えてよく、タッチセンシティブ技術を実装してよい。
【００５３】
デバイスプロセッサ250は、データ、たとえば、キャプチャされた画像およびRGBゲインを表すデータを、記憶モジュール210に書き込み得る。記憶モジュール210は、従来のディスクデバイスとして図式的に表されているが、記憶モジュール210が任意の記憶媒体デバイスとして構成され得ることが当業者には理解されよう。たとえば、記憶モジュール210は、ディスクドライブ、たとえば、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、もしくは光磁気ディスクドライブ、または固体メモリ、たとえば、フラッシュメモリ、RAM、ROM、および/もしくはEEPROMを含み得る。記憶モジュール210はまた、複数のメモリユニットを含み得、メモリユニットのうちの任意の1つは、画像キャプチャデバイス200内にあるように構成され得、または画像キャプチャデバイス200の外部にあり得る。たとえば、記憶モジュール210は、画像キャプチャデバイス200内に記憶されたシステムプログラム命令を含むROMメモリを含み得る。記憶モジュール210はまた、カメラから取外し可能であり得る、キャプチャされた画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール210はまた、デバイス200の外部にあってよく、一例では、デバイス200は、データを記憶モジュール210に、たとえば、ネットワーク接続を介してワイヤレス送信してよい。
【００５４】
図2Aは、プロセッサ、撮像センサー、およびメモリを含むために別個の構成要素を備えるデバイスを示しているが、当業者には、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わされてもよいことが認識されよう。たとえば、代替実施形態では、メモリ構成要素は、たとえば、コストを節約し、かつ/または性能を改善するために、プロセッサ構成要素と組み合わされてもよい。
【００５５】
さらに、図2Aは、いくつかのモジュールを備えるメモリ構成要素230と、作業メモリを備える別個のメモリ205とを含む2つのメモリ構成要素を示しているが、当業者には、異なるメモリアーキテクチャを利用するいくつかの実施形態が認識されよう。たとえば、設計は、メモリ230に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用し得る。プロセッサ命令は、画像プロセッサ220による実行を容易にするために、RAM内にロードされ得る。たとえば、作業メモリ205はRAMメモリを備えてよく、命令はプロセッサ220による実行の前に作業メモリ205の中にロードされる。
【００５６】
図2Bは、図2Aに示す構成要素のうちのいくつかの間の例示的データ通信を示す。たとえば、カメラ215のセンサー215Aが、ピクセル値を表すデータをISP220へ送り得る。ISP220は、プレビューフレームを生成し、ディスプレイ225へ送るのにピクセル値を使うことができる。たとえば、プレビューフレームは、AWB補正された画像データを含み得る。ISP220はまた、たとえばAWB(モジュール240)、オート露出などを実施するための命令を含む、作業メモリ230中に格納された画像処理モジュールへ統計を送ることができる。これらの様々なモジュールは、色温度およびRGBゲインを生成し、ピクセル値からのプレビューフレームの生成のためにISPへ送り返すのに、または露出設定を生成し、センサー215Aへ送り返すのに、統計を使い得る。他の例では、センサー215Aは、フレームをAWBモジュール240へ直接送ってよく、AWBモジュール240によって統計が算出され得る。他の画像キャプチャパラメータ、たとえばオートフォーカス設定は、センサー215Aへ戻して出力され得る。
【００５７】
動的フレームスキップ技法の概要
図3は、本明細書に記載する動的フレームスキッピング技法を実装する自動ホワイトバランスプロセス300の実施形態のフローチャートを示す。プロセス300は、いくつかの実装形態では、AWBモジュール240によって実践され得る。
【００５８】
始めに、AWBが初期化される。ブロック305において、AWBモジュール240は、フレームスキップカウントが、ゼロ、それとも最小限のフレームスキップ値に設定されているか決定する。フレームスキップカウントがゼロに設定されていない場合、ブロック315において、AWBモジュール240は、フレームスキップカウントを、たとえば最小限のフレームスキップ値に減少する。ブロック317において、AWBモジュール240は、AWB算出を実施し、減少されたフレームスキップ値でのAWBゲインを決定するために、減少されたフレームスキップ値を、後でキャプチャされた画像フレームに適用する。ブロック330において、これらのAWBゲインはISPへ送られる。
【００５９】
フレームスキップカウントがゼロに設定されている場合、ブロック325において、AWBモジュール240は、キャプチャされた画像フレームにおいて時間フィルタを稼動し(つまり、AWB算出を実施するために、決定されたフレームスキップ値を適用し)、AWB算出に基づくゲイン調整を画像フレームに適用する。ブロック330において、AWBモジュールは、AWBゲインをISPへ送り、プロセス300を終了する。他の実施形態では、プロセス300は、フレームスキップ値を決定し直すためにブロック310にループバックする。
【００６０】
フレームスキップカウントがゼロに設定されている場合、ブロック310において、AWBモジュール240は、統計をスクリーニングし、キャプチャされた画像フレームに対してヒューリスティクスを稼動するためにAWBを稼動する。ブロック320において、AWBモジュールは、AWBモジュール120、240によって生成されたRGBゲイン値に基づいてフレームスキップ値を決定することによって、動的フレームスキップを設定し、時間フィルタを稼動し、ゲイン調整を適用し、ISPへAWBゲインを送り、プロセスを終了する。
【００６１】
図4は、いくつかの実装形態では図3の自動ホワイトバランスプロセス300のブロック320として使われ得る動的フレームスキッピングプロセス400の実施形態のフローチャートを示す。プロセス400は、いくつかの例では動的スキップモジュール242によって実践され得る。
【００６２】
始めに、動的フレームスキップ設定が初期化される。ブロック405において、動的フレームスキップモジュール242は、現在のフレームと前のフレームとの間のR、G、Bゲインの最大変化(「maxデルタ」)を計算する。これは、一例では、対応するピクセルロケーションにある、第1および第2の画像フレームからのピクセルのR、G、およびB値の間のパーセンテージ変化を算出することによって、ならびに最も大きいパーセンテージ変化を識別するために各ピクセルロケーションからのパーセンテージ変化を比較することによって、最大パーセンテージ変化として計算され得る。別の例では、最大変化は、各ピクセルのR、G、およびB値を、異なる画像フレーム中の対応するピクセルロケーションのR、G、およびB値から減算し、差値を比較し、最も大きい差値を識別することによって、最大差値として計算され得る。いくつかの実施形態は、すべてのチャネルの最も大きいゲインを識別するために、R、G、およびBチャネルからのデータを別個に比較し得る。この最も大きいゲインは、本明細書では「最大デルタ」と呼ばれる。いくつかの実施形態は、たとえばピクセルロケーションにおけるR、G、およびB値を合計または平均することによって、R、G、およびBゲインを一緒に検討し得る。いくつかの実施形態は、RGBゲインを算出するために、R、G、およびB値の1つまたは2つのチャネルのみを使い得る。プロセス400は、いくつか例を挙げると、RGBN、YCbCr、YUV、およびYIQ色空間を含む他の色空間中の画像におけるチャネルゲインを使って動作するように適合され得ることが理解されよう。
【００６３】
ブロック410において、動的フレームスキップモジュール242は、最大デルタを履歴に保存し、履歴平均デルタを算出することができる。ブロック415において、動的フレームスキップモジュール242は、たとえばmaxデルタ=max(履歴平均,現在のフレームmaxデルタ)によって、履歴中のmaxデルタを見つけることができる。
【００６４】
動的フレームスキップモジュール242は、履歴中のmaxデルタを1つまたは複数の閾値と比較すればよい。たとえば、図示される実施形態では、ブロック420において、動的フレームスキップモジュール242は、maxデルタを高スキップ閾値と比較してよい。maxデルタが高スキップ閾値未満である場合、プロセス400はブロック425に遷移し、動的フレームスキップモジュール242は、AWB算出が高フレームスキップで実施されるべきであることを示すデータを出力することができる。maxデルタが高スキップ閾値よりも大きい場合、プロセス400はブロック430に遷移し、動的フレームスキップモジュール242は、maxデルタを低スキップ閾値と比較すればよい。maxデルタが低スキップ閾値未満である場合、プロセス400はブロック435に遷移し、動的フレームスキップモジュール242は、AWB算出が低フレームスキップで実施されるべきであることを示すデータを出力することができる。maxデルタが低スキップ閾値よりも大きい場合、プロセス400はブロック440に遷移し、動的フレームスキップモジュール242は、AWB算出がフレームスキッピングなしで実施されるべきであることを示すデータを出力し得る。したがって、色チャネルゲインは、AWB算出を実施するレートを動的に変えるのに使われてよく、画像品質に対する最小限の犠牲で、または犠牲なしで計算リソースを節約する。
【００６５】
例示的使用ケースの概要
図5Aおよび図5Bは、本明細書に記載する動的フレームスキッピング技法の例示的カメラ起動使用ケースを示す。
【００６６】
図5Aは、カメラ起動時のフレーム数対RGBゲイン変化(「デルタ」)のプロット表現500Aを示し、デルタは、画像フレームの間の最大パーセンテージゲイン変化を表す。図示のように、デルタは起動後に減少し、約10フレームの後、AWBは安定する。
【００６７】
図5Bは、図5Aに示すフレームについての、フレーム数対フレームスキップ値のプロット表現500Bを示す。図示のように、AWBが図5Aに示すように安定すると、フレームスキップは、一定のmax値に設定される。
【００６８】
図6Aおよび図6Bは、本明細書に記載する動的フレームスキッピング技法の例示的カメラシーン変更使用ケースを示す。
【００６９】
図6Aは、照明変更を含むカメラシーン変更時のフレーム数対デルタのプロット表現600Aを示す。図示のように、デルタは、シーン変更後に非線形的に減少し、約20フレームの後、AWBが安定する。示されるデルタ値は例示のためであり、カメラシーン変更中のフレームのセットにわたる実際のデルタ値は、シーンの性質および変更の性質に従って変わり得る。
【００７０】
図6Bは、図6Aに示すフレームについての、フレーム数対フレームスキップ値の例示的プロット表現600Bを示す。図示のように、AWBが、図6Aにおいて、約10フレームの間、一時的に安定しているとき、フレームスキップは中間値に設定される。AWBが図6Aに示すように安定すると、フレームスキップは、一定のmax値に設定される。したがって、計算リソース節約が、より適度のレートで依然として達成され得ると同時に、シーンは、シーン変更中に一時的に安定を達成し、シーン変更の後、より大幅な省電力を達成するために、最大フレームスキップを使ってAWB算出が実施される。
【００７１】
AWBにおける追加の例示的な動的フレームスキッピングの概要
図7は、本明細書に記載する動的フレームスキッピング技法を実装する自動ホワイトバランスプロセス700の実施形態のフローチャートを示す。プロセス700は、いくつかの実装形態では、図1Aおよび/または図2A〜図2Bの構成要素によって実践され得る。
【００７２】
ブロック705において、AWBモジュール120は、少なくとも現在のフレームおよび前のフレームを含む画像データを受信し得る。いくつかの実施形態では、フレームは連続していてよく、他の実施形態では、フレームは、いくつかの中間フレームによって離間されていてよい。各フレームはいくつかのピクセルを含むことができ、各ピクセルは、たとえばデモザイキングにより補間された、関連付けられたR、G、およびB値を有する。
【００７３】
ブロック710において、AWBモジュール120は、現在のフレームおよび前のフレームの対応するピクセルのRGBゲインを識別し得る。たとえば、AWBモジュールは、現在のフレーム中の第1のピクセルの第1のRGBゲインおよび前のフレーム中の第2のピクセルの第2のRGBゲインを識別することができ、第1および第2のピクセルを表す信号が、異なるときに画像センサーの同じ検知要素によって生成されている。RGBゲインのコンテキストにおいて論じるが、プロセス700は、いくつかの実施形態では、RGB画像データの単一の色チャネルまたは2つの色チャネルに対して作用するように修正されてよい。他の実施形態では、プロセス700は、いくつか例を挙げると、RGBN、YCbCr、YUV、およびYIQ色空間を含む他の色空間中の画像データの1つまたは複数のチャネルに対して作用するように修正されてよい。したがって、プロセス700用に使われるチャネル値は、ゲイン値または異なる種類のピクセル値、たとえば色もしくは輝度値であってよい。
【００７４】
ブロック715において、AWBモジュール120は、現在のフレームおよび前のフレームの対応するピクセルの間のRGBゲインの変化を算出することができる。RGBゲインの変化は、フレームの対応するピクセルのRGBゲインの変化を表すパーセンテージ、差、比、和、または平均値であってよい。いくつかの実施形態では、変化は、現在のフレームと前のフレームとの間のRGBゲインの最大変化を表し得る。
【００７５】
随意に、ブロック720において、動的スキップモジュール130は、RGB値の最も大きい変化を識別するために、RGBゲインの最大変化を、前のフレームのグループから決定された同様の値と比較し得る。たとえば、前のフレームからの値が平均されてよく、動的スキップモジュールは、RGBゲインの最大変化が平均よりも大きいかどうかを決定し得る。RGBゲインの最大変化が平均よりも大きい場合、RGBゲインの最大変化は、フレームスキップ値を識別する際に使用するために出力され得る。RGBゲインの最大変化が平均よりも大きい場合、動的スキップモジュール130は、現在および前のフレームからの、RGBゲインの最大変化を出力すればよい。RGBゲインの最大変化が平均よりも大きくない場合、動的スキップモジュール130は平均値を出力すればよい。
【００７６】
ブロック725において、動的スキップモジュール130は、出力RGB変化値に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定し得る。たとえば、本明細書に記載するように、出力RGB変化値は、AWB算出を実施する合間にスキップするべき対応するフレーム数を識別するために、1つまたは複数の閾値と比較され得る。概して、より小さいRGB変化値と、決定された閾値の比較は、より小さいRGB変化値が画像シーンにおけるより小さい変化と、したがってさらなる安定とを示すので、より大きいフレームスキップ値をもたらすはずである。したがって、1つのフレームについて実施されるAWB算出は、特に各フレーム向けにAWB算出を算出し直す必要なしで、安定化した画像シーンのいくつかの後続フレーム用に使うのに十分であり得る。RGB変化値が増大すると、AWB算出は、シーン変化に対応するためにより頻繁に実施され得る。
【００７７】
ブロック730において、カメラ215は、複数の追加画像フレームをキャプチャする。ブロック705〜725は、追加画像フレーム中の連続フレームの一部または全部のペアについて繰り返されてよい。
【００７８】
ブロック735において、AWB算出モジュール122は、AWB算出を実施するために使われるフレームの間の、決定された数のフレームをスキップしてよい。追加画像フレームがキャプチャされ、新たなフレームスキップ数が識別されると、AWB算出モジュール122はそれに従って更新され得る。
【００７９】
システムの実装および用語
本明細書で開示した実装形態は、動的フレームスキップ設定のためのシステム、方法および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得ることを、当業者は認識されよう。
【００８０】
いくつかの実施形態では、上記で説明した回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスで通信するために使用される一種の電子デバイスであり得る。ワイヤレス通信デバイスの例は、セルラー電話、スマートフォン、携帯情報端末(PDA)、電子リーダー、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
【００８１】
ワイヤレス通信デバイスは、1つまたは複数の画像センサー、1つまたは複数の画像信号プロセッサ、および上述の動的フレームスキッププロセスを実践するための命令またはモジュールを含むメモリを含み得る。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/インターフェースとを有し得る。ワイヤレス通信デバイスはさらに、送信機および受信機を含み得る。送信機および受信機は、併せてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するための1つまたは複数のアンテナに結合され得る。
【００８２】
本明細書で説明された機能またはプロセスブロックは、プロセッサ可読媒体上またはコンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージデバイスもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含むことができる。ディスク(disk)およびディスク(disc)は、本明細書で使用されるときに、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常はデータを磁気的に再生し、ディスク(disc)は、レーザを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形および非一時的であってよいことに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。
【００８３】
本明細書で開示された方法は、記載の方法を達成するための1つまたは複数のステップまたはアクションを含む。方法ステップおよび/または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えてもよい。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更されてもよい。
【００８４】
本明細書で使用する「複数の」という用語は2つ以上を示す。たとえば、複数の構成要素は2つ以上の構成要素を示す。「決定すること」という用語は、幅広い動作を包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、探索すること(たとえば、表、データベース、または他のデータ構造の中を探索すること)、確認することなどを含んでもよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含むことができる。「に基づいて」という句は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【００８５】
例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得る点にも留意されたい。フローチャートは動作を順次プロセスとして記述し得るが、動作の多くは並列または同時に実施されてよく、プロセスが繰り返されてよい。さらに、動作の順序が並べ替えられてよい。プロセスは、その動作が完了されたときに終了される。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムに対応し得る。プロセスがソフトウェア関数に対応するとき、その終了は呼出し関数またはメイン関数への関数の復帰に対応する。
【００８６】
開示した実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【００８７】
100  動的フレームスキップシステム
105  画像センサー
120  AWBモジュール
122  AWB算出モジュール
124  RGBゲイン計算モジュール
130  動的スキップモジュール
131  RGBゲイン変化リポジトリ
132  max変化発見モジュール
133  閾値比較モジュール
134  フレームスキップ値設定モジュール
135  閾値データリポジトリ
200  画像キャプチャデバイス、デバイス、撮像デバイス
205  作業メモリ
210  ストレージ、記憶モジュール
215  カメラ
215A  センサー
220  画像プロセッサ、プロセッサ、ISP
225  電子ディスプレイ、ディスプレイ
230  メモリ、メモリ構成要素、作業メモリ
235  キャプチャ制御モジュール
240  AWBモジュール、モジュール
242  動的スキップモジュール
245  オペレーティングシステム、オペレーティングシステムモジュール
250  デバイスプロセッサ
【図１Ａ】
2018517369.tif 000003
【図１Ｂ】
2018517369.tif 000004
【図２Ａ】
2018517369.tif 000005
【図２Ｂ】
2018517369.tif 000006
【図３】
2018517369.tif 000007
【図４】
2018517369.tif 000008
【図５Ａ】
2018517369.tif 000009
【図５Ｂ】
2018517369.tif 000010
【図６Ａ】
2018517369.tif 000011
【図６Ｂ】
2018517369.tif 000012
【図７】
2018517369.tif 000013
【手続補正書】
【提出日】平成29年12月11日(2017.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像キャプチャシステムであって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを有する画像センサーと、
少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサは、
赤、緑および青チャネルを有する画像データを受信することであって、前記画像データは少なくとも現在のフレームおよび前のフレームを表し、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、受信することと、
前記赤、緑および青チャネルの各々について、前記感光性要素の前記複数のロケーションの少なくともサブセットの各ロケーションに対応するピクセル値から、RGBゲイン情報を、
前記第1の複数のピクセルのうちの1つから第1のピクセル値を識別することと、
前記第2の複数のピクセルのうちの対応する1つから第2のピクセル値を識別することと、
前記第1のピクセル値と前記第2のピクセル値との間の変化を算出すること
に基づいて、算出することと、
前記RGBゲイン情報に基づいて、前記複数のロケーションの前記サブセットの少なくとも1つのロケーションについての、前記第1のピクセル値と前記第2のピクセル値との間の最大差を表す最大変化値を決定することと、
前記最大変化値を少なくとも1つの閾値と比較することと、
前記最大変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することと、
前記決定されたフレーム数に対応する、後続するいくつかのフレームに対してAWB算出をスキップすることとを行うように構成される、システム。
【請求項２】
前記少なくとも1つのプロセッサは、
前記最大変化値を第1の閾値と比較することと、
前記最大変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定することに基づいて、前記最大変化値を少なくとも1つの閾値と比較することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項３】
前記最大フレームスキップ値は10フレームである、請求項2に記載のシステム。
【請求項４】
前記第1の閾値は1パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1の値と前記第2の値との間のパーセンテージ差を表す、請求項2に記載のシステム。
【請求項５】
前記最大変化値が前記第1の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、
前記最大変化値を第2の閾値と比較することと、
前記最大変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行うようにさらに構成される、請求項2に記載のシステム。
【請求項６】
前記最大変化値が前記第2の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するようにさらに構成され、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項5に記載のシステム。
【請求項７】
前記第2の閾値は3パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1のピクセル値と前記第2のピクセル値との間のパーセンテージ差を表す、請求項5に記載のシステム。
【請求項８】
前記最小フレームスキップ値はゼロである、請求項6に記載のシステム。
【請求項９】
前記少なくとも1つのプロセッサは、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項１０】
前記少なくとも1つのプロセッサは、前記複数の追加フレームのうちの少なくともいくつかに基づいて、AWB算出を実施する合間にスキップするべき更新されたフレーム数を算出するようにさらに構成される、請求項9に記載のシステム。
【請求項１１】
前記少なくとも1つのプロセッサは、スキップするべき前記更新されたフレーム数に基づいて、追加の複数の追加フレームに対してAWB算出を実施するようにさらに構成される、請求項10に記載のシステム。
【請求項１２】
前記画像センサーと目標画像シーンからの入射光との間に位置するカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記赤、緑、および青チャネルのうちの1つに各々が対応する複数の帯域通過フィルタを含む、請求項1に記載のシステム。
【請求項１３】
オートホワイトバランスを実施するためのフレームスキップ値を動的に構成するための方法であって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを備える画像センサーから、少なくとも現在のフレームおよび前のフレームを表す画像データを受信するステップであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、ステップと、
少なくとも1つの色チャネルについて、および前記感光性要素の前記複数のロケーションの少なくともサブセットの各ロケーションに対応するピクセル値から、前記第1の複数のピクセルのうちの1つからの第1のピクセル値、および前記第2の複数のピクセルのうちの対応する1つからの第2のピクセル値を識別するステップと、
前記第1のフレームからの前記第1の複数のピクセルのうちの前記1つの、前記第1のピクセル値と、前記第2のフレームの前記第2の複数のピクセルのうちの前記対応する1つの、前記第2のピクセル値との間の変化値を算出するステップと、
前記変化値を少なくとも1つの閾値と比較するステップと、
前記変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するステップと、
前記決定されたフレーム数に対応する、後続するいくつかのフレームに対してAWB算出をスキップするステップとを含む方法。
【請求項１４】
前記変化値を少なくとも1つの閾値と比較するステップは、
前記変化値を第1の閾値と比較するステップと、
前記変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定するステップとを含む、請求項13に記載の方法。
【請求項１５】
前記変化値が前記第1の閾値よりも大きいと決定したことに応答して、
前記変化値を第2の閾値と比較するステップと、
前記変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定するステップであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、ステップとをさらに含む、請求項14に記載の方法。
【請求項１６】
前記変化値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するステップをさらに含み、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項15に記載の方法。
【請求項１７】
前記変化値を算出するステップは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算するステップを含む、請求項13に記載の方法。
【請求項１８】
前記変化値を算出するステップは、R、G、およびBゲインの前記最大変化を、複数の前のフレームのペアの間のR、G、およびBゲインの履歴平均と比較するステップを含む、請求項17に記載の方法。
【請求項１９】
R、G、およびBゲインの前記最大変化が、R、G、およびBゲインの前記履歴平均よりも大きいと決定したことに応答して、R、G、およびBゲインの前記最大変化を前記変化値として出力するステップと、
R、G、およびBゲインの前記最大変化がR、G、およびBゲインの前記履歴平均未満であると決定したことに応答して、R、G、およびBゲインの前記履歴平均を前記変化値として出力するステップとをさらに含む、請求項18に記載の方法。
【請求項２０】
複数の追加フレームを表す追加画像データを受信するステップと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施するステップと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップするステップであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、ステップと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施するステップであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、ステップとをさらに含む、請求項13に記載の方法。
【請求項２１】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスの少なくとも1つのプロセッサに、
少なくとも現在のフレームおよび前のフレームを表す画像データを受信することであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含み、前記第1および第2の複数のピクセルの各々は、少なくとも1つのチャネルに関連付けられたピクセル値を有する、受信することと、
前記第1の複数のピクセルの少なくともサブセットおよび前記第2の複数のピクセルの対応するサブセットの前記ピクセル値に基づいて、前記少なくとも1つのチャネルに関連付けられたゲイン値を算出することと、
前記ゲイン値を少なくとも1つの閾値と比較することと、
前記ゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することと、
前記決定されたフレーム数に対応する、後続するいくつかのフレームに対してAWB算出をスキップすることとを行わせる、コンピュータ可読記憶媒体。
【請求項２２】
実行されると、前記少なくとも1つのプロセッサに、
前記ゲイン値を第1の閾値と比較させ、
前記ゲイン値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定させる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２３】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第1の閾値よりも大きいと決定したことに応答して、
前記ゲイン値を第2の閾値と比較することと、
前記ゲイン値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行わせる命令をさらに記憶した、請求項22に記載のコンピュータ可読記憶媒体。
【請求項２４】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定させる命令をさらに記憶し、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記ゲイン値を算出することは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算することを含む、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２６】
実行されると、前記少なくとも1つのプロセッサに、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行わせる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２７】
画像キャプチャ装置であって、
入射光を検知し、前記入射光を表す画像データを出力するための手段と、
前記画像データの第1のフレームおよび第2のフレームのチャネルデータを識別するための手段と、
前記第1のフレームおよび前記第2のフレームの前記チャネルデータに基づいて、チャネルゲイン値を算出するための手段と、
前記チャネルゲイン値を少なくとも1つの閾値と比較するための手段と、
前記チャネルゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するための手段と、
前記決定されたフレーム数に対応する、後続するいくつかのフレームに対してAWB算出をスキップするための手段とを備える装置。
【請求項２８】
スキップするべき前記フレーム数を決定するための前記手段は、前記チャネルゲイン値が前記少なくとも1つの閾値未満である場合は前記フレーム数を高スキップ値に設定するため、および前記チャネルゲイン値が前記少なくとも1つの閾値よりも大きい場合は前記フレーム数を低スキップ値に設定するための手段を備える、請求項27に記載の装置。
【請求項２９】
前記決定されたフレーム数に部分的に基づいてAWB算出を実施するための手段をさらに備える、請求項27に記載の装置。
【請求項３０】
カラーフィルタリングのための手段をさらに備え、前記カラーフィルタリング手段は、前記検知手段と目標画像シーンとの間に位置し、前記カラーフィルタ手段および検知手段は、前記チャネルデータを生じるように協働する、請求項27に記載の装置。
【手続補正書】
【提出日】平成30年3月7日(2018.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像キャプチャシステムであって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを有する画像センサーと、
少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサは、
赤、緑および青チャネルを有する画像データを受信することであって、前記画像データは少なくとも現在のフレームおよび前のフレームを表し、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、受信することと、
前記赤、緑および青チャネルの各々について、前記感光性要素の前記複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、RGBゲイン情報を、
前記第1の複数のピクセルのうちの1つから第1の値を識別することと、
前記第2の複数のピクセルのうちの対応する1つから第2の値を識別することと、
前記第1の値と前記第2の値との間の変化を算出すること
に基づいて、算出することと、
前記RGBゲイン情報に基づいて、前記複数のロケーションの前記サブセットの少なくとも1つについての、前記第1の値と前記第2の値との間の最大差を表す最大変化値を決定することと、
前記最大変化値を少なくとも1つの閾値と比較することと、
前記最大変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行うように構成される、システム。
【請求項２】
前記少なくとも1つのプロセッサは、
前記最大変化値を第1の閾値と比較することと、
前記最大変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定することに基づいて、前記最大変化値を少なくとも1つの閾値と比較することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項３】
前記最大フレームスキップ値は10フレームである、請求項2に記載のシステム。
【請求項４】
前記第1の閾値は1パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1の値と前記第2の値との間のパーセンテージ差を表す、請求項2に記載のシステム。
【請求項５】
前記最大変化値が前記第1の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、
前記最大変化値を第2の閾値と比較することと、
前記最大変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行うようにさらに構成される、請求項2に記載のシステム。
【請求項６】
前記最大変化値が前記第2の閾値よりも大きいと決定したことに応答して、前記少なくとも1つのプロセッサは、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するようにさらに構成され、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項5に記載のシステム。
【請求項７】
前記第2の閾値は3パーセントであり、前記最大変化値は、前記複数のロケーションの前記サブセットのうちの前記少なくとも1つについての前記第1の値と前記第2の値との間のパーセンテージ差を表す、請求項5に記載のシステム。
【請求項８】
前記最小フレームスキップ値はゼロである、請求項6に記載のシステム。
【請求項９】
前記少なくとも1つのプロセッサは、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行うようにさらに構成される、請求項1に記載のシステム。
【請求項１０】
前記少なくとも1つのプロセッサは、前記複数の追加フレームのうちの少なくともいくつかに基づいて、AWB算出を実施する合間にスキップするべき更新されたフレーム数を算出するようにさらに構成される、請求項9に記載のシステム。
【請求項１１】
前記少なくとも1つのプロセッサは、スキップするべき前記更新されたフレーム数に基づいて、追加の複数の追加フレームに対してAWB算出を実施するようにさらに構成される、請求項10に記載のシステム。
【請求項１２】
前記画像センサーと目標画像シーンからの入射光との間に位置するカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記赤、緑、および青チャネルのうちの1つに各々が対応する複数の帯域通過フィルタを含む、請求項1に記載のシステム。
【請求項１３】
オートホワイトバランスを実施するためのフレームスキップ値を動的に構成するための方法であって、
画像センサー上の複数のロケーションのうちの1つに各々が配置された感光性要素のアレイを備える画像センサーから、少なくとも現在のフレームおよび前のフレームを表す画像データを受信するステップであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含む、ステップと、
少なくとも1つの色チャネルについて、および前記感光性要素の前記複数のロケーションの少なくともサブセットの各々に対応するピクセル値から、前記第1の複数のピクセルのうちの1つからの第1の値、および前記第2の複数のピクセルのうちの対応する1つからの第2の値を識別するステップと、
前記第1のフレームからの前記第1の複数のピクセルのうちの前記1つの、前記第1の値と、前記第2のフレームの前記第2の複数のピクセルのうちの前記対応する1つの、前記第2の値との間の変化値を算出するステップと、
前記変化値を少なくとも1つの閾値と比較するステップと、
前記変化値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するステップとを含む方法。
【請求項１４】
前記変化値を少なくとも1つの閾値と比較するステップは、
前記変化値を第1の閾値と比較するステップと、
前記変化値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定するステップとを含む、請求項13に記載の方法。
【請求項１５】
前記変化値が前記第1の閾値よりも大きいと決定したことに応答して、
前記変化値を第2の閾値と比較するステップと、
前記変化値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定するステップであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、ステップとをさらに含む、請求項14に記載の方法。
【請求項１６】
前記変化値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定するステップをさらに含み、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項15に記載の方法。
【請求項１７】
前記変化値を算出するステップは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算するステップを含む、請求項13に記載の方法。
【請求項１８】
前記変化値を算出するステップは、R、G、およびBゲインの前記最大変化を、複数の前のフレームのペアの間のR、G、およびBゲインの履歴平均と比較するステップを含む、請求項17に記載の方法。
【請求項１９】
R、G、およびBゲインの前記最大変化が、R、G、およびBゲインの前記履歴平均よりも大きいと決定したことに応答して、R、G、およびBゲインの前記最大変化を前記変化値として出力するステップと、
R、G、およびBゲインの前記最大変化がR、G、およびBゲインの前記履歴平均未満であると決定したことに応答して、R、G、およびBゲインの前記履歴平均を前記変化値として出力するステップとをさらに含む、請求項18に記載の方法。
【請求項２０】
複数の追加フレームを表す追加画像データを受信するステップと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施するステップと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップするステップであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、ステップと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施するステップであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、ステップとをさらに含む、請求項13に記載の方法。
【請求項２１】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスの少なくとも1つのプロセッサに、
少なくとも現在のフレームおよび前のフレームを表す画像データを受信することであって、前記現在のフレームは第1の複数のピクセルを含み、前記前のフレームは第2の複数のピクセルを含み、前記第1および第2の複数のピクセルの各々は、少なくとも1つのチャネルに関連付けられた値を有する、受信することと、
前記第1の複数のピクセルの少なくともサブセットおよび前記第2の複数のピクセルの対応するサブセットの前記値に基づいて、前記少なくとも1つのチャネルに関連付けられたゲイン値を算出することと、
前記ゲイン値を少なくとも1つの閾値と比較することと、
前記ゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定することとを行わせる、コンピュータ可読記憶媒体。
【請求項２２】
実行されると、前記少なくとも1つのプロセッサに、
前記ゲイン値を第1の閾値と比較させ、
前記ゲイン値が前記第1の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最大フレームスキップ値に設定させる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２３】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第1の閾値よりも大きいと決定したことに応答して、
前記ゲイン値を第2の閾値と比較することと、
前記ゲイン値が前記第2の閾値以下であると決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を中間フレームスキップ値に設定することであって、前記中間フレームスキップ値は前記最大フレームスキップ値未満である、設定することとを行わせる命令をさらに記憶した、請求項22に記載のコンピュータ可読記憶媒体。
【請求項２４】
実行されると、前記少なくとも1つのプロセッサに、前記ゲイン値が前記第2の閾値よりも大きいと決定したことに応答して、AWB算出を実施する合間にスキップするべき前記フレーム数を最小フレームスキップ値に設定させる命令をさらに記憶し、前記最小フレームスキップ値は前記中間フレームスキップ値未満である、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記ゲイン値を算出することは、前記現在のフレームと前記前のフレームとの間の、R、G、およびBゲインの最大変化を計算することを含む、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２６】
実行されると、前記少なくとも1つのプロセッサに、
複数の追加フレームを表す追加画像データを受信することと、
前記複数の追加フレームのうちの第1の追加フレームに対してAWB算出を実施することと、
前記複数の追加フレームの、あるサブセットに対してAWB算出を実施するのをスキップすることであって、前記複数の追加フレーム中のフレームの数は、前記決定されたフレーム数に等しい、スキップすることと、
前記複数のフレームのうちの第2の追加フレームに対してAWB算出を実施することであって、前記複数の追加フレームの前記サブセットは、時間的に前記第1および第2の追加フレームの間にキャプチャされた、実施することとを行わせる命令をさらに記憶した、請求項21に記載のコンピュータ可読記憶媒体。
【請求項２７】
画像キャプチャ装置であって、
入射光を検知し、前記入射光を表す画像データを出力するための手段と、
前記画像データの第1のフレームおよび第2のフレームのチャネルデータを識別するための手段と、
前記第1のフレームおよび前記第2のフレームの前記チャネルデータに基づいて、チャネルゲイン値を算出するための手段と、
前記チャネルゲイン値を少なくとも1つの閾値と比較するための手段と、
前記チャネルゲイン値を前記少なくとも1つの閾値と比較した結果に少なくとも部分的に基づいて、AWB算出を実施する合間にスキップするべきフレームの数を決定するための手段とを備える装置。
【請求項２８】
スキップするべき前記フレーム数を決定するための前記手段は、前記チャネルゲイン値が前記少なくとも1つの閾値未満である場合は前記フレーム数を高スキップ値に設定するため、および前記チャネルゲイン値が前記少なくとも1つの閾値よりも大きい場合は前記フレーム数を低スキップ値に設定するための手段を備える、請求項27に記載の装置。
【請求項２９】
前記決定されたフレーム数に部分的に基づいてAWB算出を実施するための手段をさらに備える、請求項27に記載の装置。
【請求項３０】
カラーフィルタリングのための手段をさらに備え、前記カラーフィルタリング手段は、前記検知手段と目標画像シーンとの間に位置し、前記カラーフィルタ手段および検知手段は、前記チャネルデータを生じるように協働する、請求項27に記載の装置。
【国際調査報告】
2018517369.tif 000014
2018517369.tif 000015