(57)【要約】      （修正有）【課題】被写体の動きがある場合でも、露出が異なる複数の画像から高ダイナミック画像を合成する方法及び装置を提供する。【解決手段】画像データを生成するための方法は、第１の露光レベルと関連付けられる第１の入力画像データ及び異なる第２の露光レベルと関連付けられる第２の入力画像データを受信し、入力画像データから、改善されたノイズモデルを適用することにより受信した入力画像データから運動検出データを生成し、運動検出データに応じて第１の入力データ及び第２の入力データからのデータを合成して、改善された画像データを生成する。【選択図】図１
2020058023.tif 000002
【特許請求の範囲】
【請求項１】
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を含む、方法。
【請求項２】
前記第２の露光レベルと関連付けられる第２の補間画像データを生成するステップをさらに含み、前記第２の補間画像データが、前記第２のセットの画素位置の画素強度値を含み、ノイズモデルを適用して運動検出データを生成するステップが、前記第２の入力画像データと前記第１の補間画像データとの間の差、及び、前記第１の入力画像データと前記第２の補間画像データとの間の差に基づく、請求項１に記載の方法。
【請求項３】
前記運動検出データを生成するステップが、前記画像が前記第１の入力画像データと前記第２の入力画像データとの間で異なる、前記画像の少なくとも１つの領域を示す運動検出マスクを生成することを含む、請求項１又は２に記載の方法。
【請求項４】
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップが、
前記第２の画素位置セットの前記第２の入力データを平滑化することと、
平滑化されている前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成することと、
を含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
ある画素位置における前記第１の補間画像データが、少なくとも、隣り合う画素位置を表す第１の入力画像データに基づいて生成される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成するステップが、
前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する露光比を使用して前記第２の入力画像データと前記第１の補間画像データを位置整合させることと、
前記第２の入力画像データのそれぞれの画素強度値と位置整合されている前記第１の補間画像データの画素強度値の間の少なくとも１つの差を判定することと、
前記ノイズモデルに従って前記少なくとも１つの差を修正することと、
を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
改善された画像データを生成するステップが、
前記運動検出データが、所与の画素位置について動きが検出されていることを示さないことを判定することと、
前記判定に応答して、受信されている前記第１の入力画像データと前記第２の入力画像データとを合成して、前記所与の画素位置の改善された画像データを生成することと、
を含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
受信されている前記第１の入力画像データと前記第２の入力画像データとを合成して、前記所与の画素位置の改善された画像データを生成することが、少なくとも、
前記露光比に基づいて前記第２の入力画像データと前記第１の入力画像データを位置整合させることによって、位置整合されている画像データを生成することと、
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することと、
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かの前記判定に応答して、所定の措置を実施することと、
を含む、請求項７に記載の方法。
【請求項９】
（ｉ）前記所与の画素位置が前記画像のコーナを表す領域にあるという判定に応じて、前記所定の措置が、前記所与の画素位置を表す、前記位置整合されている画像データの部分を、前記改善された画像データとして使用することを含む、請求項８に記載の方法。
【請求項１０】
（ｉｉ）前記所与の画素位置が前記画像のコーナを表す領域にないという判定に応じて、前記所定の措置が、前記位置整合されている画像データを使用して補間することによって、前記所与の画素位置を表す改善された画像データを生成することを含む、請求項８に記載の方法。
【請求項１１】
前記位置整合されている画像データを使用して補間することが、
第１の複数の勾配を生成することであって、各勾配が、複数の方向からの１つの方向と関連付けられ、前記ノイズモデルに依存する、第１の複数の勾配を生成することと、
第１の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第１の複数の補間値を生成することと、
前記第１の複数の勾配に従って前記第１の複数の補間値を合成して、改善された画像データを生成することと、
を含む、請求項１０に記載の方法。
【請求項１２】
前記第１の複数の補間値のうちの前記補間値が、前記露光比に依存する、請求項１１に記載の方法。
【請求項１３】
前記第１の複数の補間値のうちの前記補間値が、隣り合う画素位置を表す、位置整合されている画像データから補間することによって生成され、各隣り合う画素位置を表す前記位置整合されている画像データが、前記隣り合う画素位置のそれぞれの分散に従って重み付けされる、請求項１２に記載の方法。
【請求項１４】
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することが、
複数の画素位置を含む複数の画素領域であって、前記画素領域が、前記所与の画素位置を中心とする中央画素領域を囲み、部分的に重なり合う、複数の画素領域の各々について、前記位置整合されている画像データから、各画素領域における画素位置の画素強度値と、前記中央画素領域内のそれぞれの画素位置との間の絶対差の合計を判定することであって、前記中央画素領域内の画素位置の数が、前記複数の画素領域の各々における画素位置の数に等しい、判定することと、
前記絶対差の合計が最も低い画素領域からの前記絶対差の合計と、前記ノイズモデルに基づく前記所与の画素位置における予測ノイズレベルとを比較することと、
を含む、請求項８〜１３のいずれか一項に記載の方法。
【請求項１５】
改善された画像データの生成することが、
前記運動検出データが、所与の画素位置について動きが検出されていることを示すことを判定することと、
前記判定に応答して、受信されている前記第１の入力画像データ及び前記第２の入力画像データのうちの一方を、前記所与の画素位置の改善された画像データの一次ソースとして選択することと
を含む、請求項１〜６のいずれか一項に記載の方法。
【請求項１６】
前記所与の画素位置が、一次ソースとして選択されている前記第１の入力画像データ又は前記第２の入力画像データによって表されないとき、選択されている前記第１の入力画像データ又は前記第２の入力画像データに基づいて前記所与の画素位置の前記改善された入力データを生成することが、
選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の勾配を生成することであって、前記第２の複数の勾配のうちの各勾配は、前記複数の方向からの１つの方向と関連付けられる、第２の複数の勾配を生成することと、
選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第２の複数の補間値を生成することと、
前記第２の複数の勾配に従って前記第２の複数の補間値を合成して、改善された画像データを生成することと、
を含む、請求項１５に記載の方法。
【請求項１７】
前記所与の画素位置が、前記第１の露光レベル及び前記第２の露光レベルのうちの高い方の露光レベルと関連付けられる少なくとも１つの飽和画素位置を含むクリッピングされる領域に位置付けられているという判定に応じて、所与の画素位置の改善された画像データを生成することが、
前記第１の露光レベル及び前記第２の露光レベルのうちの低い方の露光レベルと関連付けられる、受信されている前記第１の入力画像データ又は前記第２の入力画像データを選択することを含む、請求項１５又は１６に記載の方法。
【請求項１８】
前記第２の複数の勾配のうちの各勾配が、前記ノイズモデルに依存する、請求項１６に記載の方法。
【請求項１９】
装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと
を備え、前記少なくとも１つのメモリ及びコンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を行わせるように構成されている、装置。
【請求項２０】
持続性コンピュータ可読記憶媒体であって、コンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、プロセッサによって実行されると、
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を行うための画像処理システムの動作を引き起こす、持続性コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、画像データを処理するための方法及び装置に関する。
【発明の背景】
【０００２】
[0002]画像を取り込むための画像センサは、デジタルカメラ、携帯電話カメラ、及び他の画像取り込みデバイスのようなデバイス内に存在し得る。画像センサは、人間の視覚センサによって知覚可能であるよりも小さいダイナミックレンジで画像を取り込むことが可能であり得る。しかしながら、高度に動的なシーンの画像の品質を増大させるために、いくつかの画像センサは、高ダイナミックレンジ（ＨＤＲ）画像を取り込むために使用することができる。画像センサは、露出の異なる複数の画像を取り込み、当該画像を合成してよりダイナミックレンジの高い画像を生成することによって、高ダイナミックレンジ画像を取り込むために使用することができる。
【０００３】
[0003]短い露光時間を使用して、又は、低いセンサ感度で取り込まれる画像は、より長い露光時間又はより高いセンサ感度を使用すると飽和が起こり、細部が失われる、シーンの明るい部分又は明るい光条件に細部を含むことができるが、センサ画素の露光不足に起因してシーンの暗い部分の細部を欠く場合がある。対応して、長い露光時間、又は、高いセンサ感度で取り込まれる画像は、より短い露光時間又はより低いセンサ感度を使用すると露光不足になる、シーンの暗い部分又は薄暗い光条件に細部を含むことができるが、センサ画素の飽和に起因してシーンの明るい部分の細部を欠く場合がある。異なる露光時間又は異なる感度レベルを使用して取り込まれる画像を合成することによって、単一の露光時間又は単一の感度を使用すると失われる場合がある画像の細部を含めることが可能である。
【０００４】
[0004]いくつかのセンサは、いくつかのセンサ画素を使用して、短い露光時間で画像を取り込み、他のセンサ画素を使用して、長い露光時間で画像を取り込む。２つの画像が合成されて、単一の露光時間で取り込まれる同等の画像よりもダイナミックレンジの高い単一の画像が生成される。各画像はセンサ画素の一部を使用してそれぞれの画像を取り込むため、補間が使用されて、欠けている画素部分の細部が推測される。
【０００５】
[0005]いくつかの画素が他の画素と異なる露光時間を使用して画像を取り込むように構成されている画像センサを使用して生成される画像データの合成に使用するための方法及びシステムを提供することが所望されている。
【図面の簡単な説明】
【０００６】
[0006]本開示の様々な特徴が、ともに本開示の特徴を示す添付の図面に関連して取り上げられる、以下の詳細な説明から明らかになる。
【０００７】
【図１】[0007]図１は、例示的な方法の流れ図である。
【０００８】
【図２】[0008]図２は、一例による第１の画素位置セット及び第２の画素位置セットを含む画像の少なくとも一部分の概略図である。
【０００９】
【図３ａ】[0009]図３ａは、一例によるコーナ検出過程の一部分の概略図である。
【００１０】
【図３ｂ】[0010]図３ｂは、一例によるコーナ検出過程の異なる部分の概略図である。
【００１１】
【図４】[0011]図４は、一例による合成過程の概略図である。
【００１２】
【図５】[0012]図５は、一例による装置の概略図である。
【００１３】
【図６】[0013]図６は、一例によるコンピュータ可読記憶媒体の概略図である。
【概要】
【００１４】
[0014]１つの態様によれば、画像の少なくとも一部分を表す入力画像を受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を含む方法が提供される。
【００１５】
[0015]別の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサによって、装置に少なくとも、画像の少なくとも一部分を表す入力画像データを受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を行わせるように構成される、装置が提供される。
【００１６】
[0016]別の態様によれば、コンピュータ実行可能命令を備え、コンピュータ実行可能命令は、プロセッサによって実行されると、画像の少なくとも一部分を表す入力画像データを受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を行うための画像処理システムの動作を引き起こす、持続性コンピュータ可読記憶媒体が提供される。
【特定の発明的な実施形態の詳細な説明】
【００１７】
[0017]実施例の詳細が、図面を参照して以下の説明から明らかになる。この説明において、説明を目的として、特定の実施例の多数の具体的な詳細が記載される。本明細書において、「一実施例（ａｎ  ｅｘａｍｐｌｅ）」又は同様の文言に対する言及は、当該実施例と関連して説明されている特定の特徴、構造、又は特性が、少なくともその１つの実施例に含まれるが、他の実施例においてはその限りではないことを意味する。特定の実施例は、実施例の根底にある概念を説明及び理解することを容易にするために、特定の特徴が省略及び／又はやむを得ず単純化されて、概略的に説明されていることにさらに留意されたい。
【００１８】
[0018]図１は、実施例による画像データを処理する方法の流れ図１００を示す。入力画像データは、画像の少なくとも一部分を表す。ブロック１１０において、方法は、入力画像データを受信することを含む。入力画像データは、遠隔画像センサによって取り込まれ、送信されて、受信され得る。例えば、カメラ又はスマートフォンのような遠隔撮像デバイスが、画像センサを使用して画像データを取り込み、ネットワークインターフェースを用いて、例えばインターネットなどの広域ネットワークを介して画像データを送信することができる。いくつかの実施例において、画像データは、ローカル撮像センサから受信されてもよい。他の実施例において、画像データは、記憶装置から受信される。画像データを取り込むのに使用される画像センサは、画像を取り込むのに使用される任意の適切な光検出器であってもよい、センサ画素のアレイを含んでもよい。例えば、センサ画素は、入射光を電子信号又はデータに変換することができるフォトダイオードのような受光素子を含んでもよい。センサ画素として使用することができる構成要素の例は、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を含む。露光レベルは、画像センサの各センサ画素によって光が取り込まれる時間、及び／又は、増幅器によって、各センサ画素によって生成される電気信号に適用される利得を決定づけ得る。したがって、画像を取り込むときの入射光に対する画像センサの感度は、一般的に露光レベルによって決定される。図１の実施例において、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む。画像データの受信は、例えば、多重露光画像センサを使用することによって達成することができる。第１の画素位置セット及び第２の画素位置セットは、複数の様式で配置することができ、第１の画素位置セット及び第２の画素位置セットの配列の特定の例は、他の図面を参照して後述する。いくつかの実施例において、第１の画素位置セット及び第２の画素位置セットを表す画像データが、異なる露光時間を使用して光を取り込むことによって生成される。例えば、第１の画素位置セットを表す画像データは、第１の時間期間の間に光を取り込むことによって生成することができ、第２の画素位置セットを表す画像データは、異なる第２の時間期間の間に光を取り込むことによって生成することができる。第１の画素位置セットを表す画像データ及び第２の画素位置セットを表す画像データを生成することは、同時に開始されてもよく、第１の画素位置セットを表す画像データが生成される前に、第２の画素位置セットを表す画像データが生成されてもよい。別の実施例において、第１の画素セットを表す画像データ及び第２の画素セットを表す画像データを生成することは、第１の時間期間及び第２の時間期間の終わりが同時に起こるように、異なる時点において開始してもよい。いくつかの実施例において、入力画像データは、第１の入力画像データ、第２の入力画像データ、及び、異なる第３の露光レベルと関連付けられる第３の画素位置セットを表す第３の入力画像データを含むことができる。
【００１９】
[0019]画像の取り込み中に画像センサが動く場合、又は、画像の取り込み中に画像に取り込まれているシーンの一部分が動く場合、第１の露光レベルと関連付けられる画素位置及び第２の露光レベルと関連付けられる画素位置において取り込まれる内容の間に差が生じる場合がある。例えば、露光レベルが露光時間によって決定づけられる場合、第２の時間期間の終わりと第１の時間期間の終わりとの間でシーンが変化する場合がある。
【００２０】
[0020]入力画像データは、例えば、画像センサによって取り込まれる光の少なくとも１つの特性を表すことができる。入力画像データは、各センサ画素によって取り込まれる光の強度を表すことができ、光の強度は、当該センサ画素によって取り込まれる光子の数に比例することができる。強度は、取り込まれる光の輝度を表すことができ、輝度は例えば、絶対強度ではなく、単位面積あたりの光の強度の測度である。他の例において、入力画像データは、取り込まれる光の明るさを表すことができ、明るさは、輝度の知覚に対応すると考えられ得るか又は、輝度に比例してもよく、又は、比例しなくてもよい。入力画像データは、データによって表される画像の見た目を表すために使用することができる任意の測光量又は特性を表してもよい。入力画像データは、例えば原画像形式など、任意の適切な形式であってもよい。
【００２１】
[0021]いくつかの実施例において、画像の各画素位置が、色チャネルと関連付けられる。例えば、画像を取り込むのに使用される画像センサは、あるパターンのカラーフィルタ要素を含む色フィルタアレイを備えることができる。色フィルタ要素は、画像センサのセンサ画素のアレイのそれぞれのセンサ画素に対応する。色フィルタアレイパターンは、モザイク又は反復パターンを形成すると考えることができる。色フィルタアレイの要素は、特定の色の光が対応するセンサ画素へと通過することを可能にすることができる。色は、光の波長の任意の範囲を指し得、例えば、実質的に受け取られるすべての光を通過させる透明、透過又は白色フィルタ要素もなお、色フィルタ要素と考えることができる。他の実施例において、色は、より狭い波長範囲を有してもよく、例えば、緑色、青色、及び赤色を含んでもよい。このように、色フィルタアレイは、センサ画素のアレイの異なるセンサ画素が異なる色の入射光を受け取ることを可能にすることができる。結果、画像の画素位置は各々、単一の色と関連付けることができる。画像の画素位置は、色フィルタパターンに配置することができる。多くの光検出器は入来する光の波長に対して感受性ではなく、したがって、フィルタアレイなしには検出光から色情報を提供することが不可能である。入来する光を、色フィルタアレイを使用して、異なる色に対応する異なる波長に分離することによって、これらの異なる波長範囲の光の強度を究明することができる。色フィルタパターンの例は、ベイヤーフィルタパターンを含んでもよく、結果、画像内の画素は、ベイヤー色フィルタパターンに配列され得る。
【００２２】
[0022]上述したように、画像によって取り込まれるシーンの一部分、又は、画像を取り込むのに使用される画像センサが露光中に動く場合、第１の露光レベルと関連付けられる第１の画素位置セットによって取り込まれる画像は、異なる第２の露光レベルと関連付けられる第２の画素位置セットによって取り込まれる画像と異なる場合がある。ＨＤＲ画像を生成するとき、第１の画素位置セット及び第２の画素位置セットを表す入力画像データを合成して、単一の露光レベルのみを使用して画像を取り込むように構成されている画像センサによって達成可能であり得るよりも高いダイナミックレンジを有する画像を生成することができる。しかしながら、第１の画素位置セットによって取り込まれる画像が、第２の画素位置セットによって取り込まれる画像と異なる場合、２つの画素位置セットを表すデータを合成するよう試みる結果として、ぼけが生じ、及び／又は、細部が失われる場合がある。図１の例示的な方法において、方法は、第１の画素位置セットによって取り込まれる画像と第２の画素位置セットによって取り込まれる画像との間の差を含む画像の領域を判定することと、対応して改善された画像データを生成することとを含む。方法は、シーン若しくは画像センサが露光中に動いたか否か、及び／又は、第１の画素位置セットを表す画像データと第２の画素位置セットを表す画像データとを合成することができるか否かを判定するために第２の入力画像データと比較されることになる、第１の露光レベルに対応する第１の補間画像データを生成することによって、画像データの改善を達成する。いくつかの実施例において、方法は又、第１の入力画像と比較されることになる、第２の補間画像を生成することをも含む。ブロック１２０において、方法は、第１の露光レベルと関連付けられる第１の補間画像データを生成することを含み、第１の補間画像データは、第２のセット内の画素位置の画素強度値を含む。ブロック１３０において、方法は、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成することを含む。例えば、方法は、第１の露光レベルと第２の露光レベルとの間の比を規定する露光比を使用して、第１の補間画像データと第２の入力画像データとを位置整合させることと、第２の入力画像データのそれぞれの画素強度値と位置整合されている第１の補間画像データの画素強度値の間の少なくとも１つの差を判定することと、ノイズモデルに従って少なくとも１つの差を修正することとを含むことができる。
【００２３】
[0023]画像センサを使用して取り込まれる画像は、画像ノイズを含むことが多い。画像ノイズは、画像内の画素の明るさ又は色のランダムな変動であり得る。画像ノイズは電子ノイズに依存し得、画像センサ、及び／又は、画像センサからの画像データの転送に関与する回路によって生成される場合がある。種々の種類の画像ノイズは、照明のレベル、並びに、画像センサ及び画像センサに接続されている電子回路の温度に依存し得るガウスノイズを含み得る。画像の実際のノイズレベルはまた、センサ画素における画像データの増幅にも影響され得る。他の種類の画像ノイズは、ごま塩ノイズ、ショットノイズ、量子化ノイズ、異方性ノイズ、及び周期性ノイズを含む。画像ノイズはまた、露光時間及び画像センサのサイズにも影響され得る。ノイズから生じる第１の補間画像データと第２の入力画像データとの間の任意の差が、ブロック１３０において考慮に入れられる。
【００２４】
[0024]この過程の後、方法は、ブロック１４０において、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成することを含む。例えば、動きがある画像の領域において、第１の画素位置セット及び第２の画素位置セットの２つによって取り込まれるシーンが、当該領域にわたって異なり得るとき、第１の画素位置セットを表す第１の入力画像データは、第２の画素位置セットを表す第２の入力画像データと合成しないことができる。しかしながら、動きが検出されない領域においては、両方の画素位置セットを表す画像データを合成し、より高いダイナミックレンジをもたらすことができる。図１の方法のブロック１２０〜１４０は、他の図面を参照しながらより詳細に後述する。
【００２５】
[0025]いくつかの実施例において、方法は、第２の露光レベルと関連付けられる第２の補間画像データを生成することを含み、第２の補間画像データは、第２のセット内の画素位置の画素強度値を含むことができる。そのような実施例において、ノイズモデルを適用して運動検出データを生成することは、第２の入力画像データと第１の補間画像データとの間の差、及び、第１の入力画像データと第２の補間画像データとの間の差に基づくことができる。
【００２６】
[0026]図２は、画像２００の少なくとも一部分の第１の画素位置セット及び第２の画素位置セットの例示的な配置を概略的に示す。図２の実施例において、第１の画素位置セットに属する画素位置は、白色ブロックによって表されており、第２の画素位置セットに属する画素位置は、点模様で埋めたブロックによって表されている。図２の実施例において、第１の画素位置セット及び第２の画素位置セットは、例えば、交互のジグザグパターンに配置されており、第１の画素位置セットに属する画素位置の斜めのジグザグ行が、第２の画素位置セットに属する画素位置の斜めのジグザグ行によって分離されている。図２の実施例の各画素位置は、色チャネルに関連付けられる文字によって標識され、文字「ｒ」は赤色チャネルを表し、文字「ｇ」は緑色チャネルを表し、文字「ｂ」は青色チャネルを表す。第１の画素位置セットの画素位置を表すブロック内の文字は大文字で表記されており、第２の画素位置セットの画素位置を表すブロック内の文字は小文字で表記されている。図２の色チャネルの配置は、ベイヤー色フィルタパターンに従う。図２の画素配置は非限定例であることは認められたい。画素位置の他の配置も可能であり得る。例えば、第１の画素位置セット及び第２の画素位置セットは、格子パターンにおいて、交互になった行として、交互になった列として、行の交互になった対として、列の交互になった対として、並びに、第１の画素位置セット及び第２の画素位置セットの任意の他の適切な配置で配置されてもよい。他の色フィルタアレイパターンが使用されてもよく、いくつかの実施例において、色フィルタアレイパターンの選択は、第１の画素位置セット及び第２の画素位置セットの配置に依存し得る。
【００２７】
[0027]ここで、図１の特徴をより詳細に説明する。
第１の補間画像データの生成
【００２８】
[0028]上述したように、画像によって取り込まれるシーンの一部分が第１の画素位置セットの露光と第２の画素位置セットの露光との間で変化する画像の領域において、第１の画素位置セット及び第２の画素位置セットの２つが実効的に異なる画像を取り込んでいる可能性があり、したがって、当該画像を合成する結果として、出力画像において細部が失われ、及び／又は、例えば、同じ物体が複数存在する、物体が分割される、又は、エッジが二重になるなどのアーチファクトが生じる場合があるとき、第１の画素位置セットを表す画像データ及び第２の画素位置セットを表す画像データは、合成しないことができる。第１の画素位置セットの露光と第２の画素位置セットの露光との間でシーンが動いたか否かを検出するために、画素強度値を比較することができる。しかしながら、図２を見ると、第１の画素位置セットの画素位置と第２の画素位置セットの画素位置とは空間的に重なり合わないことは明らかである。したがって、第２の画素位置セットの画素位置において、第１の露光レベルと関連付けられる画素強度値が生成される。一実施例において、ある画素位置における第１の補間画像データが、少なくとも、隣り合う画素位置を表す第１の入力画像データに基づいて生成される。いくつかの実施例において、第１の入力画像データが平滑化されてもよい。例えば、ある画素位置における平滑化データは、少なくとも、隣り合う画素位置を表す第１の入力画像データ及び平滑化されている画素位置を表す第１の入力画像データに基づいて生成することができる。
【００２９】
[0029]第１の画素セット及び第２の画素セットが図２のように配置される実施例において、緑色画素位置における第１の入力画像データの平滑化は、以下のカーネルＫ’Ｇを適用することを含むことができる。
【数１】
2020058023.tif 000003
【００３０】
[0030]第２の画素位置セットに属する緑色画素位置における第１の補間画像データの生成は、以下のカーネルＫＧを適用することを含むことができる。
【数２】
2020058023.tif 000004
【００３１】
[0031]図２の実施例において使用されている、ベイヤーフィルタパターン、並びに、結果生じる青色画素及び赤色画素の配置に対する緑色画素の配置の差に起因して、緑色画素位置に適用されるカーネルは、赤色画素及び青色画素には適用されないものであり得る。赤色画素位置又は青色画素位置における第１の入力画像データの平滑化は、以下のカーネルＫ’ＲＢを適用することを含むことができる。
【数３】
2020058023.tif 000005
【００３２】
[0032]第２の画素位置セットに属する赤色画素位置又は青色画素位置における第１の補間画像データの生成は、以下のカーネルＫＲＢを適用することを含むことができる。
【数４】
2020058023.tif 000006
【００３３】
[0033]上記で与えられたカーネルは非限定例であり、図２の画素位置配置に依存する。第１の画素位置セット及び第２の画素位置セットの配置が異なり、色フィルタアレイパターンが異なる実施例においては、異なるカーネルが使用されてもよい。他の実施例において、平滑化及び／又は補間データを生成するときに、より多くの隣り合う画素位置を表すデータが考慮されてもよい。いくつかの実施例において、平滑化及び／又は補間データを生成するときに、より少ない隣り合う画素位置を表すデータが考慮されてもよい。いくつかの実施例において、平滑化及び／又は補間データを生成するときに考慮される、隣り合う画素位置の数は、受信される画像データの画素密度に依存してもよい。例えば、画素密度がより高い場合、より多くの隣り合う画素位置を使用して、データを平滑化及び／又は補間することができる。
【００３４】
[0034]第１の補間画像データを生成するための適切な画素位置におけるカーネルＫＧ及びＫＲＢ（すなわち、第２の画素位置セットに属する緑色画素位置におけるＫＧ及び第２の画素位置セットに属する赤色及び青色画素位置におけるＫＲＢ）の適用、並びに、第１の入力画像データを平滑化するためのカーネルＫ’Ｇ及びＫ’ＲＢ（すなわち、第１の画素位置セットに属する緑色画素位置におけるＫ’Ｇ及び第１の画素位置セットに属する赤色及び青色画素位置におけるＫ’ＲＢ）の適用からもたらされるデータは、第１の等方性補間と呼ぶことができる平面
【数５】
2020058023.tif 000007
として表現することができる。
【００３５】
[0035]上述したカーネルはまた、第２の入力画像データを平滑化し、第２の補間画像データを生成するために、第２の入力画像データに適用することもできる。例えば、カーネルＫＧ及びＫＲＢを、第１のセットに属する画素位置において適用して、第２の補間画像データを生成することができ、カーネルＫ’Ｇ及びＫ’ＲＢを、第２のセットに属する画素位置において適用して、第２の入力画像データを平滑化することができる。第２の画像データを生成し、第２の入力画像データを平滑化するために上記カーネルを適用することからもたらされるデータは、第２の等方性補間と呼ぶことができる平面
【数６】
2020058023.tif 000008
として表現することができる。いくつかの実施例において、第２の入力画像データと第１の補間画像データとの間の差に基づいてノイズモデルを適用して運動検出データを生成することは、第２の画素位置セットの第２の入力を平滑化することと、平滑化されている第２の入力画像データと第１の補間画像データとの間の差に基づいてノイズモデルを適用して運動検出データを生成することとを含むことができる。
画素強度の少なくとも１つの差の判定
【００３６】
[0036]上述したように、第２の入力画像データと第１の補間画像データとの間の差に基づいて運動検出データを生成することは、露光比に基づいて画像データを位置整合させることと、第２の入力画像データのそれぞれの画素強度値と位置整合されている第１の補間画像データの画素強度値の間の差を判定することとを含むことができる。いくつかの実施例において、第２の入力画像データは、平滑化されている第２の入力画像データであってもよい。第１の補間画像データは、第２のセットの画素位置についての、第１の露光レベルと関連付けられる画素強度値を含むことができ、第２の入力画像データは、第２の画素位置セットの画素位置についての、第２の露光レベルと関連付けられる画素強度値を含むことができる。第１の補間画像データによって表される画素位置の画素強度値と、第２の入力画像データによって表されるそれぞれの画素強度値との間の少なくとも１つの差を判定することによって、画像によって取り込まれるシーンが、例えば、シーンの一部分の動き又はシーンを取り込むのに使用される画像センサの動きに起因して、第１の画素位置セットと第２の画素位置セットとで異なる画像の領域を判定することが可能であり得る。
【００３７】
[0037]いくつかの実施例において、少なくとも１つの差を判定することは、第１の露光レベルと第２の露光レベルとの間の比を規定する露光比を使用して第１の補間画像データと第２の入力画像データとを位置整合させることを含むことができる。第１の補間画像データと第２の入力画像データとを位置整合させることによって、第１の露光レベルと第２の露光レベルとの間の露出の差に起因する画素強度の任意の差を補償することができる。第１の補間画像データと第２の入力画像データとを位置整合させることは、露光比を用いて画素強度値を適切に操作することを含むことができる。例えば、位置整合させることは、第１の画像データの画素強度値を露光比で除算することを含むことができる。
【００３８】
[0038]いくつかの実施例において、第２の補間画像データと第１の入力画像データも、上記と同じ様式で比較することができる。第１の補間画像データと第２の入力画像データとの間の差の判定からの結果を、第２の補間画像データと第１の入力画像データとの間の差の判定と比較して、画像によって取り込まれるシーン内で動きが検出されたか否かを判定することができる。
【００３９】
[0039]１つの実施例において、少なくとも１つの差を判定することは、平面
【数７】
2020058023.tif 000009
及び
【数８】
2020058023.tif 000010
からの平均の差を計算することを含むことができる。３×３ボックスフィルタを使用して、長い等方性補間
【数９】
2020058023.tif 000011
及び短い等方性補間
【数１０】
2020058023.tif 000012
を平滑化することができ、次いで、平均の差を、平滑化結果の絶対差に基づいて計算することができる。この計算は、以下のように表現することができる。
【数１１】
2020058023.tif 000013
式中、ＤｏＭｉ，ｊは、各画素位置（ｉ，ｊ）における第１の等方性補間の画素強度値と、第２の等方性補間の画素強度値との間の平均の差である。ＤｏＭの値が非ゼロである画素位置は、第１の画素位置セットによって取り込まれる画像が第２の画素位置セットによって取り込まれる画像と異なる画素位置を示すことができる。しかしながら、例えばノイズなどの他の因子が第１の等方性補間と第２の等方性補間との間の差に寄与する場合があり、これらの他の因子に起因して生じる差と、画像の少なくとも一部分において取り込まれるシーンの動きに起因する差とを区別することが望ましい場合がある。
運動検出データの生成
【００４０】
[0040]上述したように、画像センサを使用して取り込まれる画像には、予測される程度のノイズが存在する場合がある。ノイズは、露光レベル及び画像データを生成するのに使用される画像センサを含む、複数の変数に依存し得る。前述の過程において判定される、第１の補間画像データと第２の入力画像データとの間、又は、第１の等方性補間と第２の等方性補間との間のいずれかの任意の差が、ノイズに起因するのではなく、画像によって取り込まれるシーン内の変化に起因することを保証するために、方法は、ノイズモデルに従って少なくとも１つの差を修正して、運動検出データを生成することを含むことができる。
【００４１】
[0041]一実施例において、ノイズ値を、画素位置における少なくとも１つの差から減算することができる。例えば、ノイズレベルを、以前に計算されている各画素位置におけるＤｏＭから減算することができる。ノイズ値は、各画素位置において異なり得る。ノイズ値は、ノイズモデルに従って、局所的な画素強度において予測されるノイズレベルをパラメータによってスケーリングすることによって計算することができる。画素位置において計算される差からノイズ値を減算することによって、ノイズレベルを下回る、第１の補間画像データと第２の入力画像データとの間の差を度外視することができる。少なくとも１つの画素に対するこの過程の結果は、運動検出データとして出力することができる。
【００４２】
[0042]予測ノイズ値をスケーリングするのに使用されるパラメータは、定数であってもよく、又は、画像の異なる領域に対して変化してもよい。倍数は、線形又は非線形量であってもよい。いくつかの実施例において、倍数は、センサ利得に依存し得るスケーリング係数を含む。いくつかの実施例において、倍数は、調整過程とも考慮され得る較正過程の間に決定することができる。較正過程は、本方法を、サンプル画像データに対して実施することと、倍数を修正して方法の結果を最適化することとを含むことができる。いくつかの実施例において、ノイズモデルは、時間的ノイズを低減するように構成されている。ノイズモデルを表すデータは、ルックアップテーブルとして記憶することができる。
【００４３】
[0043]いくつかの実施例において、運動検出データを生成することは、画像が第１の入力画像データと第２の入力画像データとの間で異なる、画像の少なくとも１つの領域を示す運動検出マスクを生成することを含む。いくつかの実施例において、運動検出マスクは、ＤｏＭｉ，ｊ計算の結果を得て、各画素位置においてＤｏＭｉ，ｊ値からノイズレベルを減算し、２×２窓内で結果のデータを拡張することによって生成することができる。いくつかの実施例において、運動検出マスクを生成することは、ノイズレベルによる少なくとも１つの差の修正の結果を拡大することと、結果を運動応答パラメータによって乗算することとを含む。運動応答パラメータを使用して、運動検出の強度を制御することができ、例えば、運動応答パラメータを使用して、運動検出マスクの感度を増大又は低減することができる。結果もたらされる運動検出マスクは、詳細に後述する、改善された画像データを生成するときに使用することができる。
改善された画像データの生成
【００４４】
[0044]一例において、受信されている入力画像データからの改善された画像データの生成は、例えば、運動検出マスクなどの、運動検出データに依存する。運動検出マスクは、動きが検出された画像の領域を示すことができる。動きが検出された領域においては、出力画像データは、第１の画素位置セットと第２の画素位置セットとの２つの間で取り込まれる内容の差に起因して、第１の画素位置セットを表すデータと、第２の画素位置セットを表すデータとを合成することによって生成することはできない。第１の露光と第２の露光との間で動きがないことを運動検出マスクが示す領域において、改善された画像データは、第１の入力画像データと第２の入力画像データとの合成として生成することができる。
ｉ．合成露光
【００４５】
[0045]一実施例において、改善された画像データを生成することは、所与の画素位置について、運動検出データが運動が検出されることを示さないことを判定することと、上記判定に応答して、受信されている第１の入力画像データと第２の入力画像データとを合成することとを含む。運動検出データに基づいて画素位置において動きが検出されたか否かを判定することは、上記のように生成される運動検出マスクを使用して、動きを含む画像の領域内に画素位置が位置付けられるか否かを判定することを含むことができる。改善された画像データを生成するときに考慮される、隣り合う画素位置の数は、受信されている入力画像データの画素強度、及び、画像データ内で画素位置に適用される色フィルタアレイパターンに依存し得る。
【００４６】
[0046]一実施例において、受信されている第１の入力画像データと第２の入力画像データとを合成して、所与の画素位置の改善された画像データを生成することは少なくとも、露光比に基づいて第１の入力画像データと第２の入力画像データとを位置整合させることによって、位置整合されている画像データを生成することを含むことができる。上述したように、第１の画素位置セット及び第２の画素位置セットの強度値は、最初、露光値の差に起因して互いからずれている。したがって、位置整合されている画像データを生成することによって、第１の画素位置セットを表す画像データと第２の画素位置セットを表す画像データが、系統的誤差を導入することなく合成されることを可能にすることができる。一実施例において、位置整合されている画像データを生成することは、黒レベルを減算することと、入力データを最上位ビット（ＭＳＢ）にシフトアップして、入力データを出力データと位置整合させることと、次いで、第１の入力画像データを露光比で除算することとを含むことができる。
【００４７】
[0047]受信されている第１の入力画像データと第２の入力画像データとを合成することはまた、所与の画素位置が画像のコーナを表す領域にあるか否かを判定することと、所与の画素位置が画像のコーナを表す領域にあるか否かの判定に応答して、所定の措置を実施することとを含むこともできる。コーナ検出又は局所勾配の変化の検出の任意の適切な方法を使用して、画素位置が画像のコーナを表す領域にあるか否かを判定することができる。
【００４８】
[0048]２つ以上の方向において異方性が高い画像内の領域が、画像のコーナを表す可能性がある。例えば、空のようなコントラストの高い背景を伴う建造物を表す画像において、建造物のコーナ、窓／扉のコーナなどを表す画像の領域が、異方性が高い可能性がある。一般的に、画像処理においては、画像内の線及び／又はエッジは、画像内の異なる物体の間の境界を鮮鋭化させるのを助け、以て細部を増大させることができるため、画像内の線及び／又はエッジに沿って補間することが望ましい。しかしながら、コーナにまたがる補間は、望ましくない効果を生じる可能性がある。例えば、コーナにまたがる補間は、出力画像においてコーナの頂点を切り落とす可能性があり、以て、画像内の細部及び／又は正確さが失われる結果となる可能性がある。画像のコーナを検出することによって、これらのコーナにまたがる補間によって出力が生成されることを回避することができる。コーナ検出の例示的な方法は、図３ａ及び図３ｂを参照しながら後述する。
【００４９】
[0049]所与の画素位置がコーナを表す領域にあるか否かを検出する例示的な方法は、所与の画素位置を中心とする領域内の画素位置の画素強度値と、周囲の領域内のそれぞれの画素位置の画素強度値とを比較することを含む。複数の画素位置を含む複数の画素領域であって、画素領域は、所与の画素位置を中心とする中央画素領域を囲み、部分的に重なり合う、複数の画素領域の各々について、方法は、位置整合されている画像データから、複数の画素領域の各々における画素位置の画素強度値と、中央画素領域内のそれぞれの画素位置との間の絶対差の合計を判定することを含むことができる。図３ａ及び図３ｂの例において、画像３００の少なくとも一部分を表す画素位置が示されている。位置整合されているデータが考慮されているため、画像の部分を表すすべての画素位置が、露光レベルが同じであるものとして示されている。一実施例として、図３ａ及び図３ｂにおいて、考慮されている画素位置は青色画素であり、中央画素領域３１０は、青色画素位置を中心とする３×３画素領域である。
【００５０】
[0050]中央画素領域を囲み、重なり合う複数の画素領域は、中央画素領域から２画素ずれている３×３画素領域であり、結果、複数の画素領域内の各画素位置は、中央画素領域内のそれぞれの画素位置と同じ色を有する。画素強度値は、同じ色チャネルに属する画素位置の間でのみ比較される。一実施例において、中央画素領域を囲む８つの画素領域が考慮され、図３ａは、対角線方向にずれた周囲の領域３２０、３３０、３４０、及び３５０を示し、図３ｂは垂直方向及び水平方向にずれた周囲の領域３６０、３７０、３８０、及び３９０を示す。複数の画素領域３２０〜３９０は、いずれかの図を分かりにくくしないように、別個の図面上に示されている。中央画素領域内の画素位置の数は、複数の画素領域の各々の中の画素位置の数に等しい。
【００５１】
[0051]各画素領域について、当該画素領域及び中央画素領域の画素強度値の間の絶対差の合計は、以下に従って計算される。
【数１２】
2020058023.tif 000014
式中、ＳＡＤｋは画素領域ｋの絶対差の合計を表し、Ｗｋ（ｉ，ｊ）は画素領域ｋ内且つ前記画素領域内の座標位置（ｉ，ｊ）内の画素強度値を表し、Ｗｃ（ｉ，ｊ）は、中央画素領域内の座標位置（ｉ，ｊ）における中央画素領域内の画素強度値を表す。図３ａ及び図３ｂの実施例において、８つの画素領域が存在し、したがって、ｋ∈｛１，２，３，４，５，６，７，８｝である。
【００５２】
[0052]ノイズに起因して周囲の画素領域の差が考慮に入れられ得るか否かを判定するために、絶対差の少なくとも１つの合計と、ノイズレベルとを比較することができる。例えば、方法は、絶対差の合計が最も低い画素領域からの絶対差の合計と、ノイズモデルに基づく所与の画素位置における予測ノイズレベルとを比較することを含むことができる。いくつかの実施例において、当該過程を反復して、画像によって取り込まれるシーンのコーナを表す画像の少なくとも１つの領域を特定するコーナ検出マスクを生成することができる。
【００５３】
[0053]上述したように、領域がコーナを含まない場合、当該領域にまたがって画素強度値を補間することが望ましい場合があり、領域がコーナを含む場合、当該領域にまたがって画素強度値を補間することは望ましくない場合がある。
【００５４】
[0054]一実施例において、所与の画素位置が画像のコーナを表す領域にあるという判定に応じて、所定の措置は、所与の画素位置を表す、位置整合されている画像データの部分を、改善された画像データとして使用することを含むことができる。コーナを表す領域において位置整合されている画像データを改善された画像データとして使用することによって、出力画像内のコーナを示す細部を維持することができる。
【００５５】
[0055]一実施例において、所与の画素位置が画像のコーナを表す領域にないという判定に応じて、所定の措置は、位置整合されている画像データを使用して補間することによって、所与の画素位置を表す改善された画像データを生成することを含むことができる。前述したように画像データを位置整合させる結果として、第１の画素セットの画素位置と比較して、第２の画素セットの画素位置の相対ノイズレベルがより高くなり得る。ここで、補間の目的は、画素強度値を方向的に平滑化し、画素強度値のノイズレベルに従って画素強度値を重み付けすることである。補間によって、出力画像の細部とノイズとの間のトレードオフを平衡させることができる。
【００５６】
[0056]位置整合されている画像データを使用して補間することは、第１の複数の勾配を生成することと、第１の複数の補間値を生成することと、勾配に従って第１の複数の補間値を合成して、改善された画像データを生成することとを含むことができる。補間の方向が最小勾配の方向であるか、又は、任意の方向の勾配が不十分である場合に等方性補間が使用されるような、勾配に従って補間値を合成する任意の適切な方法を使用することができる。位置整合されている画像データを使用して（すなわち、第１の画素セットと第２の画素セットの両方を表す画像データを使用して）補間するときに含まれる計算は、後述するような第１の画素位置セット又は第２の画素位置セットを表す画像データを使用して補間するときに使用される計算とは異なり、したがって、本論述において、勾配及び補間値はそれぞれ、第１の複数の勾配及び第１の複数の補間値に属する。
【００５７】
[0057]第１の複数の勾配のうちの勾配の各々は、複数の方向からの１つの方向と関連付けることができる。例えば、第１の複数の勾配は、複数の方向の各々の勾配値、すなわち、水平方向（ＧＨ）、垂直方向（ＧＶ）、第１の対角線方向（ＧＤ４５）、及び第２の対角線方向（ＧＤ１３５）を含むことができる。勾配値は、互いに同じ色チャネルに属する画素位置の適切にオフセットされた対を表すデータの絶対差を計算し、これらの絶対差の加重和を計算することによって取得される。いくつかの実施例において、第１の複数の勾配のうちの勾配はノイズモデルに依存し得、例えば、上記で計算されている差の加重和から、何らかのノイズモデルに従って、局所画素強度における複数の予測ノイズレベルを減算することができる。したがって、予測ノイズレベルよりも低い勾配を度外視することができる。
【００５８】
[0058]第１の複数の補間値のうちの少なくともいくつかの補間値は、複数の方向のうちのある方向と関連付けることができる。例えば、第１の複数の補間値は、複数の方向の各々の補間値、すなわち、垂直方向（ＩＨ）、水平方向（ＩＶ）、第１の対角線方向（ＩＤ４５）、及び第２の対角線方向（ＩＤ１３５）を含むことができる。第１の複数の補間値はまた、等方性補間と関連付けられる補間値（ＩＩＳＯ）をも含み得る。いくつかの実施例において、第１の複数の補間値のうちの補間値は、露光比に依存する。第１の複数の補間値は第１の入力画像データと第２の入力画像データの両方から計算されるため、補間値を計算するときに露光比を考慮することができる。例えば、隣り合う画素位置を表すデータからの寄与を重み付けするのに使用される係数を、露光比に基づいて決定することができる。一実施例において、第１の複数の補間値のうちの補間値は、隣り合う画素位置を表す、位置整合されている画像データから補間することによって生成され、各隣り合う画素位置を表す画像データは、上記隣り合う画素位置のそれぞれの分散に従って重み付けすることができる。
【００５９】
[0059]図４は、第１の複数の勾配に従って第１の複数の補間値を合成して、改善された画像データを生成する方法の図を示す。「ブレンド１（Ｂｌｅｎｄ  １）」において、水平方向の勾配及び垂直方向の勾配（ＧＨ及びＧＶ）に従って水平方向の補間値及び垂直方向の補間値（ＩＨ及びＩＶ）がブレンド（ｂｌｅｎｄ）され、「ブレンド２（Ｂｌｅｎｄ  ２）」において、対角線方向の勾配（ＧＤ４５及びＧＤ１３５）に従って２つの対角線方向の補間値（ＩＤ４５及びＩＤ１３５）がブレンドされ、「ブレンド３（Ｂｌｅｎｄ  ３）」において、第１の複数の勾配（ＧＨ、ＧＶ、ＧＤ４５、及びＧＤ１３５）に従って、「ブレンド１」及び「ブレンド２」からの結果がブレンドされる。次いで、最後のブレンドである「ブレンド４（Ｂｌｅｎｄ  ４）」が、第１の複数の勾配（ＧＨ、ＧＶ、ＧＤ４５、及びＧＤ１３５）に従って、「ブレンド３」の結果と、等方性補間値ＩＩＳＯとを合成する。この最後のブレンド「ブレンド４」の結果が、画素位置における改善された画像データとして使用される。
ｉｉ．独立露光
【００６０】
[0060]一実施例において、改善された画像データを生成することは、所与の画素位置について、運動検出データが運動が検出されることを示すことを判定することと、上記判定に応答して、受信されている第１の入力画像データ及び第２の入力画像データのうちの一方を、所与の画素位置の改善された画像データの一次ソースとして選択することとを含む。第１の入力画像データ又は第２の入力画像データのいずれを使用するかの選択は、後述するようなクリッピングされる領域又は閾値露光の検出に依存し得る。画像によって取り込まれるシーンに動きがあることを運動検出マスクが示す画像の領域において、第１の画素位置セットを表すデータによって取り込まれる画像は、第２の画素位置セットを表すデータによって取り込まれる画像とは異なり得る。したがって、第１の画素位置セット又は第２の画素位置セットのうちの一方のみを表す画像データから、改善された画像データを生成することができる。一実施例において、改善された画像データが第１の入力画像データから生成されるべきであると判定される場合、第１の画素位置セットにおいて、改善された画像データは、第１の入力画像データを含むことができ、第２の画素位置セットにおいて、改善された画像データは、隣り合う画素位置を表す第１の入力画像データから補間することによって生成される画像データを含むことができる。一実施例において、改善された画像データが第２の入力画像データから生成されるべきであると判定される場合、第２の画素位置セットによって表される画素位置において、改善された画像データは、第２の入力画像データを含むことができ、第１の画素位置セットにおいて、改善された画像データは、隣り合う画素位置を表す第２の入力画像データから補間することによって生成される画像データを含むことができる。一実施例において、出力データが生成される、第１の入力画像データ又は第２の入力画像データのいずれか一方によって表される画素セットに属する画素位置に応じて、第１の入力画像データ又は第２の入力画像データのいずれか一方から出力データを生成することは、画素位置を表す第１の入力画像データ又は第２の入力画像データのいずれか一方の一部分を選択することを含むことができる。
【００６１】
[0061]一実施例において、所与の画素位置が一次ソースとして選択されている第１の入力画像データ又は第２の入力画像データによって表されないとき選択されている第１の入力画像データ又は第２の入力画像データに基づいて所与の画素位置の改善された画像データを生成することは、第２の複数の勾配を生成することと、第２の複数の補間値を生成することと、第２の複数の勾配に従って第２の複数の補間値を合成することとを含むことができる。第２の複数の勾配の各々は、選択されている第１の入力画像データ又は第２の入力画像データを使用して生成することができ、各勾配は、複数の方向からの１つの方向と関連付けることができる。例えば、第２の複数の勾配は、複数の方向の各々の勾配値、すなわち、垂直方向
【数１３】
2020058023.tif 000015
、水平方向
【数１４】
2020058023.tif 000016
、第１の対角線方向
【数１５】
2020058023.tif 000017
、及び第２の対角線方向
【数１６】
2020058023.tif 000018
を含むことができ、上記と同じように上付き文字「−」は、勾配が、改善された画像データが生成されている所与の画素位置とは異なる画素位置セットに属する隣り合う画素位置を表すデータから計算されることを示す。いくつかの実施例において、第２の複数の勾配は、ノイズモデルに依存する。例えば、予測ノイズよりも小さい勾配が度外視されるように、局所画素強度における複数の予測ノイズレベルを、計算されている勾配値から減算することができる。
【００６２】
[0062]第２の複数の補間値のうちの補間値は、選択されている第１の入力画像データ又は第２の入力画像データを使用して生成することができ、第２の複数の補間値のうちの少なくともいくつかの補間値は、複数の方向からの１つの方向と関連付けることができる。例えば、第２の複数の補間値は、複数の方向の各々の補間値、すなわち、垂直方向
【数１７】
2020058023.tif 000019
、水平方向
【数１８】
2020058023.tif 000020
、第１の対角線方向
【数１９】
2020058023.tif 000021
、及び第２の対角線方向
【数２０】
2020058023.tif 000022
を含むことができる。例えば、第２の複数の補間値は、等方性補間
【数２１】
2020058023.tif 000023
と関連付けられる補間値を含むこともでき、上付き文字「−」は、補間値が、改善された画像データが生成されている所与の画素位置とは異なる画素位置セットに属する隣り合う画素位置を表すデータから計算されることを示す。当該実施例において、補間値は互いに同じ露光レベルを有する画素位置を表すデータから計算されるため、補間に使用される重み付けは露光レベルに依存し得ず、代わりに、一定であり得る。いくつかの実施例において、例えば、図４を参照しながら前述したように、第２の複数の勾配に従って、第２の複数の補間値を合成して改善された画像データを生成することができる。
【００６３】
[0063]画像を取り込むとき、より高い露光レベルと関連付けられる画素位置は、より低い露光レベルと関連付けられる画素位置と比較して飽和する可能性がより高くなり得る。飽和画素はまた、クリッピングされる画素としても参照される場合がある。飽和は、ある画素位置の画素強度値が露光中に上限に達したときに発生し得る。露光中にすでに飽和した画素位置に当たる光を記録することはできない。したがって、画素位置が飽和すると、画像に記録される情報が失われる場合がある。画像データを処理するときに、飽和画素位置を表す画像データが使用されるのを回避することが望ましい場合がある。一実施例において、所与の画素位置が、飽和画素位置は、第１の露光レベル及び第２の露光レベルのうちの高い方の露光レベルと関連付けられる少なくとも１つの飽和画素位置を含むクリッピングされる領域に位置付けられているという判定に応じて、所与の画素位置の改善された画像データを生成することは、第１の露光レベル及び第２の露光レベルのうちの低い方の露光レベルと関連付けられる、受信されている第１の入力画像データ又は第２の入力画像データを選択することを含むことができる。例えば、第２の画素位置セットが低い方の露光レベルと関連付けられる場合、第２の画素位置セットにおいて、第２の入力画像データを選択することができ、第１の画素位置セットにおいて、第２の画素セットに属する隣り合う画素位置を表す画像データ、例えば、第２の入力画像データを、上述したように処理することができる。
【００６４】
[0064]このように、第１の画素位置セットを表す画像データが、クリッピングされる領域を含むという判定に従って、上記クリッピングされる領域について、第２の画素位置セットを表すデータから、改善された画像データを生成することができ、第２の画素位置セットは、より低い露光レベルと関連付けられ、したがって、第１の画素位置セットと比較して、クリッピングされる画素位置を有する可能性がより低く、及び／又は、クリッピングされる画素位置の数が低減され得る。第１の画素位置セットが第２の画素位置セットよりも高い露光レベルと関連付けられる実施例において、所与の画素位置に隣り合う第１の画素位置セットの局所的強度が所定の閾値を下回ると判定されることに応じて、方法は、所与の画素位置について、所与の画素位置が第２の画素位置セットに属する場合には平滑化された第２の入力画像データを使用して、所与の画素位置が第１の画素位置セットに属する場合は第２の補間画像データを使用して、改善された画像データを生成することを含むことができる。局所的画素強度は、例えば、３×５ボックスフィルタを適用することによって判定することができる。
画像処理システム
【００６５】
[0065]本明細書において説明されている実施例は、例えば、画像処理システムなど、任意の適切な装置を使用して実施することができる。画像処理システムは、本明細書において説明されている方法を実施するのに適したハードウェア及びプログラムコードの任意の組み合わせを含むことができる。図５は、画像処理システム５００の一例を示し、画像処理システム５００は、少なくとも１つのプロセッサ５１０と、少なくとも１つの記憶媒体５２０とを備える。少なくとも１つの記憶媒体５２０は、任意の数の揮発性又は不揮発性メモリを含んでもよい。例えば、少なくとも１つの記憶媒体５２０は、ハードドライブ、ＣＤ−ＲＯＭディスク、ＵＳＢドライブ、ソリッドステートドライブ、ＲＡＭ、又は、ローカルに維持され若しくは遠隔してアクセスされ、本明細書において説明されている機能に適したコンピュータ可読コードを記憶することが可能な、任意の他の形態の磁気記憶デバイス、光学記憶デバイス、若しくはフラッシュメモリデバイスを含んでもよい。少なくとも１つのプロセッサ５１０は、標準的な中央処理装置若しくはグラフィックスプロセッシングユニット（ＣＰＵ若しくはＧＰＵ）、又は、本明細書において説明されている目的のために設計されているカスタム処理装置であってもよい。少なくとも１つのプロセッサ５１０は、任意の数の処理コアを含んでもよい。いくつかの実施例において、画像処理システム５００は、コンピューティングデバイスであってもよく、他の実施例において、画像処理システム５００は、例えば、インターネットのような広域ネットワーク、無線若しくは有線ローカルエリアネットワーク、又は、任意の他のタイプのネットワークなどのネットワークを介して通信可能に結合されている複数のコンピューティングデバイスを含んでもよい。画像処理システム５００は、データを送信及び／又は受信するための入力及び／又は出力デバイスを含む、任意の数のインターフェースを備えてもよい。
【００６６】
[0066]一実施例において、少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、画像の少なくとも一部分を表す入力画像データ５３０を受信するステップであって、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、入力画像データ５３０を受信するステップを行わせる命令を記憶することができる。いくつかの実施例において、入力画像データ５３０は、画像センサから受信される。画像センサは、画像処理システム５００に対してローカルに配置することができ、例えば、画像処理システム５００は、画像センサが、スマートフォン又はカメラのような画像取り込みデバイス内にあるように配置することができる。他の実施例において、画像処理システム５００は、ネットワークを介して入力画像データ５３０を受信するためのネットワークインターフェースを備えることができる。入力画像データ５３０は、１つ又は複数のソースから受信されてもよい。
【００６７】
[0067]少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであって、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップを行わせる命令を記憶することができる。いくつかの実施例において、画像処理は、少なくとも１つの記憶媒体５２０に第１の補間画像データの少なくとも一部分を記憶することができる。少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データ５３０からのデータを合成することによって、改善された画像データ５４０を生成するステップと、を行わせる命令を記憶することができる。いくつかの実施例において、ノイズモデルを表すデータは、画像処理システムにあるメモリに記憶することができ、例えば、ルックアップテーブルの形態で、ノイズモデルを伴う、本明細書において説明されている任意の過程の間にアクセスすることができる。
【００６８】
[0068]画像処理システム５００は、任意の適切なデータ形式において、改善された画像データ５４０を出力することができる。いくつかの実施例において、出力される改善された画像データは、原画像形式であり、任意の他の方法を使用してさらに処理することができる。他の実施例において、改善された画像データ５４０は、画像処理システム５００によってさらに処理して、例えば、ＪＰＥＧ、ＰＮＧ、又は任意の他の適切なデジタル画像フォーマットなどのデジタル形式の出力画像を生成することができる。
【００６９】
[0069]図６は、持続性コンピュータ可読記憶媒体６００であって、コンピュータ実行可能命令を備え、コンピュータ実行可能命令は、プロセッサ６１０によって実行されると、画像の少なくとも一部分を表す入力画像データ６２０を受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データ６３０を生成するステップであり、第１の補間画像データ６３０は、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データ６３０との間の差に基づいて、ノイズモデル６４０を適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を備える画像処理システムの動作を引き起こす、持続性コンピュータ可読記憶媒体６００の一実施例を示す。持続性コンピュータ可読記憶媒体は、例えば、図６に関連して説明されている記憶媒体のいずれかなど、任意の適切な記憶媒体であってもよい。
【００７０】
[0070]上記の実施例は、例示的な実施例として理解されるべきである。さらなる実施例が想定される。
［符号の説明］
２００  画像
３００  画像
３１０  中央画素領域
３２０  画素領域
３６０  周囲の領域
５００  画像処理システム
５１０  プロセッサ
５２０  記憶媒体
５３０  入力画像データ
５４０  改善された画像データ
６００  持続性コンピュータ可読記憶媒体
６１０  プロセッサ
６２０  入力画像
６３０  第１の補間画像データ
６４０  ノイズモデル
【００７１】
[0071]任意の１つの実施例に関連して説明されている任意の特徴は、単独で又は説明されている他の特徴と組み合わせて使用されてもよく、また、任意の他の実施例の１つ若しくは複数の特徴との組み合わせ、又は、任意の他の実施例の任意の組み合わせにおいて使用されてもよいことが理解される。さらに、添付の特許請求項の範囲から逸脱することなく、上記で説明されていない等価物及び修正形態も、利用することができる。
【図１】
2020058023.tif 000024
【図２】
2020058023.tif 000025
【図３ａ】
2020058023.tif 000026
【図３ｂ】
2020058023.tif 000027
【図４】
2020058023.tif 000028
【図５】
2020058023.tif 000029
【図６】
2020058023.tif 000030
【外国語明細書】
2020058023000001.pdf