(57)【要約】1つ以上の色チャネルに関して（例えばカメラの）画像センサによって撮影されるマルチ画素露光パターンを用いて画像のダイナミック・レンジを改善する方法、装置およびソフトウェア製品であり、画像センサの複数の画素グループが、異なる露光時間を有する（例えば、ファインダーのフィードバックを使用してユーザ・インターフェースを介しユーザによって事前選択また調節される、またはRAW画像を撮り格納した後にユーザ・インターフェースを介しユーザによって調節されるなど）。1つ以上の色チャネルそれぞれに関して画像の改善された画像を構成するための撮影された画像の処理は、事前選択済みの異なる露光時間を有する画素の露光時間の、所定の基準に従った重み付き合成を使用して実行されてもよい。【選択図】図1
2010539745.tif 000002
【特許請求の範囲】
【請求項１】
画像センサにより撮影された画像を複数のサブ画像に分離すること、ただし、
・  前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、
・  前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、
前記分離することと；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；
を含む、方法。
【請求項２】
前記異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものである、請求項１に記載の方法。
【請求項３】
広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含み、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１に記載の方法。
【請求項４】
前記再合成された画像をファインダー上に表示することと；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；
をさらに含む、請求項３に記載の方法。
【請求項５】
前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節される、請求項１に記載の方法。
【請求項６】
前記画像はベイヤー画像である、請求項１に記載の方法。
【請求項７】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１に記載の方法。
【請求項８】
前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行される、請求項１に記載の方法。
【請求項９】
前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行され、前記重み係数は、前記所定の基準を使用して選択される、請求項１に記載の方法。
【請求項１０】
前記重み係数は、暗い画像領域ではより大きな露光値を有する画素ほどより高く、より明るい画像領域ではより小さな露光値を有する画素ほどより高い、請求項９に記載の方法。
【請求項１１】
コンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを具現化するコンピュータ可読媒体を含むコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・コードは、請求項１の方法を実行する命令を含む、コンピュータ・プログラム製品。
【請求項１２】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、色／露光分離器と；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；
を有する、装置。
【請求項１３】
前記画像センサを含む、請求項１２に記載の装置。
【請求項１４】
前記色／露光分離器、前記補間器および前記合成器は、前記装置から取り外し可能な処理モジュールに搭載される、請求項１２に記載の装置。
【請求項１５】
広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備え、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１２に記載の装置。
【請求項１６】
前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備える、請求項１２に記載の装置。
【請求項１７】
前記再合成された画像を表示するよう構成されたファインダーをさらに備え、
前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成される、
請求項１６に記載の装置。
【請求項１８】
前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載される、請求項１２に記載の装置。
【請求項１９】
前記画像センサを含む無線通信用の電子デバイスである、請求項１２に記載の装置。
【請求項２０】
前記画像はベイヤー画像である、請求項１２に記載の装置。
【請求項２１】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１２に記載の装置。
【請求項２２】
前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されている、請求項１２に記載の装置。
【請求項２３】
前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成され、前記重み係数は、前記所定の基準を使用して選択される、請求項１２に記載の装置。
【請求項２４】
前記画像センサは、相補型金属酸化膜半導体画像センサである、請求項１２に記載の装置。
【請求項２５】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサ；
前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュール；
前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
前記再合成された画像を表示するよう構成されたファインダー；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュール；
を有する、電子デバイス。
【請求項２６】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項２５に記載の電子デバイス。
【請求項２７】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
を有する、装置。
【請求項２８】
前記分離する手段は、色／露光分離器である装置。
【発明の詳細な説明】
【優先権および関連出願の相互参照】
【０００１】
本願は、2007年10月3日に出願された、米国特許出願第11/906990号に優先権を主張する。
【技術分野】
【０００２】
本発明は、主に、カメラまたはカメラを含む電子デバイスに関し、特に、マルチ画素露光パターン（multi-exposure pixel pattern）を使用して撮影される画像のダイナミック・レンジの改善に関する。
【背景技術】
【０００３】
人間の視覚系には、卓越したダイナミック・レンジの能力があり、直射日光から暗い影まで広範囲の輝度レベル（約1010）を検出でき、それを順応的に行っている。一方、典型的なデジタル・カメラは、8ビット、すなわち256段階の輝度しか提供しない。このように、数値上のダイナミック・レンジが小さいうえ、有効ダイナミック・レンジはそれより狭くなっていることが多い。これは、要求される数値範囲内でのシーンの表現を可能にするために、画素値が（アナログまたはデジタル手段によって）人工的に得られるためである。このように画素値を得る処理は、記録画像における粒状度の損失やノイズ・レベルの増大につながり、低い画素感度によるダイナミック・レンジの本質的な損失を回復することはできない。その上、画素サイズの縮小化（例えば、2×2ミクロン未満）が進んでいるため、容易に補償することのできない低感度をもたらし得る。本質的なダイナミック・レンジは、少なくとも次の要因により制限される。
・  限られた光子変換効率および応答関数の非線形性による、センサの光感度の低下。
・  画素サイズの縮小化：半導体のキャパシタンスは画素面積に比例するため、画素サイズと、関連する光感度との間に避けられないトレードオフがある。
・  微光条件下でよりよい写真を得るためには、より長い蓄積時間（integration time）が必要であるが、これによって、露光不足の画像領域と、飽和状態の画像領域とが生じうる。
【０００４】
ユーザの観点からすると、特に、無関心なユーザは写真撮影の適切な結果を得るために必要な照明要件を知らないため、ダイナミック・レンジ・イメージングが改善されると、画質の感じ方に大きな影響を与えると考えられる。したがって、本質的なダイナミック・レンジを向上させる技術は、モバイル・イメージングとの関連で、非常に価値のあるものとなるであろう。
【０００５】
多くの画像センサは、すべての画素に同じ露光時間を使用する。これは、一部の画像領域では暗すぎ、場合によって他の領域では飽和した画像をもたらすことが多い。実際、カメラの露光制御メカニズムは、（すべての画素の）共通露光期間を統計的に決定しなければならない。これは通常、画素の大多数に適した値を選択することによって行われ、その結果、暗すぎたり明るすぎたりする領域は犠牲になる。すなわち、本質的なダイナミック・レンジが縮小し、これが劣化になる。
【０００６】
最も確かな従来技術の方法（例えば、デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月）は、認識されるダイナミック・レンジを向上させるために、複数の露出でいくつかの画像を獲得し、次にこの画像を合成することで、本質的なダイナミック・レンジを改善することである。しかし、これは主として静止したシーンに対して行うことができるものであり、さらにこの手法では、別々の画像から画素をマップするのに必要な、不可避のレジストレーションがあるために、信頼できる結果を得るのが難しい。正確な画像レジストレーションは、アルゴリズム的側面が依然として難しいままである。他にも複数の手法が試みられている。
【０００７】
例えば、別々の露光量で入射光をサンプリングするようプリセットされた別々のセンサへ入射光を反射するビーム・スプリッタを使用して、複数枚の画像を同時に撮るという手法がある（米国特許第5801773号、E. イケダ（Ikeda）、「ダイナミック・レンジを拡大するために、合成された画像信号を処理する画像データ処理装置（Image data processing apparatus for processing combined image signals in order to extend dynamic range）」、1998年参照）。この手法には、複数画像が同時に獲得されることからオンライン・レジストレーションを必要としないという利点がある。しかし、追加の画像センサおよび光学素子の注意深い配置を必要とするため、比較的費用が高い。
【０００８】
同じCMOS（complimentary metal oxide semiconductor： 相補型金属酸化膜半導体）センサ内で違うように露光された画素に基づく別の手法が、D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）、H.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月によって提案されている。この手法では、露光の数およびタイミング、ならびに各画素から得られるビットの数が、自由に選択されて、読み出されることが可能である。しかしこれは、各画像画素の露光が終了されるべきか否かを決定するために、各画像画素を監視することを必要とする。さらに、この不明瞭な露光メカニズムは、像平面の全体にわたって一貫しないノイズ・レベルをもたらし得る。すなわち、一部の画素のノイズが他の画素よりも大きくなり、このノイズを軽減する信頼できるフィルタリング・メカニズムもない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第5801773号
【非特許文献】
【００１０】
【非特許文献１】デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月
【非特許文献２】D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）およびH.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月
【発明の開示】
【００１１】
本発明の第1の側面による方法は、画像センサにより撮影された画像を複数のサブ画像に分離することを含む。ただし、前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記方法は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；を含む。
【００１２】
さらに、本発明の第1の側面によれば、異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものであってもよい。
【００１３】
さらに本発明の第1の側面によれば、本方法は、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含んでもよい。前記１つ以上の色チャネルの数は２つ以上である。また、前記再合成された画像をファインダー上に表示することと；前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；をさらに含んでもよい。
【００１４】
さらに本発明の第1の側面によれば、前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節されてもよい。
【００１５】
さらに本発明の第1の側面によれば、前記画像はベイヤー画像であってもよい。
【００１６】
さらに本発明の第1の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００１７】
さらに本発明の第1の側面によれば、前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行されてもよい。
【００１８】
さらに本発明の第1の側面によれば、前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行されてもよい。前記重み係数は、前記所定の基準を使用して選択される。また前記重み係数は、暗い画像領域では大きな露光値を有する画素ほど高く、より明るい画像領域では小さな露光値を有する画素ほど高くともよい。
【００１９】
本発明の第2の側面によるコンピュータ・プログラム製品は、コンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを具現化するコンピュータ可読媒体を含む。このコンピュータ・プログラム・コードは、本発明の第1の側面を実行する命令を含む。
【００２０】
本発明の第3の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器を有する。ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記装置は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；を有する。
【００２１】
さらに本発明の第3の側面によれば、前記装置は前記画像センサを含んでもよい。
【００２２】
さらに本発明の第3の側面によれば、色／露光分離器、補間器および合成器は、装置から取り外し可能な処理モジュールに搭載されてもよい。
【００２３】
さらに、本発明の第3の側面によれば、前記装置はさらに、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備えてもよい。ただし前記１つ以上の色チャネルの数は２つ以上である
【００２４】
さらに本発明の第3の側面によれば、前記装置はさらに、前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備えてもよい。前記装置はさらに、前記再合成された画像を表示するよう構成されたファインダーを備えてもよい。前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成されてもよい。
【００２５】
さらに本発明の第3の側面によれば、前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載されてもよい。
【００２６】
さらに本発明の第3の側面によれば、前記装置は、前記画像センサを含む無線通信用の電子デバイスであってもよい。
【００２７】
さらに本発明の第3の側面によれば、前記画像はベイヤー画像であってもよい。
【００２８】
さらに本発明の第3の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００２９】
さらに本発明の第3の側面によれば、前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されてもよい。
【００３０】
さらに本発明の第3の側面によれば、前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成されてもよい。前記重み係数は、前記所定の基準を使用して選択される。
【００３１】
さらに本発明の第3の側面によれば、前記画像センサは、相補型金属酸化膜半導体画像センサであってもよい。
【００３２】
本発明の第4の側面による電子デバイスは、
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサと；
前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュールと；
前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
前記再合成された画像を表示するよう構成されたファインダーと；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュールと；
を有する。
【００３３】
さらに本発明の第4の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００３４】
本発明の第5の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
を有する。
【００３５】
さらに本発明の第5の側面によれば、前記分離する手段は色／露光分離器であってもよい。
【００３６】
本発明の性質および目的をより深く理解するために、以下の図面と併せて、以下の詳細な説明を参照されたい。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図であり、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。
【図２】本発明の実施態様による、露光不足、標準および露光過多の画素グループの露光時間を示すグラフであり、各露光間隔間の相違を調節するパラメータ、アルファがある。
【図３】本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジを改善するカメラを含む電子デバイスのブロック図である。
【図４】本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートである。
【図５】本発明の実施態様による、赤色に対して、図4のフローチャートのステップ44〜48を実行する例を示すフローチャートである。
【発明を実施するための形態】
【００３８】
1つ以上の色チャネルに関して（例えばカメラの）画像センサによって撮影されるマルチ画素露光パターンを用いて画像のダイナミック・レンジを改善する新たな方法、装置およびソフトウェア製品。画像センサの複数の画素グループがそれぞれ異なる露光時間を有する。露光時間は、例えば、電子的に予め選択されたり、ユーザ・インターフェースを介してユーザにより選択されたり、プログラム可能であったり、ファインダー・フィードバックを用いてユーザ・インターフェースを介して調節されてり、RAW画像を撮影して格納した後にユーザ・インターフェースを介してユーザによって調節されたりしてもよい。本発明の実施態様によれば、1つ以上の色チャネルそれぞれに関して画質が改善された画像を構成するために、撮影された画像が処理される。これは、異なる露光時間を有する画素の露光時間について、所定の基準に従った重み付き合成を用いて実行されてもよい。カメラは、例えば、無線通信用のモバイル電話もしくはカメラ付きモバイル電話などの電子デバイス、または携帯用電子デバイス全般の一部であってもよい。
【００３９】
本発明のさらなる実施態様によれば、獲得された画像の処理は、次の処理を含んでもよい。
ａ）画像を、１つ以上の色チャネルの各色ごとに、さらに異なる露光時間の各露光時間ごとに、複数のサブ画像へと分離すること。ただし、前記複数のサブ画像は、或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた画素とを含む。
ｂ）前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間すること。
ｃ）前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成すること。
【００４０】
さらに、多色画像の場合、広いダイナミック・レンジの多色画像を提供するために、別々の色チャネルに関して改善された画像を、もとのマルチ画素露光パターンを使用して再合成してもよい。例えば、一実施態様によれば、多色画像は、色検出に関して旧来のベイヤー・パターンに基づいていてもよく、一様な形での色の再構成を可能にしながら撮影された画像のダイナミック・レンジが向上させられてもよい。
【００４１】
各画素の別々の露光間隔は、CMOS（相補型金属酸化膜半導体）画像センサを使用して得られてもよい。各画素は、固定した幾何パターンに従って電子的にプリセットされた、別々の露光間隔を有してもよい。異なる露光時間を有する画素は、特定パターンに従って交互に入れ替えられてもよい。露光時間は、写真が撮影される前にセットされてもよい。繰り返しの幾何パターンにより、近傍にある任意の画素において別々の露光を得ることができる。センサによって記録された画像をサブサンプリングすると、撮像されたシーン内のすべての領域が表現されてもよい。
【００４２】
本明細書に記載される本発明の実施態様を実装するべく、異なる露光時間を有する多数の画素パターンが使用され、電子的にプリセットされることが可能である。多数ある中の一例が図1に示されている。図1は、本発明の一実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図である。図1に示されているように、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。
【００４３】
本発明の実施態様によれば、最終的な画像は、違うように露光された画素の値を合成することによって構成されてもよい。この合成は、暗い画像領域では、より長く露光された画素の重要性に、より大きく重み付けし、その一方で、シーンのより明るい領域に対応する、より短く露光された画素値に、より大きく重み付けするように行われるとよい。
【００４４】
図2には、露光量小、標準、露光量大の画素グループの露光時間がそれぞれ示されているが、この図に示されているように、本発明の別の実施態様によれば、複数の露光量の違いを、単一のパラメータ（α）、α≧1を変化させることで制御してもよい。α＝1に設定することで、初期値の動作（センサ内のすべての画素が等しく露光される）が回復されてもよい。このパラメータ（α）、つまりセンサ面における画素の露光量を調節して、「ダイナミック・コントラスト」をコントロールするために、ユーザ・インターフェース機構（例えばユーザによりコントロールされる回転ホイール）が使用されてもよい。
【００４５】
図3は、本発明の実施態様による、カメラ12を含む電子デバイス10のブロック図の数ある中の例である。本明細書に説明されるように、電子デバイス10は、カメラ12によって撮影される画像のダイナミック・レンジを改善するために、画素グループ毎に（例えば電子的に）異なる露出を行うマルチ画素露光パターンを使用し、カメラ12による撮影にマルチ画素露光パターンを用いる。
【００４６】
電子デバイス10は、限定されるものではないが、カメラ、無線通信デバイス、モバイル電話、カメラ付きモバイル電話デバイス、携帯用電子デバイス、非携帯用電子デバイスなどであってもよい。
【００４７】
カメラ12は、光学部品14（例えば、レンズ、カラー・フィルタなど）を有してもよく、また、本明細書に記載のように、1つ以上の色チャネルに対してマルチ露光パターンを用いて画像を撮影してセンサ信号24を提供する画像センサ16（例えばCMOSセンサ）を有してもよい。前処理モジュール18は、限定されるものではないが、例えばペデスタル除去、口径食調節、ヒストグラム解析、プリセット・ゲイン（preset gaining）などを含む何らかの前処理を実行し、画像信号26を処理モジュール20に提供してもよい。本発明の実施態様によれば、モジュール20は本明細書に記載される様々な実施態様に従って（例えば図5参照）、次のステップを実行してもよい。
a）複数のサブ画像への色／露光分離（色／露光分離器20aによる）。
b）所定のアルゴリズムに従ったサブ画像の補間（補間器20bによる）。
c）各色ごとに改善された画像を構成するための画像合成（合成器20cによる）。所定の基準に従った、それぞれ異なる露光時間を有する画素の露光時間の重み付け合成を含む、補間されたサブ画像の合成を用いる。
なお、色／露光分離器20aは、概して分離する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、補間器20bは概して、所定のアルゴリズムに従ってサブ画像を補間する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、合成器20cは概して、補間されたサブ画像を、各色ごとに改善された画像を構成するよう合成する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。
【００４８】
さらに、モジュール20は、各色ごとに合成された画像信号28を、再合成および追加処理モジュール22に提供してもよい。モジュール22は、各色毎に、もとのマルチ画素露光パターンに従って改善された画像を再合成し、続いて、例えば自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、各種補正などの標準的な追加処理を実行し、さらに（オプションで）、例えば閲覧用にディスプレイ（ファインダー）へ、格納用にデバイス・メモリへ、または所望の宛先へ転送するために入出力（I／O：input／output）ポートへなど、電子デバイス10の種々のモジュールへの出力として提供してもよい。
【００４９】
本発明のさらなる実施態様によれば、カメラ12はさらに、本明細書に記載のように、露光時間を調節する露光調節信号または追加露光調節信号を、ユーザによってユーザ・インターフェースを通じて提供される命令信号に応答して提供するよう構成された、画素露光パターン調節モジュール25を有してもよい。露光調節信号は、例えば画像を撮影する前に、各画素の適切な異なる露光時間を選択するために画像センサ16に提供されてもよい。あるいは、再合成された画像（本明細書に記載の処理の後）が、カメラのディスプレイ（ファインダー）上に表示されてもよく、その結果、前記画素露光パターン調節モジュールは、ファインダー上に表示されたこの再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、画素のこの異なる露光時間の調節を「オンザフライで」（ユーザによってユーザ・インターフェースを介して提供される命令信号に応答して露光調節信号を使用し）提供するよう構成される。
【００５０】
さらに、本発明の別の実施態様によれば、画像は、（例えば、図1に示されているような）予め選択済みの画素露光パターンで撮影され、RAWフォーマットで（例えば処理モジュール20内の追加メモリ内に）格納されてもよい。次に、この撮影された画像のパラメータα（α≧1）（図2に関連して紹介した）が、このRAW画像に対応するメタデータとして格納されてもよい。モジュール25によって処理モジュール20に提供される追加露光調節信号を使用して最終的な画像のコントラストを微調節するために、αは、（ユーザによって提供される命令信号に応答して）ユーザ・インターフェースを通じてユーザによってさらに調節されてもよい。αを調節する後者の方法は、画像コントラストのデジタル・ゲインに類似した動作を実現し得るが、露光不足の画素において、ノイズ・レベルの増幅を生じさせる可能性がある。この処理は、例えば、標準露光画素を、露光不足および露光量大画素情報で重み付けして、所望のα値を提供することによって行われてもよい（画像の全体的な輝度のバランスをとり、最終的な画質を向上させうるα値が望まれる）。RAW画像のαのこの調節は、処理モジュール20によって、本明細書に記載のモジュール20a、20bおよび20cによるさらなる処理の前に実行されてもよい。
【００５１】
本発明の実施態様によれば、モジュール18、20、22または25は、ソフトウェアもしくはハードウェア・モジュール、またはその組み合わせとして実装されてもよい。さらに、モジュール18、20、22もしくは25は、別個のモジュールとして実装されてもよく、または、電子デバイス10の任意の他のモジュール／ブロックと組み合わせられてもよく、または、その機能性に従っていくつかのブロックに分割されてもよい。なお、さらに、処理モジュール20のみ、または他のモジュール（例えばモジュール18および／または22）との組み合わせが、電子デバイス10から取り外し可能であってもよい。なお、さらに、電子デバイス10のすべてのモジュールまたは選択されたモジュールが、集積回路を使用して実装されてもよい。
【００５２】
図4は、本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートの、数ある中の例を示す。
【００５３】
図4のフローチャートは、数ある中の考えられる1つのシナリオのみを表す。なお、図4に示されているステップの順序は、絶対的に要求されるものではなく、したがって、原則として、様々なステップが異なる順序で実行されてもよい。本発明の実施態様による方法では、本明細書に記載のように、第1のステップ40において、画像が、1つ以上の色チャネルのマルチ画素露光パターンを有するセンサ（例えばCMOS）を使用し撮影される。次のステップ42で、画像の前処理（例えばペデスタル除去、口径食調節、ヒストグラム解析など）が実行される。
【００５４】
次のステップ44で、各色ごとに、各色毎に、露出が異なる複数のサブ画像への分離（露光分離）が行われる。これは、露光時間毎に行われる。サブ画像は、異なる露光時間のうちの特定の露光時間のみに関する露光値を有する画素と、該特定の露光時間とは異なる露光時間に関する、露光値が失われた画素とを含む。
【００５５】
次のステップ46で、サブ画像において、露光値が失われた画素の補間が、このサブ画像の補間画像を作成する所定のアルゴリズム（図5に関連して説明される例を参照）を使用して実行される。
【００５６】
次のステップ48で、本明細書に記載したように、補間画像が、例えば異なる露光時間を有する画素の露光時間の重み付き合成を使用して（図5に関連して説明される例を参照）、所定の基準に従って各色チャネルに関して合成され、ハイ・ダイナミック・レンジを有する改善された画像が提供される。
【００５７】
次のステップ50で、改善された各色の画像が再合成され、追加処理される（例えば、自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、雑調節など）。次のステップ52で、再合成された画像がカメラのファインダー上に表示されてもよい。次のステップ54で、ファインダー上に表示された再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、マルチ露光パターンの各露光時間が、ユーザ・インターフェースを介して調節されてもよい。
【００５８】
図5は、本発明の実施態様による、図1に示されたベイヤー・パターンの1つの色（例えば赤色）に関して図4のフローチャートのステップ44〜48を実装するための、数ある中の一例を示すフローチャートを示す。
【００５９】
赤色チャネルに関して図5に示されているように、ステップ44は、別々の色チャネル（図1の例についてR、G、B、G）のサブ画像へ、撮影された画像を分離することに対応する。各サブ画像は、単一のスペクトル・チャネルに対応し、図1に示されているように、3つの異なる露光の画素を含む。4画素からなるグループが、1つの露光量小画素、2つの標準的に露光された画素、および1つの露光量大画素を含む。次に、赤色のサブ画像52が、露光不足、標準露光および露光量大画素にそれぞれ対応するサブ画像54a、54bおよび54cにさらに分離される。
【００６０】
ステップ46は、サブ画像54a、54bおよび54c内の欠けている露光値の補間に対応する。このステップは、センサの各画素は固定された露光時間の視覚情報しか撮影しないということに基づくが、センサにおける種々の露光の空間的配置によって、各画素のある程度近くに露光時間が確実に存在することになる。したがって、各画素において欠けている露光時間に対応する視覚情報を、その近傍の画素の値を補間することによって推測されてもよい。具体的には、3つの露光時間Tk、k＝1，2，3が与えられとき、3つの値、すなわちv1（i，j）、v2（i，j）、およびv3（i，j）が各画素（i，j）において必要である。この値のうち1つは画素において直接測定される一方、他の2つは、（例えばサブ画像52の）近傍にある画素の対応する露光値を補間することで推測される。この補間を行う方法は多数あり、そのうちの1つに限定はしない。単純な実装は、線形補間に依存してもよい。例えば、サブ画像54aでは、露光量小画素（UR）を、もとの画素位置の左および下側にある近傍の欠けている3つの画素に複製することによって、零次補間が実行されるとよく；サブ画像54bでは、標準露光画素（NR）を、もとの位置の右側にある隣接した欠けている画素の方へ複製することによって、零次補間が実行されるとよく；サブ画像54cでは、露光量大画素（OR）を、もとの画素位置の右および上側にある近傍の欠けている3つの画素位置へ複製することによって、零次補間が実行されてもよい。
【００６１】
他のタイプの補間も使用可能である。例えば、サブ画像54a、54bおよび54cの線形補間が、検出された利用可能な画素によって定義される対応する初期の表面高度を有する画像グリッド上に表面を合わせることで実行されてもよい。欠けている画素値は、最初に、欠けているサンプルに影響を与えると考えられる近傍のサンプルを含む影響領域を定義することによって計算されてもよい。影響を与えるサンプルそれぞれと、対象画素の中心との間の距離が計算される。近傍の画素それぞれに割り当てられる重みは、対象画素からのその距離に反比例してもよい（重みの合計は、1に等しくなるよう調節される）。最終的な画素値は、影響を与える近傍の画素値の加重和として計算されてもよい。さらに、ベイヤー・パターンからの色補間の既知の技術が、このタスクを実行するように適合させられてもよい。その結果、補間画像56a、56bおよび56cが、図5に示されているように構成される。
【００６２】
ステップ48は、生じた複数の補間済みの画像を、シーンのハイ・ダイナミック・レンジ画像58を得るために合成することに対応する。このステップは、イメージング・システムがそのダイナミック・レンジを改善できるようにする動作に基づいており、画像センサにてサンプリングされた別々の露光が、シーンのダイナミック・レンジをイメージング・デバイスのダイナミック・レンジに最適にマップするように合成されるということを意味する。このステップで、アルゴリズムは、拡大されたダイナミック・レンジ画像を得るように、各画素にある異なる露光時間の視覚情報を合成する。この合成は、様々な方法で実行可能であり、その中でも、別々の露光の画素値の重み付き平均を選択することができる。
【００６３】
例えば、各画素（i，j）について、3つの露光値v1（i，j）、v2（i，j）およびv3（i，j）は、次のように最終的な出力f（i，j）を生じるよう合成されてもよい。
【００６４】
【数１】
2010539745.tif 000003
【００６５】
f（i，j）は、最終的な画像の画素値を意味し、Tkはk番目の露光時間を意味し、Tはゲイン値であり、これは拡大されたダイナミック・レンジ機能を有するセンサのシミュレーションによる露光時間に理論上対応する。値wk（i，j）は、画素（i，j）のk番目の露光に関連する重み値である。重み値は、多数の方法で選択され得るが、一般に、飽和してもなく、大きく露光不足でもない中間域の画素を強調する。それに加えて、画素において直接測定されるのではなくアルゴリズムのステップ46において示されたように補間によって得られた各画素の2つの値も、より小さく重み付けされてもよい。式にある露光時間は、より長く露光された画素をより強調するが、これはそれの方がノイズが少ないためである。
【００６６】
本発明のさらなる実施態様によれば、ステップ44と、46との間にさらなるフィルタリング動作が入れられ、画質がさらに改善されてもよい。ステップ44と、46との間に入れられるとよい第1の動作は、例えば補間画像56bに使用される中央（または初期値の）露光値に対応するよう、露光過多および露光不足の補間画像（56aおよび56c）の、プリセットのデジタル・ゲインを適用することである。例えば、撮影された画像全体にわたる平均の輝度を均一にするために、プリセットのゲインが、α値を使用してパラメータ化されてもよい。ゲインは、センサから読み取られたビットの数を拡大するように実行されるべきである。例えば、センサが10ビット読み取りを提供する場合であれば、すべての成分は、結果的に、12ビットの精度まで得られるべきである。
【００６７】
さらに、ステップ44と、46との間に入れられるとよい別のフィルタリング動作は、補間画像56a、56bおよび56cのそれぞれに対し別々にノイズ・フィルタを適用することである。ノイズ・フィルタは、対応する露光値によって調節されるべきであり、これは例えば、露光不足の補間画像56aは、56bおよび56cより低い信号対雑音比（SNR：signal to noise ratio）により特徴付けられることになり、しがたってノイズ・アーチファクトを低減するべくより強くフィルタリングされるべきである一方で、露光過多の補間画像56cは（飽和していなければ）、最大の信号対雑音比（SNR）により特徴付けられることになり、したがって結果的に維持されるべきであるということを意味する。露光適応ノイズ・フィルタリングのこのステップは、例えば線形フィルタによって実装されてもよく、対応するフィルタ係数が、露光値によって調節されたルックアップ・テーブルから読み出されてもよい。
【００６８】
なお、異なる露光を近傍にある任意の画素において交互に行う、提案されている検出パターンが原因で、センサによって記録される画像の本質的な空間解像度が低減され得る。これは、空間解像度（画素密度）と、動的解像度（コントラスト分解能力）とのトレードオフに相当する。しかし、ビデオ出力解像度は通常、センサ解像度よりも非常に低いため、ビデオ出力には、このトレードオフはあてはまらない。さらに、静止画像の撮影でも、ユーザは、例えばナイト・モードの使用を選択するときなど、コントラストの向上を進んで選ぶこともあるであろう。
【００６９】
なお、さらに、本明細書に記載のダイナミック・レンジの拡大は、既存の手法の多くのように画像レジストレーションを必要としないため、計算資源を節約すると考えられる。これはさらに、入力画像のずれの危険性をなくすことによって、導き出された解決策の頑強性を大幅に高めると考えられる。さらに、ビデオは通常いずれにせよダウン・サンプリングされるため、ビデオ出力のダイナミック・レンジの向上は、空間解像度の大きな損失なしに達成され得る。さらに、本明細書に記載された一実施態様によれば、画像センサのハイ・ダイナミック・レンジ機能性（別々の画素露光）と、通常の機能性（均一な画素露光）とを切り替えることも可能性であり、これは以前に行われていない。
【００７０】
なお、さらに、本明細書に記載された検出パターンおよび対応する再構成方法は、全体的な画像形成パイプラインに影響しない。わずかな機能を初期の処理過程に入れることであらゆる既存のカメラの画像再構成チェーンに容易にプラグイン可能であり、イメージング・プラットフォーム全体の再設計を必要としない。さらに、より短い露光情報およびより長い露光情報の利用可能性を生かすことで、ノイズおよび／またはぼやけの少ない写真を供給する可能性がある。
【００７１】
上述のとおり、本発明は、方法と、方法のステップを実行する機能性を提供する様々なモジュールから成る対応する機器とを提供する。モジュールは、ハードウェアとして実装されてもよく、またはコンピュータ・プロセッサにより実行されるソフトウェアもしくはファームウェアとして実装されてもよい。具体的には、ファームウェアまたはソフトウェアの場合、本発明は、コンピュータ・プログラム・コード（すなわちソフトウェアまたはファームウェア）をコンピュータ・プロセッサにより実行されるようコンピュータ可読媒体上に具現化するコンピュータ可読媒体（例えばストレージ構造）を含む、コンピュータ・プログラム製品として提供されてもよい。
【００７２】
なお、本明細書で列挙された本発明の様々な実施態様は、特定の用途に合わせて、別々に用いられても、組み合わせて用いられても、または選択的に組み合わせて用いられてもよい。
【００７３】
当然のことながら、上記の機構は、本発明の原理の用途の例示でしかない。当業者によって、本発明の範囲から逸脱することなく、数々の変更および代わりの機構が考案される可能性があり、添付の特許請求の範囲は、そのような変更および機構を対象とするものとする。
【図１】
2010539745.tif 000004
【図２】
2010539745.tif 000005
【図３】
2010539745.tif 000006
【図４】
2010539745.tif 000007
【図５】
2010539745.tif 000008
【手続補正書】
【提出日】平成22年3月9日(2010.3.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【優先権および関連出願の相互参照】
【０００１】
本願は、2007年10月3日に出願された、米国特許出願第11/906990号に優先権を主張する。
【技術分野】
【０００２】
本発明は、主に、カメラまたはカメラを含む電子デバイスに関し、特に、マルチ画素露光パターン（multi-exposure pixel pattern）を使用して撮影される画像のダイナミック・レンジの改善に関する。
【背景技術】
【０００３】
人間の視覚系には、卓越したダイナミック・レンジの能力があり、直射日光から暗い影まで広範囲の輝度レベル（約1010）を検出でき、それを順応的に行っている。一方、典型的なデジタル・カメラは、8ビット、すなわち256段階の輝度しか提供しない。このように、数値上のダイナミック・レンジが小さいうえ、有効ダイナミック・レンジはそれより狭くなっていることが多い。これは、要求される数値範囲内でのシーンの表現を可能にするために、画素値が（アナログまたはデジタル手段によって）人工的に得られるためである。このように画素値を得る処理は、記録画像における粒状度の損失やノイズ・レベルの増大につながり、低い画素感度によるダイナミック・レンジの本質的な損失を回復することはできない。その上、画素サイズの縮小化（例えば、2×2ミクロン未満）が進んでいるため、容易に補償することのできない低感度をもたらし得る。本質的なダイナミック・レンジは、少なくとも次の要因により制限される。
・  限られた光子変換効率および応答関数の非線形性による、センサの光感度の低下。
・  画素サイズの縮小化：半導体のキャパシタンスは画素面積に比例するため、画素サイズと、関連する光感度との間に避けられないトレードオフがある。
・  微光条件下でよりよい写真を得るためには、より長い蓄積時間（integration time）が必要であるが、これによって、露光不足の画像領域と、飽和状態の画像領域とが生じうる。
【０００４】
ユーザの観点からすると、特に、無関心なユーザは写真撮影の適切な結果を得るために必要な照明要件を知らないため、ダイナミック・レンジ・イメージングが改善されると、画質の感じ方に大きな影響を与えると考えられる。したがって、本質的なダイナミック・レンジを向上させる技術は、モバイル・イメージングとの関連で、非常に価値のあるものとなるであろう。
【０００５】
多くの画像センサは、すべての画素に同じ露光時間を使用する。これは、一部の画像領域では暗すぎ、場合によって他の領域では飽和した画像をもたらすことが多い。実際、カメラの露光制御メカニズムは、（すべての画素の）共通露光期間を統計的に決定しなければならない。これは通常、画素の大多数に適した値を選択することによって行われ、その結果、暗すぎたり明るすぎたりする領域は犠牲になる。すなわち、本質的なダイナミック・レンジが縮小し、これが劣化になる。
【０００６】
最も確かな従来技術の方法（例えば、デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月）は、認識されるダイナミック・レンジを向上させるために、複数の露出でいくつかの画像を獲得し、次にこの画像を合成することで、本質的なダイナミック・レンジを改善することである。しかし、これは主として静止したシーンに対して行うことができるものであり、さらにこの手法では、別々の画像から画素をマップするのに必要な、不可避のレジストレーションがあるために、信頼できる結果を得るのが難しい。正確な画像レジストレーションは、アルゴリズム的側面が依然として難しいままである。他にも複数の手法が試みられている。
【０００７】
例えば、別々の露光量で入射光をサンプリングするようプリセットされた別々のセンサへ入射光を反射するビーム・スプリッタを使用して、複数枚の画像を同時に撮るという手法がある（米国特許第5801773号、E. イケダ（Ikeda）、「ダイナミック・レンジを拡大するために、合成された画像信号を処理する画像データ処理装置（Image data processing apparatus for processing combined image signals in order to extend dynamic range）」、1998年参照）。この手法には、複数画像が同時に獲得されることからオンライン・レジストレーションを必要としないという利点がある。しかし、追加の画像センサおよび光学素子の注意深い配置を必要とするため、比較的費用が高い。
【０００８】
同じCMOS（complimentary metal oxide semiconductor： 相補型金属酸化膜半導体）センサ内で違うように露光された画素に基づく別の手法が、D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）、H.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月によって提案されている。この手法では、露光の数およびタイミング、ならびに各画素から得られるビットの数が、自由に選択されて、読み出されることが可能である。しかしこれは、各画像画素の露光が終了されるべきか否かを決定するために、各画像画素を監視することを必要とする。さらに、この不明瞭な露光メカニズムは、像平面の全体にわたって一貫しないノイズ・レベルをもたらし得る。すなわち、一部の画素のノイズが他の画素よりも大きくなり、このノイズを軽減する信頼できるフィルタリング・メカニズムもない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第5801773号
【非特許文献】
【００１０】
【非特許文献１】デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月
【非特許文献２】D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）およびH.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月
【発明の開示】
【００１１】
本発明の第1の側面による方法は、画像センサにより撮影された画像を複数のサブ画像に分離することを含む。ただし、前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記方法は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；を含む。
【００１２】
さらに、本発明の第1の側面によれば、異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものであってもよい。
【００１３】
さらに本発明の第1の側面によれば、本方法は、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含んでもよい。前記１つ以上の色チャネルの数は２つ以上である。また、前記再合成された画像をファインダー上に表示することと；前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；をさらに含んでもよい。
【００１４】
さらに本発明の第1の側面によれば、前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節されてもよい。
【００１５】
さらに本発明の第1の側面によれば、前記画像はベイヤー画像であってもよい。
【００１６】
さらに本発明の第1の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００１７】
さらに本発明の第1の側面によれば、前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行されてもよい。
【００１８】
さらに本発明の第1の側面によれば、前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行されてもよい。前記重み係数は、前記所定の基準を使用して選択される。また前記重み係数は、暗い画像領域では大きな露光値を有する画素ほど高く、より明るい画像領域では小さな露光値を有する画素ほど高くともよい。
【００１９】
本発明の第2の側面によるコンピュータ・プログラム製品は、コンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを具現化するコンピュータ可読媒体を含む。このコンピュータ・プログラム・コードは、本発明の第1の側面を実行する命令を含む。
【００２０】
本発明の第3の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器を有する。ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記装置は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；を有する。
【００２１】
さらに本発明の第3の側面によれば、前記装置は前記画像センサを含んでもよい。
【００２２】
さらに本発明の第3の側面によれば、色／露光分離器、補間器および合成器は、装置から取り外し可能な処理モジュールに搭載されてもよい。
【００２３】
さらに、本発明の第3の側面によれば、前記装置はさらに、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備えてもよい。ただし前記１つ以上の色チャネルの数は２つ以上である
【００２４】
さらに本発明の第3の側面によれば、前記装置はさらに、前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備えてもよい。前記装置はさらに、前記再合成された画像を表示するよう構成されたファインダーを備えてもよい。前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成されてもよい。
【００２５】
さらに本発明の第3の側面によれば、前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載されてもよい。
【００２６】
さらに本発明の第3の側面によれば、前記装置は、前記画像センサを含む無線通信用の電子デバイスであってもよい。
【００２７】
さらに本発明の第3の側面によれば、前記画像はベイヤー画像であってもよい。
【００２８】
さらに本発明の第3の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００２９】
さらに本発明の第3の側面によれば、前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されてもよい。
【００３０】
さらに本発明の第3の側面によれば、前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成されてもよい。前記重み係数は、前記所定の基準を使用して選択される。
【００３１】
さらに本発明の第3の側面によれば、前記画像センサは、相補型金属酸化膜半導体画像センサであってもよい。
【００３２】
本発明の第4の側面による電子デバイスは、
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサと；
前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュールと；
前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
前記再合成された画像を表示するよう構成されたファインダーと；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュールと；
を有する。
【００３３】
さらに本発明の第4の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
【００３４】
本発明の第5の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
を有する。
【００３５】
さらに本発明の第5の側面によれば、前記分離する手段は色／露光分離器であってもよい。
【００３６】
本発明の性質および目的をより深く理解するために、以下の図面と併せて、以下の詳細な説明を参照されたい。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図であり、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。
【図２】本発明の実施態様による、露光不足、標準および露光過多の画素グループの露光時間を示すグラフであり、各露光間隔間の相違を調節するパラメータ、アルファがある。
【図３】本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジを改善するカメラを含む電子デバイスのブロック図である。
【図４】本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートである。
【図５】本発明の実施態様による、赤色に対して、図4のフローチャートのステップ44〜48を実行する例を示すフローチャートである。
【発明を実施するための形態】
【００３８】
1つ以上の色チャネルに関して（例えばカメラの）画像センサによって撮影されるマルチ画素露光パターンを用いて画像のダイナミック・レンジを改善する新たな方法、装置およびソフトウェア製品。画像センサの複数の画素グループがそれぞれ異なる露光時間を有する。露光時間は、例えば、電子的に予め選択されたり、ユーザ・インターフェースを介してユーザにより選択されたり、プログラム可能であったり、ファインダー・フィードバックを用いてユーザ・インターフェースを介して調節されてり、RAW画像を撮影して格納した後にユーザ・インターフェースを介してユーザによって調節されたりしてもよい。本発明の実施態様によれば、1つ以上の色チャネルそれぞれに関して画質が改善された画像を構成するために、撮影された画像が処理される。これは、異なる露光時間を有する画素の露光時間について、所定の基準に従った重み付き合成を用いて実行されてもよい。カメラは、例えば、無線通信用のモバイル電話もしくはカメラ付きモバイル電話などの電子デバイス、または携帯用電子デバイス全般の一部であってもよい。
【００３９】
本発明のさらなる実施態様によれば、獲得された画像の処理は、次の処理を含んでもよい。
ａ）画像を、１つ以上の色チャネルの各色ごとに、さらに異なる露光時間の各露光時間ごとに、複数のサブ画像へと分離すること。ただし、前記複数のサブ画像は、或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた画素とを含む。
ｂ）前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間すること。
ｃ）前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成すること。
【００４０】
さらに、多色画像の場合、広いダイナミック・レンジの多色画像を提供するために、別々の色チャネルに関して改善された画像を、もとのマルチ画素露光パターンを使用して再合成してもよい。例えば、一実施態様によれば、多色画像は、色検出に関して旧来のベイヤー・パターンに基づいていてもよく、一様な形での色の再構成を可能にしながら撮影された画像のダイナミック・レンジが向上させられてもよい。
【００４１】
各画素の別々の露光間隔は、CMOS（相補型金属酸化膜半導体）画像センサを使用して得られてもよい。各画素は、固定した幾何パターンに従って電子的にプリセットされた、別々の露光間隔を有してもよい。異なる露光時間を有する画素は、特定パターンに従って交互に入れ替えられてもよい。露光時間は、写真が撮影される前にセットされてもよい。繰り返しの幾何パターンにより、近傍にある任意の画素において別々の露光を得ることができる。センサによって記録された画像をサブサンプリングすると、撮像されたシーン内のすべての領域が表現されてもよい。
【００４２】
本明細書に記載される本発明の実施態様を実装するべく、異なる露光時間を有する多数の画素パターンが使用され、電子的にプリセットされることが可能である。多数ある中の一例が図1に示されている。図1は、本発明の一実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図である。図1に示されているように、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。
【００４３】
本発明の実施態様によれば、最終的な画像は、違うように露光された画素の値を合成することによって構成されてもよい。この合成は、暗い画像領域では、より長く露光された画素の重要性に、より大きく重み付けし、その一方で、シーンのより明るい領域に対応する、より短く露光された画素値に、より大きく重み付けするように行われるとよい。
【００４４】
図2には、露光量小、標準、露光量大の画素グループの露光時間がそれぞれ示されているが、この図に示されているように、本発明の別の実施態様によれば、複数の露光量の違いを、単一のパラメータ（α）、α≧1を変化させることで制御してもよい。α＝1に設定することで、初期値の動作（センサ内のすべての画素が等しく露光される）が回復されてもよい。このパラメータ（α）、つまりセンサ面における画素の露光量を調節して、「ダイナミック・コントラスト」をコントロールするために、ユーザ・インターフェース機構（例えばユーザによりコントロールされる回転ホイール）が使用されてもよい。
【００４５】
図3は、本発明の実施態様による、カメラ12を含む電子デバイス10のブロック図の数ある中の例である。本明細書に説明されるように、電子デバイス10は、カメラ12によって撮影される画像のダイナミック・レンジを改善するために、画素グループ毎に（例えば電子的に）異なる露出を行うマルチ画素露光パターンを使用し、カメラ12による撮影にマルチ画素露光パターンを用いる。
【００４６】
電子デバイス10は、限定されるものではないが、カメラ、無線通信デバイス、モバイル電話、カメラ付きモバイル電話デバイス、携帯用電子デバイス、非携帯用電子デバイスなどであってもよい。
【００４７】
カメラ12は、光学部品14（例えば、レンズ、カラー・フィルタなど）を有してもよく、また、本明細書に記載のように、1つ以上の色チャネルに対してマルチ露光パターンを用いて画像を撮影してセンサ信号24を提供する画像センサ16（例えばCMOSセンサ）を有してもよい。前処理モジュール18は、限定されるものではないが、例えばペデスタル除去、口径食調節、ヒストグラム解析、プリセット・ゲイン（preset gaining）などを含む何らかの前処理を実行し、画像信号26を処理モジュール20に提供してもよい。本発明の実施態様によれば、モジュール20は本明細書に記載される様々な実施態様に従って（例えば図5参照）、次のステップを実行してもよい。
a）複数のサブ画像への色／露光分離（色／露光分離器20aによる）。
b）所定のアルゴリズムに従ったサブ画像の補間（補間器20bによる）。
c）各色ごとに改善された画像を構成するための画像合成（合成器20cによる）。所定の基準に従った、それぞれ異なる露光時間を有する画素の露光時間の重み付け合成を含む、補間されたサブ画像の合成を用いる。
なお、色／露光分離器20aは、概して分離する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、補間器20bは概して、所定のアルゴリズムに従ってサブ画像を補間する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、合成器20cは概して、補間されたサブ画像を、各色ごとに改善された画像を構成するよう合成する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。
【００４８】
さらに、モジュール20は、各色ごとに合成された画像信号28を、再合成および追加処理モジュール22に提供してもよい。モジュール22は、各色毎に、もとのマルチ画素露光パターンに従って改善された画像を再合成し、続いて、例えば自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、各種補正などの標準的な追加処理を実行し、さらに（オプションで）、例えば閲覧用にディスプレイ（ファインダー）へ、格納用にデバイス・メモリへ、または所望の宛先へ転送するために入出力（I／O：input／output）ポートへなど、電子デバイス10の種々のモジュールへの出力として提供してもよい。
【００４９】
本発明のさらなる実施態様によれば、カメラ12はさらに、本明細書に記載のように、露光時間を調節する露光調節信号または追加露光調節信号を、ユーザによってユーザ・インターフェースを通じて提供される命令信号に応答して提供するよう構成された、画素露光パターン調節モジュール25を有してもよい。露光調節信号は、例えば画像を撮影する前に、各画素の適切な異なる露光時間を選択するために画像センサ16に提供されてもよい。あるいは、再合成された画像（本明細書に記載の処理の後）が、カメラのディスプレイ（ファインダー）上に表示されてもよく、その結果、前記画素露光パターン調節モジュールは、ファインダー上に表示されたこの再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、画素のこの異なる露光時間の調節を「オンザフライで」（ユーザによってユーザ・インターフェースを介して提供される命令信号に応答して露光調節信号を使用し）提供するよう構成される。
【００５０】
さらに、本発明の別の実施態様によれば、画像は、（例えば、図1に示されているような）予め選択済みの画素露光パターンで撮影され、RAWフォーマットで（例えば処理モジュール20内の追加メモリ内に）格納されてもよい。次に、この撮影された画像のパラメータα（α≧1）（図2に関連して紹介した）が、このRAW画像に対応するメタデータとして格納されてもよい。モジュール25によって処理モジュール20に提供される追加露光調節信号を使用して最終的な画像のコントラストを微調節するために、αは、（ユーザによって提供される命令信号に応答して）ユーザ・インターフェースを通じてユーザによってさらに調節されてもよい。αを調節する後者の方法は、画像コントラストのデジタル・ゲインに類似した動作を実現し得るが、露光不足の画素において、ノイズ・レベルの増幅を生じさせる可能性がある。この処理は、例えば、標準露光画素を、露光不足および露光量大画素情報で重み付けして、所望のα値を提供することによって行われてもよい（画像の全体的な輝度のバランスをとり、最終的な画質を向上させうるα値が望まれる）。RAW画像のαのこの調節は、処理モジュール20によって、本明細書に記載のモジュール20a、20bおよび20cによるさらなる処理の前に実行されてもよい。
【００５１】
本発明の実施態様によれば、モジュール18、20、22または25は、ソフトウェアもしくはハードウェア・モジュール、またはその組み合わせとして実装されてもよい。さらに、モジュール18、20、22もしくは25は、別個のモジュールとして実装されてもよく、または、電子デバイス10の任意の他のモジュール／ブロックと組み合わせられてもよく、または、その機能性に従っていくつかのブロックに分割されてもよい。なお、さらに、処理モジュール20のみ、または他のモジュール（例えばモジュール18および／または22）との組み合わせが、電子デバイス10から取り外し可能であってもよい。なお、さらに、電子デバイス10のすべてのモジュールまたは選択されたモジュールが、集積回路を使用して実装されてもよい。
【００５２】
図4は、本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートの、数ある中の例を示す。
【００５３】
図4のフローチャートは、数ある中の考えられる1つのシナリオのみを表す。なお、図4に示されているステップの順序は、絶対的に要求されるものではなく、したがって、原則として、様々なステップが異なる順序で実行されてもよい。本発明の実施態様による方法では、本明細書に記載のように、第1のステップ40において、画像が、1つ以上の色チャネルのマルチ画素露光パターンを有するセンサ（例えばCMOS）を使用し撮影される。次のステップ42で、画像の前処理（例えばペデスタル除去、口径食調節、ヒストグラム解析など）が実行される。
【００５４】
次のステップ44で、各色ごとに、各色毎に、露出が異なる複数のサブ画像への分離（露光分離）が行われる。これは、露光時間毎に行われる。サブ画像は、異なる露光時間のうちの特定の露光時間のみに関する露光値を有する画素と、該特定の露光時間とは異なる露光時間に関する、露光値が失われた画素とを含む。
【００５５】
次のステップ46で、サブ画像において、露光値が失われた画素の補間が、このサブ画像の補間画像を作成する所定のアルゴリズム（図5に関連して説明される例を参照）を使用して実行される。
【００５６】
次のステップ48で、本明細書に記載したように、補間画像が、例えば異なる露光時間を有する画素の露光時間の重み付き合成を使用して（図5に関連して説明される例を参照）、所定の基準に従って各色チャネルに関して合成され、ハイ・ダイナミック・レンジを有する改善された画像が提供される。
【００５７】
次のステップ50で、改善された各色の画像が再合成され、追加処理される（例えば、自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、雑調節など）。次のステップ52で、再合成された画像がカメラのファインダー上に表示されてもよい。次のステップ54で、ファインダー上に表示された再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、マルチ露光パターンの各露光時間が、ユーザ・インターフェースを介して調節されてもよい。
【００５８】
図5は、本発明の実施態様による、図1に示されたベイヤー・パターンの1つの色（例えば赤色）に関して図4のフローチャートのステップ44〜48を実装するための、数ある中の一例を示すフローチャートを示す。
【００５９】
赤色チャネルに関して図5に示されているように、ステップ44は、別々の色チャネル（図1の例についてR、G、B、G）のサブ画像へ、撮影された画像を分離することに対応する。各サブ画像は、単一のスペクトル・チャネルに対応し、図1に示されているように、3つの異なる露光の画素を含む。4画素からなるグループが、1つの露光量小画素、2つの標準的に露光された画素、および1つの露光量大画素を含む。次に、赤色のサブ画像52aが、露光不足、標準露光および露光量大画素にそれぞれ対応するサブ画像54a、54bおよび54cにさらに分離される。
【００６０】
ステップ46は、サブ画像54a、54bおよび54c内の欠けている露光値の補間に対応する。このステップは、センサの各画素は固定された露光時間の視覚情報しか撮影しないということに基づくが、センサにおける種々の露光の空間的配置によって、各画素のある程度近くに露光時間が確実に存在することになる。したがって、各画素において欠けている露光時間に対応する視覚情報を、その近傍の画素の値を補間することによって推測されてもよい。具体的には、3つの露光時間Tk、k＝1，2，3が与えられとき、3つの値、すなわちv1（i，j）、v2（i，j）、およびv3（i，j）が各画素（i，j）において必要である。この値のうち1つは画素において直接測定される一方、他の2つは、（例えばサブ画像52aの）近傍にある画素の対応する露光値を補間することで推測される。この補間を行う方法は多数あり、そのうちの1つに限定はしない。単純な実装は、線形補間に依存してもよい。例えば、サブ画像54aでは、露光量小画素（UR）を、もとの画素位置の左および下側にある近傍の欠けている3つの画素に複製することによって、零次補間が実行されるとよく；サブ画像54bでは、標準露光画素（NR）を、もとの位置の右側にある隣接した欠けている画素の方へ複製することによって、零次補間が実行されるとよく；サブ画像54cでは、露光量大画素（OR）を、もとの画素位置の右および上側にある近傍の欠けている3つの画素位置へ複製することによって、零次補間が実行されてもよい。
【００６１】
他のタイプの補間も使用可能である。例えば、サブ画像54a、54bおよび54cの線形補間が、検出された利用可能な画素によって定義される対応する初期の表面高度を有する画像グリッド上に表面を合わせることで実行されてもよい。欠けている画素値は、最初に、欠けているサンプルに影響を与えると考えられる近傍のサンプルを含む影響領域を定義することによって計算されてもよい。影響を与えるサンプルそれぞれと、対象画素の中心との間の距離が計算される。近傍の画素それぞれに割り当てられる重みは、対象画素からのその距離に反比例してもよい（重みの合計は、1に等しくなるよう調節される）。最終的な画素値は、影響を与える近傍の画素値の加重和として計算されてもよい。さらに、ベイヤー・パターンからの色補間の既知の技術が、このタスクを実行するように適合させられてもよい。その結果、補間画像56a、56bおよび56cが、図5に示されているように構成される。
【００６２】
ステップ48は、生じた複数の補間済みの画像を、シーンのハイ・ダイナミック・レンジ画像58を得るために合成することに対応する。このステップは、イメージング・システムがそのダイナミック・レンジを改善できるようにする動作に基づいており、画像センサにてサンプリングされた別々の露光が、シーンのダイナミック・レンジをイメージング・デバイスのダイナミック・レンジに最適にマップするように合成されるということを意味する。このステップで、アルゴリズムは、拡大されたダイナミック・レンジ画像を得るように、各画素にある異なる露光時間の視覚情報を合成する。この合成は、様々な方法で実行可能であり、その中でも、別々の露光の画素値の重み付き平均を選択することができる。
【００６３】
例えば、各画素（i，j）について、3つの露光値v1（i，j）、v2（i，j）およびv3（i，j）は、次のように最終的な出力f（i，j）を生じるよう合成されてもよい。
【００６４】
【数１】
2010539745.tif 000009
【００６５】
f（i，j）は、最終的な画像の画素値を意味し、Tkはk番目の露光時間を意味し、Tはゲイン値であり、これは拡大されたダイナミック・レンジ機能を有するセンサのシミュレーションによる露光時間に理論上対応する。値wk（i，j）は、画素（i，j）のk番目の露光に関連する重み値である。重み値は、多数の方法で選択され得るが、一般に、飽和してもなく、大きく露光不足でもない中間域の画素を強調する。それに加えて、画素において直接測定されるのではなくアルゴリズムのステップ46において示されたように補間によって得られた各画素の2つの値も、より小さく重み付けされてもよい。式にある露光時間は、より長く露光された画素をより強調するが、これはそれの方がノイズが少ないためである。
【００６６】
本発明のさらなる実施態様によれば、ステップ44と、46との間にさらなるフィルタリング動作が入れられ、画質がさらに改善されてもよい。ステップ44と、46との間に入れられるとよい第1の動作は、例えば補間画像56bに使用される中央（または初期値の）露光値に対応するよう、露光過多および露光不足の補間画像（56aおよび56c）の、プリセットのデジタル・ゲインを適用することである。例えば、撮影された画像全体にわたる平均の輝度を均一にするために、プリセットのゲインが、α値を使用してパラメータ化されてもよい。ゲインは、センサから読み取られたビットの数を拡大するように実行されるべきである。例えば、センサが10ビット読み取りを提供する場合であれば、すべての成分は、結果的に、12ビットの精度まで得られるべきである。
【００６７】
さらに、ステップ44と、46との間に入れられるとよい別のフィルタリング動作は、補間画像56a、56bおよび56cのそれぞれに対し別々にノイズ・フィルタを適用することである。ノイズ・フィルタは、対応する露光値によって調節されるべきであり、これは例えば、露光不足の補間画像56aは、56bおよび56cより低い信号対雑音比（SNR：signal to noise ratio）により特徴付けられることになり、しがたってノイズ・アーチファクトを低減するべくより強くフィルタリングされるべきである一方で、露光過多の補間画像56cは（飽和していなければ）、最大の信号対雑音比（SNR）により特徴付けられることになり、したがって結果的に維持されるべきであるということを意味する。露光適応ノイズ・フィルタリングのこのステップは、例えば線形フィルタによって実装されてもよく、対応するフィルタ係数が、露光値によって調節されたルックアップ・テーブルから読み出されてもよい。
【００６８】
なお、異なる露光を近傍にある任意の画素において交互に行う、提案されている検出パターンが原因で、センサによって記録される画像の本質的な空間解像度が低減され得る。これは、空間解像度（画素密度）と、動的解像度（コントラスト分解能力）とのトレードオフに相当する。しかし、ビデオ出力解像度は通常、センサ解像度よりも非常に低いため、ビデオ出力には、このトレードオフはあてはまらない。さらに、静止画像の撮影でも、ユーザは、例えばナイト・モードの使用を選択するときなど、コントラストの向上を進んで選ぶこともあるであろう。
【００６９】
なお、さらに、本明細書に記載のダイナミック・レンジの拡大は、既存の手法の多くのように画像レジストレーションを必要としないため、計算資源を節約すると考えられる。これはさらに、入力画像のずれの危険性をなくすことによって、導き出された解決策の頑強性を大幅に高めると考えられる。さらに、ビデオは通常いずれにせよダウン・サンプリングされるため、ビデオ出力のダイナミック・レンジの向上は、空間解像度の大きな損失なしに達成され得る。さらに、本明細書に記載された一実施態様によれば、画像センサのハイ・ダイナミック・レンジ機能性（別々の画素露光）と、通常の機能性（均一な画素露光）とを切り替えることも可能性であり、これは以前に行われていない。
【００７０】
なお、さらに、本明細書に記載された検出パターンおよび対応する再構成方法は、全体的な画像形成パイプラインに影響しない。わずかな機能を初期の処理過程に入れることであらゆる既存のカメラの画像再構成チェーンに容易にプラグイン可能であり、イメージング・プラットフォーム全体の再設計を必要としない。さらに、より短い露光情報およびより長い露光情報の利用可能性を生かすことで、ノイズおよび／またはぼやけの少ない写真を供給する可能性がある。
【００７１】
上述のとおり、本発明は、方法と、方法のステップを実行する機能性を提供する様々なモジュールから成る対応する機器とを提供する。モジュールは、ハードウェアとして実装されてもよく、またはコンピュータ・プロセッサにより実行されるソフトウェアもしくはファームウェアとして実装されてもよい。具体的には、ファームウェアまたはソフトウェアの場合、本発明は、コンピュータ・プログラム・コード（すなわちソフトウェアまたはファームウェア）をコンピュータ・プロセッサにより実行されるようコンピュータ可読媒体上に具現化するコンピュータ可読媒体（例えばストレージ構造）を含む、コンピュータ・プログラム製品として提供されてもよい。
【００７２】
なお、本明細書で列挙された本発明の様々な実施態様は、特定の用途に合わせて、別々に用いられても、組み合わせて用いられても、または選択的に組み合わせて用いられてもよい。
【００７３】
当然のことながら、上記の機構は、本発明の原理の用途の例示でしかない。当業者によって、本発明の範囲から逸脱することなく、数々の変更および代わりの機構が考案される可能性があり、添付の特許請求の範囲は、そのような変更および機構を対象とするものとする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装置の動作方法であって、
画像センサにより撮影された画像を複数のサブ画像に分離すること、ただし、
・  前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、
・  前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、
前記分離することと；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；
を含む、方法。
【請求項２】
前記異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものである、請求項１に記載の方法。
【請求項３】
広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含み、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１または２に記載の方法。
【請求項４】
前記再合成された画像をファインダー上に表示することと；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；
をさらに含む、請求項３に記載の方法。
【請求項５】
前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節される、請求項１から４のいずれかに記載の方法。
【請求項６】
前記画像はベイヤー画像である、請求項１から５のいずれかに記載の方法。
【請求項７】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行される、請求項１から７のいずれかに記載の方法。
【請求項９】
前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行され、前記重み係数は、前記所定の基準を使用して選択される、請求項１から８のいずれかに記載の方法。
【請求項１０】
前記重み係数は、暗い画像領域ではより大きな露光値を有する画素ほどより高く、より明るい画像領域ではより小さな露光値を有する画素ほどより高い、請求項９に記載の方法。
【請求項１１】
装置のプロセッサにより実行されることにより、該プロセッサに請求項１から１０のいずれかに記載の方法を実行させる、コンピュータ・プログラム。
【請求項１２】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、色／露光分離器と；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；
を有する、装置。
【請求項１３】
前記画像センサを含む、請求項１２に記載の装置。
【請求項１４】
前記色／露光分離器、前記補間器および前記合成器は、前記装置から取り外し可能な処理モジュールに搭載される、請求項１２または１３に記載の装置。
【請求項１５】
広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備え、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１２から１４のいずれかに記載の装置。
【請求項１６】
前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備える、請求項１２から１５のいずれかに記載の装置。
【請求項１７】
前記再合成された画像を表示するよう構成されたファインダーをさらに備え、
前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成される、
請求項１６に記載の装置。
【請求項１８】
前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載される、請求項１２から１７のいずれかに記載の装置。
【請求項１９】
前記画像センサを含む無線通信用の電子デバイスである、請求項１２から１８のいずれかに記載の装置。
【請求項２０】
前記画像はベイヤー画像である、請求項１２から１９のいずれかに記載の装置。
【請求項２１】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１２から２０のいずれかに記載の装置。
【請求項２２】
前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されている、請求項１２から２１のいずれかに記載の装置。
【請求項２３】
前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成され、前記重み係数は、前記所定の基準を使用して選択される、請求項１２から２２のいずれかに記載の装置。
【請求項２４】
前記画像センサは、相補型金属酸化膜半導体画像センサである、請求項１２から２３のいずれかに記載の装置。
【請求項２５】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサ；
前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュール；
前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
前記再合成された画像を表示するよう構成されたファインダー；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュール；
を有する、電子デバイス。
【請求項２６】
前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項２５に記載の電子デバイス。
【請求項２７】
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
を有する、装置。
【請求項２８】
前記分離する手段は、色／露光分離器である、請求項２７に記載の装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010539745.tif 000010
【図２】
2010539745.tif 000011
【図３】
2010539745.tif 000012
【図４】
2010539745.tif 000013
【図５】
2010539745.tif 000014
【国際調査報告】
2010539745.tif 000015
2010539745.tif 000016
2010539745.tif 000017