(57)【要約】  画像処理方法および装置を提供する。画像処理方法は、異なる露出時間中での同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収することと、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得ることと、すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることとを含む。上記方法は、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題を解決する。
2015530834.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、前記方法は、
異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収することと、
前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ることと、
すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得ることとを含む、画像処理方法。  
【請求項２】
すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得することは、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得することと、
各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得ることと、
前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得ることとを含む、請求項１に記載の画像処理方法。
【請求項３】
前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、
各前記露出フレームに対応する、前記露出フレーム内の各画素の、重み付け係数を取得し、前記補正率に各前記露出フレーム内の各画素を掛けることにより得られる積を取得することと；すべての前記露出フレーム内の対応する位置における画素に対応する積を合計して、前記合計後に得られるすべての画素により形成される画像を前記補正された生データのＨＤＲ画像として用いることとを含む、請求項２に記載の画像処理方法。  
【請求項４】
前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得ることは、具体的には、
前記露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより前記参照輝度値を補正して、前記第１の輝度データを得ることを含む、請求項１〜３のいずれか一項に記載の画像処理方法。  
【請求項５】
前記露出フレームの参照輝度値を取得することは、
前記生データ単位内の画素の平均値を取得して、前記平均値を前記参照輝度値として用いること；または、
前記生データ単位内のＧ画素の平均値を取得して、前記平均値を前記参照輝度値として用いることを含む、請求項４に記載の画像処理方法。  
【請求項６】
第１の露出フレームＲ１および第２の露出フレームＲ２である異なる輝度を有する２つの露出フレームが、異なる露出時間中の同一のシーンにおいて回収された場合、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得することは、
【数１】
2015530834.tif 000009
（式中、ｗ１′およびｗ２′は、前記重み付け係数を算出するための中間値を示し、ｗ１は、前記第１の露出フレームの重み付け係数を示し、ｗ２は、前記第２の露出フレームの重み付け係数を示し、δは、ガウス分布係数を示し、Ｉ１′は、前記第１の露出フレームの前記第１の輝度データを示し、Ｉ２′は、前記第２の露出フレームの前記第１の輝度データを示す。）
を含む、請求項２に記載の画像処理方法。  
【請求項７】
前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得することは、
【数２】
2015530834.tif 000010
（式中、ｗ１は、前記第１の露出フレームの重み付け係数を示し、ｗ２は、前記第２の露出フレームの重み付け係数を示し、
αは、前記補正率を示し、Ｉ１″は、前記第１の露出フレームの前記第２の輝度データを示し、Ｉ２″は、前記第２の露出フレームの前記第２の輝度データを示し、Ｉ１′は、前記第１の露出フレームの前記第１の輝度データを示し、Ｉ２′は、前記第２の露出フレームの前記第１の輝度データを示す。）
を含む、請求項６に記載の画像処理方法。  
【請求項８】
前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、
前記補正パラメータが、重み付け係数ｗ１およびｗ２、ならびに補正率αであるとき、
【数３】
2015530834.tif 000011
（式中、Ｒ１は、前記第１の露出フレームを示し、ｗ１は、前記第１の露出フレームの前記重み付け係数を示し、Ｒ２は、前記第２の露出フレームを示し、ｗ２は、前記第２の露出フレームの前記重み付け係数を示し、αは、前記補正率を示し、Ｒは、前記補正された生データのＨＤＲ画像を示す。）
を用いて、前記補正された生データのＨＤＲ画像Ｒを得ることを含む、請求項６に記載の画像処理方法。  
【請求項９】
前記画像処理方法はさらに、すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得する前に、
明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得ることを含み、
これに対応して、すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得することは、具体的には、
前記輝度マッピング関数およびすべての前記第１の輝度データに従ってすべての前記露出フレームの前記補正パラメータを取得することである、請求項１に記載の画像処理方法。
【請求項１０】
長い露出フレームおよび短い露出フレームである異なる輝度を有する２つの露出フレームが、異なる露出時間中の同一のシーンにおいて回収された場合、
前記輝度マッピング関数は、ｂ＝ｆ（ａ）（式中、ａは、前記長い露出フレーム内の画素の輝度値を示し、ｂは、前記短い露出フレーム内にあり、かつ、その位置がａの位置に対応して一致した画素の輝度値を示す。）であり、
これに対応して、前記輝度マッピング関数およびすべての前記第１の輝度データＩ１′およびＩ２′に従ってすべての前記露出フレームの前記補正パラメータを取得することは、
次の式に従って各前記露出フレームの重み付け係数ｗ１およびｗ２を取得することと、
【数４】
2015530834.tif 000012
各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得ることと、
前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得ることとを含む、請求項９に記載の画像処理方法。
【請求項１１】
前記生データ単位は、ＢＧＧＲパターンに配列されたデータ単位、ＧＲＢＧパターンに配列されたデータ単位、またはＧＲＢＷパターンに配列されたデータ単位である、請求項１〜１０のいずれか一項に記載の画像処理方法。
【請求項１２】
画像処理装置であって、前記装置は、
プロセッサを備え、前記プロセッサは、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し；各前記露出フレーム毎に、前記露出フレーム内に繰返し配列された生データ単位を合成して、前記合成後の第１の輝度データを得；すべての前記第１の輝度データに従ってすべての前記露出フレームの補正パラメータを取得し、前記補正パラメータを用いることによりすべての前記露出フレームに重み付け処理を行い、補正された生データのハイダイナミックレンジＨＤＲ画像を得るように構成され、前記画像処理装置はさらに、
メモリを備え、前記メモリは、前記プロセッサにより回収された前記異なる輝度を有する少なくとも２つの露出フレームを格納するように構成されている、画像処理装置。
【請求項１３】
前記プロセッサは、具体的には、
各前記露出フレーム毎に、前記露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより前記参照輝度値を補正して、前記第１の輝度データを得る、および／または、
すべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得し；各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得；前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得る、および／または、
各前記露出フレームに対応する、前記露出フレーム内の各画素の、重み付け係数を取得し、前記補正率に各前記露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての前記露出フレーム内の対応する位置における画素に対応する積を合計して、前記合計後に得られるすべての画素により形成される画像を前記補正された生データのＨＤＲ画像として用いるように構成されている、請求項１２に記載の画像処理装置。
【請求項１４】
前記プロセッサはさらに、
明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る、および、
前記輝度マッピング関数およびすべての前記第１の輝度データに従って各前記露出フレームの重み付け係数を取得し；各前記露出フレームに輝度処理を行い、前記処理後の第２の輝度データを得；前記重み付け係数、前記第２の輝度データ、および前記第１の輝度データに従って、すべての前記露出フレームに対応する補正率を取得し、前記重み付け係数および前記補正率を含む補正パラメータを得るように構成されている、請求項１２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明の実施形態は、通信技術に関し、特に、画像処理方法および装置に関する。
【背景技術】
【０００２】
背景
マルチフレーム露出合成に基づくハイダイナミックレンジ（略してＨＤＲ）画像化に関する研究は、非常に成熟している。たとえば、コンシューマーマーケットにおいては、ｉＰｈｏｎｅ（登録商標）がＨＤＲ撮像機能と一体化されている。一部のチップのＡｎｄｒｏｉｄ（登録商標）参照プラットフォームも、比較的簡易なＨＤＲ画像化機能を有している。
【０００３】
現在、コンシューマーマーケットにおけるプロフェッショナル用途の監視カメラおよび携帯電話カメラの両方が、ＣＣＤまたはＣＭＯＳ画像センサを用いて、あるシーンの光信号を取込み、この光信号をデジタル信号の生データに変換する（すなわち、Ｒａｗデータ）。一連のデジタル信号処理技術（画像信号処理、略してＩＳＰ）による処理の後、生信号は、人間の目に適した最終的な映像信号に変換される（一般的に、ＲＧＢ形式またはＹＵＶ形式）。
【０００４】
Ｒａｗデータは、単一チャンネルデータであり、これは、一般的に、繰返し配列され、かつ異なる色の多数の隣接する画素により形成され、各画素の位置は、１つの値しか有さない。しかしながら、ＩＳＰにおける色補完処理後のデータは、３チャンネルデータに増加する。すなわち、各画素の位置は、３つの値を有する。
【０００５】
ほとんどのＨＤＲ処理技術は、ＩＳＰ処理後の３チャンネルデータに適用され、たとえば、マイクロソフト社（シーグラフ２００３ＨＤＲ映像）は、多数の露出フレームを補正するための処理後の方法を提案している。まず、多数の露出フレームを用いることによりカメラ応答曲線が較正され、次に、カメラ応答曲線に従ってＨＤＲ画像が合成され、最後に、トーンマッピング法を用いることによりダイナミックレンジが圧縮され、局所コントラストが改善される。
【０００６】
上記の方法の欠点は、次のようなものである。生データの３倍の量を処理する必要があり、さらに、局所コントラストを改善するために、局所トーンマッピングまたはコントラスト向上などの方法を用いる必要がある。高度な複雑性を伴う。さらに、ＩＳＰ処理におけるガンマ補正は、画像の輝度に大きく影響する。このような方法は、カメラ応答曲線およびトーンマッピングに依存し、方法が直接的処理のためにＲａｗデータに単純に適用されると、画像の色およびコントラストが著しく歪んでしまう原因となり得る。
【発明の概要】
【０００７】
概要
上記を考慮して、先行技術における欠点のために、本発明は、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題を解決するための画像処理方法および装置を提供する。
【課題を解決するための手段】
【０００８】
一局面によれば、本発明の実施形態は、画像処理方法であって、方法は、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収することと、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得ることと、すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることとを含む、画像処理方法を提供する。
【０００９】
別の局面によれば、本発明の実施形態はさらに、画像処理装置であって、装置は、プロセッサを含み、プロセッサは、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得；すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得るように構成され、画像処理装置はさらに、メモリを含み、メモリは、プロセッサにより回収された異なる輝度を有する少なくとも２つの露出フレームを格納するように構成された、画像処理装置を提供する。
【００１０】
上記の技術的解決策から、本発明の実施形態における画像処理方法および装置によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従ってすべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより、露出フレームに重み付け処理を行い、補正されたＲａｗデータのＨＤＲ画像が得られることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかるであろう。
【００１１】
本発明の実施形態における技術的解決策をより明確に説明するために、以下に、実施形態を説明するために必要な添付の図面を簡潔に紹介する。以下の説明における添付の図面は、本発明の一部の実施形態を示すことが明らかであり、当業者であれば、創造的労力なしにこれらの添付の図面から他の図面をさらに導出するであろう。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に従ったＲａｗデータ単位の配列構造の概略図である。
【図２】本発明の実施形態に従った画像処理方法の概略フローチャートである。
【図３】本発明の実施形態に従った画像処理方法の概略フローチャートである。
【図４】本発明の実施形態に従った画像処理方法の概略フローチャートである。
【図５Ａ】本発明の実施形態に従った輝度統計ヒストグラムの概略図である。
【図５Ｂ】本発明の実施形態に従った輝度累積ヒストグラムの概略図である。
【図５Ｃ】本発明の実施形態に従った輝度マッピング関数の概略図である。
【図６】本発明の実施形態に従った取得されたＨＤＲ画像と既存のＨＤＲ画像との比較の概略図である。
【図７Ａ】本発明の実施形態に従った画像処理装置の概略構造図である。
【図７Ｂ】本発明の実施形態に従った画像処理装置の概略構造図である。
【発明を実施するための形態】
【００１３】
実施形態の説明
本発明の目的、技術的解決策、および利点をより明確にするために、以下に、本発明の実施形態における添付の図面を参照して、本発明の技術的解決策を明確にかつ完全に説明する。記載される実施形態は、本発明の実施形態の一部であることが明らかである。本発明の実施形態に基づき、当業者であれば、本発明の技術的課題を解決することのできる他の実施形態を得て、創作的労力なしに技術的特徴の一部またはすべてを同等に変更することにより、本発明の技術的効果を実現することができる。変更により得られた実施形態は、本発明に開示される範囲から逸脱しないことは明らかである。
【００１４】
Ｒａｗデータに基づいてＨＤＲ画像を合成するための方法は、産業界でさらに提案されている。この方法では、多数の露出フレームの露出時間比が、正規化のために各フレーム画像の画素値として用いられ、次に、重み付けされた合成を実行することによりＨＤＲ画像が得られ、トーンマッピング法を用いて、表示に適したローダイナミックレンジ（略してＬＤＲ）画像が得られる。
【００１５】
しかしながら、上記の方法では、露出時間を用いることにより異なる露出フレームの画素を正規化するプロセスにおいて、較正が必要とされ、露出時間およびゲインの数を画素輝度の倍数と同一にすることができない。特に、上記の方法は、多くの行記憶およびフレーム記憶を使用する必要があるため、結果として、大きな記憶領域および複雑な算出プロセスが生じてしまう。
【００１６】
本発明の実施形態における関連する生データは、異なる色の多数の隣接する画素により一般的に形成される単一チャンネルデータである。図１に示されるように、図１は、生データの配列構造の概略図を示す。この生データは、Ｒ、Ｇ、およびＢの３色の画素により形成されるＧＲＢＧパターンで繰返し配列されるベイヤー形式の生データであり、各画素の位置は、１つの値しか有さない。
【００１７】
本発明の実施形態では、異なる露出時間の生データフレームが主にＨＤＲ生データフレームに合成される。さらに、ＨＤＲ生データを合成する上記のプロセスは、先行技術のＩＳＰ処理技術と互換性があり得る。さらに、最終的な映像信号のダイナミックレンジは、元の色および局所コントラストを変えることなく有効に拡大されることができ、記憶コストおよびデータの算出量を有効に減少することができる。本発明では、事前にカメラ応答曲線を較正する必要なく、単一チャンネルデータのみを処理すればよいため、記憶コストおよびデータの算出量が有効に減少される。
【００１８】
本発明の本実施形態で述べる生データフレームとは、生データにより形成される画像フレームを指す。
【００１９】
図１および図２を参照して、図１は、本発明の実施形態に従った生データ単位の配列構造の概略図であり、図２は、本発明の実施形態に従った画像処理方法の概略フローチャートを示す。以下に、本実施形態の画像処理方法を説明する。
【００２０】
２０１．異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収する。
【００２１】
実際の適用においては、ＨＤＲ処理には、２つの露出または３つ以上の露出であり得る異なる露出のデータ入力が必要とされる。一般的に、最適な露出フレームは、参照露出フレームと呼ばれ、他の露出フレームは、拡張露出フレームと呼ばれる。
【００２２】
特定の適用シナリオにおいて、異なる露出時間中の異なる輝度を有する多数の露出フレームが回収され得る。この場合、最適な露出フレームが参照露出フレームとして選択され、他の露出フレームは、拡張露出フレームとして用いられる。
【００２３】
２０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。
【００２４】
たとえば、このステップにおける生データ単位は、ＢＧＧＲパターンに配列されたデータ単位、ＧＲＢＧパターンに配列されたデータ単位、またはＧＲＢＷパターンに配列されたデータ単位であり得る。本発明の本実施形態は、他のパターンの生データにも適用可能である。
【００２５】
図１に示されるように、図１は、ＧＲＢＧパターンに配列されたデータ単位を示す。すなわち、ＧＲＢＧベイヤーパターンでは、４つの隣接するＧＲＢＧ画素位置における単一チャンネルデータが１つの生データ単位を形成する。
【００２６】
異なる画像センサ製造業者の生データは、異なるパターンに配列されている。しかしながら、すべてのパターンについて、４つ以上の隣接する画素が、繰返し配列され得る基本単位を形成する。したがって、本発明の本実施形態における一例として、ＧＲＢＧに配列された一般的なベイヤーパターンが用いられる。本発明の本実施形態では、単純な拡張後に、ＢＧＧＲベイヤーパターンおよびＧＲＢＷパターンなどの他のパターンの生データも用いられ得る。
【００２７】
２０３．すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。
【００２８】
上記の生データは、単一チャンネルデータであり、さらに、最終的に取得される生データのＨＤＲ画像もまた、単一チャンネルデータ画像であることが理解され得る。
【００２９】
上記の実施形態から、生データ単位は、本実施形態の基本単位であることがわかり得る。まず、異なる露出フレームの生基本単位が、たとえば合成されて、事前処理され、人間の目に適した第１の輝度データが出力される。次に、補正された生データのＨＤＲ画像に必要な補正パラメータが算出され、生データ単位内の各生データが合成されることにより、既存の輝度処理後効果が生データの出力ＨＤＲ画像に合成されることが実現される。
【００３０】
さらに、例示的な実施形態では、上記ステップ２０３における、すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得することは、図３に示される、次のステップ２０３１〜ステップ２０３３を具体的に含み得る。
【００３１】
２０３１．すべての第１の輝度データに従って各露出フレームの重み付け係数を取得する。
【００３２】
２０３２．各露出フレームに輝度処理を行い、処理後の第２の輝度データを得る。
随意的には、各露出フレームに輝度処理を行うために、輝度ヒストグラム均等化方法を用いて、処理後の第２の輝度データを得てもよい。
【００３３】
２０３３．重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得る。
【００３４】
随意的には、別の適用シナリオでは、上記ステップ２０３における、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得ることは、図示されない次のステップ２０３４を含む。
【００３５】
２０３４．各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得することと；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いる。
【００３６】
上記実施形態から、本実施形態の画像処理方法によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従って、すべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより露出フレームに重み付け処理が行われ、補正されたＲａｗデータのＨＤＲ画像が得られることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかり得る。
【００３７】
別の適用シナリオでは、上記ステップ２０２における、露出フレーム内に繰返し配列された生データを合成して、合成後の第１の輝度データを得ることは、具体的には、図示されない次のステップ２０２１を含む。
【００３８】
２０２１．露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより参照輝度値を補正して、第１の輝度データを得る。
【００３９】
たとえば、露出フレームの参照輝度値を取得することは、次を含み得る。
１）  生データ単位内の画素の平均値を取得して、平均値を参照輝度値として用いる。たとえば、図１に示されるＧＲＢＧベイヤーパターンにおいては、参照輝度値は、（Ｇ＋Ｒ＋Ｂ＋Ｇ）／４であり得る。
【００４０】
または、２）  生データ単位内のＧ画素の平均値を取得して、平均値を参照輝度値として用いる。たとえば、図１に示されるＧＲＢＧベイヤーパターンでは、参照輝度値は、（Ｇ＋Ｇ）／２であり得る。
【００４１】
上記の参照輝度値は、従来の算出方法を用いることにより、または単純な合成により得られ得る。
【００４２】
すなわち、図１に示されるベイヤーパターンでは、合成後のデータ量は、生データの１／４であり、これにより、画像処理プロセスにおけるデータ量が有効に減少される。
【００４３】
上記の実施形態から、生データ単位が、本実施形態における画像処理方法の基本単位として用いられることがわかり得る。まず、異なる露出フレームの生基本単位が、合成などの事前処理され、人間の目に適した第１の輝度データが出力される。次に、補正された生データのＨＤＲ画像に必要な補正パラメータが算出され、生データ単位における各生データが合成され、同一の生データ単位において同一の重み付け係数および補正率を用いることにより、合成前後の色の統一性が確保され得る。人間の目に適した輝度データを用いて合成係数が算出され、これにより、既存の輝度処理後効果が生データの出力ＨＤＲ画像に合成されることが実現され得る。
【００４４】
別の適用シナリオでは、画像処理方法は、次のステップＳ０１〜Ｓ０６に示される。補正パラメータは、重み付け係数および補正率を含み、各露出フレームは、１つの重み付け係数に対応し、すべての露出フレームは、１つの補正率に対応する。
【００４５】
２つの露出フレームは、以下に一例として用いられる。
Ｓ０１．異なる露出時間中の同一のシーンにおいて、第１の露出フレームおよび第２の露出フレームである異なる輝度を有する２つの露出フレームを回収する。
【００４６】
第１の露出フレームの輝度は、第２の露出フレームの輝度より低く、第１の露出フレームの露出時間は、第２の露出フレームの露出時間より短い。Ｒ１は、第１の露出フレームを示し、Ｒ２は、第２の露出フレームを示す。
【００４７】
Ｓ０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。
【００４８】
第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第２の輝度データは、Ｉ２′である。
【００４９】
例示的に、露出フレームの参照輝度値が取得され、参照輝度値は、表を参照する手法で予め設定されたガンマ係数１／２．２を用いることにより補正され、第１の輝度データが得られる。
【００５０】
Ｓ０３．第１の露出フレームについては、第１の輝度データＩ１′に従って第１の露出フレームの重み付け係数ｗ１を取得し；第２の露出フレームについては、第２の輝度データＩ２′に従って第２の露出フレームの重み付け係数ｗ２を取得する。
【００５１】
たとえば、重み付け係数ｗ１およびｗ２は、次の式に従って取得される。
【００５２】
【数１】
2015530834.tif 000003
【００５３】
（式中、ｗ１′およびｗ２′は、重み付け係数を算出するための中間値を示し、δは、ガウス分布係数を示す。）
Ｓ０４．輝度ヒストグラム均等化手法で、第１の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ１″を得；輝度ヒストグラム均等化手法で第２の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ２″を得る。
【００５４】
Ｓ０５．重み付け係数ｗ１およびｗ２、第２の輝度データＩ１″およびＩ２″、ならびに第１の輝度データＩ１′およびＩ２′に従って、すべての露出フレームに対応する補正率αを取得する。
【００５５】
【数２】
2015530834.tif 000004
【００５６】
Ｓ０６．重み付け係数ｗ１およびｗ２ならびに補正率αを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。これは、次の式に示される。
【００５７】
【数３】
2015530834.tif 000005
【００５８】
（式中、Ｒ１は、第１の露出フレームを示し、ｗ１は、第１の露出フレームの重み付け係数を示し、Ｒ２は、第２の露出フレームを示し、ｗ２は、第２の露出フレームの重み付け係数を示し、αは、補正率を示し、Ｒは、補正された生データのＨＤＲ画像を示す。）
したがって、上記の画像処理方法を用いることにより、歪みのない色、輝度、およびコントラストを有する画像を得ることができる。
【００５９】
図４は、本発明の別の実施形態に従った画像処理方法の概略フローチャートである。図４に示されるように、本実施形態の画像処理方法のステップは、次のように説明される。
【００６０】
４０１．異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収する。
【００６１】
４０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データを合成して、合成後の第１の輝度データを得る。
【００６２】
４０３．明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る。
【００６３】
統計ヒストグラム手法は、統計的手法により得られるヒストグラムである。
なお、本明細書における輝度マッピング関数を取得するための方法は、当業者に周知の方法である。
【００６４】
４０４．輝度マッピング関数およびすべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。
【００６５】
上記の実施形態から、画像処理方法において、単一チャンネル生データが用いられて、補正された生データのＨＤＲ画像が直接取得されることにより、処理プロセスにおける算出量が減少されることがわかり得る。上記の画像処理方法では、ヒストグラム均等化、コントラスト調整、および暗領域の輝度向上などの輝度処理方法が用いられる。したがって、生ＨＤＲ画像の色一貫性および輝度統一性を維持することができる。
【００６６】
別の適用シナリオでは、画像処理方法は、次のステップＭ０１〜Ｍ０６に示される。補正パラメータは、重み付け係数および補正率を含み、各露出フレームは、１つの重み付け係数に対応し、すべての露出フレームは、１つの補正率に対応する。
【００６７】
２つの露出フレームが、以下に一例として用いられる。
Ｍ０１．異なる露出時間中の同一のシーンにおいて、第１の露出フレームおよび第２の露出フレームである異なる輝度を有する２つの露出フレームを回収する。
【００６８】
第１の露出フレームの輝度は、第２の露出フレームの輝度より低く、第１の露出フレームの露出時間は、第２の露出フレームの露出時間より短い。Ｒ１は、第１の露出フレーム、短い露出フレーム、および暗露出フレームを示し、Ｒ２は、第２の露出フレーム、長い露出フレーム、および明露出フレームを示す。
【００６９】
Ｍ０２．各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得る。
【００７０】
第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第２の輝度データは、Ｉ２′である。
【００７１】
例示的に、Ｍ０２は、次のサブステップを行うことにより実現され得る。
Ｍ０２１．第１の露出フレームおよび第２の露出フレームの参照輝度値を算出する。
【００７２】
ステップＭ０２１において、参照輝度値を算出するための方法は、従来の輝度算出方法または（Ｒ＋Ｇ＋Ｇ＋Ｂ）／４などの単純な合成であり得る。別の実施形態では、Ｇ画素の値を参照輝度値として直接用いてもよい。
【００７３】
上記で算出されたデータ量は、生データの１／４であり、これにより、次の画像処理プロセスにおいて算出量が有効に減少される。
【００７４】
Ｍ０２２．ガンマ係数を用いることにより上記参照輝度値にガンマ補正を行い、第１の輝度データを得る。
【００７５】
なお、既存のガンマ補正は、ＩＳＰ処理において、画像の輝度およびコントラストに最大の影響を及ぼすステップであるとともに、生データを人間の目に適したデータに変換する１つの重要なステップである。したがって、ステップＭ０２２は、ＩＳＰ処理と同じガンマ係数を用いて参照輝度値を処理する。
【００７６】
実際の適用では、ガンマ係数の値は、１／２．２であり得る。この実施形態では、ガンマ補正は、テーブル参照法を用いることにより実現されてもよい。さらに、生データのビット幅、すなわち、露出フレームの生データは、一般的に、１０ビット、１２ビット、または１４ビットなど比較的大きい。
【００７７】
算出リソースを節約するために、生データ内の初めの８ビットのみがテーブル参照を行うために用いられ、出力値も８−ビットデータであり得る。
【００７８】
すなわち、ガンマ補正後の参照輝度ビット幅は、ベイヤーデータと同じでなくてもよい。ガンマ補正後の輝度データは、Ｉ′として示され、すなわち、第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第２の輝度データは、Ｉ２′である。
【００７９】
Ｍ０３．明露出フレーム（第２の露出フレーム）内の画素の第１の輝度データと暗露出フレーム（第１の露出フレーム）内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得る。
【００８０】
たとえば、輝度マッピング関数は、ｂ＝ｆ（ａ）であり、式中、ａは、明露出フレーム内の画素の輝度値であり、ｆ（ａ）は、暗露出フレーム内の対応する位置における画素の輝度値を示す。
【００８１】
ａおよびｆ（ａ）の各群は、１つのマッピング対と呼ばれ、求められたマッピング対がマッピングとして用いられる。
【００８２】
すなわち、（ａ、ｂ）が、長い露出フレーム（第２の露出フレーム）から短い露出フレーム（第１の露出フレーム）の対応する明度マッピング関数ｆの値である場合、ｂ＝ｆ（ａ）である。
【００８３】
図５Ａ、図５Ｂ、および図５Ｃを参照して、本実施形態の輝度マッピング関数ｂ＝ｆ（ａ）は、第１の露出フレームおよび第２の露出フレームの統計ヒストグラムから容易に得られ得る。
【００８４】
以下の図５Ａは、第１の露出フレームおよび第２の露出フレームのヒストグラムである。単純な累積の後に、図５Ｂの累積ヒストグラムが得られ得る。輝度マッピング後に、図５Ｃに示されるように、輝度マッピング値（第２の線は概略曲線である）が得られ得る。図中、横軸上の第２の露出フレーム（拡張フレーム）の画像に多数の過露出画素が存在する。
【００８５】
Ｍ０４．輝度マッピング関数およびすべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。
【００８６】
具体的には、上記ステップＭ０４は、次のサブステップＭ０４１〜Ｍ０４４を行うことにより実現され得る。
【００８７】
Ｍ０４１．第１の露出フレームについては、第１の輝度データＩ１′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第１の露出フレームの重み付け係数ｗ１を取得し；第２の露出フレームについては、第２の輝度データＩ２′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第２の露出フレームの重み付け係数ｗ２を取得する。
【００８８】
たとえば、重み付け係数ｗ１およびｗ２は、次の式に従って取得される。
【００８９】
【数４】
2015530834.tif 000006
【００９０】
（式中、ｗ１′およびｗ２′は、重み付け係数を算出するための中間値を示し、δは、ガウス分布係数を示す。）
一般的に、長い露出フレーム（第１の露出フレームおよび第２の露出フレームにおいて、より長い露出時間を有する露出フレーム）における暗（Ｉ１′）シーンは、短い露出フレーム（第１の露出フレームおよび第２の露出フレームにおいて、より短い露出時間を有する露出フレーム）における暗（Ｉ２′、より暗く、露出不足となる傾向がある）シーンより適している。
【００９１】
同様に、短い露出フレームにおける明（Ｉ２′）シーンは、長い露出における明（Ｉ１′、より明るく、過露出となる傾向がある）シーンより適しているため、ガウス分布に基づく上記の式を用いて重み付け係数を算出し、正規化を実現する。
【００９２】
Ｍ０４２．輝度ヒストグラム均等化手法で第１の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ１″を得；輝度ヒストグラム均等化手法で第２の露出フレームに輝度処理を行い、処理後の第２の輝度データＩ２″を得る。
【００９３】
例示的に、輝度ヒストグラム均等化方法が採用されるとき、画像のコントラストは著しく変更されるおそれがある。たとえば、ダイナミックレンジが比較的小さいシーンは、高過ぎるコントラストを有する。したがって、マッピング後のヒストグラムを制御するためには、いくつかのキーポイントが使用され得る。たとえば、マッピング後の累積ヒストグラムにおいて２５％に相当する輝度値は、マッピング前の長い露出累積ヒストグラムにおいて２５％に相当する輝度値と、マッピング前の短い露出累積ヒストグラムにおいて２５％に相当する輝度値との間でなければならない。すなわち、Ｉ′2_25≦Ｉ″25≦Ｉ′1_25である。
【００９４】
Ｍ０４３．重み付け係数ｗ１およびｗ２、第２の輝度データＩ１″およびＩ２″、ならびに第１の輝度データＩ１′およびＩ２′に従って、すべての露出フレームに対応する補正率αを取得する。
【００９５】
【数５】
2015530834.tif 000007
【００９６】
なお、第１の露出フレームの露出時間は、第２の露出フレームの露出時間と異なり、これは、輝度が異なることを意味する。単純な合成が対応する画素に行われると、最終的な画像の輝度統一性が損なわれる。したがって、この実施形態では、補正率αが、異なる露出フレームを「１つの同一の露出値」として補正するように設定される。
【００９７】
Ｍ０４４．重み付け係数ｗ１およびｗ２ならびに補正率αを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得る。これは、次の式に示される。
【００９８】
【数６】
2015530834.tif 000008
【００９９】
（式中、Ｒ１は、第１の露出フレームを示し、ｗ１は、第１の露出フレームの重み付け係数を示し、Ｒ２は、第２の露出フレームを示し、ｗ２は、第２の露出フレームの重み付け係数を示し、αは、補正率を示し、Ｒは、生データのＨＤＲ画像を示す。）
輝度マッピング関数に依存する上記の重み付け算出手法の利点の１つは、長い露出フレームおよび短い露出フレームの輝度がマッピング値（ａ，ｂ）と同等であるとき、同一の合成重みを得ることができるため、出力ＨＤＲフレームの質がより高くなることである。
【０１００】
上記の実施形態から、単一チャンネル生データのみが記憶されればよく、これにより、算出量が減少されることがわかり得る。ヒストグラム均等化、コントラスト調整、および暗領域の輝度向上などの輝度処理方法が直接用いられてもよい。生データのＨＤＲ画像の色一貫性および輝度統一性を維持することができる。
【０１０１】
特に、本発明において、従来の処理後ＨＤＲ合成法と比較すると、予めカメラ応答曲線を較正する必要なく、単一チャンネルデータのみを処理すればよく、これにより、記憶コストおよびデータの算出量が有効に減少される。
【０１０２】
図６に示されるように、図６の図Ａは、先行技術の処理後手法で合成されたＨＤＲ画像であり、図Ｂは、処理後合成手法が生データ処理に単純に適用されたＨＤＲ画像である（グレースケールの色およびコントラストは、図Ｂにおいて著しく変更されている）。
【０１０３】
図Ｃは、輝度補正が行われていないＨＤＲ画像であり（カラーチップ中の最終行など、輝度統一性が損なわれている）、図Ｄは、本発明の本実施形態において輝度補正後に取得されたＨＤＲ画像である（色およびコントラストは、現実のシーンにより近い）。
【０１０４】
さらに、上記の例示的な実施形態では、重み付け係数を算出するために、実施形態の一部では輝度マッピング関数が用いられており、重み付け係数を算出するために、実施形態の別の一部では輝度マッピング関数が用いられていない。この実施形態は一切限定を設定するものではなく、輝度マッピング関数は、実際のニーズに従って選択されればよい。
【０１０５】
さらに、本発明の本実施形態で列挙される実現の手法の任意の１つにおいては、重み付け係数は、ガウス分布法を用いることにより取得される。別の実施形態では、ポアソン分布または円錐曲線などの方法を採用して重み付け係数を取得してもよく、この実施形態では、一切限定は設定されない。
【０１０６】
本発明の別の局面によれば、本発明の実施形態はさらに、図７Ａおよび図７Ｂに示される画像処理装置を提供する。図７Ａおよび図７Ｂに示される画像処理装置は、プロセッサ７１とメモリ７２とを含む。
【０１０７】
プロセッサ７１は、異なる露出時間中の同一のシーンにおいて異なる輝度を有する少なくとも２つの露出フレームを回収し、各露出フレーム毎に、当該露出フレーム内に繰返し配列された生データ単位を合成して、合成後の第１の輝度データを得；すべての第１の輝度データに従ってすべての露出フレームの補正パラメータを取得し、補正パラメータを用いることによりすべての露出フレームに重み付け処理を行い、補正された生データのＨＤＲ画像を得るように構成され、メモリ７２は、プロセッサにより回収された異なる輝度を有する少なくとも２つの露出フレームを格納するように構成される。
【０１０８】
実際の適用では、プロセッサ７１は、具体的には、各露出フレーム毎に、当該露出フレームの参照輝度値を取得し、予め設定されたガンマ係数を用いることにより参照輝度値を補正して、第１の輝度データを得る；および／または、すべての第１の輝度データに従って各露出フレームの重み付け係数を取得し；各露出フレームに輝度処理を行い、処理後の第２の輝度データを得；重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得る；および／または、各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いるように構成される。
【０１０９】
随意的には、プロセッサはさらに、明露出フレーム内の画素の第１の輝度データと暗露出フレーム内の対応する位置における画素の第１の輝度データとの相関性を、統計ヒストグラム手法で取得し、輝度マッピング関数を得；輝度マッピング関数およびすべての第１の輝度データに従って各露出フレームの重み付け係数を取得し；各露出フレームに輝度処理を行い、処理後の第２の輝度データを得；重み付け係数、第２の輝度データ、および第１の輝度データに従って、すべての露出フレームに対応する補正率を取得し、重み付け係数および補正率を含む補正パラメータを得；さらに、各露出フレームに対応する、当該露出フレーム内の各画素の、重み付け係数を取得し、補正率に各露出フレーム内の各画素を掛けることにより得られる積を取得し；すべての露出フレーム内の対応する位置における画素に対応する積を合計して、合計後に得られるすべての画素により形成される画像を補正された生データのＨＤＲ画像として用いるように構成される。
【０１１０】
本実施形態のプロセッサは、具体的には、上記の実施形態の任意の１つに記載される画像処理方法を行ってもよい。詳細はここでは再度説明しない。
【０１１１】
上記の実施形態から、本発明の本実施形態の画像処理装置によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従ってすべての輝度フレームの補正パラメータが取得され、補正パラメータを用いることにより露出フレームに重み付け処理を行い、補正されたＲａｗデータのＨＤＲ画像を得ることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかるであろう。
【０１１２】
当業者であれば、方法の実施形態のステップのすべてまたは一部を、関連するハードウェアに指示するプログラムにより実現してもよいことが理解されるであろう。プログラムは、コンピュータ読取可能記憶媒体に格納されてもよい。プログラムが実行されると、方法の実施形態のステップが行われる。上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または光ディスクなどのプログラムコードを格納可能な任意の媒体を含む。
【０１１３】
最後に、上記の実施形態は、本発明の技術的解決策を説明することを意図するに過ぎず、本発明を限定するものでないことに留意されるべきである。上記の実施形態を参照して本発明を具体的に説明したが、当業者であれば、本発明の実施形態の技術的解決策の範囲から逸脱することなしに、上記の実施形態に記載される技術的解決策にさらに改良を行ったり、これらの一部またはすべての技術的特徴に同等の置き換えを行ってもよいことが理解されるべきである。
【図１】
2015530834.tif 000013
【図２】
2015530834.tif 000014
【図３】
2015530834.tif 000015
【図４】
2015530834.tif 000016
【図５Ａ】
2015530834.tif 000017
【図５Ｂ】
2015530834.tif 000018
【図５Ｃ】
2015530834.tif 000019
【図６】
2015530834.tif 000020
【図７Ａ】
2015530834.tif 000021
【図７Ｂ】
2015530834.tif 000022
【手続補正書】
【提出日】平成27年6月16日(2015.6.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第１の輝度データは、Ｉ２′である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
Ｓ０３．第１の露出フレームについては、第１の輝度データＩ１′に従って第１の露出フレームの重み付け係数ｗ１を取得し；第２の露出フレームについては、第１の輝度データＩ２′に従って第２の露出フレームの重み付け係数ｗ２を取得する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第１の輝度データは、Ｉ２′である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
すなわち、ガンマ補正後の参照輝度ビット幅は、ベイヤーデータと同じでなくてもよい。ガンマ補正後の輝度データは、Ｉ′として示され、すなわち、第１の露出フレームの第１の輝度データは、Ｉ１′であり、第２の露出フレームの第１の輝度データは、Ｉ２′である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
Ｍ０４１．第１の露出フレームについては、第１の輝度データＩ１′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第１の露出フレームの重み付け係数ｗ１を取得し；第２の露出フレームについては、第１の輝度データＩ２′および輝度マッピング関数ｂ＝ｆ（ａ）に従って第２の露出フレームの重み付け係数ｗ２を取得する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
上記の実施形態から、本発明の本実施形態の画像処理装置によれば、各露出フレームの第１の輝度データが取得され、さらに、第１の輝度データに従ってすべての露出フレームの補正パラメータが取得され、補正パラメータを用いることにより露出フレームに重み付け処理を行い、補正されたＲａｗデータのＨＤＲ画像を得ることにより、Ｒａｗデータから得られる画像の色、輝度、およびコントラストが著しく歪んでしまう先行技術における課題が解決されることがわかるであろう。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2015530834.tif 000023
【国際調査報告】
2015530834.tif 000024
2015530834.tif 000025
2015530834.tif 000026
2015530834.tif 000027