(57)【要約】  本発明の実施例の提供する方法及び装置は、第一照度図を取得した後に、第一照度図に基づいて第二照度図を生成し、第二照度図はダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は前記第一照度図から抽出され、さらに前記第二照度図をプリセットの色彩チャネル上にマッピングし、且つ前記色彩チャネル上の画像をＨＤＲＩに合成し、以上から分かるように、ＨＤＲＩの生成過程において、照度図の基本層のダイナミックレンジだけを圧縮し、細部層を圧縮せず、従って、元照度図の細部情報を最大限に維持することができ、それによりＨＤＲＩの生成過程において細部の欠損問題を回避する。
2016541185.tif 000002
【特許請求の範囲】
【請求項１】
ＨＤＲＩを生成する方法であって、
第一照度図を取得するステップと、
前記第一照度図に基づいて第二照度図を生成するステップと、
前記第二照度図をプリセットの色彩チャネル上にマッピングするステップと、
前記色彩チャネル上の画像をＨＤＲＩに合成するステップと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層とで合成され、前記基本層および前記細部層は、前記第一照度図から抽出される、
ことを特徴とするＨＤＲＩの生成方法。
【請求項２】
第一照度図を取得する前記ステップは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得するステップと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するステップと、
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは、異なる露出条件を有し、ここで、前記Ｎは画像の数であり、前記Ｎは２以上の整数である、
ことを特徴とする請求項１に記載の方法。
【請求項３】
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成する前記ステップは、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するステップと、
を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記プリセットの目標関数は以下を含み、
【数８】
2016541185.tif 000010
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である、ことを特徴とする請求項３に記載の方法。
【請求項５】
前記色彩チャネル上の画像をＨＤＲＩに合成する前には、各色彩チャネル上の画像をそれぞれガンマ補正するステップを更に含み、
前記色彩チャネル上の画像をＨＤＲＩに合成する前記ステップは、前記色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するステップを含む、
ことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第一照度図に基づいて第二照度図を生成する前記ステップは、
第一照度図の基本層および細部層を抽出するステップと、
前記基本層のダイナミックレンジをプリセットレンジに圧縮するステップと、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップと、
を含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
第一照度図の基本層および細部層を抽出する前記ステップは、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するステップを含み、
ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成する前記ステップは、リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成するステップを含む、
ことを特徴とする請求項６に記載の方法。
【請求項８】
第一照度図を取得する取得モジュールと、
前記第一照度図に基づいて第二照度図を生成する生成モジュールと、
前記第二照度図をプリセットの色彩チャネル上にマッピングするマッピングモジュールと、
前記色彩チャネル上の画像をＨＤＲＩに合成するための合成モジュールと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層で合成され、前記基本層および前記細部層は、前記第一照度図から抽出される；
ことを特徴とするＨＤＲＩを生成する装置。
【請求項９】
前記取得モジュールは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成する方程式生成ユニットと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得する求解ユニットと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得する取得ユニットと、
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは、異なる露出条件を有し、ここで、前記Ｎは画像の数であり、前記Ｎは２以上の整数である、
ことを特徴とする請求項８に記載の装置。
【請求項１０】
前記方程式生成ユニットは、画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するのに用いられ、具体的には、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられる、
ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記方程式生成ユニットは、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
前記プリセットの目標関数は、以下のとおりであり、
【数９】
2016541185.tif 000011
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である、ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記色彩チャネル上の画像をＨＤＲＩに合成する前に、各色彩チャネル上の画像をそれぞれガンマ補正する校正モジュールを更に含む、
ことを特徴とする請求項８〜１０のいずれか一項に記載の装置。
【請求項１３】
前記合成モジュールは、前記色彩チャネル上の画像をＨＤＲＩに合成するのに用いられ、
前記色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するのに用いられる、
ことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記生成モジュールは、
第一照度図の基本層および細部層を抽出する抽出ユニットと、
前記基本層のダイナミックレンジをプリセット範囲に圧縮するための圧縮ユニットと、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するための合成ユニットと、
を含むことを特徴とする請求項８〜１３のいずれか一項に記載の装置。
【請求項１５】
前記抽出ユニットは、第一照度図の基本層および細部層を抽出するのに用いられ、
リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するのに用いられる、
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記合成ユニットは、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられ、
リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられる、
ことを特徴とする請求項１５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特にＨＤＲＩの生成方法及び装置に関する。
【背景技術】
【０００２】
高ダイナミックレンジ画像（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｅ，ＨＤＲＩ）はより広いダイナミックレンジを有し、既存の通常のディスプレイで表示できるダイナミックレンジはＨＤＲＩのダイナミックレンジより遥かに小さい。それによって、ＨＤＲＩを通常のディスプレイでも表示できるように、ＨＤＲＩを生成する場合に、ＨＤＲＩのダイナミックレンジを圧縮する必要がある。
【０００３】
既存のＨＤＲＩ生成方法では、ＨＤＲＩにおいての細部欠損を引き起こしかねない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の事情に鑑み、本発明の実施例はＨＤＲＩの生成方法及び装置を提供し、既存のＨＤＲＩ生成方法でＨＤＲＩにおける細部の欠損問題を解決することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を実現するために、本発明の実施例は以下の技術的解決手段を提供する。
【０００６】
本発明の第一の態様は、ＨＤＲＩの生成方法であって、
第一照度図を取得するステップと、
第一照度図に基づいて第二照度図を生成するステップと、
第二照度図をプリセットの色彩チャネルにマッピングすること、色彩チャネル上の画像をＨＤＲＩに合成するステップと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および前記細部層は、前記第一照度図から抽出されるＨＤＲＩの生成方法を提供する。
【０００７】
本発明の第一の態様における第一の実施形態では、前記第一照度図を取得するステップは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数校正方程式を生成するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づいて、ＱＲ分解アルゴリズムを利用し前記カメラ応答関数校正方程式を解き、カメラ応答関数および照度対数を取得するステップと、
カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するステップと、
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは、異なる露出条件を有し、ここで、前記Ｎは画像の数であり、且つＮは２以上の整数である。
【０００８】
本発明の第一の態様における第二の実施形態では、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するステップは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するステップと、
を含む。
【０００９】
本発明の第一の態様における第三の実施形態では、前記プリセットの目標関数は以下を含む。
【数１】
2016541185.tif 000003
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である。
【００１０】
本発明の第一の態様における第四の実施形態では、前記色彩チャネル上の画像をＨＤＲＩに合成する前に、各色彩チャネル上の画像をそれぞれガンマ補正するステップをさらに含み、
前記各色彩チャネル上の画像をＨＤＲＩに合成するステップは、各色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するステップを含む。
【００１１】
本発明の第一の態様における第五の実施形態では、前記第一照度図に基づいて第二照度図を生成するステップは、
第一照度図の基本層および細部層を抽出するステップと、
前記基本層のダイナミックレンジをプリセットレンジに圧縮するステップと、
ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するステップと、
を含む。
【００１２】
本発明の第一の態様における第六の実施形態では、前記第一照度図の基本層および細部層を抽出するステップは、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するステップを含み、
前記ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップは、リフティングウェーブレット逆変換アルゴリズムを利用して、前記ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップを含む。
【００１３】
本発明の第二の態様はＨＤＲＩの生成装置であって、
第一照度図を取得するための取得モジュールと、
前記第一照度図に基づいて第二照度図を生成するための生成モジュールと、
第二照度図をプリセットの色彩チャネル上にマッピングするためのマッピングモジュールと、
色彩チャネル上の画像をＨＤＲＩに合成するための合成モジュールと、
を含み、
第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は第一照度図から抽出されるＨＤＲＩの生成装置を提供する。
【００１４】
本発明の第二の態様における第一の実施形態では、前記取得モジュールは具体的には、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するための方程式生成ユニットと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づいて、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得するための求解ユニットと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するための取得ユニットと、
を含み、
画像Ｉ１、Ｉ２、・・・・・・ＩＮは異なる露出条件を有し、ここで、Ｎは画像の数であり、且つＮは２以上の整数である。
【００１５】
本発明の第二の態様における第二の実施形態では、前記方程式生成ユニットは、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するのに用いられ、具体的には、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、且つ前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられる。
【００１６】
本発明の第二の態様における第三の実施形態では、前記方程式生成ユニットは、具体的には、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、且つ前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられ、具体的には、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられ、
前記プリセットの目標関数は以下のとおりである。
【数２】
2016541185.tif 000004
式中、Ｍは既知のパラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である。
【００１７】
本発明の第二の態様における第四の実施形態では、前記色彩チャネルの画像をＨＤＲＩに合成する前に、各色彩チャネル上の画像をガンマ補正するための校正モジュールをさらに含む。
【００１８】
本発明の第二の態様における第五の実施形態では、前記合成モジュールは前記色彩チャネル上の画像をＨＤＲＩに合成するのに用いられ、具体的には、
前記色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するのに用いられる。
【００１９】
本発明の第二の態様における第六の実施形態では、前記生成モジュールは、具体的に、
第一照度図の基本層および細部層を抽出するための抽出ユニットと、
基本層のダイナミックレンジをプリセットレンジに圧縮するための圧縮ユニットと、
ダイナミックレンジが圧縮された基本層および前記細部層を第二照度図に合成するための合成ユニットと、
を含む。
【００２０】
本発明の第二の態様における第七の実施形態では、前記抽出ユニットは第一照度図の基本層および細部層を抽出するのに用いられ、具体的には、
リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するのに用いられる。
【００２１】
本発明の第二の態様における第八の実施形態では、合成ユニットはダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するのに用いられ、具体的には、
リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するのに用いられる。
【００２２】
本発明の実施例の提供する方法及び装置は、第一照度図を取得した後、第一照度図に基づいて第二照度図を生成し、第二照度図はダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は前記第一照度図から抽出され、前記第二照度図をプリセットの色彩チャネルにマッピングし、且つ前記色彩チャネル上の画像をＨＤＲＩに合成する。以上から分かるように、ＨＤＲＩの生成過程において、照度図の基本層のダイナミックレンジだけを圧縮し、細部層を圧縮しないため、元照度図の細部情報を最大限に維持することができ、それによりＨＤＲＩの生成過程中において細部の欠損問題を回避できる。
【００２３】
本発明の実施例又は従来技術の技術的解決手段をよりはっきり説明するために、以下は実施例又は従来技術を記述するのに必要な図面を簡単に紹介する。明らかに分かるように、以下の記述する図面は本発明の実施例にすぎず、当業者にとって、創造的な作業を費やさない前提で、これらの図面に基づいてほかの図面を取得することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例の開示するＨＤＲＩの生成方法において、第一照度図に基づいて第二照度図を生成する方法のフローチャートである。
【図２】本発明の実施例の開示するＨＤＲＩの生成方法において、第一照度図に基づいて第二照度図を生成する方法のもう一つのフローチャートである。
【図３】本発明の実施例の開示するＨＤＲＩの生成方法のフローチャートである。
【図４】本発明の実施例の開示するＨＤＲＩの生成方法において求めたカメラ応答関数のグラフである。
【図５】本発明の実施例の開示する方法と従来技術でＨＤＲＩを生成する方法との比較図である。
【図６】本発明の実施例の開示するＨＤＲＩ生成装置の構造概略図である。
【発明を実施するための形態】
【００２５】
本発明の実施例の提供するＨＤＲＩの生成方法及び装置は、その発明の着想は、照度画像の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮しないことによって、画像中の細部を維持する目的を達成することである。
【００２６】
以下は、本発明の実施例の図面と合わせて、本発明の実施例の技術的解決手段に対して、明白、完全な説明を行い、説明する実施例は、明らかに本発明の一部の実施例にすぎず、全部の実施例ではない。本発明の実施例に基づき、当業者が創造的作業を費やさずに取得したその他の実施例は、いずれも本発明の保護範囲に属する。
【００２７】
本発明の実施例は、ＨＤＲＩの生成方法であって、
Ａ：第一照度図を取得するステップと、
Ｂ：第一照度図に基づいて第二照度図を生成するステップと、
Ｃ：前記第二照度図をプリセットの色彩チャネルにマッピングするステップと、
Ｄ：前記色彩チャネル上の画像をＨＤＲＩに合成するステップと、
を含み、
ここで、前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および細部層は、第一照度図から抽出されるＨＤＲＩの生成方法を開示する。
【００２８】
ここで、本実施例中Ｂの具体的な実行プロセスは図１又は図２を参照して示される。
【００２９】
図１に示した方法は以下のステップを含む。
Ｓ１０１：第一照度図の基本層および細部層を抽出する。
通常、照度図は画像中の各画素点の輝度値を表示するために用いられ、照度図の基本層は照度図の低周波数情報を指し、つまり照度図の主要なエネルギー成分であり、細部層は照度図の高周波数情報を指し、従って細部層は照度図の細部情報を含む。
【００３０】
Ｓ１０２：前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
ダイナミックレンジとは、測定すべき物理量の最大値と最小値との比率を指し、異なる対象に対して、ダイナミックレンジは異なる意味を有し、デジタル画像に対しては、ダイナミックレンジＤはデジタル画像中の輝度値の最大値と最小値との比率を指す。
Ｄ＝Ｌｍａｘ／Ｌｍｉｎ
式中、輝度単位は、カンデラ／平方メートル（ｃｄ／ｍ２）で示す。
【００３１】
画像のダイナミックレンジは自然シーンでの最大輝度領域および最小輝度領域の細部を同じ画像の中で同時に表現する能力を制限する。実在の自然シーンでは、輝度が非常に広いダイナミックレンジ（９桁を超える１０−４〜１０−５  ｃｄ／ｍ２）を有し、人の視覚システムは約５桁のダイナミックレンジのシーン輝度を感知することができる。既存のディスプレイが発せられる輝度範囲は約２桁である。明らかに分かるように、ディスプレイと実在の世界の自然シーンとの間には輝度範囲上にマッチングできない矛盾が存在する。
【００３２】
本実施例において、基本層のダイナミックレンジをプリセットレンジに圧縮する具体的な実施形態は既存の方法を参照してもよい。例えば、基本層のダイナミックレンジを１より小さい数値に掛けて、プリセットレンジに圧縮し、このデータの具体値はプリセットレンジに基づいて設定することができ、画像の表示角度からいうと、プリセットレンジはディスプレイの表示できるダイナミックレンジであるが、本実施例はこれに対して限定しない。
【００３３】
Ｓ１０３：ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
【００３４】
図１に示した方法のように、照度図のダイナミックレンジを圧縮する場合に、照度図の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮せず、それによって細部情報の完全性を最大限に保証し、細部の欠損を回避することができる。
【００３５】
さらに、図２に示した方法は以下を含む。
Ｓ２０１：リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出する。
本実施例では、リフティングウェーブレット演算子の特性に基づいて、細部層の数は３であってもよく、即ち細部層は３つの異なる方向の細部層を含む。
【００３６】
Ｓ２０２：前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
Ｓ２０３：リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
【００３７】
図２に示した方法では、照度図により基本層および細部層を抽出するために用いられるのはリフティングウェーブレット変換アルゴリズムであるが、ダイナミックレンジが圧縮された基本層と前記細部層とを合成するために用いられるのはリフティングウェーブレット逆変換アルゴリズムである。リフティングウェーブレット変換および逆変換は簡単で迅速に利用できるため、本実施例の前記方法は画像の細部欠損を回避できるほか、簡単で迅速に利用できる特徴を有し、従って、ハードウェアを実現しやすく、且つより高い演算効率を有する。
【００３８】
説明が必要なのは、リフティングウェーブレット変換というアルゴリズムを利用するのは、本実施例の好ましい方法にすぎず、これに限定されない。
【００３９】
以下は上記ＨＤＲＩの生成方法について詳細に説明する。図３に示した通り、ＨＤＲＩの生成方法の具体的なプロセスは以下のステップを含む。
Ｓ３０１：画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成する。前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは異なる露出条件を有し、そのうち、前記Ｎは画像の数であり、且つＮは２以上の整数である。
Ｓ３０１の具体的な実施形態は以下のステップを含む。
１）前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得する。
２）前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得する。
【００４０】
ここで、目標関数は以下である。
【数３】
2016541185.tif 000005
式中、Ｍは既知のパラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である。
【００４１】
目標関数を設定する原理は以下である。
１）応答曲線とシーン照度Ｅｉ、露出時間Δｔｊとデジタル画像の画素値Ｚｉ，ｊとの関係を定義する。
Ｚｉ，ｊ＝ｆ（Ｅｉ×Δｔｊ）
２）カメラの応答曲線は平らで単調であると仮定すると、関数fは可逆的で、上記方程式に対して逆対数ｇ＝Ｉｎｆ−１を導出する。
ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊ
３）Ｚの極値はＺｍｉｎおよびＺｍａｘであり、以下の目標関数を確立する。
【数４】
2016541185.tif 000006
一つの画像のすべての画素点には、露出過多および露出不足の画素点が存在するため、往々にして目標関数内に最も簡単な重み関数を導入する。
【数５】
2016541185.tif 000007
式中、Ｚｍｉｄ＝（Ｚｍｉｎ＋Ｚｍａｘ）／２である。
【００４２】
最終の目標関数は以下である。
【数６】
2016541185.tif 000008
Ｓ３０２：前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数校正方程式を解き、カメラ応答関数および照度対数を取得する。
ＱＲ分解アルゴリズムは、先ず係数行列を直交行列と上三角行列との乗積に分解して、後退代入によって解く方法であり、既存の特異値分解によって解く方法に比べて、ＱＲ分解アルゴリズムの方がより簡単で、より容易にハードウェアを実現できる。
【００４３】
カメラ応答関数の曲線は図４に示す通りである。
【００４４】
Ｓ３０３：前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得する。
このステップの具体的な実現プロセスは従来技術と類似するので、ここでは述べる必要はない。
【００４５】
Ｓ３０４：リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および３つの異なる方向の細部層を抽出する。
Ｓ３０５：前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
Ｓ３０６：リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
Ｓ３０７：前記第二照度図をＲ、Ｇ、Ｂ色彩チャネル上にマッピングする。
Ｓ３０８：各色彩チャネル上の画像をそれぞれガンマ補正する。
Ｓ３０９：前記Ｒ、Ｇ、Ｂ色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成する。
【００４６】
ガンマ補正することは画像をディスプレイで表示する場合の輝度偏差を校正することができるため、ガンマ補正して合成されたＨＤＲＩのコントラスト比を大幅に向上させることができる。
【００４７】
以上のステップから分かるように、本実施例の前記ＨＤＲＩの生成方法は、スピードがより速く、ハードウェアをより実現しやすく、画像Ｉ１、Ｉ２、・・・・・・ＩＮからＨＤＲＩまでのプロセスにおいて画像細部の部分的欠損を回避することができ、さらに、細部を完全に維持することができるため、ＨＤＲＩにおいてハレーションの発生を大いに減少することができる等の利点を有する。且つ、本実施例の前記方法で生成したＨＤＲＩはより良いコントラスト比を有する。
【００４８】
出願人は研究過程において、既存の方法に比べて、本発明の実施例の前記方法ではよりはっきりしたＨＤＲＩが得られ、図５に示したように、左列は本発明の実施例の前記方法で得られたＨＤＲＩであり、右列は既存の方法で得られたＨＤＲＩであり、その表示効果から見ると、左列のほうは細部がよりはっきりして、コントラスト比がより人の目にやさしい。
【００４９】
上記方法の実施例と対応して、本発明の実施例はさらにＨＤＲＩの生成装置を提供し、図６に示したように、生成装置は、
第一照度図を取得するための取得モジュール６０１と、
前記第一照度図に基づいて第二照度図を生成するための生成モジュール６０２と、
第二照度図をプリセットの色彩チャネル上にマッピングするためのマッピングモジュール６０３と、
色彩チャネル上の画像をＨＤＲＩに合成するための合成モジュール６０４と、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および細部層は前記第一照度図から抽出される。
【００５０】
本実施例では、好ましくは、前記色彩チャネルの画像をＨＤＲＩに合成する前に、各色彩チャネルの画像をガンマ補正するための校正モジュール６５０をさらに含む。
【００５１】
校正モジュールを有する状況下で、前記合成モジュールは具体的に、前記色彩チャネルにおいてガンマ補正された画像をＨＤＲＩに合成する。
【００５２】
前記抽出ユニットは具体的に、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出する。前記合成ユニットは具体的に、リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
【００５３】
本実施例で、取得モジュール６０１は具体的に、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するための方程式生成ユニット６０１１と、
画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用してカメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を得るための求解ユニット６０１２と、
カメラ応答関数および照度対数に基づいて、第一照度図を得るための取得ユニット６０１３と
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは異なる露出条件を有し、ここで、前記Ｎは２以上の整数である。
【００５４】
具体的には、前記方程式生成ユニットは画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成し、具体的な実施形態は以下のとおりである。
前記方程式生成ユニットは具体的に、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得る。
【００５５】
さらに、前記プリセットの目標関数は以下のとおりである。
【数７】
2016541185.tif 000009
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である。
【００５６】
本実施例において、具体的には、生成モジュール６０２は具体的に、
第一照度図の基本層および細部層を抽出するための抽出ユニット６０２１と、
前記基本層のダイナミックレンジをプリセット範囲に圧縮するための圧縮ユニット６０２２と、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するための合成ユニット６０２３と、
を含む。
【００５７】
本発明の前記装置は、照度図のダイナミックレンジを圧縮する場合に、照度図の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮しない。それによって、細部情報の完全性を最大限に保証し、細部の欠損を回避することができる。
【００５８】
具体的には、本実施例において、前記抽出モジュールはリフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出することができる。前記合成モジュールはリフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成することができる。リフティングウェーブレット変換とその逆変換とは簡単で容易に利用できるため、本実施例の前記装置は画像の細部欠損を回避できるほか、簡単で容易に利用できる特徴を有し、従って、ハードウェアを実現しやすく、より高い演算効率を有する。
【００５９】
本実施例の方法の前記機能はソフトウェア機能ユニットの形式で実現し独立の製品として販売したり利用したりする場合、計算装置の読み出し可能な記憶媒体に記憶することができる。このような理解に基づいて、本発明の実施例は従来技術に寄与した部分又はこの技術的解決手段の部分はソフトウェア製品の形式で表現することができ、このソフトウェア製品は記憶媒体に記憶され、計算装置（パソコン、サーバ、モバイルコンピュータ又はネット設備等でもよい）が本発明の各実施例の前記方法の全部又は部分的なステップを実行できるような複数のコマンドを含む。前記記憶媒体は、ＵＳＢメモリ、ポータブルハードウェア、読み出し専用メモリ（ＲＯＭ，Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、光ディスク等様々のプログラムコードを記憶できる媒体を含む。
【００６０】
本明細書の各実施例は漸進的な方法で記述し、各実施例の重点説明はほかの実施例と異なる点があり、各実施例の間に同じ又は類似部分は互いに参照すればよい。
【００６１】
開示した実施例に対する上記説明に基づいて、当業者は本発明を実現したり利用したりすることができる。これらの実施例に対する多種の修正は当業者にとっては明らかであり、本発明の定義した一般原理は本発明の趣旨又は範囲を離脱しない状況下、ほかの実施例で実現できる。従って、本発明は本文に示したこれらの実施例に限定されず、本文に開示した原理と新規な特徴と一致する最も広い範囲に適用する。
【図１】
2016541185.tif 000012
【図２】
2016541185.tif 000013
【図３】
2016541185.tif 000014
【図４】
2016541185.tif 000015
【図５】
2016541185.tif 000016
【図６】
2016541185.tif 000017
【手続補正書】
【提出日】平成28年6月6日(2016.6.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＨＤＲＩを生成する方法であって、
第一照度図を取得するステップと、
前記第一照度図に基づいて第二照度図を生成するステップと、
前記第二照度図をプリセットの色彩チャネル上にマッピングするステップと、
前記色彩チャネル上の画像をＨＤＲＩに合成するステップと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層とで合成され、前記基本層および前記細部層は、前記第一照度図から抽出される、
ことを特徴とするＨＤＲＩの生成方法。
【請求項２】
第一照度図を取得する前記ステップは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得するステップと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するステップと、
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは、異なる露出条件を有し、ここで、前記Ｎは画像の数であり、前記Ｎは２以上の整数である、
ことを特徴とする請求項１に記載の方法。
【請求項３】
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成する前記ステップは、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得するステップと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するステップと、
を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記プリセットの目標関数は以下を含み、
【数８】
2016541185.tif 000018
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である、ことを特徴とする請求項３に記載の方法。
【請求項５】
前記色彩チャネル上の画像をＨＤＲＩに合成する前には、各色彩チャネル上の画像をそれぞれガンマ補正するステップを更に含み、
前記色彩チャネル上の画像をＨＤＲＩに合成する前記ステップは、前記色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するステップを含む、
ことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第一照度図に基づいて第二照度図を生成する前記ステップは、
第一照度図の基本層および細部層を抽出するステップと、
前記基本層のダイナミックレンジをプリセットレンジに圧縮するステップと、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップと、
を含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
第一照度図の基本層および細部層を抽出する前記ステップは、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するステップを含み、
ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成する前記ステップは、リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成するステップを含む、
ことを特徴とする請求項６に記載の方法。
【請求項８】
請求項１から請求項７のいずれか１つに記載の方法をコンピュータに実行させるためのプログラム。
【請求項９】
第一照度図を取得する取得モジュールと、
前記第一照度図に基づいて第二照度図を生成する生成モジュールと、
前記第二照度図をプリセットの色彩チャネル上にマッピングするマッピングモジュールと、
前記色彩チャネル上の画像をＨＤＲＩに合成するための合成モジュールと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層で合成され、前記基本層および前記細部層は、前記第一照度図から抽出される；
ことを特徴とするＨＤＲＩを生成する装置。
【請求項１０】
前記取得モジュールは、
画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成する方程式生成ユニットと、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮから選択されたサンプリング画素に基づき、ＱＲ分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得する求解ユニットと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得する取得ユニットと、
を含み、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮは、異なる露出条件を有し、ここで、前記Ｎは画像の数であり、前記Ｎは２以上の整数である、
ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記方程式生成ユニットは、画像Ｉ１、Ｉ２、・・・・・・ＩＮに基づいてカメラ応答関数の指定連立方程式を生成するのに用いられ、具体的には、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられる、
ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記方程式生成ユニットは、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを取得し、前記画像Ｉ１、Ｉ２、・・・・・・ＩＮを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
前記プリセットの目標関数は、以下のとおりであり、
【数９】
2016541185.tif 000019
式中、Ｍは既知パラメータにおける各画像の画素点数であり、ｇ（ｚｉ，ｊ）＝IｎＥｉ＋ＩｎΔｔｊであり、Ｅｉはシーン照度であり、Δｔｊは現在画像Ｚｉ，ｊの露出時間であり、Ｚｉ，ｊは現在画像の画素値であり、λは制御パラメータであり、ω（Ｚｉ，ｊ）は現在画像Ｚｉ，ｊの重み関数であり、Ｚｍｉｎは現在画像の画素最小値であり、Ｚｍａｘは現在画像の画素最大値である、ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記色彩チャネル上の画像をＨＤＲＩに合成する前に、各色彩チャネル上の画像をそれぞれガンマ補正する校正モジュールを更に含む、
ことを特徴とする請求項９〜１１のいずれか一項に記載の装置。
【請求項１４】
前記合成モジュールは、前記色彩チャネル上の画像をＨＤＲＩに合成するのに用いられ、
前記色彩チャネル上のガンマ補正された画像をＨＤＲＩに合成するのに用いられる、
ことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記生成モジュールは、
第一照度図の基本層および細部層を抽出する抽出ユニットと、
前記基本層のダイナミックレンジをプリセット範囲に圧縮するための圧縮ユニットと、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するための合成ユニットと、
を含むことを特徴とする請求項９〜１４のいずれか一項に記載の装置。
【請求項１６】
前記抽出ユニットは、第一照度図の基本層および細部層を抽出するのに用いられ、
リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するのに用いられる、
ことを特徴とする請求項１５に記載の装置。
【請求項１７】
前記合成ユニットは、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられ、
リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられる、
ことを特徴とする請求項１６に記載の装置。
【国際調査報告】
2016541185.tif 000020
2016541185.tif 000021
2016541185.tif 000022
2016541185.tif 000023