(57)【要約】【課題】高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法及び装置を提供する。【解決手段】高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法は、（ａ）ピクセルの対応する第一輝度値を、第一輝度値の第一輝度範囲より小さい第二輝度範囲を有する第二輝度値に変換し、（ｂ）視覚効果を低ダイナミックレンジ画像に添加しないフィルム複写関数を利用して、ピクセルの対応する第二輝度値を複数の第三輝度値にマッピングして低ダイナミックレンジ画像を生じさせるなどのステップを含む。【選択図】図１
2005284534.tif 000002
【特許請求の範囲】
【請求項１】
高ダイナミックレンジ（ＨＤＲ）画像を低ダイナミックレンジ（ＬＤＲ）画像に変換する方法において、ＨＤＲ画像はそれぞれ第一輝度値に対応する複数のピクセルを有し、当方法は、
（ａ）ピクセルの対応する第一輝度値を、第一輝度値の第一輝度範囲より小さい第二輝度範囲を有する第二輝度値に変換し、
（ｂ）視覚効果をＬＤＲ画像に添加しないフィルム複写関数を利用して、ピクセルの対応する第二輝度値を複数の第三輝度値にマッピングしてＬＤＲ画像を生じさせるなどのステップを含むことを特徴とするＨＤＲ画像をＬＤＲ画像に変換する方法。
【請求項２】
前記方法は更に、
（ｃ）ヒストグラム等化を行ってピクセルの第二輝度値を調整するステップを含むことを特徴とする請求項１記載のＨＤＲ画像をＬＤＲ画像に変換する方法。
【請求項３】
前記ステップ（ｃ）は更に、
第二輝度値に対応するピクセルの総数が予定限度を超えないようにするステップを含むことを特徴とする請求項２記載のＨＤＲ画像をＬＤＲ画像に変換する方法。
【請求項４】
前記ステップ（ａ）は全体諧調圧縮法で行われることを特徴とする請求項１記載のＨＤＲ画像をＬＤＲ画像に変換する方法。
【請求項５】
画像処理システムは、
それぞれ第一輝度値に対応する複数のピクセルを有するＨＤＲ画像を生じさせるための画像発生器と、
ピクセルの対応する第一輝度値を、第一輝度値の第一輝度範囲より小さい第二輝度範囲を有する第二輝度値に変換すると同時に、フィルム複写関数を利用して、ピクセルの対応する第二輝度値を複数の第三輝度値にマッピングし、視覚効果を添加せずにＬＤＲ画像を生じさせる画像処理ロジックとを含むことを特徴とする画像処理システム。
【請求項６】
前記画像処理システムがデジタルカメラであることを特徴とする請求項５記載の画像処理システム。
【請求項７】
前記画像発生器は露光条件が異なる複数の画像を取り込んでＨＤＲ画像を生じさせることを特徴とする請求項５記載の画像処理システム。
【請求項８】
前記画像処理ロジックはヒストグラム等化を行ってピクセルの第二輝度値を調整することを特徴とする請求項５記載の画像処理システム。
【請求項９】
前記画像処理ロジックは、第二輝度値に対応するピクセルの総数が予定限度を超えないようにすることを特徴とする請求項８記載の画像処理システム。
【請求項１０】
前記画像処理ロジックは全体諧調圧縮を行って第一輝度値を第二輝度値に変換することを特徴とする請求項５記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理方法及びその関連装置に関し、特に高ダイナミックレンジ画像を低ダイナミックレンジ画像に変換する方法及びその関連装置に関する。
【背景技術】
【０００２】
ダイナミックレンジとは、画面の輝度の最大値と最小値との比率である。ＣＲＴまたは液晶ディスプレイのダイナミックレンジはおよそ２５０：１であり、可視色域の半分を占めている。しかし、人間の視覚系は１００００：１を超えるダイナミックレンジを有する。一定の明るさという条件があれば、人間は１００００種類の色を区別できる。なお、ＣＧＩ（コンピューター作像）の画像強度値の最大値と最小値は３０００：１である。
【０００３】
通常表示装置が表示する画像は２５６階調のグレイレベルに対応する。即ち、それぞれのカラーチャンネル（Ｒ、Ｇ、Ｂ）は８ビットで定められることである。したがって、グレイレベルの最小値は０であって最大値は２５５である。前述によれば、実景のダイナミックレンジは表示装置が表示できるダイナミックレンジをはるかに超えていることがわかる。
【０００４】
ダイナミックレンジの高い画像は通常、高ダイナミックレンジ画像（以下ＨＤＲ画像と略する）と呼ばれる。従来の技術によれば、ＨＤＲ画像を直接に取り込んで表示する方法はない。ＨＤＲ画像を取り込む技術は現存しているが、同じ画面には多重露光を行わなければならないため、同じ画面でも相違した複数の画像はとられる（露光条件の相違によって画像も相違する）。続いて、複数の画像を従来のアルゴリズムで組み合わせることによって、画面の真の放射輝度レベルを求めるとともにそのＨＤＲ画像を取り込む。
【０００５】
ＨＤＲ画像を取り込んだ後、画像の保存は問題となる。現存の画像形式は通常、従来の表示装置に適用する。前述の通りに、８ビットで画像のカラーチャンネルを保存することによって表示装置を正確に駆動する。ただし、従来の画像形式はＨＤＲ画像に適しないので、ＨＤＲ画像に適する画像形式は続々と開発される。デジタル画像のダイナミックレンジを増大するには、各カラーチャンネルのビット数を増加するのが普通である。例えば、ＬｏｇＬｕｖはピクセルごとに４バイトを使用する。そのうち輝度Ｙの対数値を暗号化するには２バイト、ＬＵＶカラースペースのＵチャンネルとＶチャンネルを暗号化するには２バイトをそれぞれ使用する。
【０００６】
その次、ＨＤＲ画像を利用して画面を表示装置に再現するためのトーンマッピングは必要である。トーンマッピングはＨＤＲ画像に記録される輝度値を低ダイナミックレンジの輝度値に変換して低ダイナミックレンジの表示装置を駆動する。したがって、トーンマッピングの主な目的は、ダイナミックレンジを表示装置に適するように圧縮することである。周知の通り、調子再現曲線（ＴＲＣ）または調子再現演算子（ＴＲＯ）はいずれもＨＤＲ画像に適用する。調子再現曲線を例にすれば、各ピクセルは現在の輝度値から表示装置が表示できるダイナミックレンジ内にある表示強度に変わる。調子再現曲線は空間分布と無関係である変換関数に対応し、ＨＤＲ画像におけるピクセルはいずれも同じ変換関数によって処理される。一方、調子再現演算子は空間的関係を利用して各ピクセルの輝度を調整する。即ち、ピクセルの輝度が異なっても表示装置のダイナミックレンジ内に同じ表示強度に対応する可能性がある。
【０００７】
トーンマッピングはＨＤＲ画像の表示品質を調整することもできる。例えば、トーンマッピングは肉眼の反応を模擬することができる。ＨＤＲ画像は露光条件が異なる複数の画像によって組み合わせられたもので、人間の視覚効果を含まない。しかし人間の視覚系は、例えば、明るくなれば実景がまぶしくなり、暗くなれば実景がぼやけるなど、さまざまな視覚効果を感知できる。よって、従来のトーンマッピングはＨＤＲ画像から処理された低ダイナミックレンジ画像（以下ＬＤＲ画像と称する）に人間の視覚効果を添加する。表示装置に表示されるＬＤＲ画像は実景に対応するが、このような視覚効果を添加することによって、画像品質の低下は不可避である。のみならず、視覚効果の添加は複雑な演算を要求するので、処理速度を遅らせる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は前述の問題を解決するため、ＨＤＲ画像を相応のＬＤＲ画像に変換する方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
この発明はＨＤＲ画像をＬＤＲ画像に変換する方法を提供する。ＨＤＲ画像はそれぞれ第一輝度値に対応する複数のピクセルを有する。当方法は、（ａ）ピクセルの対応する第一輝度値を、第一輝度値の第一輝度範囲より小さい第二輝度範囲を有する第二輝度値に変換し、（ｂ）視覚効果をＬＤＲ画像に添加しないフィルム複写関数を利用して、ピクセルの対応する第二輝度値を複数の第三輝度値にマッピングしてＬＤＲ画像を生じさせるなどのステップを含む。
【００１０】
この発明は更に画像処理システムを提供する。当システムは、それぞれ第一輝度値に対応する複数のピクセルを有するＨＤＲ画像を生じさせるための画像発生器と、ピクセルの対応する第一輝度値を、第一輝度値の第一輝度範囲より小さい第二輝度範囲を有する第二輝度値に変換すると同時に、フィルム複写関数を利用して、ピクセルの対応する第二輝度値を複数の第三輝度値にマッピングし、視覚効果を添加せずにＬＤＲ画像を生じさせる画像処理ロジックとを含む。
【発明の効果】
【００１１】
この発明はフィルム複写Ｓ曲線を利用して、視覚効果を含まないリアルなＬＤＲ画像を生じさせる。フィルム複写Ｓ曲線を利用することによって、輝度値が中間輝度範囲にあるピクセルのコントラストは最適化される。なお、フィルム複写Ｓ曲線はあらかじめ定義されるものであってトーンマッピング途中で計算する必要がないため、画像処理効能は向上される。
【発明を実施するための最良の形態】
【００１２】
かかる方法及び装置の特徴を詳述するために、具体的な実施例を挙げ、図示を参照にして以下に説明する。
【実施例１】
【００１３】
図１を参照する。図１はこの発明によるトーンマッピングのフローチャートである。図１によれば、ステップ１００において、ＨＤＲ画像をロードする。ＨＤＲ画像は前述の通りに、露光条件が異なる複数の画像からなるので、そのダイナミックレンジは表示装置が表示できるダイナミックレンジを超えている。そのため、ＨＤＲ画像のダイナミックレンジは表示装置に適するように圧縮しなければならない。なお、人間の視覚系は絶対輝度より局所的な輝度変化に敏感であるので、ステップ１０２において全体階調圧縮でダイナミックレンジを圧縮して全体照度差を低める。演算の複雑さを解消するため、以下のような空間不変演算子を使用することが可能である。
【００１４】
【数１】
2005284534.tif 000003
分母Ｌｗ（ｘ，ｙ）はＨＤＲ画像におけるピクセル（ｘ，ｙ）の初期輝度（ｒａｗ  ｌｕｍｉｎａｎｃｅ）を示し、Ｌｄ（ｘ，ｙ）はピクセル（ｘ，ｙ）の拡縮後輝度（ｓｃａｌｅｄ  ｌｕｍｉｎａｎｃｅ）を示す。図２を参照する。図２はこの発明による全体階調圧縮を表す説明図である。図２によれば、Ｌｄ（ｘ，ｙ）は表示装置に適用する正規化グレイレベルを示し、言い換えれば、Ｌｄ（ｘ，ｙ）は０と１との間に介する。Ｌｗ（ｘ，ｙ）は高い輝度値（Ｌｗ（ｘ，ｙ）に正規化される）に対応しながら、Ｌｄ（ｘ，ｙ）は低い輝度値（「１」に正規化される）に対応する。方程式（１）の分母はＬｄ（ｘ，ｙ）が０と１との間に介するようにさせ、方程式（１）は初期輝度値を表示可能のダイナミックレンジ内に変換することを確保する。例えば、初期輝度値は表示装置に適する輝度値に圧縮される。
【００１５】
続いて、ステップ１０４においてヒストグラム等化を行い、画像のコントラストを改善する。ヒストグラム等化は調整された画像のヒストグラムを均一ヒストグラムに変換する。ヒストグラムを等化するには累積度数分布Ｐ（ｂ）が必要であれば、その定義は以下の通りである。
【００１６】
【数２】
2005284534.tif 000004
そのうち、Ｔはヒストグラムのエントリーの総数を示す。したがって、Ｐ（ｂｉ）はヒストグラムにある升目（ｂｉｎ）ｂｉの度数分布であり、ｆ（ｂｉ）はビンｂｉの度数カウントである。ヒストグラム等化を行うと、輝度値が同じ確率分布を有する出力画像は得られる。等化用の方程式は以下の通りである。
【００１７】
【数３】
2005284534.tif 000005
そのうち、Ｂｄは調整された表示輝度を示し、Ｂは初期輝度を示す。ｌｏｇ（Ｌｄｍｉｎ）は表示装置の最小輝度値を示し、ｌｏｇ（Ｌｄｍａｘ）は表示装置の最大輝度値を示す。このように入力画像のピクセル輝度値を再配分した後、出力画像のコントラストは大幅に向上される。
【００１８】
しかし、半分以上のピクセル輝度値が０．２＊Ｌｄｍａｘを下回る場合、小さい輝度範囲［０，０．２＊Ｌｄｍａｘ］は表示装置の表示輝度値の半分しか占めないので、調整された画像のコントラストは過度に強調されるおそれがある。例えば、ピクセル間の輝度差がヒストグラム等化によって拡大されるとともに、画像は不自然になる。そのため、ステップ１０６において、画像コントラストの異常拡大を防止するためのヒストグラム調整は行われる。ヒストグラム調整は上限条件で画像コントラストを制限する。その上限条件は以下の通りである。
【００１９】
【数４】
2005284534.tif 000006
方程式（４）において、画像コントラストは従来の線形正規化演算子（その傾きはＬｄ／Ｌ）から得られる画像コントラストを超えることない。前述の方程式（２）から以下の通りの不等式は得られる。
【００２０】
【数５】
2005284534.tif 000007
そのうち、Δｂは［ｌｏｇ（Ｌｍａｘ）−ｌｏｇ（Ｌｍｉｎ）］／Ｎである。Ｎはヒストグラムにある升目の数量であり、ｌｏｇ（Ｌｍａｘ）は初期画像の最大輝度であり、ｌｏｇ（Ｌｍｉｎ）は初期画像の最小輝度である。よってΔｂは升目の大きさに対応する。方程式（５）によれば、ヒストグラムにある升目の度数カウントが上限（Ｌｄ／Ｌ）を超えなければ、調整された画像のコントラストは異常に拡大されることがない。
【００２１】
ステップ１０８において、フィルム複写Ｓ曲線でマッピング演算を行うことによって、ステップ１１０において最終のＬＤＲ画像を生じさせる。図３を参照する。図３はこの発明によるフィルム複写Ｓ曲線の一例を表す説明図である。Ｓ曲線１０は写真フィルムの感光反応曲線に対応する。図３によれば、中間範囲（１０〜１０００）の入力輝度値は出力輝度値のほぼ全体を占める。言い換えれば、フィルム複写Ｓ曲線１０は画像の中間範囲輝度領域のコントラストを増加する。したがって、高輝度領域と低輝度領域との間のコントラストは縮小され、最終のＬＤＲ画像の品質は向上される。
【００２２】
この発明によるトーンマッピングはＨＤＲ画像をＬＤＲ画像に変換する画像処理システムに適用する。図４を参照する。図４はこの発明による画像処理システムのブロック図である。画像処理システム２０は画像発生器２２と画像処理ロジック２４とを含む。画像発生器２２は高ダイナミックレンジ画像を生じさせ、画像処理ロジック２４はトーンマッピングを行ってＨＤＲ画像をＬＤＲ画像に変換するものである。例えば、画像処理システム２０はデジタルカメラであり、画像発生器２２は入射光を取り込んで画像を生じさせるＣＣＤ（電荷結合素子）モジュールと、ＣＣＤモジュールの露光を制御するシャッターを含む。画像発生器２２はＣＣＤモジュールで撮像してから、シャッターで露光状態が異なる複数の画像を生じさせる。続いて、画像発生器２２は従来の技術によって複数の画像をＨＤＲ画像として組み合わせる。
【００２３】
続いて、画像処理ロジック２４でＨＤＲ画像を処理する。画像処理ロジック２４は前述のステップ１０２、１０４、１０６、１０８を行い、要求通りのＬＤＲ画像を生じさせる。画像処理ロジック２４は簡単なフィルム複写関数を使用するデジタルシグナルプロセッサー（ＤＳＰ）であるため、関連の演算は複雑ではない。一般に、デジタルカメラは画像をプレビューするための小型ＬＣＤディスプレイを含む。画像処理ロジック２４は簡単なフィルム複写関数を使用するので、優れている画像処理効能を有するのみならず、使用者は即時にＬＣＤディスプレイでＬＤＲ画像をプレビューできる。なお、視覚効果を含まない高品質のＬＤＲ画像は得られる。
【実施例２】
【００２４】
この発明のその他の実施例において、画像発生器２２は撮像して露光条件が異なる複数の画像を生じさせるのみで、ＨＤＲ画像への変換は画像処理ロジック２４によって行われる。同じく、画像処理ロジック２４は前述のステップ１０２、１０４、１０６、１０８を行い、要求通りのＬＤＲ画像を生じさせる。
【００２５】
実施例１と同じく、画像処理システム２０はデジタルカメラであり、画像発生器２２と画像処理ロジック２４は同じハウジング内にある。しかし、画像処理システム２０が複数の独立した装置からなることも可能である。例えば、画像発生器２２はデジタルカメラであり、画像処理ロジック２４はホストコンピューターである。この場合は、画像発生器２２の出力画像データを外部の画像処理ロジック２４に送信してから、後続の画像処理を実行する。
【００２６】
以上はこの発明に好ましい実施例であって、この発明の実施の範囲を限定するものではない。よって、当業者のなし得る修正、もしくは変更であって、この発明の精神の下においてなされ、この発明に対して均等の効果を有するものは、いずれもこの発明の特許請求の範囲に属するものとする。
【産業上の利用可能性】
【００２７】
この発明はフィルム複写Ｓ曲線を利用して、視覚効果を含まないリアルなＬＤＲ画像を生じさせるものであり、フィルム複写Ｓ曲線は画像のコントラストを最適化するのみならず、画像処理効能を向上させる。
【図面の簡単な説明】
【００２８】
【図１】この発明によるトーンマッピングのフローチャートである。
【図２】この発明による全体階調圧縮を表す説明図である。
【図３】この発明によるフィルム複写Ｓ曲線の一例を表す説明図である。
【図４】この発明による画像処理システムのブロック図である。
【符号の説明】
【００２９】
１０      フィルム複写Ｓ曲線
２０      画像処理システム
２２      画像発生器
２４      画像処理ロジック
【図１】
2005284534.tif 000008
【図２】
2005284534.tif 000009
【図３】
2005284534.tif 000010
【図４】
2005284534.tif 000011