(57)【要約】【課題】画像のダイナミックレンジが狭くなるように変換する際、ダイナミックレンジを線形に圧縮するとコントラストが低下し、また、ダイナミックレンジをクリッピングすると階調性が損なわれるというトレードオフがあった。【解決手段】入力画像のダイナミックレンジを圧縮して出力画像を作成する際に、まず出力画像の観察条件を取得し（Ｓ４０１）、該観察条件に基づき、出力画像における視野サイズを算出する（Ｓ４０２）。そして、入力画像の画素ごとに、前記視野サイズに対応した近傍領域の白色レベルを算出し（Ｓ４０３）、該白色レベルに基づいてゲイン係数を算出する（Ｓ４０４）。このゲイン係数に基づいて入力画像の画素ごとにゲイン調整を行い、輝度が所定値以上となる画素についてはクリッピングすることにより、出力画像のダイナミックレンジを画素ごとに適応的に変化させることができる。【選択図】  図４
2009246510.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のダイナミックレンジを圧縮して出力画像を作成する画像処理装置であって、
前記出力画像の観察条件を取得する観察条件取得手段と、
前記観察条件に基づき、前記出力画像における視野サイズを算出する視野サイズ算出手段と、
前記入力画像の画素ごとに、前記視野サイズに対応した近傍領域の白色レベルを算出する白色レベル算出手段と、
前記入力画像の画素ごとに、前記白色レベルに基づいてゲイン係数を算出するゲイン係数算出手段と、
前記入力画像の画素ごとに、前記ゲイン係数に基づくゲイン調整および輝度クリッピングを行うゲイン調整手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記観察条件は、前記出力画像の出力解像度および観察距離を示す情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視野サイズ算出手段は、予め定められた視野角に基づいて前記視野サイズを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ゲイン調整手段は、前記ゲイン係数に基づくゲイン調整後に、予め定められた値よりも大きくなる輝度値をクリッピングすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記予め定められた値は、前記出力画像として再現可能な輝度の上限値であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記白色レベル算出手段は、前記近傍領域において、輝度レベルが予め定められた閾値以上の輝度値を有する画素の平均輝度値を、前記白色レベルとして算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記ゲイン係数算出手段は、前記閾値に対する前記白色レベルの割合を、前記ゲイン係数として算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
入力画像のダイナミックレンジを圧縮して出力画像を作成する画像処理方法であって、
前記出力画像の観察条件を取得する観察条件取得ステップと、
前記観察条件に基づき、前記出力画像における視野サイズを算出する視野サイズ算出ステップと、
前記入力画像の画素ごとに、前記視野サイズに対応した近傍領域の白色レベルを算出する白色レベル算出ステップと、
前記入力画像の画素ごとに、前記白色レベルに基づいてゲイン係数を算出するゲイン係数算出ステップと、
前記入力画像の画素ごとに、前記ゲイン係数に基づくゲイン調整および輝度クリッピングを行うゲイン調整ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ可読な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のダイナミックレンジを狭めるように変換する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの高画質化にともない、撮影可能な輝度範囲（ダイナミックレンジ）を拡大する要求が高まり、該要求を実現するための方法が開発されている。例えば、同じシーンを複数の露出で撮影し、画像処理によって合成する方法や、大、小の大きさの違う撮像センサを備える方法、等が知られている。このような方法によって変換された、通常よりも広いダイナミックレンジを有する画像は、ＨＤＲ（ハイダイナミックレンジ）画像と呼ばれる。このようなＨＤＲ画像は、例えばＲＧＢ各３２ビットのＰＦＭ(Portable Float Map)形式、ＨＤＲ形式等の多ビットのデータ形式で保存される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特殊な高輝度モニタを除き、一般的なプリンタやモニタなどの出力デバイスは、ＨＤＲ画像を完全に再生できるようなダイナミックレンジを有していない。そのため、出力デバイスにてＨＤＲ画像を出力する際には、何らかの方法によって、ＨＤＲ画像のダイナミックレンジを出力デバイスのダイナミックレンジに圧縮する必要がある。このとき、ＨＤＲ画像の階調を重視し、全てのダイナミックレンジを線形に圧縮すると、出力画像のコントラストが著しく低下してしまうという問題がある。また、コントラストを重視してダイナミックレンジをクリッピングすると、ハイライトのディテール等がなくなってしまい、ＨＤＲ画像が本来有している階調性を損なってしまう、という問題がある。
【０００４】
本発明は上述した問題を解決するためになされたものであり、以下のような機能を実現する画像処理装置および画像処理方法を提供することを目的とする。すなわち、画像のダイナミックレンジを圧縮する際に、人間の視覚特性を考慮してダイナミックレンジを画素ごとに適応的に変化させることにより、高画質な出力画像を得る。
【課題を解決するための手段】
【０００５】
上記課題を解決するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００６】
すなわち、入力画像のダイナミックレンジを圧縮して出力画像を作成する画像処理装置であって、前記出力画像の観察条件を取得する観察条件取得手段と、前記観察条件に基づき、前記出力画像における視野サイズを算出する視野サイズ算出手段と、前記入力画像の画素ごとに、前記視野サイズに対応した近傍領域の白色レベルを算出する白色レベル算出手段と、前記入力画像の画素ごとに、前記白色レベルに基づいてゲイン係数を算出するゲイン係数算出手段と、前記入力画像の画素ごとに、前記ゲイン係数に基づくゲイン調整および輝度クリッピングを行うゲイン調整手段と、を有することを特徴とする。
【発明の効果】
【０００７】
上記構成からなる本発明によれば、画像のダイナミックレンジを圧縮する際に、人間の視覚特性を考慮してダイナミックレンジを画素ごとに適応的に変化させることができ、高画質な出力画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜第１実施形態＞
●装置構成（概要）
図１は、本実施形態における画像処理装置の概略構成を示すブロック図である。
【００１０】
同図において、１０１はＣＰＵである。ＣＰＵ１０１は、ＲＯＭ１０２に記憶されている情報データや制御プログラム、ＯＳ（オペレーティングシステム）、アプリケーションプログラム、ＨＤＲ画像再生モジュール、デバイスドライバ等に従って、同図に示す他の構成に対する各種制御を行う。
【００１１】
また、１０７は入力デバイスであり、ＣＣＤセンサを含むイメージスキャナ等の画像読取装置やホストコンピュータ、ＳＶカメラ、ビデオカメラ等の外部機器とそのインタフェースによって、画像を入力する。本実施形態においては、ここで入力される画像としてＲＧＢ各３２ビットの画像データを想定する。
【００１２】
また、１０８は出力デバイスであり、インクジェットプリンタ、熱転写プリンタ、ドットプリンタ等によって画像を出力する。本実施形態においては、この出力デバイス１０８にて出力可能な画像データを、ＲＧＢ各８ビットの画像データであると想定する。
【００１３】
１０３はＲＡＭであり、各種制御プログラムや操作部１０４から入力されるデータの作業領域及び一時待避領域として利用される。１０４は操作部であり、後述する画像処理部１０５に対する設定やデータの入力を行う。１０５は本実施形態の特徴的な構成である画像処理部であり、入力デバイス１０７にて入力されたＲＧＢ各３２ビット画像データを、出力デバイス１０８で出力可能なＲＧＢ各８ビット画像データに変換するＨＤＲ画像再生処理を含む画像処理を行う。１０６はモニタであり、画像処理部１０５における処理結果や、操作部１０４で入力されたデータ等を表示する。
【００１４】
●画像処理（概要）
以下、画像処理部１０５の詳細な構成および動作について、図２および図３を用いて説明する。
【００１５】
図２は、ＲＯＭ１０２に予め記憶されているＨＤＲ画像再生モジュールに基づいて実行される、画像処理部１０５の機能構成を示すブロック図である。画像処理部１０５では、入力デバイス１０７から入力されたＨＤＲ画像に対し、出力デバイス１０８で出力可能となるようにダイナミックレンジを圧縮して出力画像を作成する処理を行う。また図３は、図２に示す各部において画像データが変換される過程を模式的に示した図である。詳細には、入力デバイス１０７の変換特性を領域(I)に、ゲイン調整部２０２の変換特性を領域(II)に、ガンマ変換部２０３の変換特性を領域(III)に示し、ＨＤＲ画像再生モジュールにおける総合的な入出力の特性が、領域(IV)に示す特性となる。
【００１６】
図２において、２０１は画像入力部であり、入力デバイス１０７からＨＤＲ，ＰＦＭ等の形式で記録されたＨＤＲ画像データを読み込み、後の構成において処理可能なＲＧＢ各３２ビットの浮動小数点データに展開する。このとき、本実施形態においては、ＨＤＲ画像データは、入力デバイス１０７に入力された輝度と入力デバイス１０７にて出力される信号値との関係が、図３の領域(I)に示すように線形な関係であると想定する。さらに、白色点がＲ＝Ｇ＝Ｂ＝１．０となるよう正規化されているものと想定する。ここで、白色点は、入力デバイス１０７にて取得された画像データにおけるシーン中の白いオブジェクトの平均値と定義される。あるいは、硫酸バリウム等の標準白色板がシーン中に存在する場合、標準白色板に対する画像データを白色点とする。
【００１７】
ＨＤＲ画像の場合、上述した白色点よりも、数倍明るい輝度に対応する画像データが記録されている。しかしながら、よりダイナミックレンジの狭い出力デバイスにＨＤＲ画像を出力する際に、全ての輝度信号を線形にレンジ圧縮すると、例えば白色点がグレーに再現され、コントラストの少ない画像となってしまう。そこで本実施形態ではゲイン調整部２０２において、白色点が出力デバイスにおいて最適となるよう、各画素に対して以下の式(1)で表されるゲイン処理を施すことにより、ダイナミックレンジの適切な圧縮を実現する。
【００１８】
Ｒ'(x,y)＝α(x,y)・Ｒ(x,y)
Ｇ'(x,y)＝α(x,y)・Ｇ(x,y)      ・・・式(1)
Ｂ'(x,y)＝α(x,y)・Ｂ(x,y)
式(1)において、ｘ，ｙは画像データ中の各画素の位置を示す変数であり、ｘは横方向、ｙは縦方向に対する画素の位置を示している。また、α(x,y)は画素ごとに決定されるゲイン係数であり、これは後述するゲイン係数決定部２０５にて算出される。
【００１９】
図３の領域(II)は、ゲイン調整部２０２における入出力の対応を示したものであり、横軸に画像入力部２０１にて入力された画像信号値、縦軸にゲイン調整部２０２にて出力される画像信号値をとったものである。領域(II)に示すように、ここでの処理は傾きαの直線で表すことができる。ただし、ゲイン調整後の輝度信号値が予め定められた値よりも大きくなる場合には、これをクリッピングする。この予め定められた値とは、出力デバイス１０８にて再現できない値、すなわち出力デバイスにおいて再現可能な輝度の上限値（この場合１．０）である。領域(II)によれば、αが小さいほどクリッピングされる範囲が狭くなるので出力画像のダイナミックレンジが広くなるが、そのトレードオフとして画像のコントラストが低下する。また逆に、αが大きくなるにつれクリッピングされる範囲が大きくなるので、画像のダイナミックレンジは狭くなるが、画像のコントラストが高くなる。本実施形態ではこのように、画像観察時の順応を考慮して輝度クリッピングを行うことにより、画素ごとにゲイン係数αを適応的に変化させることを特徴としている。
【００２０】
再び図２の説明に戻り、ゲイン調整部２０２にてゲイン処理がなされた画像データは、ガンマ変換部２０３にて出力デバイス１０８の特性に応じたガンマ変換が施される。このとき、画像データは出力デバイス１０８に入力可能な０〜２５５までのＲＧＢ各８ビットのバイナリーデータに変換される。この変換処理は、例えば出力デバイス１０８がγ＝２．２の特性をもっている場合、以下の式(2)を用いて行うことができる。
【００２１】
Ｒ"(x,y)＝ROUND(255・(Ｒ'(x,y))1/2.2)
Ｇ"(x,y)＝ROUND(255・(Ｇ'(x,y))1/2.2)      ・・・式(2)
Ｂ"(x,y)＝ROUND(255・(Ｂ'(x,y))1/2.2)
式(2)において、ROUND()は、浮動小数点データの小数点以下を四捨五入し、１バイトのバイナリーデータに変換する関数を意味している。ただし、ここでの処理は式(2)に限るものではなく、たとえば１次元ルックアップテーブルなどを参照してガンマ変換することも可能である。
【００２２】
図３の領域(III)は、ガンマ変換部２０３における入出力特性を示している。ここでは、入力であるゲイン調整後の信号値１．０に対する出力値が、最大値２５５をとるよう、出力デバイス１０８の特性に応じて非線形な変換が行われる。
【００２３】
以上のようにγ変換がなされた後、最後に画像出力部２０４において、出力デバイス１０８にて読み取り可能なように変換された画像データを出力デバイス１０８に送り、処理を終了する。
【００２４】
図３に示すように、入力デバイス１０７（領域(I)）、ゲイン調整部２０２（領域(II)）、ガンマ変換部２０３（領域(III)）、による変換を経て、ＨＤＲ画像再生モジュールにおける総合的な入出力の特性が得られる。この総合的な入出力特性がすなわち、領域(IV)に示すようになる。図３から分かるように、ＨＤＲ画像に記録可能なシーンの輝度範囲（ダイナミックレンジ）は、出力デバイスにおいて全てが圧縮されて出力されるわけではなく、領域(II)における係数αによってクリッピング調整される。すなわち、クリッピングされたダイナミックレンジ分が、圧縮されたことになる。
【００２５】
●ゲイン係数決定処理
以下、本実施形態の特徴である、ゲイン係数決定部２０５におけるゲイン係数決定処理について、図４のフローチャートを用いて説明する。
【００２６】
まずステップＳ４０１は観察条件取得ステップであり、出力デバイス１０８における出力解像度ＲＥＳ[pixel/mm]と、出力した画像を観察する観察距離Ｄ[mm]を取得する。これは、出力デバイス１０８に設定されている情報を自動的に読み取る、または、モニタ１０６などを介してユーザに操作部１０４を用いて入力するよう促して取得する等、様々な方法をとることができる。
【００２７】
次にステップＳ４０２は視野サイズ算出ステップであり、出力画像を観察する際の視野サイズを計算する。以下、この視野サイズをアパーチャーと称し、本実施形態のアパーチャーとしては、視野角を１０°とした際の視野（１０度視野）に入る画素数によって定義するものとする。本実施形態においては、アパーチャーの形状を一辺が２ｔの正方形とし、１０度視野を想定した以下の式(3)にしたがってｔを算出する。
【００２８】
ｔ＝ＲＥＳ・Ｄ・tan５°      ・・・式(3)
なお、アパーチャーは上記正方形に限らず、例えば半径をｔとする円などとしてもよい。
【００２９】
次にステップＳ４０３は白色レベル算出ステップであり、入力画像の画素ごとに、上記アパーチャーに対応する近傍領域における白色レベルＡＶＥ(x,y)を算出する。より具体的には、各画素について、アパーチャーで定義される近傍領域において、輝度レベルＹ(x,y)が閾値以上（Ｔh以上）である画素の平均輝度値をＡＶＥ(x,y)とする。すなわち、以下の式(4)，(5)にしたがってＡＶＥ(x,y)を算出する。
【００３０】
Ｙ(x,y)＝0.299・Ｒ(x,y)＋0.587・Ｇ(x,y)＋0.114・Ｂ(x,y)      ・・・式(4)
【００３１】
2009246510.tif 000003
【００３２】
式(5)において、Ｓ[]は、入力された値がＴh以上の場合には入力された値をそのまま返し、Ｔhより小さい場合には０を返す関数である。またＮtは、計算範囲内（アパーチャー内）でＳ[]が０とならない、すなわち輝度値が閾値Ｔh以上である画素の数である。
【００３３】
最後にステップＳ４０４はゲイン係数算出ステップであり、ＡＶＥ(x,y)に基づき、各画素のゲイン係数α(x,y)を算出する。すなわち以下の式(6)に示すように、Ｔhに対する白色レベルＡＶＥ(x,y)の割合を、ゲイン係数α(x,y)として算出する。
【００３４】
α(x,y)＝Ｔh／ＡＶＥ(x,y)      ・・・式(6)
ただし式(6)において、アパーチャー内にＴh以上の輝度値を有する画素がない場合には、α(x,y)＝Ｔhとする。なお、Ｔhとしてはどのような値をとっても良いが、本実施形態では例えば０．８など、１．０以下の値であることが望ましい。
【００３５】
このようにゲイン係数決定部２０５では、出力デバイスにて出力される画像を観察する視野の大きさに基づき、画素ごとに白色レベルＡＶＥ(x,y)を算出し、各白色レベルに応じてゲイン係数α(x,y)を決定する。これにより、ゲイン調整部２０２において、ＨＤＲ画像を再生するダイナミックレンジを適応的に変化させることができる。
【００３６】
以上説明したように本実施形態によれば、出力画像を観察する視野の大きさに基づいて白色レベルを算出し、出力画像のダイナミックレンジを場所によって適応的に変化させる。これにより、視野内の平均的な白レベルによって変化する人間の視覚特性に適合した白色レベル、およびダイナミックレンジを有する高画質な出力画像を得ることができる。
【００３７】
なお、本実施形態においては１０度視野を想定してアパーチャーサイズを算出する例を示したが、本発明はこの例に限るものではなく、例えば２度視野を想定したアパーチャーを設定する等、さまざまな形態をとることが可能である。
【００３８】
また、式(1)〜式(2)に示した具体的な演算方法は、これに限るものではなく、本実施形態の機能を実現できるものであればどのようなものであってもよいことは言うまでもない。
【００３９】
＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００４０】
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。
【００４１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００４３】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。
【００４４】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００４５】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００４６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００４７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【００４８】
【図１】本発明に係る一実施形態における画像処理装置の概略構成を示すブロック図である。
【図２】本実施形態における画像処理部の構成を示すブロック図である。
【図３】本実施形態における画像処理の特性を示す図である。
【図４】本実施形態におけるゲイン係数決定処理を示すフローチャートである。
【図１】
2009246510.tif 000004
【図２】
2009246510.tif 000005
【図３】
2009246510.tif 000006
【図４】
2009246510.tif 000007