(57)【特許請求の範囲】
【請求項１】
互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置であって、
合成の対象となる複数のＭビット画像データを入力する入力手段と、
前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定手段と、
前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成手段と、
前記基準画像データにおいて全画素数に対する所定の第１輝度値より小さい輝度値を有する画素数の比率であるシャドー画素率と前記基準画像データにおいて全画素数に対する所定の第２輝度値より大きい輝度値を有する画素数の比率であるハイライト画素率とに基づいて、前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮において輝度階調を変化させる度合を示す特性パラメータを設定する特性パラメータ設定手段と、
前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記所定の基準輝度は、前記基準画像データにおける主要被写体の輝度であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の周波数は、Ｒｅｔｉｎｅｘモデルにおける輝度照明成分を抽出するために使用されるローパスフィルタのカットオフ周波数であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成手段は、さらに、前記圧縮による輝度階調の変化量に応じて、前記Ｍビット合成画像データの色成分を調整することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
さらに、前記Ｍビット合成画像データを出力する出力デバイスのダイナミックレンジ特性に基づいて、前記Ｍビット合成画像データのガンマ特性を補正するガンマ特性補正手段を含むことを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置の制御方法であって、
入力手段が、合成の対象となる複数のＭビット画像データを入力する入力工程と、
決定手段が、前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定工程と、
合成手段が、前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成工程と、
特性パラメータ設定手段が、前記基準画像データにおいて全画素数に対する所定の第１輝度値より小さい輝度値を有する画素数の比率であるシャドー画素率と前記基準画像データにおいて全画素数に対する所定の第２輝度値より大きい輝度値を有する画素数の比率であるハイライト画素率とに基づいて、前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮において輝度階調を変化させる度合を示す特性パラメータを設定する特性パラメータ設定工程と、
生成手段が、前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを請求項１乃至５の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術、特にデジタル画像データの階調補正技術に関するものである。
【背景技術】
【０００２】
現在、日本国内におけるデジタルカメラの世帯普及率は５０％を超えており、「デジタルカメラで撮影する」という行為はごく一般的なものとなっている。ユーザが屋外などにおいてデジタルカメラにより撮影するとき、撮影可能な輝度レンジより撮影シーンの輝度レンジが広い場合がある。このとき、撮影可能な輝度レンジ外の被写体については、その階調情報を記録することができないため、白飛び・黒潰れが発生する。例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。しかし、非特許文献２に示されるＲｅｔｉｎｅｘモデルに代表されるように、人間の視覚は物体の反射率をより敏感に検知する特性があり、明るい場所および暗い場所の双方において階調を知覚することができる。このため、あるシーンに対する見た目の印象と同じシーンの撮影画像の印象とが異なっている場合があり、デジタルカメラユーザの不満となっている。
【０００３】
このような問題を解決する技術の１つにハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）技術がある。ＨＤＲ技術は、大きく分けて、ＨＤＲキャプチャー技術とダイナミックレンジ圧縮技術とから構成される。ＨＤＲキャプチャー技術は、撮影可能なダイナミックレンジを拡大し、白飛び・黒潰れが発生していた輝度レンジの階調情報を記録するための技術である。例えば、複数の露出で撮影した画像を合成するなどの方法がある。以下、このＨＤＲキャプチャーにより取得される画像をＨＤＲ画像と呼ぶ。一方、ダイナミックレンジ圧縮技術は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で好ましく再現するための画像処理技術である。これらのＨＤＲ技術により、撮影画像における白飛び・黒潰れを軽減することができる。ダイナミックレンジ圧縮方法にはさまざまな種類が提案されており、例えば、非特許文献１では、実シーンを見ていたように再現するダイナミックレンジ圧縮方法について述べている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kuang, J., Johnson, G.M., Fairchild M.D., "iCAM06: A refined image appearance model for HDR image rendering", Journal of Visual Communication, 2007
【非特許文献２】Edwin H. Land, John J. McCann, "Lightness and Retinex Theory", Journal of the Optical Society of America, Vol.61, Num1, 1971
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のＨＤＲ技術による写真再現とこれまでのカメラの写真再現とを比較した場合、現行のカメラユーザには受け入れられにくいものとなっている。具体的には、ハイライト部は高階調ではあるが、露出感が異なる、眠く感じる、色が転んで見える、夜景画像で彩度が低下するなど、ユーザにとって違和感のあるものとなる場合がある。
【０００６】
本発明は、上述の問題点に鑑みなされたものであり、現行カメラの写真再現に対し違和感の無いより自然な階調を有する写真再現を得るための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の少なくとも１つの問題点を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置において、合成の対象となる複数のＭビット画像データを入力する入力手段と、前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定手段と、前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成手段と、前記基準画像データにおいて全画素数に対する所定の第１輝度値より小さい輝度値を有する画素数の比率であるシャドー画素率と前記基準画像データにおいて全画素数に対する所定の第２輝度値より大きい輝度値を有する画素数の比率であるハイライト画素率とに基づいて、前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮において輝度階調を変化させる度合を示す特性パラメータを設定する特性パラメータ設定手段と、前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成手段と、を含む。
【発明の効果】
【０００８】
本発明によれば、より自然な階調を有する写真再現を得るための技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る画像処理装置の内部構成を示す図である。
【図２】第１実施形態に係る画像処理装置の動作を示す概略フローチャートである。
【図３】多段露出画像群を選択するための画像群表示ＵＩの一例を示す図である。
【図４】ダイナミックレンジ圧縮処理を行うか否かを選択するＵＩの一例を示す図である。
【図５】ダイナミックレンジ圧縮処理に関する設定を行う設定ＵＩの一例を示す図である。
【図６】画像ファイルの一例を示す図である。
【図７】撮影データの一例を示す図である。
【図８】ダイナミックレンジ圧縮パラメータの決定処理の詳細フローチャートである。
【図９】ダイナミックレンジ合成処理の詳細フローチャートである。
【図１０】ダイナミックレンジ合成を説明する図である。
【図１１】ダイナミックレンジ圧縮処理の詳細フローチャートである。
【図１２】ダイナミックレンジ圧縮を説明する図である。
【図１３】輝度照明成分の圧縮処理の詳細フローチャートである。
【図１４】補正方法に応じた輝度照明成分の圧縮特性の一例を示す図である。
【図１５】補正強さに応じた黒潰れ補正する輝度照明成分の圧縮特性を示す図である。
【図１６】補正強さに応じた白飛び補正する輝度照明成分の圧縮特性を示す図である。
【図１７】補正方法決定テーブルの一例を示す図である。
【図１８】補正強さ決定テーブルの一例を示す図である。
【図１９】ＳＣＤテーブルの一例を示す図である。
【図２０】ＨＣＤテーブルの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、画像処理ソフトウェアを実行するパーソナルコンピュータ（ＰＣ）を例に挙げて以下に説明する。
【００１２】
＜装置構成＞
図１は、第１実施形態に係る画像処理装置１００の内部構成を示す図である。入力部１０１は、ユーザからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置やプリンタなどの機器に適用する場合には、ボタンやモードダイヤル等で構成されるのであっても良い。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成するのであっても良い。
【００１３】
データ保存部１０２は、画像データを保持する部分で、通常はハードディスク、フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−ＲやＤＶＤ）、メモリーカード（ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード）、ＵＳＢメモリ等で構成される。データ保存部１０２には画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、後述するＲＡＭ１０６の一部をデータ保存部１０２として用いるのであってもよい。またあるいは、後述する通信部１０７により接続した先の機器のデータ保存部を通信部１０７を介して利用する、というように仮想的に構成するのであっても良い。
【００１４】
表示部１０３は、画像処理前、画像処理後の画像を表示、あるいはグラフィカル・ユーザインタフェース（ＧＵＩ）等の画像を表示する装置である。一般的にはＣＲＴや液晶ディスプレイなどが用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。また、あるいは公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については入力部１０１の入力として扱うこともできる。
【００１５】
１０４はＣＰＵであり、各種制御プログラムを実行することにより上述の各部を制御する。ＲＯＭ１０５とＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。また、後述する処理に必要な制御プログラムがデータ保存部１０２に格納されている場合や、ＲＯＭ１０５に格納されている場合には、一旦ＲＡＭ１０６に読み込まれてから実行される。またあるいは通信部１０７を経由して装置がプログラムを受信する場合には、一旦データ保存部１０２に記録した後にＲＡＭ１０６に読み込まれるか、直接通信部１０７からＲＡＭ１０６に直接読み込まれてから実行される。
【００１６】
通信部１０７は、機器間の通信を行うための機能部である。通信の方式としては、公知の有線接続（イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１２８４、ＩＥＥＥ１３９４、電話回線など）が使用可能である。また、赤外線（ＩｒＤＡなど）、無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ等）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band）等の無線通信方式であっても良い。
【００１７】
なお、図１では入力部１０１、データ保存部１０２、表示部１０３が全て１つの装置内に含まれるようぶ図示している。しかし、れらの各部を任意の通信路で接続したシステムとして構成してもよい。
【００１８】
＜装置の動作＞
図２に、第１実施形態に係る画像処理装置の動作を示す概略フローチャートである。なお、以下の動作は、ＣＰＵ１０４がＲＯＭ１０４に格納された制御プログラムを実行することにより実現される。
【００１９】
ステップＳ１００１では、表示部１０３に、多段露出画像群選択ＵＩ３００を表示する。ここで、多段露出画像群とは、同じシーンに対して互いに露出の異なる複数の画像データのことを示している。図３は、多段露出画像群選択ＵＩの一例を示す図である。ユーザは、入力部１０１を介して多段露出画像群（例えば、図３の左列にある３つの画像３０１ａ〜３０１ｃ）を選択する。なお、ここでは、各画像データが２４ビット画像データ（ＲＧＢ各８ビット）（Ｍビット画像データ）であるとして説明する。
【００２０】
ステップＳ１００２では、表示部１０３に、ダイナミックレンジ圧縮パラメータ設定ＵＩを表示する。これは、例えば、多段露出画像群を選択した状態において、入力部１０１を介して所定の操作をすることにより実行される。例えば、マウスの右クリックをすることにより、図４に示す右クリックメニューＵＩ４００を表示する。そして、ユーザにより右クリックメニューＵＩ４００から「ダイナミックレンジ圧縮処理」が選択された場合に、図５に示すダイナミックレンジ圧縮パラメータ設定ＵＩ５００を表示する。この際、ＣＰＵ１０４は、選択された多段露出画像群の画像データと撮影データとをＲＡＭ１０６に読み込み、図５に示すようなプレビュー表示を行なうようにすると好適である。ここで、”画像データ”とは、図６の６００に示すように、全画素の８ビットＲＧＢ値が記録されたデータのことである。また、”撮影データ”とは、図７の７００に示すように、撮影時の情報として、画像幅、画像高さ、撮影日時、露出時間、絞り値、ＩＳＯ感度、基準輝度値が記録されたデータ（メタデータ）のことを指す。なお、撮像データはＥｘｉｆデータを用いることが出来る。
【００２１】
ステップＳ１００３では、ダイナミックレンジ圧縮パラメータ設定ＵＩ５００を介してユーザから受け付けた指示に従って、ダイナミックレンジ圧縮パラメータ（階調圧縮の特性パラメータ）を決定する。ここで、ダイナミックレンジ圧縮パラメータとは、適正露出画像の基準輝度と最大輝度、補正方法、及び、補正強さのことを指す。ステップＳ１００３の詳細については後述する。こでは、請求項における特性パラメータ設定手段に相当する。
【００２２】
ステップＳ１００４では、ステップＳ１００１で選択されＲＡＭ１０６に記録された多段露出画像群を合成し、ＨＤＲ画像（Ｎビット合成画像データ）を生成する。ステップＳ１００４の詳細については後述する。
【００２３】
ステップＳ１００５では、ステップＳ１００３により決定されたダイナミックレンジ圧縮パラメータに従って、ステップＳ１００４で作成したＨＤＲ画像のダイナミックレンジ圧縮処理（輝度階調圧縮処理）を行い、ダイナミックレンジ圧縮されたＨＤＲ画像データ（Ｍビット合成画像データ）をを生成する。ステップＳ１００５の詳細については後述する。
【００２４】
ステップＳ１００６では、ダイナミックレンジ圧縮処理後のＨＤＲ画像データ（高階調画像データ）をデータ保存部１０２に保存し、処理を終了する。
【００２５】
＜ダイナミックレンジ圧縮パラメータの決定処理（ステップＳ１００３）の詳細＞
図８に、ステップＳ１００３の処理のフローチャートの一例を示す。上述したように、ステップＳ１００２において、「ダイナミックレンジ圧縮処理」の対象となっている多段露出画像群（互いに露出量が異なる複数の画像データ）が選択されている。
【００２６】
ステップＳ２００１では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、適正露出画像選択が「おまかせ」であるか否かを判定する。「おまかせ」である場合、ステップＳ２００２に進み、「おまかせ」でない場合、ステップＳ２００６に進む。なお、「おまかせ」とは、ユーザによる各種パラメータの直接指定を受け付けること無く、画像処理装置１が自動的に処理を選択／決定するモードを意味する。
【００２７】
ステップＳ２００２では、選択されている複数の画像データおのおのについて、輝度最頻値Ｙｈｉｓｔを検出する。そして、ステップＳ２００３では、数式（１）に従って、輝度最頻値ＹｈｉｓｔをＬ＊値（Ｌ＊ｈｉｓｔ）に変換する。
【００２８】
【数１】
0005383360.tif 000002
【００２９】
ステップＳ２００４では、Ｌ＊ｈｉｓｔが５０に最も近い露出画像を適正露出画像（基準画像データ）として選択する。そして、ステップＳ２００５では、ステップＳ２００４、又は、ユーザによって選択された適正露出画像の基準輝度値ＹＲｅｆ、及び、最大輝度値ＹＭａｘをＲＡＭ１０６に記録する。なお、基準輝度値ＹＲｅｆは、ＵＩを介してユーザから受け付けるよう構成してもよいし、自動で設定するようにしても良い。
【００３０】
ステップＳ２００６では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、補正方法選択が「おまかせ」であるか否かを判定し、「おまかせ」である場合ステップＳ２００７に進み、「おまかせ」でない場合ステップＳ２０１０に進む。
【００３１】
ステップＳ２００７では、選択された適正露出画像のシャドー画素率を算出する（シャドー画素率判定手段）。シャドー画素率とは、輝度値が所定値（第１輝度値）（例えば”２０”）以下である画素数の全画素数に占める比率のことを指す。また、ステップＳ２００８では、選択された適正露出画像のハイライト画素率を算出する（ハイライト画素率判定手段）。ハイライト画素率とは輝度値が所定値（第２輝度値）（例えば”２３５”）以上である画素の、全画素数に占める比率のことを指す。なお第１輝度値は基準輝度未満の値であり、第２輝度値は基準輝度を超える値である。
【００３２】
ステップＳ２００９では、シャドー画素率、及び、ハイライト画素率に応じて、補正方法決定テーブルに従って、補正方法を選択する。図１７は、補正方法決定テーブルの一例を示す図である。そして、ステップＳ２０１０では、ステップＳ２００９、又は、ユーザによって選択された補正方法をＲＡＭ１０６に記録する。
【００３３】
ステップＳ２０１１では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、補正強さ選択が「おまかせ」であるか否かを判定し、「おまかせ」である場合ステップＳ２０１２に進み、「おまかせ」でない場合ステップＳ２０１７に進む。
【００３４】
ステップＳ２０１２では、ステップＳ２０１０でＲＡＭ１０６に記録された補正方法を読込み、「黒潰れを補正」である場合ステップＳ２０１３に進み、「白飛びを補正」である場合ステップＳ２０１４に進み、「黒潰れと白飛びを補正」である場合ステップＳ２０１５に進む。そして、ステップＳ２０１３〜Ｓ２０１６では、補正強さ決定テーブルに従って、黒潰れ補正強さおよび白飛び補正強さの少なくとも一方を決定する。なお、「白飛びを補正」とは画像における白飛びを軽減するよう圧縮する補正を示し、「黒潰れを補正」とは画像における黒潰れを軽減するよう圧縮する補正を示している。図１８は、補正強さ決定テーブルの一例を示す図である。
【００３５】
ステップＳ２０１７では、ステップＳ２０１３〜Ｓ２０１６で決定された補正強さ、又は、ユーザによって選択された補正強さをＲＡＭ１０６に記録し、処理を終了する。
【００３６】
＜ダイナミックレンジ合成処理（ステップＳ１００４）の詳細＞
図９に、ステップＳ１００４の処理のフローチャートの一例を示す。本ステップでは、図１０に示すように、露出の多い画像に合成ゲインを乗じて、露出の少ない画像に順次合成していく処理を示す。なお。以下では、多段露出画像群（複数の画像データ）は、絞り値が同一であり、露出時間を変化させることにより得られた画像であるものであるとして説明する。
【００３７】
ステップＳ３００１では、ステップＳ１００２でＲＡＭ１０６に記録された多段露出画像に対応する撮影データから露出時間ＥＴを読み出す。そして、ステップＳ３００２では、露出時間の最大値ＥＴｍａｘを検出する。
【００３８】
ステップＳ３００３では、露出時間が最大の画像について、画素番号”１”に対応するＲＧＢ値を読み込む。そして、ステップＳ３００４では、ＲＧＢ値が白飛び・黒潰れの存在しない画素値であるかを判定し、白飛びまたは黒潰れが存在する画素値である場合ステップＳ３００５に進み、白飛びおよび黒潰れの何れもでもない場合ステップＳ３００９に進む。ここで白飛びおよび黒潰れび何れでもない画素値とは、０＜ＲＧＢ＜２５５を満たす画素値を指す。すなわち、ＲＧＢ画素値が２５５である場合、白飛びしていると判定し、ＲＧＢ画素値が０である場合、黒潰れが発生していると判定する。
【００３９】
ステップＳ３００５では、露出時間が一段階小さい（露出時間が１／２）画像について、同じ画素番号のＲＧＢ値を読み込む。そして、ステップＳ３００６では、ＲＧＢ値が白飛び・黒潰れのない画素値であるかを判定し、白飛びまたは黒潰れしている画素値である場合ステップＳ３００５に戻り、白飛びおよび黒潰れび何れでもない場合、ステップＳ３００７に進む。
【００４０】
ステップＳ３００７では、数式（２）に従って、選択画像の露出時間ＥＴと露出時間最大値ＥＴｍａｘの露出時間比ＥＴＲを算出する。
【００４１】
【数２】
0005383360.tif 000003
【００４２】
ステップＳ３００８では、選択画像のＲＧＢ値、及び、露出時間比ＥＴＲを用いて、数式（３）により、ダイナミックレンジ合成後のＲＧＢ値ＲＧＢＨＤＲを算出する。
【００４３】
【数３】
0005383360.tif 000004
【００４４】
ステップＳ３００９では、ダイナミックレンジ合成後のＲＧＢ値ＲＧＢＨＤＲをＲＡＭ１０６に記録する。
【００４５】
ステップＳ３０１０では、全画素についてダイナミックレンジ合成後のＲＧＢ値をＲＡＭ１０６に記録したか判定し、全画素について記録していない場合ステップＳ３０１１に進む。そして、ステップＳ３０１１では、露出時間が最大の画像について、次の画素番号のＲＧＢ値を読み出し、ステップＳ３００４に戻る。
【００４６】
以上のステップを、各画素に対して実行し、ステップＳ３０１０において、全画素について記録したと判定した場合、処理を終了する。
【００４７】
＜ダイナミックレンジ圧縮処理（ステップＳ１００５）の詳細＞
図１１に、ステップＳ１００５の処理のフローチャートの一例を示す。ステップＳ１００５に係る詳細機能ブロック図を図１２に示す。ここでは、具体的には、非特許文献２に示されるＲｅｔｉｎｅｘモデルを利用してダイナミックレンジ圧縮を行う。より具体的には、輝度成分を、輝度照明成分と輝度反射率成分とに分離し、輝度照明成分のみをダイナミックレンジ圧縮する。つまり、人間の視覚は、輝度照明成分に鈍感であることを利用したものである。なお、輝度照明成分は、ＨＤＲ画像に対し、所定のカットオフ周波数を有するローパスフィルタ処理を行うことで、所定の周波数未満の画像成分として取得される。
【００４８】
ステップＳ４００１では、数式（４）に従って、ＨＤＲ画像のＲＧＢ値（ＲＧＢＨＤＲ）から、輝度成分ＹＨＤＲを算出する。
【００４９】
【数４】
0005383360.tif 000005
【００５０】
ステップＳ４００２では、数式（５）に従って、ガウシアンフィルタを算出する。ここでは、ガウシアンフィルタの分散Ｓを、画像幅Ｗの１／５の画素数とし、フィルタ処理を行う範囲（−Ｓ〜Ｓ）が、ガウス関数の積分値の約９５％が含まれるようにＳを設定している。
【００５１】
【数５】
0005383360.tif 000006
【００５２】
ステップＳ４００３では、数式（６）に従って、輝度成分ＹＨＤＲとガウシアンフィルタの離散畳み込み演算を行い、輝度照明成分ＹＩｌｌｕｍ＿ＨＤＲを算出する。
【００５３】
【数６】
0005383360.tif 000007
【００５４】
ステップＳ４００４では、数式（７）に従って、輝度反射率成分ＹＲｅｆｒｅｃｔａｎｃｅを算出する。
【００５５】
【数７】
0005383360.tif 000008
【００５６】
ステップＳ４００５では、輝度照明成分を圧縮し、圧縮後の輝度照明成分ＹＩｌｌｕｍ＿ＬＤＲを算出する。ステップＳ４００５の詳細については後述する。
【００５７】
ステップＳ４００６では、数式（８）に従って、圧縮後の輝度照明成分ＹＩｌｌｕｍ＿ＬＤＲと輝度反射率成分ＹＲｅｆｒｅｃｔａｎｃｅを合成し、ＹＬＤＲを算出する。
【００５８】
【数８】
0005383360.tif 000009
【００５９】
ステップＳ４００７では、数式（９）に従って、ダイナミックレンジ圧縮処理前後の輝度成分ＹＨＤＲ、ＹＬＤＲを用いて、ＨＤＲ画像のＲＧＢ値（ＲＧＢＨＤＲ）を調節し、ＲＧＢＬＤＲを算出する。つまり、輝度成分の変化量に応じて、色成分を調整する。
【００６０】
【数９】
0005383360.tif 000010
【００６１】
ステップＳ４００８では、数式（１０）に従って、ダイナミックレンジ圧縮処理後のＲＧＢ値（ＲＧＢＬＤＲ）にカメラガンマ処理を行い、ＲＧＢＬＤＲ＿ｇを算出し、ＲＡＭ１０６に記録し、処理を終了する。カメラガンマ処理とは、画像出力デバイスのダイナミックレンジ特性に基づくガンマ特性の補正処理（ガンマ特性補正手段）である。
【００６２】
【数１０】
0005383360.tif 000011
【００６３】
＜輝度照明成分圧縮処理（ステップＳ４００５）の詳細＞
図１３に、ステップＳ４００５の処理の詳細フローチャートを示す。また、「黒潰れを補正」、「白飛びを補正」、「黒潰れと白飛びを補正」それぞれの場合における輝度照明成分の例示的な圧縮特性曲線を図１４に示す。
【００６４】
ステップＳ５００１では、ダイナミックレンジ圧縮パラメータ（選択画像の基準輝度、補正方法、補正強さ）を読み込む。
【００６５】
ステップＳ５００２では、ＨＤＲ画像における輝度照明成分の最大値ＹＩｌｌｕｍ＿ＭＡＸを検出する。
【００６６】
ステップＳ５００３では、輝度照明成分ＹＩｌｌｕｍ＿ＨＤＲが基準輝度値ＹＲｅｆより小さいか否かを判定する。小さい場合ステップＳ５００４に進み、大きい場合ステップＳ５００５に進む。
【００６７】
ステップＳ５００４では、数式（１１）に従って、輝度照明成分ＹＩｌｌｕｍ＿ＨＤＲを圧縮し、圧縮後の輝度照明成分ＹＩｌｌｕｍ＿ＬＤＲを算出する。なお、式（１１）中のＳＣＤとは、黒潰れ補正強さ（Shadow Correction Degree）であり、例えば、図１９に示されるＳＣＤテーブルのように予め設定される。設定された黒潰れ補正強さに応じて、図１５に示すような圧縮特性で補正を行う。
【００６８】
【数１１】
0005383360.tif 000012
【００６９】
ステップＳ５００５では、数式（１２）に従って、輝度照明成分ＹＩｌｌｕｍ＿ＨＤＲを圧縮し、圧縮後の輝度照明成分ＹＩｌｌｕｍ＿ＬＤＲを算出する。式（１２）中のＨＣＤとは、白飛び補正強さ（Highlight Correction Degree）であり、例えば、図２０に示されるＨＣＤテーブルのように予め設定される。設定された白飛び補正強さに応じて、図１６に示すような圧縮特性で補正を行う。
【００７０】
【数１２】
0005383360.tif 000013
【００７１】
以上説明したとおり第１実施形態に係る画像処理装置によれば、多段露出画像群に含まれる所定の画像データを基準として、ＨＤＲ画像に対しダイナミックレンジ圧縮処理を行なう。これにより、違和感のある写真再現を回避しつつＨＤＲ技術を活かした階調補正を行うことが可能となる。
【００７２】
（変形例）
＜画像ファイル＞
第１実施形態においては、多段露出画像群に含まれる各画像データは２４ビット画像データ（ＲＧＢ各８ビット）であるとして説明した。また、撮影データとして、画像幅、画像高さ、撮影日時、光学センサ幅、レンズ焦点距離、拡大率、露光時間、絞り値、ＩＳＯ感度が記録されているものとして説明した。しかし、多段露出画像群に含まれる画像データとして、所謂Ｒａｗデータを利用するよう構成してもよい。
【００７３】
＜合成方法＞
第１実施形態においては、露出の多い画像に合成ゲインを乗じて、露出の少ない画像に順次合成していくとした。しかし、合成ゲインを用いて露出の異なる画像同士を合成する方法であれば、これに限るものではない。例えば、露出の少ない画像に合成ゲインを乗じて、露出の多い画像に順次合成しても良い。
【００７４】
＜補正方法＞
第１実施形態においては、画像の補正方法として、基準輝度をダイナミックレンジ圧縮処理前後で維持するとした。しかし、これに限定されず、例えば、画像に対し顔検出処理を実行し”顔”と判定された部分の輝度値Ｙｆａｃｅを基準輝度値ＹＲｅｆとすると良い。なお、基準輝度は”顔”に限定されるものでもなく、画像に含まれる任意の主要な被写体の輝度が利用され得る。なお画像から主要被写体を検出する方法は、例えば特開２００５−０６３４０６号公報に記載されている。
【００７５】
＜ダイナミックレンジ圧縮方法＞
第１実施形態においては、ダイナミックレンジ圧縮方法は、ガウシアンフィルタにより抽出された画像低周波成分を圧縮するものとした。しかし、Ｒｅｔｉｎｅｘモデルに基づき、画像低周波成分を圧縮するものであればこれに限定されるものではない。例えば、数式（１３）に示すように、画像データに単純な平均フィルタ処理を実施する方法でも構わない。
【００７６】
【数１３】
0005383360.tif 000014
【００７７】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005383360.tif 000015
【図２】
0005383360.tif 000016
【図４】
0005383360.tif 000017
【図６】
0005383360.tif 000018
【図７】
0005383360.tif 000019
【図８】
0005383360.tif 000020
【図９】
0005383360.tif 000021
【図１０】
0005383360.tif 000022
【図１１】
0005383360.tif 000023
【図１２】
0005383360.tif 000024
【図１３】
0005383360.tif 000025
【図１４】
0005383360.tif 000026
【図１５】
0005383360.tif 000027
【図１６】
0005383360.tif 000028
【図１７】
0005383360.tif 000029
【図１８】
0005383360.tif 000030
【図１９】
0005383360.tif 000031
【図２０】
0005383360.tif 000032
【図３】
0005383360.tif 000033
【図５】
0005383360.tif 000034