(57)【要約】【課題】人間の視覚特性に近い自然な画像を得ることのできる画像処理装置及び画像処理方法を提供することを目的とする。【解決手段】画像信号から少なくとも１つのサブバンド画像を生成し、サブバンド画像に対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、サブバンド画像の全画素について算出する。さらに、このヒストグラムに基づいて、サブバンド画像毎にサブバンド階調変換特性を算出し、サブバンド階調変換特性に基づいて画像信号の階調変換特性を算出し、算出した階調変換特性に基づいて、画像信号の階調変換処理を行う。【選択図】図１
2011175608.tif 000002
【特許請求の範囲】
【請求項１】
画像信号に対して階調変換処理を行う画像処理装置であって、
前記画像信号から少なくとも１つのサブバンド画像を生成するサブバンド画像生成手段と、
前記サブバンド画像に対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、前記サブバンド画像の全画素について算出するヒストグラム算出手段と、
前記ヒストグラムに基づいて、サブバンド画像毎にサブバンド階調変換特性を算出するサブバンド階調変換特性算出手段と、
前記サブバンド階調変換特性に基づいて前記画像信号の階調変換特性を算出する階調変換特性算出手段と、
前記階調変換特性に基づいて、前記画像信号の階調変換処理を行う階調変換処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記サブバンド画像生成手段は、
前記画像信号に含まれる画素のうち所定の輝度値を有する画素からなる領域を特定輝度領域として検出する特定輝度領域検出手段を備え、
前記局所領域と前記特定輝度領域とに基づいて、該特定輝度領域が前記局所領域内に包含され、かつ、前記局所領域内に占める前記特定輝度領域の割合が最大となる第一のサブバンド画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サブバンド画像生成手段は、
前記画像信号を所望の分解レベルまで階層的にサブバンド分解して解像度の異なる複数のサブバンド画像を生成する分解手段と、
前記画像信号に含まれる画素のうち所定の輝度値を有する画素からなる領域を特定輝度領域として検出する特定輝度領域検出手段と、
前記特定輝度領域の形状又は大きさに基づいて前記分解レベルを設定する分解レベル設定手段と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記分解レベル設定手段は、前記局所領域と前記特定輝度領域とに基づいて、該特定輝度領域が前記局所領域内に包含され、かつ、前記局所領域内に占める前記特定輝度領域の割合が最大となる第一のサブバンド画像の分解レベルを、前記分解レベルとして設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記サブバンド階調変換特性算出手段は、
前記ヒストグラムに対して、前記ヒストグラムの統計量に基づいてクリッピング処理を行うクリッピング手段を備え、
前記クリッピング処理後のヒストグラムに基づいて、前記各サブバンド階調変換特性を算出することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記ヒストグラムの統計量は、前記各サブバンド画像毎の、該サブバンド画像の前記局所領域のヒストグラムの平均値、中央値、最頻値、最小値、最大値及び分散値の何れかの値であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記階調変換特性算出手段は、前記サブバンド階調変換特性に基づいて、前記画像信号のうち前記特定輝度領域に対する第一の階調変換特性と、前記画像信号のうち前記特定輝度領域以外の領域に対する第二の階調変換特性とをそれぞれ算出し、
前記階調変換処理手段は、第一の階調変換特性に基づいて前記特定輝度領域の階調変換処理を行うと共に、前記第二の階調変換特性に基づいて前記特定輝度領域以外の領域について階調変換処理を行うことを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
【請求項８】
前記階調変換特性算出手段は、前記サブバンド階調変換特性に対して、該サブバンド画像の分解レベルに応じた重み付け係数を算出し、該重み付け係数に基づいて前記サブバンド階調変換特性を加重平均することにより、前記第一の階調変換特性を算出することを特徴とする請求項１又は請求項３乃至請求項６の何れか１項に記載の画像処理装置。
【請求項９】
画像信号に対して階調変換処理を行う画像処理方法であって、
前記画像信号から少なくとも１つのサブバンド画像を生成するステップと、
前記サブバンド画像に対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、前記サブバンド画像の全画素について算出するステップと、
前記ヒストグラムに基づいて、サブバンド画像毎にサブバンド階調変換特性を算出するステップと、
前記サブバンド階調変換特性に基づいて前記画像信号の階調変換特性を算出するステップと、
前記階調変換特性に基づいて、前記画像信号の階調変換処理を行うステップと、
を備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、特に、画像信号に対して階調変換処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
従来、デジタルスチルカメラやビデオカメラ等に適用される画像処理装置では、画像信号に対して、表示系や人間の視覚特性を考慮した階調変換処理を行っており、このような階調変換処理の一例として、画像信号の局所的な情報等を用いて階調変換特性を算出し、この階調変換特性に基づいて階調変換処理を行う方法がある。例えば、特許文献１には、入力された画像信号を多重解像度分解し、周波数成分により重みづけ階調変換を行うことで、画像の特徴に応じた的確な階調変換を可能とする技術が開示されている。
【０００３】
ところで、人間の網膜上には、視細胞の一種である錐体細胞と桿体細胞とがある。錐体細胞は、解像度を担っており、異なる波長特性を持つ視物質を発現するため色覚の基礎となる一方で、感度が低いために充分な光量を必要とする。桿体細胞は、単独の視物質のみを発現するため色覚には関与しないが、感度が高い。また、人間の網膜にある中心窩は、高精細な中心視野での視覚に寄与し、読書、テレビや映画の観賞、運転、その他の視覚的活動のすべてにおいて重要な役割を果たすものである。この中心窩は、錐体細胞の密度が高く、特にその中心部では桿体細胞が殆ど存在せず、中心部から周辺へいくほど錐体細胞が減るという特徴を有する。このため、中心窩の特性、換言すると、人間の視覚特性としては、解像度が高く、ダイナミックレンジが狭いという報告がある。従って、画像の局所的な領域に注目した場合、その領域が高輝度である場合等、領域によっては、ある程度飽和させて画像を表示した方が人間の目には自然に見える場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４１７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献１に記載の技術では、例えば、画像信号に、点光源などに例示されるような極めて高輝度な光源が含まれる場合に、上記したような人間の視覚特性では本来は認識できない光源の細部をも再現してしまい、不自然な画像となる場合があるという問題がある。
【０００６】
本発明は、上記問題を解決するためになされたもので、人間の視覚特性に近い自然な画像を得ることのできる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００８】
本発明は、画像信号に対して階調変換処理を行う画像処理装置であって、前記画像信号から少なくとも１つのサブバンド画像を生成するサブバンド画像生成手段と、前記サブバンド画像に対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、前記サブバンド画像の全画素について算出するヒストグラム算出手段と、前記ヒストグラムに基づいて、サブバンド画像毎にサブバンド階調変換特性を算出するサブバンド階調変換特性算出手段と、前記サブバンド階調変換特性に基づいて前記画像信号の階調変換特性を算出する階調変換特性算出手段と、前記階調変換特性に基づいて、前記画像信号の階調変換処理を行う階調変換処理手段と、を備えたことを特徴とする画像処理装置を提供する。
【０００９】
また、本発明は、画像信号に対して階調変換処理を行う画像処理方法であって、前記画像信号から少なくとも１つのサブバンド画像を生成するステップと、前記サブバンド画像に対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、前記サブバンド画像の全画素について算出するステップと、前記ヒストグラムに基づいて、サブバンド画像毎にサブバンド階調変換特性を算出するステップと、前記サブバンド階調変換特性に基づいて前記画像信号の階調変換特性を算出するステップと、前記階調変換特性に基づいて、前記画像信号の階調変換処理を行うステップと、を備えたことを特徴とする画像処理方法を提供する。
【発明の効果】
【００１０】
本発明によれば、人間の視覚特性に近い自然な画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置におけるサブバンド画像生成部の概略構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる画像処理装置におけるサブバンド画像生成部によって、サブバンド分解してサブバンド画像を生成する場合の説明図である。
【図４】本発明の第１の実施形態にかかる画像処理装置におけるサブバンド画像生成部によって、サブバンド分解してサブバンド画像を生成する場合の説明図である。
【図５】本発明の第１の実施形態にかかる画像処理装置におけるヒストグラム算出部において、局所領域のヒストグラムを算出する場合の説明図である。
【図６】本発明の第１の実施形態にかかる画像処理装置におけるサブバンド階調変換特性算出部においてヒストグラムに基づいて階調変換曲線を算出する場合の説明図である。
【図７】本発明の第１の実施形態にかかる画像処理装置における画像処理の過程を示すフローチャートである。
【図８】本発明の第２の実施形態にかかる画像処理装置におけるサブバンド画像生成部の概略構成を示すブロック図である。
【図９】本発明の第２の実施形態にかかる画像処理装置における画像処理の過程を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
【００１３】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、レンズ系１００、絞り１０１、カラーフィルタ１０２、ＣＣＤ１０３、ＡＦモータ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮像制御部１０７、画像処理部１２０、圧縮部１１４、出力部１１５、制御部１１６、外部Ｉ／Ｆ部１１７を備えている。
【００１４】
レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０２を介して撮像素子であるＣＣＤ１０３上に像を結像するように配置されている。ＡＦモータ１０４は、後述する撮像制御部１０７によって駆動制御され、撮像制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０３は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施形態においては、ＣＣＤ１０３はＲＧＢ原色系の単板ＣＣＤを用いるものとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０３で生成された画像情報を画像処理部１２０において所定の処理が可能な離散化されたデジタルデータとしての画像信号に変換し、変換された画像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１２０へ出力する。以上の処理を繰り返すことにより複数枚の画像信号が取得される。圧縮部１１４は、後述する画像処理部１２０で所定の処理がなされた画像信号を圧縮し、出力部１１５へ出力する。
【００１５】
撮像制御部１０７は、撮像制御部１０７は、画像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため絞り１０１およびＣＣＤ１０３の電子シャッタ速度などを制御する。撮像制御部１０７による制御は本撮影における撮影回数と同じ回数だけ行われる。すなわち、上記した処理が複数回行われ、撮影された複数枚分の画像の画像信号がバッファ１０６に一旦記憶され、バッファ１０６から画像信号が一枚分ずつ順次画像処理部１２０へ出力される。
【００１６】
制御部１１６は、撮像制御部１０７、後述する画像処理部１２０の、信号処理部１０８、サブバンド生成部１０９、ヒストグラム算出部１１０、サブバンド階調変換特性算出部１１１、階調変換特性算出部１１２、階調変換部１１３、及び圧縮部１１４と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１１７は、図示しない電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。
【００１７】
画像処理部１２０は、信号処理部１０８サブバンド生成部１０９、ヒストグラム算出部１１０、サブバンド階調変換特性算出部１１１、階調変換特性算出部１１２及び階調変換部１１３を備えている。
【００１８】
信号処理部１０８は、制御部１１６の制御に基づきバッファ１０６から入力された単板状態の画像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の画像信号を生成しサブバンド生成部１０９及び階調変換部１１３へ出力する。さらに、以下の数１式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。
【００１９】
【数１】
2011175608.tif 000003
【００２０】
サブバンド生成部１０９は、画像信号を、例えば、ダウンサンプリングすることにより複数のサブバンド画像を生成する。このため、図２に示すようにサブバンド生成部１０９は、分解部２００、特定輝度領域検出部２０１、分解レベル設定部２０２及びバッファ２０３を備えており、分解部２００は特定輝度領域検出部２０１に、特定輝度領域検出部２０１は分解レベル設定部２０２及びバッファ２０３に、分解レベル設定部２０２は分解部２００にそれぞれ接続されている。
【００２１】
分解部２００は、信号処理部１０８から転送された画像信号に対して、所望の分解レベルまで階層的にサブバンド分解し、例えば、所定の画素間隔ｄで所望の分解レベルまで階層的にダウンサンプリングし、解像度の異なる複数のサブバンド画像を生成する。この所定の画素間隔は任意に定めることができる。本実施形態においては、ｄ=２でダウンサンプリングする場合を例として説明する。図３は、ダウンサンプリングによるサブバンド画像生成の説明図である。図３に示すように、分解部２００は、信号処理部１０８より転送される画像信号を１段目とし、ｎ段目までの各ｉ段（ｉは１以上ｎ以下の整数）におけるサブバンド画像を生成する。図３では、画像信号の偶数行と偶数列もしくは奇数行と奇数列を間引くことでｄ=２のダウンサンプリングを行っている。分解部２００により生成されたサブバンド画像は特定輝度領域検出部２０１へ転送される。
【００２２】
特定輝度領域検出部２０１では、分解部２００より転送されたサブバンド画像に閾値処理を施し、処理後のサブバンド画像から、所定の輝度範囲の輝度値を有する画素からなる領域を特定輝度領域として検出する。ここで、特定輝度領域とは、太陽あるいは電灯といった極端に高輝度である領域である。これらの領域は、他の領域と同じ手順の局所的な階調変換を行うと不自然となる場合がある。ただし、これらの高輝度領域に限ったものではなく、ある一定範囲の輝度を持った特定輝度領域のみを他の領域と異なる階調変換を行うことも可能である。なお、特定輝度領域の検出方法はこれに限られず、領域拡張法、分水嶺法、ＭＳＥＲ（Maximally Stable Extremal Regions）といった公知の領域検出処理を用いて特定輝度にかかる領域及びその面積を検出してもよい。
【００２３】
分解レベル設定部２０２では、特定輝度領域検出部２０１で検出された分解レベルがｉ段目のサブバンド画像に含まれる特定輝度領域の面積Ｓ（ｉ）と、後述するヒストグラム算出部１１０における所定の局所領域の面積Ｎとに基づいて、分解レベルを設定する。具体的には、以下の数２式に基づいて分解レベルとしてのサブバンド分解段数を設定する。
【００２４】
【数２】
2011175608.tif 000004
【００２５】
この数２式を満たす最大の段数ｉが、サブバンド分解段数の最大段数ｎとなるようサブバンド分解段数を設定する。図４は、サブバンド分解段数設定の説明図である。ここで、サブバンド画像を複数生成する場合であっても、サブバンド画像との比較対象である局所領域の面積Ｎは一定である。一方、図４に示すように、サブバンド画像が複数段生成されていくのに伴って、サブバンド画像に含まれる特定輝度領域の面積は小さくなっていく。従って、数２式に基づく処理では、予め定めた局所領域内に特定輝度領域が完全に包含され、かつ、局所領域内に占める特定輝度領域の割合が最大となるサブバンド画像が生成されるまで、ダウンサンプリングなど、サブバンド分解を階層的に繰り返し、この結果、複数のサブバンド画像が生成されることとなる。
【００２６】
このようにサブバンド分解の分解レベルとして分解する段数を制限することで、計算量の削減だけでなく特定輝度領域に対し局所領域が広くなる不適切なサブバンド画像を含まない理想的な階調変換特性の算出が可能となる。すなわち、特定輝度領域に対して局所領域が広い場合には、特定輝度領域以外の領域にも特定輝度領域に対する階調変換特性が適用されてしまうこととなり、所望の階調変換を行うことができなくなる。このため、特定輝度領域の面積Ｓ（ｉ）と局所領域の面積Ｎとを比較して、上記数２式を満たす範囲でサブバンド分解段数を設定する。
【００２７】
ヒストグラム算出部１１０は、サブバンド生成部１０９から転送された複数のサブバンド画像のそれぞれに対して、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを算出する。局所領域の大きさは任意に定めることができる。図５は、所定の局所領域に対してヒストグラムを生成する場合に関する説明図である。図５に示すように、例として、矩形領域で示した局所領域のヒストグラムは算出する位置により異なる。ヒストグラム算出部１１０は、サブバンド画像の全画素について、上述した局所領域におけるヒストグラムを算出し、算出されたヒストグラムをサブバンド階調変換特性算出部１１１に転送する。
【００２８】
サブバンド階調変換特性算出部１１１は、ヒストグラム算出部１１０から転送されたヒストグラムに対して、例えば、累積処理を行うことによりサブバンド画像毎に階調変換特性を算出する。ここで、累積処理をする際に、注目画素を中心とする所定の局所領域のヒストグラムの統計量に基づいてクリップ処理を行う。具体的には、以下の数３式を満たす、ヒストグラムの最頻値ｍが特定輝度値Ｉに対して±ｒ以内の場合、所定のクリップ値ｃによりクリップ処理を行い、それ以外の場合はクリップ処理せずに階調変換曲線を算出する。このようにクリップ処理を制御することで、特定輝度領域のみをクリップ処理することが可能となる。また、ｒの値により特定輝度値付近の輝度領域の制御も可能となる。
【００２９】
【数３】
2011175608.tif 000005
【００３０】
ここで、本実施形態においては、ヒストグラムの統計量として最頻値を用いたが、これに限られず、中央値、最頻値、最小値、最大値及び分散値のいずれかの値を用いてもよい。図６はヒストグラムに基づいて階調変換曲線を算出する場合の説明図である。図６（ａ）はクリップ処理前のヒストグラムおよびクリップ値ｃを表し、図６（ｂ）はクリップ処理後のヒストグラムを表す。転送されたヒストグラムに対して累積処理を行い、階調変換特性を算出する。図６（ｃ）はヒストグラムの累積処理を用いて算出した階調変換特性を表す。実線はクリップ処理前のヒストグラムから算出した階調変換特性で、点線はクリップ処理後のヒストグラムから算出した階調変換特性である。図６（ｃ）よりクリップ処理することで階調変換特性が線形に近づき、入力輝度をあまり強調しない階調変換特性となる。クリップ処理で用いたクリップ値ｃは、前記ヒストグラムの統計量により変化させてもよい。例えば、以下の数４式に示すように、ヒストグラムの分散値ｖによりクリップ値ｃを制御する。ここでwは規格化係数である。
【００３１】
【数４】
2011175608.tif 000006
【００３２】
上記した数４式によりクリップ値ｃを制御すると、特定輝度にヒストグラムが集中した場合はクリップ値が低くなり、入力輝度をあまり強調しない階調変換が可能である。ここで、ヒストグラムの統計量として分散値を用いたが平均値、中央値、最頻値、最小値及び最大値のいずれかの値を用いてもよい。上記のようなクリップ処理をすることで特定輝度にヒストグラムが集中した場合の累積ヒストグラムがなだらかになり、特定輝度領域はあまり強調しない、サブバンド画像における階調変換特性の算出が可能である。算出されたサブバンド画像における階調変換特性は階調変換特性算出部１１２に転送される。
【００３３】
階調変換特性算出部１１２は、サブバンド階調変換特性算出部１１１により算出されたサブバンド画像の階調変換特性を用いて階調変換特性を算出する。特定輝度領域の階調変換特性の算出方法の一例を数５式に示す。
【００３４】
【数５】
2011175608.tif 000007
【００３５】
ここでＬＨＥ（ｉ）は、サブバンド階調変換特性算出部１１１から転送された各サブバンド画像のサブバンド階調変換特性であり、α（ｉ）は段数ｉに応じた重み付け係数、ｋは規格化係数である。重み付け係数α（ｉ）は段数ｉに応じて増加する係数とする。すなわち、局所領域と特定輝度領域の面積が略等しいサブバンド階調変換特性に大きな重みをつけることとなり、特定輝度の被写体の大きさに応じた階調変換特性を得ることができる。特定輝度領域以外の階調変換特性は、以下の数６式に示すように、任意のｉ段目の階調変換特性のみを用いることができる。数６式では、ｉが小さいほど、より局所的な領域を重視する階調変換特性となる。
【００３６】
【数６】
2011175608.tif 000008
【００３７】
階調変換部１１３は、信号処理部１０８から転送された画像信号ＲＧＢ値それぞれに対して階調変換特性算出部１１２から転送された階調変換特性に基づいて階調変換を行うと共に、ディスプレイ等の表示系を考慮したガンマ変換を行う。階調変換処理された画像信号は圧縮部１１４に転送され、圧縮部１１４では階調変換部１１３から転送された画像信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１５へ転送する。出力部１１５はメモリカードなどへ圧縮された画像信号を記録保存あるいは外部表示ディスプレイに出力する。
【００３８】
以下、このように構成された本実施形態の画像処理装置における画像処理の過程について図７のフローチャートを用いて説明する。
【００３９】
本実施形態にかかる画像処理装置では、外部Ｉ／Ｆ部１１７を介してＩＳＯ感度、露出、焦点距離などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、プリ撮影が終了すると、外部Ｉ／Ｆ部１１７を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１６へ転送される。
【００４０】
ステップＳ１１では、ＣＣＤ１０３からの画像信号に画像信号サイズ、撮影条件等のヘッダ情報を付加したＲａｗデータから、ヘッダ情報を読み込み、次のステップＳ１２で、画像信号を入力する。ステップＳ１３において、この画像信号に対して、信号処理部１０８により上記した所定の信号処理を行い、処理後の画像信号をサブバンド生成部１０９に出力する。
【００４１】
次のステップＳ１４では、サブバンド生成部１０９の分解部２００により、画像信号をサブバンド分解しサブバンド画像を生成する。そして、生成されたサブバンド画像を特定輝度領域検出部２０１に出力する。次のステップＳ１５では、分解レベル設定部２０２により、分解部２００により生成されたサブバンド画像が所望の分解レベルのサブバンド画像であるかを判定する。ここで、所望の分解レベルは、特定輝度領域が局所領域内に含まれ、かつ、局所領域内に特定輝度領域以外の領域が最も少なくなるサブバンド画像の分解レベルに設定されている。すなわち、上述した数２式を満たすか否かの判定が行われる。
【００４２】
具体的には、数２式に基づいた処理として、生成されたサブバンド画像が所望の分解レベルのサブバンド画像であるかを以下のように判定する。特定輝度領域検出部２０１において、サブバンド画像から検出された特定輝度領域にかかる情報が、分解レベル設定部２０２に出力され、分解レベル設定部２０２において、入力された特定輝度領域と注目画素を中心とする所定の局所領域とを比較して、特定輝度領域が局所領域内に包含されていなければ、分解部２００により生成されたサブバンド画像は、所望の分解レベルのサブバンド画像ではないと判定する。また、入力された特定輝度領域と注目画素を中心とする所定の局所領域とを比較した結果、特定輝度領域が局所領域に包含されている場合には、さらに、先に生成されたサブバンド画像と比較して、局所領域内に占める特定輝度領域の割合が最大となるサブバンド画像を選択し、選択されたサブバンド画像を所望のサブバンド画像と判定する。
【００４３】
上述したような判定手法による判定の結果、判定対象のサブバンド画像が所望の分解レベルのサブバンド画像でないと判断された場合には、ステップＳ１４に戻り、再び分解部２００によりサブバンド分解を行う。このステップＳ１４及びステップＳ１５の処理を繰り返すことで、画像信号が所望の分解レベルまで階層的にサブバンド分解され、複数のサブバンド画像が生成される。ステップＳ１５での判定の結果、判定対象のサブバンド画像が所望の分解レベルのサブバンド画像であると判断された場合には、ステップＳ１６に進む。
【００４４】
ステップＳ１６では、複数のサブバンド画像に対して、サブバンド画像毎に、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、サブバンド画像の全画素について算出し、次のステップＳ１７に進む。ステップＳ１７では、ステップＳ１６において算出されたヒストグラムに基づいてサブバンド画像毎にサブバンド階調変換特性を算出する。
【００４５】
次のステップＳ１８では、サブバンド階調変換特性に基づいて、画像信号に対する階調変換特性を算出する。具体的には、各サブバンド画像のサブバンド階調変換特性に対して、分解レベルに応じた重み付け係数を算出し、この重み付け係数に従って、サブバンド階調変換特性を加重平均することにより、画像信号に対する階調変換特性を算出する。次のステップＳ１９では、階調変換部１１３により、ステップＳ１８で算出された階調変換特性を用いて画像信号に対して階調変換処理を行い、本ルーチンを終了する。
【００４６】
なお、階調変換処理に際しては、ステップＳ１８で算出した階調変換特性を、画像信号のうち特定輝度領域のみに適用し、画像信号のうち特定輝度領域以外の領域に対しては、任意の分解レベルのサブバンド画像に対するサブバンド階調変換特性を適用することができる。
【００４７】
このように、本実施形態によれば、被写体の大きさや輝度に応じて階調変換が可能となるため、例えば、画像信号中に高輝度の小さな点光源が存在するような場合に、点光源については階調補正を抑制することが可能となり、人間の視覚特性に近い自然な画像信号を得ることができる。
【００４８】
〔第２の実施形態〕
以下、本発明の第２の実施形態について図面を参照して説明する。本実施形態の画像処理装置では、そのサブバンド分解部２０９の構成が、上述した第１の実施形態の画像処理装置におけるサブバンド生成部１０９の構成と異なっている。すなわち、サブバンド分解部２０９では、特定輝度領域を検出した後に、この領域に対して、分解レベル設定部２０２によって、分解レベルを予め設定し、設定された分解レベルにかかる情報を分解部２００に送信する。そして、分解部２００では、これに基づいて、対象となる画像に対してサブバンド画像を生成し、ヒストグラム算出等以降の処理を行う。
【００４９】
従って、第１の実施形態におけるサブバンド生成部１０９と本実施形態におけるサブバンド画像生成部２０９とではサブバンド生成部２０９の各処理部の接続関係が異なっている。具体的には、信号処理部１０８は特定輝度領域検出部２０１に、特定輝度領域検出部２０１は分解レベル設定部２０２および分解部２００に、バッファ２０３は分解部２００及びヒストグラム算出部１１０にそれぞれ接続しており、この点が第１の実施形態におけるサブバンド生成部１０９と異なっている。以下、第１の実施形態と共通する構成については同一の符号を付すとともにその説明を省略し、異なる構成について主に説明する。
【００５０】
図８は、発明の第２の実施形態に係る画像処理装置の概略構成を示したブロック図である。図８に示すように、分解レベル設定部２０２において、分解レベルとして最大段数ｎを特定輝度領域の面積Ｓ（ｉ）と局所領域の面積Ｎとを比較し求めるのではなく、以下の数７式及び数８式に基づいて算出する。ｉ段目の特定輝度領域の面積Ｓ（ｉ）は数７式に示すように画素間隔ｄに反比例して縮小する。
【００５１】
【数７】
2011175608.tif 000009
【００５２】
この数７式より、上記した数２式を満たす最大段数ｎは、以下の数８式となる。
【００５３】
【数８】
2011175608.tif 000010
【００５４】
分解レベル設定部２０２により設定される分解レベルである最大段数ｎに関する情報は、分解部２００に出力され、分解部２００では、で階層的に複数のサブバンド画像が生成され、複数のサブバンド画像はバッファ２０３へ転送され蓄積される。またバッファ２０３に蓄積されたサブバンド画像はヒストグラム算出部１１０へ出力される。各サブバンド画像は各サブバンド画像の分解レベルとして段数ｉに関する情報を保持することとする。
【００５５】
以下、このように構成された本実施形態の画像処理装置における画像処理の過程について図９のフローチャートを用いて説明する。
【００５６】
本実施形態にかかる画像処理装置では、外部Ｉ／Ｆ部１１７を介してＩＳＯ感度、露出、焦点距離などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、プリ撮影が終了すると、外部Ｉ／Ｆ部１１７を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１６へ転送される。
【００５７】
ステップＳ２１では、ＣＣＤ１０３からの画像信号に画像信号サイズ、撮影条件等のヘッダ情報を付加したＲａｗデータから、ヘッダ情報を読み込み、次のステップＳ２２で、画像信号を入力する。ステップＳ２３において、この画像信号に対して、信号処理部１０８により上記した所定の信号処理を行い、処理後の画像信号をサブバンド生成部１０９に出力する。
【００５８】
ステップＳ２４では、分解レベル設定部２０２により分解レベルを設定する。具体的には、特定輝度領域検出部２０１において、画像信号から特定輝度領域、すなわち段数ｎ＝１の特定輝度領域を検出し、数８式に代入し分解レベルとしての最大段数ｎを算出する。次のステップＳ２５では、分解部２００により、先に算出された分解レベルまで画像信号を階層的にサブバンド分解して解像度の異なる複数のサブバンド画像を生成する。
【００５９】
ステップＳ２６では、複数のサブバンド画像に対して、サブバンド画像毎に、注目画素を中心とする所定の局所領域に含まれる画素の輝度値のヒストグラムを、サブバンド画像の全画素について算出し、次のステップＳ２７に進む。ステップＳ２７では、ステップＳ２６において算出されたヒストグラムに基づいてサブバンド画像毎にサブバンド階調変換特性を算出する。
【００６０】
次のステップＳ２８では、サブバンド階調変換特性に基づいて、画像信号に対する階調変換特性を算出する。具体的には、各サブバンド画像のサブバンド階調変換特性に対して、分解レベルに応じた重み付け係数を算出し、この重み付け係数に従って、サブバンド階調変換特性を加重平均することにより、画像信号に対する階調変換特性を算出する。次のステップＳ２９では、階調変換部１１３により、ステップＳ２８で算出された階調変換特性を用いて画像信号に対して階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理に際しては、ステップＳ２８で算出した階調変換特性を、画像信号のうち特定輝度領域のみに適用し、画像信号のうち特定輝度領域以外の領域に対しては、任意の分解レベルのサブバンド画像に対するサブバンド階調変換特性を適用することができる。
【００６１】
このように、本実施形態によれば、被写体の大きさや輝度に応じて階調変換が可能となるため、例えば、画像信号中に高輝度の小さな点光源が存在するような場合に、点光源については階調補正を抑制することが可能となり、人間の視覚特性に近い自然な画像信号を得ることができる。また、本実施形態では、第１の実施形態のように、分解レベル設定部２０２において特定輝度領域の面積Ｓ（ｉ）と局所領域の面積Ｎとの比較が不要となり、さらに計算量を削減できる。
【００６２】
なお、上述した第１及び第２の実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて実現、換言すると、汎用又は専用のコンピュータ及びこのコンピュータ上で動作するプログラムとして実現することができる。このようなコンピュータは、例えば、ＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及び記憶装置を備えており、ＣＰＵ等により、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に記録されているプログラムを読み出して、プログラムをＲＯＭやＲＡＭなどに展開し、情報の加工・演算処理を実行することにより、上述の画像処理装置による画像処理を実現させる。
【００６３】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００６４】
１０９  サブバンド生成部
１１０  ヒストグラム算出部
１１１  サブバンド階調変換特性算出部
１１２  階調変換特性算出部
１１３  階調変換部
２００  分解部
２０１  特定輝度領域検出部
２０２  分解レベル設定部
２０９  サブバンド生成部
【図１】
2011175608.tif 000011
【図２】
2011175608.tif 000012
【図３】
2011175608.tif 000013
【図４】
2011175608.tif 000014
【図５】
2011175608.tif 000015
【図６】
2011175608.tif 000016
【図７】
2011175608.tif 000017
【図８】
2011175608.tif 000018
【図９】
2011175608.tif 000019