(57)【要約】【課題】  各分割領域の画像に好適な画像補正処理を行なうことによって、画像の画質を向上させることができる画像信号処理装置を得る。【解決手段】  画像データが予め定められた分割領域に分割される。次に、分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数を算出する。また、分割領域の画像データに対しエッジ抽出処理を行い、エッジ値を出力すると共に、分割領域の画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別する。そして、各分割領域の画像データに対して、算出された相関関数と、エッジ値と、判別結果とに基づいて輪郭補正処理やノイズ低減処理のパラメータを決定し、ノイズ低減処理及び輪郭補正処理を行なう。【選択図】  図３
2006094419.tif 000002
【特許請求の範囲】
【請求項１】
画像を予め定められた分割領域毎に分割する分割手段と、
前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する空間周波数特性算出手段と、
前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、
を備えた画像信号処理装置。
【請求項２】
画像を予め定められた分割領域毎に分割する分割手段と、
前記分割領域の画像データ及び前記画像全体の画像データに基づいて、前記分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する空間周波数特性算出手段と、
前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、前記画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、各分割領域の前記部分相関と前記求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の前記総合相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、
を備えた画像信号処理装置。
【請求項３】
前記補正量決定手段は、前記部分相関に基づいて相関値を演算し、前記相関値が大きくなるに従って、小さくなるように前記補正量を決定し、前記相関値が小さくなるに従って、大きくなるように前記補正量を決定する請求項１に記載の画像信号処理装置。
【請求項４】
前記補正量決定手段は、前記総合相関に基づいて相関値を演算し、前記相関値が大きくなるに従って、小さくなるように前記補正量を決定し、前記相関値が小さくなるに従って、大きくなるように前記補正量を決定する請求項２に記載の画像信号処理装置。
【請求項５】
各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかを判別する判別手段を更に備え、
前記補正量決定手段は、前記判別手段の判別結果に応じて、前記決定する各分割領域の画像データの補正量を調整する請求項１〜請求項４の何れか１項に記載の画像信号処理装置。
【請求項６】
画像を予め定められた分割領域毎に分割し、
前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出し、
前記算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定し、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置及び画像信号処理方法に係り、特に、デジタルカメラが撮像した画像の画像データに対して輪郭補正及びノイズ低減を行なう画像信号処理装置及び画像信号処理方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラでは、撮像素子を用い静止画等を撮影すると、アナログ／デジタル変換された後、ガンマ処理などのデジタル信号処理がなされ、画像のＲＧＢデータあるいＹＣ（輝度・色差）データが生成される。その後、電子ズーム倍率が指定された場合には、デジタルカメラのＣＰＵによって所望の電子ズーム倍率に拡大され、予め設定された圧縮形式（例えば、ＪＰＥＧ）によって圧縮した状態でメモリカード等の記録媒体に記録して保存する。
【０００３】
ここで、画像データに応じた好適な画像補正処理を行うことによりＳＮ比（信号対雑音比）を改善するものとして、電子ズーム倍率に応じて輪郭補正係数の値を可変して解像度の低下を抑えるビデオカメラ装置が知られている（特許文献１）。
【０００４】
また、電子ズーム倍率に応じた画像の画像周波数帯域に対して輪郭補償処理を行なう輪郭補償システムが知られている（特許文献２）。
【特許文献１】特開平５−１２２５７７号公報
【特許文献２】特開平１１−１６８６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１の技術では、電子ズーム倍率に応じて可変される輪郭補正係数に基づいて、画像全体を一様に輪郭補正するため、良好な輪郭補正処理を行うことは困難である。
【０００６】
また、上記の特許文献２の技術では、画像周波数帯域のみで輪郭補正処理の判断を行なっているために、輪郭が強調されると同時にノイズの成分も持ち上げてしまう、といった問題がある。
【０００７】
本発明は上記問題点を解決するためになされたものであり、画像の領域分割された部分に対して、各分割領域の画像に好適な画像補正処理を行なうことによって、画像の画質を向上させることができる画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係る画像信号処理装置は、画像を予め定められた分割領域毎に分割する分割手段と、前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する空間周波数特性算出手段と、前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、を備えて構成されている。
【０００９】
第１の発明に係る画像信号処理装置によれば、分割手段が、画像を予め定められた分割領域毎に分割し、空間周波数特性算出手段が、分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する。そして、補正量決定手段が、空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の部分相関に基づいて各分割領域の画像データの補正量を決定し、補正画像生成手段が、決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。
【００１０】
従って、画像を予め定められた分割領域に分割し、各分割領域の画像の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関に基づいて各分割領域の画像データを補正することによって、各分割領域の画像に好適な画像補正処理を行なうことでき、画像の画質を向上させることができる。
【００１１】
第１の発明に係る補正量決定手段は、部分相関に基づいて相関値を演算し、相関値が大きくなるに従って、小さくなるように補正量を決定し、相関値が小さくなるに従って、大きくなるように補正量を決定することができる。
【００１２】
また、第２の発明に係る画像信号処理装置は、前記分割領域の画像データ及び前記画像全体の画像データに基づいて、前記分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する空間周波数特性算出手段と、前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、前記画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、前記部分相関と前記求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の前記総合相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、を備えて構成されている。
【００１３】
第２の発明に係る画像信号処理装置によれば、空間周波数特性算出手段が、分割領域の画像データ及び画像全体の画像データに基づいて、分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する。そして、補正量決定手段が、空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、各分割領域の部分相関と求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の総合相関に基づいて各分割領域の画像データの補正量を決定し、補正画像生成手段が、決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。
【００１４】
従って、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を考慮して、各分割領域の画像データの補正量を決定することにより、各分割領域毎に異なる補正量のばらつきを抑制することができる。
【００１５】
第２の発明に係る補正量決定手段は、総合相関に基づいて相関値を演算し、相関値が大きくなるに従って、小さくなるように補正量を決定し、相関値が小さくなるに従って、大きくなるように補正量を決定することができる。
【００１６】
また、第１の発明及び第２の発明に係る画像信号処理装置は、各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかを判別する判別手段を更に備え、補正量決定手段は、判別手段の判別結果に応じて、決定する各分割領域の画像データの補正量を調整することができる。各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかに応じて、各分割領域の画像データの補正量を調整することによって、画像の画質をさらに向上させることができる。
【００１７】
第３の発明に係る画像信号処理方法は、画像を予め定められた分割領域毎に分割し、前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出し、前記算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定し、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。
【発明の効果】
【００１８】
本発明によれば、画像を予め定められた分割領域に分割し、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関に基づいて各分割領域の画像データを補正することによって、各分割領域の画像に好適な画像補正処理を行なうことができ、画像の画質を向上させることができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について詳細に説明する。
【００２０】
図１に示すように、デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ２１と、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、撮影する被写体の構図を決定するために用いられるファインダ２０とが設けられている。また、デジタルカメラ１０の上面には、撮影を実行する際に押圧操作されるレリーズスイッチ５６Ａと、電源スイッチ５６Ｂと、撮影モード及び被写体像を後述するＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定するためのモード切替スイッチ５６Ｃとが設けられている。
【００２１】
なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチ５６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を越えた最終押下位置まで押下される状態（以下、「全押し状態」という。）との２段階の押圧操作が検出可能に構成されている。
【００２２】
また、デジタルカメラ１０の背面には、前述のファインダ２０の接眼部と、撮影された被写体像やメニュー画面等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、十字カーソルスイッチ５６Ｄと、撮影時に被写体像のズーミング（拡大及び縮小）を行うときに操作されるズームスイッチ５６Ｅとが設けられている。
【００２３】
ズームスイッチ５６Ｅは、同図の‘Ｔ’の位置に対応し、かつ被写体像を拡大（ズーム・イン）するときに操作されるテレ・ボタンと、同図の‘Ｗ’の位置に対応し、かつ被写体像を縮小（ズーム・アウト）するときに操作されるワイド・ボタンとを含んで構成されている。
【００２４】
更に、デジタルカメラ１０の背面には、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチと、それまでの操作内容を確定するときに押圧操作される決定スイッチと、直前の操作内容をキャンセルするときに押圧操作されるストロボスイッチと、マクロ撮影を行なうときに押圧操作されるマクロ撮影スイッチとが設けられている。
【００２５】
次に、本実施の形態に係るデジタルカメラ１０の電気系の主要構成を説明する。
【００２６】
図２に示すように、デジタルカメラ１０は、前述のレンズ２１を含んで構成された光学ユニット２２と、レンズ２１の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行なうアナログ信号処理部２６とが設けられている。
【００２７】
また、デジタルカメラ１０には、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行なうデジタル信号処理部３０とが設けられている。
【００２８】
なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行なう。
【００２９】
ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。
【００３０】
また、デジタルカメラ１０には、デジタルカメラ１０全体の動作を制御するＣＰＵ４０と、撮影により得られた画像データ等を一時的に記憶するＳＤＲＡＭ（Synchronous DRAM）で構成されるメモリ４８と、メモリ４８に対するアクセスの制御を行なうメモリインタフェース４６とが設けられている。
【００３１】
更に、デジタルカメラ１０には、可搬型のスマートメディア（Smart Media(登録商標)）で構成されるメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行なう圧縮・伸張処理回路５４とが設けられている。
【００３２】
一方、デジタルカメラ１０は、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２を備えており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。
【００３３】
更に、デジタルカメラにはモータ駆動部３４が設けられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。
【００３４】
すなわち、本実施の形態に係るレンズ２１は、複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズで構成されており、レンズ２１は図示しないレンズ駆動機構を備えている。上記焦点調整モータ、ズームモータ及び絞り駆動モータはこのレンズ駆動機構に含まれ、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。
【００３５】
更に、前述のレリーズスイッチ５６Ａ、電源スイッチ５６Ｂ、モード切替スイッチ５６Ｃ、十字カーソルスイッチ５６Ｄ、ズームスイッチ５６Ｅ、メニュースイッチ等の各種スイッチ（図２では、「操作部５６」と総称。）はＣＰＵに接続されており、ＣＰＵ４０は、操作部５６に対する操作状態を常時把握できる。
【００３６】
また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が設けられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。
【００３７】
また、デジタルカメラ１０は、デジタル画像データにより示される被写体像やメニュー画面等をＬＣＤ３８に表示させるための画像信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６を備えている。
【００３８】
その他、ＬＣＤインタフェース３６では、画像データにより示される被写体像の画素配列に変換する画素配列変換処理、当該被写体像の画素数をＬＣＤ３８の画素数に変換する画素数変換処理、当該被写体像に対するＬＣＤ３８の特性等に応じたガンマ処理やシャープネス処理等の各種処理を実行するが、以上のようなＬＣＤインタフェース３６の動作は従来既知であるので、これ以上の説明は省略する。
【００３９】
デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０、ＬＣＤインタフェース３６及び圧縮・伸張処理回路５４の作動の制御、並びにメモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを行なう。
【００４０】
次に、本実施の形態に係るデジタル信号処理部３０の主要な機能構成を説明する。
【００４１】
図３に示すように、画像データを電子ズーム倍率の大きさに応じて拡大する電子ズーム処理部６２と、画像データを予め定められた分割領域に分割する画像領域分割処理部８２とが設けられている。また、画像データを空間周波数特性に変換する画像周波数変換処理部８０と、画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数を算出する相関関数算出部８４とが設けられている。更に、画像データに対しエッジ抽出処理を行なうことにより、エッジ値を出力するエッジ抽出処理部９４と、画像データがエッジの部分及び平坦部の部分の何れを表しているかを判別するエッジ・平坦部判別処理部９６と、画像データが予め定められたテクスチャを表しているか否かを判別するテクスチャ判別処理部９８とが設けられている。そして、エッジ・平坦部判別処理部９６及びテクスチャ判別処理部９８の判別結果に基づいて、画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別する判別部１００が設けられている。
【００４２】
また、相関関数算出部８４より算出された相関関数と、エッジ抽出処理部９４により出力されたエッジ値と、判別部１００の判別結果とに基づいて、輪郭補正処理やノイズ低減処理のパラメータを決定するパラメータ決定部８８と、パラメータ決定部８８により決定されたパラメータに基づいて、画像データに対しノイズ低減処理を行なうノイズ低減処理部６６と、画像データに対し輪郭補正処理を行なう輪郭補正処理部６８と、ノイズ低減処理部６６及び輪郭補正処理部６８の出力に基づいて全体補正画像データを生成する全体画像生成部７０とが設けられている。
【００４３】
次に、本実施の形態に係るデジタルカメラ１０の画像処理動作について説明する。ここでは、画像処理動作の一例として電子ズーム時の画像処理動作を説明するが、電子ズーム時でなくてもよい。
【００４４】
デジタルカメラ１０で、ズームスイッチ５６Ｅが押圧操作されて被写体像のズーム倍率が設定されると、光学ズーム処理が行なわれた後に、被写体が撮像され、デジタルデータがメモリ４８の所定領域に格納される。そして、メモリ４８の所定領域に格納されたデジタルデータは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理、シャープネス処理、及びＹＣ信号処理を行ない、画像データ（ＹＣデータ）ＤＡＴＡを生成する。
【００４５】
次に、デジタル信号処理部３０において、以下に説明するように、被写体像の画像データＤＡＴＡに対する電子ズーム処理、及び輪郭補正処理やノイズ低減処理などの画像補正処理が行なわれる。
【００４６】
まず、電子ズーム処理部６２において、電子ズーム倍率を算出し、電子ズーム倍率の大きさに応じて、画像データＤＡＴＡの一部分を切り取って拡大することにより拡大画像データＥＤＡＴＡを生成する。例えば、ズームスイッチ５６Ｅの押圧操作により設定されたズーム倍率をメモリ４８から読み出し、読み出したズーム倍率から光学ズームのズーム倍率を減算することにより、電子ズーム倍率を算出する。そして、電子ズーム倍率に応じて画像データＤＡＴＡの一部分を切り取り、ＣＣＤ２４による撮像で得られていない画像データ（画素単位のデジタル画像データ）を補間処理することにより、電子ズーム倍率の大きさに応じた拡大画像データＥＤＡＴＡを生成する。
【００４７】
次に、電子ズーム処理部６２で生成された拡大画像データＥＤＡＴＡが画像周波数変換処理部８０に入力され、画像周波数変換処理部８０において、拡大画像データＥＤＡＴＡをフーリエ変換処理して、周波数関数である空間周波数特性Ｆfull（ｆ）に変換する。なお、空間周波数特性に変換する処理はフーリエ変換処理に限定されるわけではなく、離散コサイン変換処理やウエーブレット変換処理、Ｈａａｒ変換処理でもよい。
【００４８】
また、画像領域分割処理部８２が、拡大画像データＥＤＡＴＡを予め定められたＭ×Ｎ個の分割領域に分割して、各分割領域の画像データＳＤＡＴＡを生成し、画像周波数変換処理部８０において、各分割領域の画像データＳＤＡＴＡが空間周波数特性Ｆblock_11（ｆ）〜Ｆblock_MN（ｆ）に変換される。そして、拡大画像データＥＤＡＴＡの空間周波数特性Ｆfull（ｆ）と分割領域の画像データＳＤＡＴＡの空間周波数特性Ｆblock_11（ｆ）〜Ｆblock_MN（ｆ）とが相関関数算出部８４に入力され、相関関数が算出される。
【００４９】
相関関数算出部８４では、図４に示すように、空間周波数特性記憶部１０２に、空間周波数に対する人間の視覚によるコントラスト感度を示す周波数関数である人間の視覚特性に基づく空間周波数特性Ｆvis（ｆ）が予め記憶されている。この人間の視覚特性に基づく空間周波数特性Ｆvis（ｆ）と、Ｆfull（ｆ）及びＦblock_11（ｆ）〜Ｆblock_MN（ｆ）の各々とを周波数軸上で畳み込み掛け算することにより、Ｆfull（ｆ）及びＦblock_11（ｆ）〜Ｆblock_MN（ｆ）の各々とＦvis（ｆ）との相関をそれぞれ求める。
【００５０】
次に、αβ決定部９０において、Ｆblock_11（ｆ）〜Ｆblock_MN（ｆ）の各々とＦvis（ｆ）との畳み込み掛け算により求められた相関の各々に基づいてα11〜αMNが決定され、Ｆfull（ｆ）とＦvis（ｆ）との畳み込み掛け算により求められた相関に基づいてβが決定される。
【００５１】
ここで、各分割領域毎に畳み込み掛け算により求められた相関は周波数関数として表されており、例えば、この周波数関数を周波数軸上で積分することにより、この相関の相関値が求められる。また、その相関値とαijとの関係を定めたα決定用ルックアップテーブル（ＬＵＴ）と、相関値とβとの関係を定めたβ決定用ルックアップテーブル（ＬＵＴ）を予め設けておき、α決定用ＬＵＴから相関値に対応するα11〜αMNが求められ、β決定用ＬＵＴから相関値に対応するβが求められる。α決定用ＬＵＴ及びβ決定用ＬＵＴは、相関値が大きいほど、大きい値のαij、βが対応するように設定されており、また、αijの値に比べてβの値は小さくなるように設定されている。
【００５２】
次に、各分割領域毎にＦblock_ij（ｆ）とＦvis（ｆ）との畳み込み掛け算により求められた相関、Ｆfull（ｆ）とＦvis（ｆ）との畳み込み掛け算による相関、及びαβ決定部９０で決定されたαij、βの値が相関関数決定部９２に入力され、下記の式で求められる相関関数Ｆcor_ij（ｆ）を各分割領域毎に算出し、出力する。
【００５３】
【数１】
2006094419.tif 000003
【００５４】
上記の式の第１項が、対象となっている分割領域の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表し、第２項が画像全体の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表している。また、第１項にはαijが重み付けされており、第２項にはβが重み付けされており、αijは上述したようにβより大きな値になるように設定されているので、第１項と第２項とを加算した相関関数Ｆcor_ij（ｆ）は、画像全体の空間周波数特性を考慮した、分割領域の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表している。
【００５５】
また、エッジ抽出処理部９４では、分割領域の画像データＳＤＡＴＡに対してラプラシアンフィルタ処理を行ない、エッジ値として各画素毎のラプラシアンフィルタ処理の演算結果を出力する。なお、エッジ抽出処理部９４で行なう処理は、ラプラシアンフィルタ処理に限定されるものではなく、ハイパスフィルタ処理でもよい。
【００５６】
また、エッジ・平坦部判別処理部９６では、例えば、対象の画素の輝度データと周辺８画素の平均輝度データとの差を算出し、その差と所定の閾値とを比較し、その差が所定の閾値より大きい場合にはこの対象画素はエッジの部分であると判定し、その差が所定の閾値より小さい場合には平坦部の部分であると判定する。そして、このエッジの部分であると判定された画素数が所定の画素数より大きい場合には、この分割領域はエッジの部分であると判別し、それ以外の場合には、この分割領域は平坦部の部分であると判別する。なお、この所定の閾値及び所定の画素数は、エッジの部分の画像データ及び平坦部の部分の画像データに基づいて、統計的に予め定められている。
【００５７】
また、テクスチャ判別処理部９８では、予め定められたテクスチャに該当するか否かを判別する。例えば、予め定められた網目や木目を表すテクスチャの画像データの特徴量を予め抽出し設定しておく。そして、分割領域の画像データから濃度や輝度などの特徴量を抽出し、この特徴量と予め定められた特徴量とを比較して、特徴量の差が所定の閾値以下であれば、対象となっている分割領域の画像データは、予め定められたテクスチャの部分であると判別する。
【００５８】
判別部１００では、エッジ・平坦部判別処理部９６及びテクスチャ判別処理部９８の出力結果に基づいて、分割領域の画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別し、その判別結果を出力する。テクスチャ判別処理部９８によって予め定められたテクスチャの部分であると判別された場合には、判別部１００は、テクスチャの部分であるという判別結果を出力し、それ以外の場合に、判別部１００がエッジ・平坦部判別処理部９６の判別結果をそのまま出力する。
【００５９】
次に、パラメータ決定部８８において、相関関数算出部８４から入力された各分割領域毎の相関関数Ｆcor_ij（ｆ）と、エッジ抽出処理部９４から入力されたエッジ値と、判別部１００から入力された判別結果とに基づいて、輪郭補正処理やノイズ低減処理の画像処理のパラメータを決定する。
【００６０】
ここで、相関関数Ｆcor_ij（ｆ）と、エッジ値及び判別結果とに基づいて、対象となっている分割領域に好適な輪郭補正処理やノイズ低減処理の画像処理のパラメータを決定する原理を説明する。
【００６１】
相関関数Ｆcor_ij（ｆ）に基づいて相関値を算出した場合、相関値が大きければ、対象となっている分割領域の画像は、人間の視覚の感度に適した画像であると言えるため、相関関数Ｆcor_ij（ｆ）に基づいて算出された相関値は、人間の見やすさに対応している。従って、相関値が大きい場合には、画像データを補正する必要が少ないので、輪郭補正処理及びノイズ低減処理の効果を小さくするパラメータを設定する。一方、相関値が小さい場合には、輪郭補正処理及びノイズ低減処理の効果が大きくし、かつ、相関値が大きくなる方向に画像データを補正するようにパラメータを設定する。
【００６２】
また、判別部１００の判別結果がエッジの部分である場合には、輪郭を鮮鋭にし、ノイズ低減処理により輪郭の鮮鋭度が低下しないようにする必要があるため、輪郭補正処理の効果が大きくなるように輪郭補正処理のパラメータを調整し、ノイズ低減処理は行なわないようにする。判別部１００の判別結果がテクスチャの部分である場合には、ノイズ低減処理によりテクスチャの鮮鋭度が低下しないようにする必要があるため、ノイズ低減処理の効果が小さくなるようにノイズ低減処理のパラメータを設定する。また、平坦部の部分である場合には、輪郭がないため輪郭を強調する必要がなく、また、ノイズを低減する必要があるため、輪郭補正処理を行なわないようにし、ノイズ低減処理の効果が多くなるようにパラメータを調整する。これにより、エッジの部分、テクスチャの部分、及び平坦部の部分の各々に好適な輪郭補正処理及びノイズ低減処理を行なうことができる。
【００６３】
次に、上記の原理に基づいて、パラメータ決定部８８が輪郭補正処理及びノイズ低減処理のパラメータを決定する方法について説明する。
【００６４】
相関関数Ｆcor_ij（ｆ）を周波数軸上で積分することにより、相関関数Ｆcor_ij（ｆ）の相関値を算出する。そして、相関値と輪郭補正処理及びノイズ低減処理のパラメータとの関係を表したルックアップテーブル（ＬＵＴ）を予め設けておき、相関値をＬＵＴに入力することにより、上記の原理に基づいた輪郭補正処理及びノイズ低減処理のパラメータを決定する。ここで、このＬＵＴによって決定される輪郭補正処理のパラメータは、例えば、輪郭補正処理のゲイン係数であり、このゲイン係数をエッジ値に乗算したパラメータが輪郭補正処理のパラメータとなる。また、このＬＵＴによって決定されるノイズ低減処理のパラメータは、例えば、ローパスフィルタなどのノイズ低減フィルタのパラメータである。
【００６５】
さらに、判別部１００の判別結果と輪郭補正処理及びノイズ低減処理のパラメータ調整値とのルックアップテーブル（ＬＵＴ）を予め設け、判別部１００の判別結果を入力することにより、上記の原理に基づいた輪郭補正処理及びノイズ低減処理のパラメータ調整値を決定する。上記で決定された輪郭補正処理及びノイズ低減処理のパラメータにこのパラメータ調整値を反映することにより、輪郭補正処理及びノイズ低減処理のパラメータを最終的に決定する。
【００６６】
そして、パラメータ決定部８８から出力されたノイズ低減処理のパラメータに基づいて、ノイズ低減処理部６６が、画像領域分割処理部８２から入力された分割領域の画像データＳＤＡＴＡに対してノイズ低減処理を行なう。また、パラメータ決定部８８から出力された輪郭補正処理のパラメータに基づいて、輪郭補正処理部６８が、画像領域分割処理部８２から入力された分割領域の画像データＳＤＡＴＡに対して輪郭補正処理を行なう。そして、全体画像生成部７０において、ノイズ低減処理部６６及び輪郭補正処理部６８から入力されたデータに基づいて、各分割領域の補正画像データを生成すると共に、全ての分割領域の補正画像データを組み合わせることにより、全体補正画像データを生成し、全体補正画像データを外部メモリインタフェース５０を介してメモリカード５２に記憶する。
【００６７】
なお、輪郭補正処理及びノイズ低減処理について、既存の技術を用いればよいため、輪郭補正処理及びノイズ低減処理の詳細な説明は省略する。
【００６８】
以上説明したように、画像の領域分割された部分に対して、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数に基づいて、各分割領域の画像に好適な輪郭補正処理、ノイズ低減処理などの画像補正処理を行なうことができ、画像の画質を向上させることができる。また、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を考慮して、各分割領域の画像データの補正量を決定することにより、各分割領域毎に異なる補正量のばらつきを抑制することができる。また、各分割領域の画像データがエッジの部分、テクスチャの部分、及び平坦部の部分の何れを表しているかによって、各分割領域の画像データの補正量を調整することによって、画像の画質をさらに向上させることができる。
【００６９】
なお、本実施の形態では、判別処理部でエッジ抽出処理、エッジ・平坦部判別処理、及びテクスチャ判別処理を行なう例を挙げたが、さらに、各分割領域の画像の明度を判別する処理を行ない、分割領域の明度に応じて、輪郭補正処理及びノイズ低減処理のパラメータを調整するようにしてもよい。特に、分割領域の画像データが平坦部の部分で、明度が低い場合には、ノイズ低減処理の効果を大きくするようにパラメータを調整すると、暗い背景部に多く含まれるノイズを効果的に取り除くことができる。
【００７０】
また、本実施の形態では、αβを決定する場合や、輪郭補正処理及びノイズ低減処理のパラメータやパラメータ調整値を算出する場合に、ルックアップテーブルを使用する例を挙げたが、各種値を出力する関数をそれぞれ予め設けておき、その関数に基づいてそれぞれの値を算出するようにしてもよい。
【００７１】
また、本実施の形態では、画像補正処理として、輪郭補正処理とノイズ低減処理を行なう例を挙げたが、これに限定されるものではなく、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関値を大きくするような画像補正処理であればよい。
【００７２】
また、相関関数Ｆcor_ij（ｆ）の相関値が小さい場合には、相関値が大きくなる方向に分割領域の画像を補正するようにパラメータを設定する例を挙げたが、判別部の判別結果によって、相関値を大きくしない方が人間にとって見やすい場合には、相関値を大きくしないようなパラメータを設定すればよい。
【図面の簡単な説明】
【００７３】
【図１】実施の形態に係るデジタルカメラの外観を示す外観図である。
【図２】実施の形態に係るデジタルカメラの電気系の主要構成を示すブロック図である。
【図３】実施の形態に係る電子ズーム時における画像処理を示す機能ブロック図である。
【図４】実施の形態に係る相関関数を算出する処理を示す機能ブロック図である。
【符号の説明】
【００７４】
１０    デジタルカメラ
６６    ノイズ低減処理部
６８    輪郭補正処理部
７０    全体画像生成部
８０    画像周波数変換処理部
８２    画像領域分割処理部
８４    相関関数算出部
８８    パラメータ決定部
９２    相関関数決定部
９４    エッジ抽出処理部
９６    エッジ・平坦部判別処理部
９８    テクスチャ判別処理部
１００    判別部
ＥＤＡＴＡ    拡大画像データ
ＳＤＡＴＡ    分割領域の画像データ
【図１】
2006094419.tif 000004
【図２】
2006094419.tif 000005
【図３】
2006094419.tif 000006
【図４】
2006094419.tif 000007