(57)【要約】【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば撮像装置に適用して、従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行する。【解決手段】本発明は、入力画像データＹ０を強調して画質を補正するようにして、高域成分Ｘ１が増大するに従って入力画像データＹ０を強調する程度を増大させる。【選択図】        図１
2007208399.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを強調して前記入力画像データの画質を補正する画質補正回路と、
前記画質補正回路を制御する制御回路とを備え、
前記制御回路は、
前記入力画像データの高域成分の信号レベルを検出し、
前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正回路において前記入力画像データを強調する程度が増大するように、前記画質補正回路を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記画質補正回路は、
前記入力画像データの高域成分を強調する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質補正回路は、
前記入力画像データから高域成分を抽出する画質補正成分抽出回路と、
前記画質補正成分抽出回路で抽出された前記高域成分の信号レベルを、前記制御回路の制御により可変するレベル調整回路と、
前記レベル調整回路の出力信号を前記入力画像データに加算する加算回路とを有する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正係数生成回路は、
エッジ成分を保存して前記入力画像データを平滑化処理する非線形平滑化フィルタと、
前記非線形平滑化フィルタの出力信号を前記入力画像データから減算して前記高域成分を生成する減算回路と、
前記減算回路の出力信号を絶対値化し、所定ブロック毎に加算して前記高域成分の信号レベルを検出するレベル検出回路とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御回路は、
前記入力画像データにおいて出現頻度の高い階調の部分でコントラストが増大するように、前記入力画像データを強調する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画質補正回路は、
サンプル数の計測に使用する計測値に前記制御回路の出力値を乗算することにより、前記計測値を前記制御回路の制御により可変する乗算回路と、
前記乗算回路で乗算された前記計測値を前記入力画像データの階調毎に集計して前記入力画像データのヒストグラムを検出するカウンタと、
前記ヒストグラムに基づいて、前記入力画像データにおいて出現頻度の高い階調の部分でコントラストが増大するように、入出力特性を切り換えて、前記入力画像データを出力する補正回路とを有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、
前記画質補正のステップを制御する制御のステップとを備え、
前記制御のステップは、
前記入力画像データの高域成分の信号レベルを検出し、
前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する
ことを特徴とする画像処理方法。
【請求項８】
演算処理手段の実行により入力画像データの画質を補正する画像処理方法のプログラムにおいて、
前記入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、
前記画質補正のステップを制御する制御のステップとを備え、
前記制御のステップは、
前記入力画像データの高域成分の信号レベルを検出し、
前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する
ことを特徴とする画像処理方法のプログラム。
【請求項９】
演算処理手段の実行により入力画像データの画質を補正する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
前記入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、
前記画質補正のステップを制御する制御のステップとを備え、
前記制御のステップは、
前記入力画像データの高域成分の信号レベルを検出し、
前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば撮像装置に適用することができる。本発明は、入力画像データを強調して画質を補正するようにして、高域成分が増大するに従って入力画像データを強調する程度を増大させることにより、従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行する。
【背景技術】
【０００２】
従来、ビデオ信号等の各種画像データを処理する各種機器では、高域成分を強調して画質を向上させている。
【０００３】
これに対して特開２００１−２９８６２１号公報には、非線形平滑化フィルタを用いて高域成分を抽出し、コントラスト及び鮮鋭度を向上する方法が提案されている。すなわち図１５に示すように、この特開２００１−２９８６２１号公報に開示の手法に係る画像処理回路１は、２次元のεフィルタ等の非線形平滑化フィルタ２を用いて入力ビデオ信号Ｓ１を帯域制限し、これによりエッジ成分を保存したまま入力ビデオ信号Ｓ１を平滑化してビデオ信号Ｓ２を出力する。画像処理回路１は、減算回路３で、この非線形平滑化フィルタ２から出力されるビデオ信号Ｓ２を入力ビデオ信号Ｓ１から減算し、これによりエッジ成分を除いたビデオ信号Ｓ１の高域成分の信号Ｓ４を生成する。画像処理回路１は、この高域成分の信号Ｓ４を乗算回路４で乗算してレベル調整した後、加算回路５で非線形平滑化フィルタ２の出力信号Ｓ２に加算し、これによりエッジ成分を強調しないようにして、コントラスト及び鮮鋭度を向上してビデオ信号Ｓ５を出力する。
【０００４】
しかしながらこれらの従来手法による高域成分の強調では、ノイズ成分まで強調されて画質が劣化する問題がある。なおこのようなノイズ成分は、例えば空等の比較的高域成分が少なく、高域成分があまり意味を持たない部分で目立つようになる。
【特許文献１】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため請求項１の発明は、画像処理装置に適用して、入力画像データを強調して前記入力画像データの画質を補正する画質補正回路と、前記画質補正回路を制御する制御回路とを備え、前記制御回路は、前記入力画像データの高域成分の信号レベルを検出し、前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正回路において前記入力画像データを強調する程度が増大するように、前記画質補正回路を制御する。
【０００７】
また請求項７の発明は、画像処理方法に適用して、入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、前記画質補正のステップを制御する制御のステップとを備え、前記制御のステップは、前記入力画像データの高域成分の信号レベルを検出し、前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する。
【０００８】
また請求項８の発明は、演算処理手段の実行により入力画像データの画質を補正する画像処理方法のプログラムに適用して、前記入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、前記画質補正のステップを制御する制御のステップとを備え、前記制御のステップは、前記入力画像データの高域成分の信号レベルを検出し、前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する。
【０００９】
また請求項９の発明は、演算処理手段の実行により入力画像データの画質を補正する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データを強調して前記入力画像データの画質を補正する画質補正のステップと、前記画質補正のステップを制御する制御のステップとを備え、前記制御のステップは、前記入力画像データの高域成分の信号レベルを検出し、前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正のステップにおいて前記入力画像データを強調する程度が増大するように、前記画質補正のステップを制御する。
【００１０】
請求項１の構成により、画像処理装置に適用して、入力画像データを強調して前記入力画像データの画質を補正する画質補正回路と、前記画質補正回路を制御する制御回路とを備え、前記制御回路は、前記入力画像データの高域成分の信号レベルを検出し、前記信号レベルの検出結果に基づいて、前記高域成分の信号レベルが増大するに従って、前記画質補正回路において前記入力画像データを強調する程度が増大するように、前記画質補正回路を制御すれば、ノイズの目立ち易い部分では、入力画像データを強調する程度が低減され、その結果、ノイズが目立たなくなる。これにより従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行することができる。
【００１１】
これにより請求項７、請求項８、請求項９の構成によれば、従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１２】
本発明によれば、従来に比してノイズによる画質劣化を低減して高域成分の強調処理等を実行することができる。
【発明を実施するための最良の形態】
【００１３】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１４】
（１）実施例の構成
図２は、本発明の実施例に係る画像処理装置である撮像装置を示すブロック図である。この撮像装置１０において、撮像素子１１は、例えばＣＣＤ（Charge Coupled Device ）固体撮像素子等により形成され、図示しないレンズにより撮像面に形成される光学像の撮像結果を出力する。
【００１５】
カメラ信号処理回路１２は、この撮像素子１１から出力される撮像結果を演算処理、アナログディジタル変換処理、ガンマ補正処理、ホワイトバランス調整等して輝度データＹ１及び色差データＣｒ、ＣｂによるビデオデータＤＶを出力する。カメラ信号処理回路１２は、この一連の処理において、画像処理回路１３でこのビデオデータＤＶの高域成分を強調して出力する。
【００１６】
この撮像装置１０は、このカメラ信号処理回路１２から出力されるビデオデータＤＶのモニタ画像を表示手段で表示し、記録系１４は、ユーザーによる操作に応動してこのビデオデータＤＶをデータ圧縮して記録媒体に記録する。なおここでこの記録媒体は、例えば光ディスク、磁気ディスク、磁気テープ、メモリカード等の記録媒体である。
【００１７】
図１は、この撮像装置１０に適用される画像処理回路１３の構成を示すブロック図である。この画像処理回路１３は、画質補正回路１７でビデオ信号の高域成分を強調して画質を補正するようにして、この画質補正回路１７を制御回路１６で制御する。
【００１８】
すなわち制御回路１６において、高域成分抽出回路１８は、例えばハイパスフィルタ回路等により形成され、輝度データＹ０から高域成分の信号を抽出して出力する。絶対値化回路１９は、この高域成分抽出回路１８の出力信号を絶対値化して出力する。加算回路２０は、例えば８×８画素によるブロック毎に、絶対値化回路１９の出力信号を加算することにより、ブロック毎に、輝度データＹ０の高域成分の信号レベルを検出する。なおこの信号レベルの検出単位であるブロックは、必要に応じて種々に設定することができ、高域成分の信号レベルに応じて適応的に可変するようにしてもよく、さらには画素単位で検出するようにしてもよい。
【００１９】
図３（Ａ）及び（Ｂ）は、この制御回路１６における高域成分の検出処理を示すイメージ図である。この図３（Ｂ）では、高域成分の信号レベルが大きい部分程、白色で示し、これにより背景の壁の部分は、殆ど高域成分が無いことが判る。
【００２０】
制御回路１６において、係数生成回路２１は、このようにして検出した高域成分の信号レベル検出結果に基づいて、高域成分の信号レベルが増大するに従って、画質補正回路１７で輝度データＹ０を強調する程度が増大するように、画質補正回路１７の動作を制御する補正係数Ｃ１を生成する。具体的に、係数生成回路２１は、図４に示すように、高域成分の信号レベルに比例して値０から値１の範囲で変化し、高域成分の信号レベルが一定値以上となると値１に保持されるように補正係数Ｃ１を生成する。
【００２１】
画質補正回路１７は、輝度データＹ０の高域成分を強調することにより、輝度データＹ０によるビデオデータの画質を補正する。また制御回路１６から出力される補正係数Ｃ１に応じてこの高域成分を強調する程度を可変し、これにより制御回路１６の制御により高域強調の程度を可変してビデオ信号の画質を補正する。
【００２２】
すなわち画質補正回路１７において、画質補正成分抽出回路２２は、輝度データＹ０から画質補正する信号成分を抽出する。ここでこの実施例では、輝度データＹ０の高域成分を強調することから、画質補正成分抽出回路２２は、例えばハイパスフィルタ回路により輝度データＹ０から高域成分Ｄ１を抽出して出力する。なおこの高域成分を抽出する構成は、制御回路１６の構成と共通化してもよい。
【００２３】
乗算回路２３は、画質補正成分抽出回路２２の出力信号を、制御回路１６から出力される補正係数Ｃ１で重み付けして出力する。これによりこの画像処理回路１３は、高域成分が多くてノイズが目立ち難い部分程、ビデオデータの高域成分Ｄ１を強調し、ノイズが目立ち易いフラットな部分では、強調の程度を低減させる。これにより乗算回路２３は、画質補正成分抽出回路２２で抽出された高域成分Ｄ１の信号レベルを、制御回路１６の制御により可変するレベル調整回路を構成する。
【００２４】
加算回路２４は、乗算回路２３の出力信号Ｄ２を元の輝度データＹ０に加算し、これにより高域成分を強調した輝度データＹ１を出力する。
【００２５】
レベル補正回路２５は、処理結果に係る輝度データＹ１に対する色差データＣｒ、Ｃｂの比率が元の輝度データＹ０に対する比率と等しくなるように色差データＣｒ、Ｃｂの信号レベルを補正して出力し、これにより色相の変化を防止する。
【００２６】
（２）実施例の動作
以上の構成において、この実施例に係る撮像装置１０では（図２）、撮像素子１１より得られた撮像結果がカメラ信号処理回路１２により信号処理された後、モニタ画像として表示され、またユーザーによる操作に応動して記録系１４により記録される。この撮像装置１０では、このカメラ信号処理回路１２における処理において、画像処理回路１３で輝度データＹ１の高域成分が強調されて画質が改善される。
【００２７】
すなわちこの画像処理回路１３において、輝度データＹ０は、画質補正成分抽出回路２２で高域成分Ｄ１が抽出され、続く乗算回路２３でこの高域成分Ｄ１がレベル調整された後、加算回路２４で元の輝度データＹ０に加算される。これにより輝度データＹ０は、高域成分が強調されて画質が補正される。
【００２８】
また輝度データＹ０は、制御回路１６で、高域成分の信号レベルがブロック毎に検出され、この検出結果に基づいて、高域成分の信号レベルに比例して値０から値１の範囲で変化する補正係数Ｃ１が生成される。輝度データＹ０は、この補正係数Ｃ１で画質補正回路１７における高域成分Ｄ１のレベル調整が制御され、これにより高域成分を強調するようにして、この強調の程度が、高域成分の信号レベルに比例するように制御される。
【００２９】
これによりこの画像処理回路１３から出力される輝度データＹ１は、高域成分が多くてノイズが目立ち難い部分では、十分に高域成分が強調され、十分に鮮鋭度を向上することができる。これに対してノイズが目立ち易いフラットな部分では、強調の程度が低減され、これによりノイズによる画質劣化が十分に防止される。これらによりこの実施例では、ノイズによる画質劣化を低減して、高域成分の強調により画質を向上することができる。
【００３０】
（３）実施例の効果
以上の構成によれば、入力画像データを強調して画質を補正するようにして、高域成分が増大するに従って入力画像データを強調する程度を増大させることにより、従来に比してノイズによる画質劣化を低減して高域成分を強調することができる。
【実施例２】
【００３１】
図５は、図４との対比により本発明の実施例２に係る撮像装置における補正係数Ｃ１の特性を示す特性曲線図である。この実施例の撮像装置は、この補正係数Ｃ１の設定方法が異なる点を除いて、実施例１と同一に構成される。
【００３２】
この実施例において、補正係数Ｃ１は、制御回路１６で検出される高域成分の信号レベルに比例して変化するように設定されて、一定値以上、高域成分の信号レベルが増大すると値１の一定値になるように設定される。また高域成分の信号レベルが所定のしきい値ＴＨとなると値０となり、このしきい値ＴＨより信号レベルが小さい範囲では、値０より小さな値に設定される。
【００３３】
これによりこの実施例では、高域成分の信号レベルがしきい値ＴＨより大きな範囲では、高域成分に応じて強調の程度を可変して高域成分を強調し、ノイズによる画質劣化を低減して高域成分の強調により画質を向上する。また高域成分の信号レベルがしきい値ＴＨより小さな範囲では、高域成分を抑圧し、これにより一段とノイズが目立たないようにして画質を向上する。
【００３４】
この実施例のように、高域成分に応じて強調の程度を可変して高域成分を強調するようにして、高域成分の信号レベルが小さな範囲では、高域成分を抑圧するようにすれば、一段とノイズによる画質劣化を低減して高域成分の強調により画質を向上することができる。
【実施例３】
【００３５】
図６は、本発明の実施例３の撮像装置に適用される画像処理回路を示すブロック図である。この画像処理回路３３は、輝度データＹ、色差データＣｒ、Ｃｂによるビデオデータの高域成分を強調して画質を向上する。この実施例の撮像装置は、図１について上述した画像処理回路１３に代えて、この画像処理回路３３が適用される点を除いて、実施例１の撮像装置１０と同一に構成される。また画像処理回路３３は、制御回路１６と画質補正回路１７とで、高域成分を抽出する構成が一部共用化されている点、また高域成分の抽出に非線形平滑化フィルタ３４が適用されている点等が異なる点を除いて、実施例１について上述した画像処理回路１３と同一に構成される。
【００３６】
ここで非線形平滑化フィルタ３４は、エッジ成分を保存したまま輝度データＹ０を平滑化処理する。すなわち図７に示すように、非線形平滑化フィルタ３４は、水平方向処理回路３５、垂直方向処理回路３６によりエッジ成分を保存したまま順次輝度データＹ１を水平方向及び垂直方向に平滑化処理する。
【００３７】
非線形平滑化フィルタ３４は、図示しないバッファメモリを介してラスタ走査の順序により順次輝度データＹ０を水平方向成分抽出回路３８に入力し、水平方向成分抽出回路３８は、この輝度データＹ０を所定段数のシフトレジスタにより順次遅延させる。水平方向成分抽出回路３８は、このシフトレジスタに保持した複数サンプリングの輝度データＳ１を同時並列的に出力し、これにより処理対象のサンプリング点と、その水平方向の前後、水平方向に隣接する複数サンプリング点とによる輝度データＳ１１を非線形平滑化回路３９に出力する。これにより水平方向成分抽出回路３８は、平滑化処理に供する複数サンプリング点の輝度データＳ１１を順次非線形平滑化回路３９に出力する。
【００３８】
垂直方向成分抽出回路４０は、直列接続された複数段のラインバッファに輝度データＹ０を入力して順次転送し、各ラインバッファから出力される輝度データＹ０を同時並列的に基準値設定回路４１に出力する。これにより垂直方向成分抽出回路４０は、水平方向成分抽出回路３８による処理対象のサンプリング点と、その垂直方向の上下、垂直方向に隣接する複数サンプリング点とによる輝度データＳ１２を基準値設定回路４１に出力する。
【００３９】
基準値設定回路４１は、この垂直方向成分抽出回路４０から出力される垂直方向に連続する複数サンプリングによる輝度データＳ１２により、処理対象のサンプリング点に対する垂直方向の隣接サンプリング点によるサンプリング値の変化を検出し、このサンプリング値の変化の大きさに応じて非線形平滑化処理に供する基準値ε１を設定する。これにより基準値設定回路４１は、非線形平滑化回路３９において過不足なく平滑化処理を実行するように基準値ε１を設定する。
【００４０】
すなわち基準値設定回路４１において、差分絶対値算出回路４２は、この垂直方向成分抽出回路４０から出力される垂直方向に連続する複数サンプリングの輝度データＳ１２を入力し、処理対象のサンプリング点の輝度データを、隣接するサンプリング点の輝度データからそれぞれ減算し、この減算結果による減算値をそれぞれ絶対値化する。これにより差分絶対値算出回路４２は、処理対象のサンプリング点を基準にして、垂直方向に隣接する複数サンプリング点の差分絶対値を検出する。
【００４１】
基準値設定回路４３は、このようにして差分絶対値算出回路４２で検出される垂直方向に連続する隣接サンプリング点による複数の差分絶対値から最大値を検出し、この最大値に一定のマージンを加算して基準値ε１を設定する。なお基準値設定回路４３は、例えばこのマージンを１０〔％〕に設定して、差分絶対値の最大値の１．１倍を基準値ε１に設定する。
【００４２】
非線形平滑化回路３９は、この基準値ε１を基準にして水平方向成分抽出回路３８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１１を非線形平滑化処理する。この処理において、非線形平滑化回路３９は、平滑化処理により失われる微小なエッジ成分を補うように、平滑化処理結果と元の輝度データＹ１とを加重平均して出力する。
【００４３】
すなわち図８に示すように、非線形平滑化回路３９において、非線形フィルタ５１は、εフィルタであり、基準値設定回路４１から出力される基準値ε１により水平方向成分抽出回路３８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１を非線形平滑化処理し、これにより基準値ε１を超えて大きく信号レベルが変化する成分を保存して、輝度データＹ０を平滑化処理する。これにより非線形フィルタ５１は、垂直方向におけるサンプリング値の変化を基準にした基準値ε１により、この基準値ε１を超えて大きく変化する信号レベルの変化を保存するようにして、水平方向に輝度データＹ０を非線形平滑化処理する。
【００４４】
混合回路５３は、混合比検出回路５２で計算される重み付け係数により、非線形フィルタ５１から出力される輝度データＳ１３と元の輝度データＹ０とを加重平均して輝度データＳ１４を出力する。
【００４５】
混合比検出回路５２は、水平方向成分抽出回路３８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１１から、処理対象のサンプリング点に対する水平方向に隣接するサンプリング点における信号レベルの変化を検出する。またこの検出した信号レベルの変化に基づいて微小なエッジの有無を検出し、この検出結果に基づいて混合回路５３の加重平均処理に係る重み付け係数を計算する。
【００４６】
具体的に、混合比検出回路５２は、基準値設定回路４１で検出される垂直方向に係る基準値ε１を一定の割合により割り算し、又はこの基準値ε１から一定値を減算し、これによりこの垂直方向に係る基準値ε１を基準にして、この基準値ε１より値の小さな基準値ε２を計算する。なおこの基準値ε２の設定は、垂直方向の信号レベルの変化に応じて設定される基準値ε１による非線形平滑化処理により平滑化された微小なエッジ成分を、後述する差分絶対値との比較により検出できるように、設定される。
【００４７】
さらに混合比検出回路５２は、水平方向成分抽出回路３８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１を入力し、処理対象のサンプリング点の輝度データと、この処理対象のサンプリング点に隣接する残りのサンプリング点の輝度データとの間で、順次差分絶対値を計算する。混合比検出回路５２は、この計算した差分絶対値の全てが基準値ε２より小さい場合、微小なエッジが存在しないと判定する。
【００４８】
これに対してこの計算した差分絶対値の何れかが基準値ε２以上の場合、この基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、何れの側に存在するか、さらに差分値の極性を検出する。ここで基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、双方に存在し、かつこの双方に存在するサンプリング点に係る差分値の極性が一致している場合、この場合、ノイズ等により一時的にサンプリング値が増大している場合であることにより、混合比検出回路５２は、微小なエッジが存在しないと判定する。
【００４９】
これに対して基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、一方の側のみである場合、又は双方に存在して差分値の極性が異なっている場合、処理対象のサンプリング点を間に挟んで、サンプリング値が小さく変化している場合であることにより、微小なエッジが存在すると判定する。
【００５０】
混合比検出回路５２は、微小なエッジが存在すると判定した場合、元の輝度データＹ１を選択的に出力するように、混合回路５３の加重平均処理に係る重み付け係数を設定する。
【００５１】
これに対して微小なエッジが存在しないと判定した場合、混合回路５３から出力される輝度データＳ１４において、基準値ε２による判定に供した差分絶対値の最大値の値に応じて非線形平滑化処理による輝度データＳ１３の成分が増大するように、混合回路５３の加重平均処理に係る重み付け係数を設定する。なおここでこの重み付け係数の設定は、非線形平滑化処理による輝度データＳ１３に係る重み付け係数を、例えば差分絶対値の最大値の増大により値０から値１．０に直線的に増大させ、差分絶対値の最大値が一定値以上となると、非線形平滑化処理による輝度データＳ１３のみを選択出力するような係数の設定である。これにより混合比検出回路５２は、エッジが存在しないと判定した場合、サンプリング値の変化が大きい場合程、平滑化処理に係る重みを大きく設定して輝度データを出力する。
【００５２】
これらにより水平方向処理回路３５は、垂直方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、水平方向に輝度データＹ０を非線形平滑化処理する。またこの垂直方向に隣接するサンプリング点におけるサンプリング値の変化より小さな水平方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の輝度データＹ０を選択的に出力するのに対し、このようなエッジが存在しない場合には、水平方向におけるサンプリング値の変化の大きさに応じて非線形平滑化処理結果Ｓ１４と元の輝度データＹ０とを加重平均して出力し、これらにより微小なエッジ成分についても保存して輝度データＹ０を水平方向に平滑化処理する。
【００５３】
垂直方向処理回路３６（図３）は、水平方向に代えて、垂直方向に同様の処理を実行して、水平方向処理回路３５から出力される輝度データＳ１４を平滑化処理する。これにより垂直方向処理回路３６は、水平方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、垂直方向に輝度データＳ１４を非線形平滑化処理する。またこの水平方向に隣接するサンプリング点におけるサンプリング値の変化より小さな垂直方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の輝度データＳ１４を選択的に出力するのに対し、このようなエッジが存在しない場合には、垂直方向におけるサンプリング値の変化の大きさに応じて非線形平滑化処理結果と元の輝度データＳ１４とを加重平均して出力し、これらにより微小なエッジ成分についても保存して、輝度データＹ１を垂直方向に平滑化処理する。
【００５４】
これらにより非線形平滑化フィルタ３４は、微小なエッジ成分を保存して輝度データＹ０を平滑化処理し、その処理結果による輝度データＳＴ１を出力する。
【００５５】
減算回路６１は、この非線形平滑化フィルタ３４から出力される輝度データＳＴ１を、元の輝度データＹ０から減算し、これによりエッジ成分を除いた高域成分Ｄ１を生成して出力する。
【００５６】
これらによりこの実施例では、非線形平滑化フィルタ３４と減算回路６１とが、実施例１において上述した画質補正成分抽出回路２２を構成することになる。
【００５７】
ハイパスフィルタ回路（ＨＰＦ）６２は、減算回路６１から出力される高域成分Ｄ１からさらに高域成分を抽出して出力する。絶対値化回路６３は、このハイパスフィルタ回路６２の出力信号を絶対値化して出力し、加算回路６４は、この絶対値化回路６３の出力信号を所定ブロック毎に加算して高域成分の信号レベル検出結果を出力する。係数生成回路６５は、この高域成分の信号レベル検出結果に基づいて、図４又は図５について上述したと同様にして補正係数Ｃ１を生成して出力する。
【００５８】
これらによりこの実施例では、非線形平滑化フィルタ３４、減算回路６１、ハイパスフィルタ回路６２、絶対値化回路６３、加算回路６４、係数生成回路６５が、実施例１において上述した制御回路１６を構成することになる。
【００５９】
乗算回路６６は、減算回路６１から出力される高域成分Ｄ１に補正係数Ｃ１を乗算することにより、高域成分Ｄ１をレベル調整して出力する。加算回路６７は、この乗算回路６６の出力信号、減算回路６１から出力される高域成分Ｄ１、元の輝度データＹ０を加算し、これにより高域成分を強調して画質を向上した輝度データＹ１を出力する。
【００６０】
レベル補正回路６８は、処理結果に係る輝度データＹ１に対する色差データＣｒ、Ｃｂの比率が元の輝度データＹ０に対する比率と等しくなるように色差データＣｒ、Ｃｂの信号レベルを補正して出力し、これにより色相の変化を防止する。
【００６１】
この実施例によれば、微小なエッジ成分を保存してビデオ信号を平滑化処理して画質補正に使用する高域成分を抽出することにより、エッジの不自然さ防止して、実施例１と同様の効果を得ることができる。
【００６２】
すなわち図９は、従来手法による高域成分の抽出処理との対比により、この実施例による高域成分の抽出処理のイメージを示す平面図である。従来手法では、符号Ｙ０で示す入力画像（図９（Ａ））をハイパスフィルタ等を用いて帯域制限して高域成分Ｙ２（図９（Ｂ））を抽出していることから、この図における髪の毛の部分、衣服の部分、花の微細な構造等の、画像中の微細な輝度変化に加えて、エッジ成分まで高域成分Ｙ２に含まれてしまうことになる。また同様に、ノイズ成分も高域成分Ｙ２に含まれてしまうことになる。これに対してこの実施例のように、非線形平滑化フィルタを用いてエッジ成分を保存して平滑化処理すれば、入力画像Ｙ１（図９（Ａ））の各部における平均輝度レベルを保持してエッジ成分を抽出することができる（図９（Ｃ））。すなわちこの平滑化処理結果ＳＴ１では、髪の毛の部分、衣服の部分、花の微細な構造等の、画像中の微細な輝度変化が、選択的に平滑化処理される。これによりこの平滑化処理結果ＳＴ１を元の入力画像Ｙ０から減算すれば、エッジ成分を除いて画像中の微細な輝度変化を抽出することができ、これにより鮮鋭度の向上に優意な成分だけを抽出することができる（図９（Ｄ））。これによりこの実施例では、エッジの不自然さ防止して、実施例１と同様の効果を得ることができる。
【実施例４】
【００６３】
図１０は、本発明の実施例４の撮像装置に適用される画像処理回路を示すブロック図である。この画像処理回路７３は、輝度データＹ、色差データＣｒ、Ｃｂのコントラストを強調して画質を向上する。この実施例の撮像装置は、図１について上述した画像処理回路１３に代えて、この画像処理回路７３が適用される点を除いて、実施例１の撮像装置１と同一に構成される。この画像処理回路７３において、実施例１の画像処理回路１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【００６４】
この画像処理回路７３は、輝度データＹ０のヒストグラムを検出し、このヒストグラムに基づいて、出現頻度の高い階調の部分でコントラストが増大するように輝度データＹ０を強調する。またこの強調の程度を制御回路１６の制御により可変する。
【００６５】
すなわち例えば図１１（Ａ）に示すように、輝度データＹ０において中程度の階調の出現頻度が高い場合、画像処理回路７３は、図１１（Ａ）との対比により図１１（Ｂ）に示すように、この中程度の階調の部分でコントラストが増大するように入出力特性を設定して輝度データＹ１を出力する。またこの図１１（Ａ）及び（Ｂ）との対比により図１２（Ａ）及び（Ｂ）に示すように、高い階調の出現頻度が高い場合、この高い階調の部分でコントラストが増大するように入出力特性を設定して輝度データＹ１を出力し、これとは逆に図１３（Ａ）及び（Ｂ）に示すように、低い階調の出現頻度が高い場合、この低い階調の部分でコントラストが増大するように入出力特性を設定して輝度データＹ１を出力する。これにより画像処理回路７３は、見た目のコントラストを増大させる。
【００６６】
このため画像処理回路７３は、画質補正回路７４のレベル検出回路７５で、輝度データＹ０の信号レベルを順次判定し、輝度データＹ０のサンプル値が、ヒストグラムにおける何れの階調に存在するかを示すアドレスＡ１、このアドレスＡ１のサンプル数である値１の計測値Ｌ１を出力する。
【００６７】
カウンタ７６は、このアドレスＡ１及び計測値Ｌ１を入力し、フレーム単位で、アドレスＡ１毎に、計測値Ｌ１を累積加算し、これによりヒストグラムを検出する。カウンタ７６は、このヒストグラムを判定して、出現頻度の高い階調の部分でコントラストが増大するように入出力特性を決定し、この決定した入出力特性による動作を補正回路７７に指示する。
【００６８】
補正回路７７は、このカウンタ７６から指示される入出力特性により輝度データＹ０を入力して輝度データＹ１を出力する。これにより画質補正回路７４は、ヒストグラムに基づいて、出現頻度の高い階調の部分でコントラストが増大するように輝度データＹ１の階調を補正して出力する。
【００６９】
しかしながら単にヒストグラムを検出して出現頻度の高い階調の部分でコントラストが増大するように階調を補正する場合、肝心の被写体の部分でコントラストが低下する場合がある。すなわち図１４（Ａ１）に示すように、平坦な背景の前に、被写体である人物が比較的大きな面積で存在する場合、ヒストグラムを検出して単に出現頻度の高い階調の部分でコントラストが増大するように階調を補正すれば、この人物の部分でコントラストが増大し、これにより見た目のコントラストを増大させることができる。
【００７０】
しかしながら図１４（Ａ１）との対比により図１４（Ａ２）に示すように、この肝心の被写体が小面積で撮影されている場合、ヒストグラムによっては、この被写体の部分が出現頻度の高い階調の部分として検出されないことになる。従ってこの場合は、背景の側のコントラストが増大し、却って、肝心の人物の部分でコントラストが低下してしまうことになる。
【００７１】
このためこの画像処理回路７３では、乗算回路７８を介して、レベル検出回路７５から出力される計測値Ｌ１をカウンタ７６に入力するようにして、この乗算回路７８で、計測値Ｌ１を補正係数Ｃ１で乗算する。
【００７２】
すなわちこのような肝心の被写体の部分は、高域成分も多いことから、図３との対比により図１４（Ｂ１）及び（Ｂ２）に示すよう、背景の部分に比して補正係数Ｃ１も大きな値となる。これにより計測値Ｌ１を補正係数Ｃ１で乗算して検出されるヒストグラムでは、補正値Ｌ１を補正係数Ｃ１で乗算しない場合に比して、背景部分に対応する階調の出現頻度が低くなり、人物の部分に対応する階調の出現頻度が高くなる。これにより人物が小さい面積で撮影されている場合でも、この人物の部分のコントラストを増大させることができる。
【００７３】
またこのようなコントラストの増大は、ノイズの増大をも招くものの、この実施例のように補正係数Ｃ１を用いてヒストグラムを補正する場合には、実施例１と同様に、高域成分の少ない平坦な部分ではコントラストの増大を防止してノイズを目立たなくすることができ、これとは逆に、高域成分の多いノイズの目立ち難い部分で、コントラストを十分に増大させることができ、これにより従来に比してノイズによる画質劣化を低減して、被写体の部分のコントラストを強調することができる。
【００７４】
この実施例によれば、ヒストグラムを検出し、出現頻度の高い階調の部分でコントラストが増大するように、輝度データの階調を補正する処理に適用しても、高域成分が増大するに従って輝度データの階調を強調する程度を増大させることにより、従来に比してノイズによる画質劣化を低減してコントラストを増大させることができる。
【実施例５】
【００７５】
なお上述の実施例においては、高域成分を強調し、階調を部分的に強調する場合について述べたが、本発明はこれに限らず、彩度を強調する場合等、種々の画像データの処理に広く適用することができる。
【００７６】
また上述の実施例３においては、非線形平滑化フィルタで、水平方向に平滑化処理した後、垂直方向に平滑化処理する場合について述べたが、本発明はこれに限らず、この順序を逆にしてもよい。
【００７７】
また上述の実施例３においては、平滑化処理結果と入力画像データとを加重平均化して出力するようにして、微小なエッジ成分の検出結果によりこの加重平均に係る重み付け係数を切り換える場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合には、この加重平均値化の処理を省略してもよい。
【００７８】
また上述の実施例３においては、非線形平滑化の処理に供する基準値を適応的に切り換える場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合には、基準値を一定値に設定して平滑化の処理を実行するようにしてもよい。
【００７９】
また上述の実施例３においては、εフィルタにより水平方向及び垂直方向に平滑化の処理を実行する場合について述べたが、本発明はこれに限らず、エッジ成分を保存して平滑化処理可能な種々のフィルタを広く適用することができ、また実用上十分な特性を確保できる場合には、非線形平滑化フィルタ自体にεフィルタを適用するようにしてもよい。
【００８０】
また上述の実施例においては、輝度データを処理し、その処理結果で色差データを処理する場合について述べたが、本発明はこれに限らず、色差データについても輝度データと同一に処理するようにしてもよく、さらには色データの段階で処理するようにしてもよい。
【００８１】
また上述の実施例においては、ビデオデータを処理することから動画を処理する場合について述べたが、本発明はこれに限らず、静止画を処理する場合にも広く適用することができる。
【００８２】
また上述の実施例においては、本発明を撮像装置に適用して撮像結果による画像データを処理する場合について述べたが、本発明はこれに限らず、例えばテレビジョン受像機、ＤＶＤ（Digital Versatile Disk）レコーダ等の各種映像機器、さらにはコンピュータにおけるプログラムの実行により画像処理する場合等に広く適用することができる。なおこのようにコンピュータの実行に係るプログラムに本発明を適用する場合、このプログラムは、コンピュータへの事前のインストールにより提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【産業上の利用可能性】
【００８３】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば撮像装置に適用することができる。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施例１に係る撮像装置に適用される画像処理回路を示すブロック図である。
【図２】本発明の実施例１に係る撮像装置を示すブロック図である。
【図３】図１の画像処理回路における補正係数の設定の説明に供する平面図である。
【図４】図１の画像処理回路における補正係数の特性を示す特性曲線図である。
【図５】本発明の実施例２における補正係数の特性を示す特性曲線図である。
【図６】本発明の実施例３に係る撮像装置に適用される画像処理回路を示すブロック図である。
【図７】図６の画像処理回路の非線形平滑化フィルタを示すブロック図である。
【図８】図７の非線形平滑化フィルタの非線形平滑化回路を示すブロック図である。
【図９】図６の画像処理回路の動作の説明に供する略線図である。
【図１０】本発明の実施例４に係る撮像装置に適用される画像処理回路を示すブロック図である。
【図１１】図１０の画像処理回路の階調補正の例を示す特性曲線図である。
【図１２】図１１とは異なる他の階調補正の例を示す特性曲線図である。
【図１３】図１１及び図１２とは異なる他の階調補正の例を示す特性曲線図である。
【図１４】図１０の画像処理回路における補正係数の設定の説明に供する略線図である。
【図１５】従来の画像処理回路を示すブロック図である。
【符号の説明】
【００８５】
１、１３、７３……画像処理回路、２、３４……非線形平滑化フィルタ、３、５、２４、６４、６７……加算回路、４、２３、６６、７８……乗算回路、１０……撮像装置、１６……制御回路、１７、７４……画質補正回路、１８……高域成分抽出回路、１９、６３……絶対値化回路、２０……加算回路、２１、６５……係数生成回路、２２……画質補正成分抽出回路、３５……水平方向処理回路、３４……垂直方向処理回路、６１……減算回路、６２……ハイパスフィルタ回路、７５……レベル検出回路、７６……カウンタ、７７……補正回路
【図１】
2007208399.tif 000003
【図２】
2007208399.tif 000004
【図３】
2007208399.tif 000005
【図４】
2007208399.tif 000006
【図５】
2007208399.tif 000007
【図６】
2007208399.tif 000008
【図７】
2007208399.tif 000009
【図８】
2007208399.tif 000010
【図１０】
2007208399.tif 000011
【図１１】
2007208399.tif 000012
【図１２】
2007208399.tif 000013
【図１３】
2007208399.tif 000014
【図１４】
2007208399.tif 000015
【図１５】
2007208399.tif 000016
【図９】
2007208399.tif 000017
【手続補正書】
【提出日】平成19年1月19日(2007.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記画質補正回路は、
エッジ成分を保存して前記入力画像データを平滑化処理する非線形平滑化フィルタと、
前記非線形平滑化フィルタの出力信号を前記入力画像データから減算して前記高域成分を生成する減算回路とを有し、
前記制御回路は、
前記減算回路の出力信号を絶対値化し、所定ブロック毎に加算して前記高域成分の信号レベルを検出するレベル検出回路を有する
ことを特徴とする請求項１に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
垂直方向処理回路３６（図７）は、水平方向に代えて、垂直方向に同様の処理を実行して、水平方向処理回路３５から出力される輝度データＳ１４を平滑化処理する。これにより垂直方向処理回路３６は、水平方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、垂直方向に輝度データＳ１４を非線形平滑化処理する。またこの水平方向に隣接するサンプリング点におけるサンプリング値の変化より小さな垂直方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の輝度データＳ１４を選択的に出力するのに対し、このようなエッジが存在しない場合には、垂直方向におけるサンプリング値の変化の大きさに応じて非線形平滑化処理結果と元の輝度データＳ１４とを加重平均して出力し、これらにより微小なエッジ成分についても保存して、輝度データＹ１を垂直方向に平滑化処理する。