(57)【要約】【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば撮像装置に適用して、画質の劣化を有効に回避して輪郭強調する。【解決手段】本発明は、エッジ成分を保存した入力画像データＹ１の平滑化処理結果ＳＴ１から、エッジ成分ＯＴ１を分離してレベル調整する。【選択図】        図１
2007188391.tif 000002
【特許請求の範囲】
【請求項１】
エッジ成分を保存して入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化回路と、
前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算回路と、
前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出回路と、
前記エッジ成分による画像データの信号レベルを可変する第１の増幅回路と、
前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅回路と、
前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅回路から出力される画像データを加算する加算回路とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記非線型平滑化回路は、
垂直方向又は水平方向の近傍サンプリング点における前記入力画像データのサンプリング値の変化に基づいて基準値を設定し、該基準値を超える信号レベルの変化を保存するように、前記入力画像データを水平方向又は垂直方向に非線型平滑化処理する第１の非線型フィルタと、
水平方向又は垂直方向に、前記入力画像データにおける微小なエッジを検出する第１のエッジ検出部と、
前記第１のエッジ検出部による検出結果に基づいて、前記第１の非線型フィルタの出力データと前記入力画像データとを加重平均して出力する第１の混合回路と、
水平方向又は垂直方向の近傍サンプリング点における前記第１の混合回路の出力データのサンプリング値の変化に基づいて基準値を設定し、該基準値を超える信号レベルの変化を保存するように、前記第１の混合回路の出力データを垂直方向又は水平方向に非線型平滑化処理する第２の非線型フィルタと、
垂直方向又は水平方向に、前記第１の混合回路の出力データにおける微小なエッジを検出する第２のエッジ検出部と、
前記第２のエッジ検出部による検出結果に基づいて、前記第２の非線型フィルタの出力データと前記第１の混合回路の出力データとを加重平均して出力する第２の混合回路とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
エッジ成分を保存して入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、
前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、
前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、
前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、
前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、
前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備える
ことを特徴とする画像処理方法。
【請求項４】
演算処理手段による実行により、入力画像データを処理する画像処理方法のプログラムにおいて、
エッジ成分を保存して前記入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、
前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、
前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、
前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、
前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、
前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備える
ことを特徴とする画像処理方法のプログラム。
【請求項５】
演算処理手段による実行により、入力画像データを処理する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法は、
エッジ成分を保存して前記入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、
前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、
前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、
前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、
前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、
前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備える
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば撮像装置に適用することができる。本発明は、エッジ成分を保存した入力画像データの平滑化処理結果から、エッジ成分を分離してレベル調整することにより、画質の劣化を有効に回避して輪郭強調する。
【背景技術】
【０００２】
従来、ビデオ信号等の各種画像データを処理する各種機器では、輪郭強調回路により輪郭を強調して画質を向上している。
【０００３】
すなわち図７は、従来の輪郭強調回路の一般的な構成を示すブロック図である。この輪郭強調回路１において、シャープネス成分抽出回路２は、例えばハイパスフィルタ回路により構成され、入力されたビデオ信号Ｙ１から高域成分を抽出して出力し、これにより輪郭強調に供する成分を抽出する。増幅回路３は、この高域成分を所定利得で増幅して出力する。加算回路４は、この増幅回路３の出力信号と、元のビデオ信号Ｙ１とを加算し、これにより図８（A）及び（Ｂ）に示すように、エッジ成分を強調してビデオ信号Ｙ２の輪郭を強調する。
【０００４】
これに対して特開２００１−２９８６２１号公報等には、コントラスト及び鮮鋭度を向上する方法が提案されている。すなわち図９に示すように、この特開２００１−２９８６２１号公報に開示の手法に係る画像処理回路６において、分離回路７は、輝度信号Ｙ１を非線型フィルタにより帯域制限し、これにより図１０（Ａ）及び（Ｂ）に示すように、エッジ成分を保存したまま輝度信号Ｙ１を平滑化して輝度信号ＳＴ１を出力する。また分離回路７は、この平滑化した輝度信号ＳＴ１を元の輝度信号Ｙ１から減算し、これにより図１０（Ｃ）に示すように、エッジ成分を除く高域成分ＴＸ１を抽出する。なおここでこの非線型フィルタには、例えば２次元のεフィルタが適用される。
【０００５】
この画像処理回路６において、増幅回路８は、図１０（Ｄ）に示すように、このエッジ成分を除く高域成分ＴＸ１を所定利得で増幅して出力する。加算回路９は、この増幅回路８の出力信号ＴＸ２と、分離回路７から出力される平滑化した輝度信号ＳＴ１とを加算し、これにより図１０（Ｅ）に示すように、エッジ成分を除く高域成分を強調して輝度信号Ｙ３を出力する。この方法の場合、エッジ成分は何ら処理しないことにより、プリシュート、オーバーシュートの発生を防止してエンハンスすることができる。
【０００６】
ところで図７に示すような従来の輪郭強調回路では、エッジ成分以外の高域成分まで強調されることにより、ノイズ成分についても強調することになる。これによりノイズが目立つようになり、その分、画質が劣化する問題がある。
【０００７】
この問題を解決する１つの方法として、いわゆるコアリング等の処理によりノイズ成分を除去する方法も考えられるが、コアリングレベルより大きなノイズ成分、信号レベルの変化が大きなエッジ等に重畳されたノイズ成分については、除去できない欠点があり、これにより実用上、未だ不十分な問題がある。
【特許文献１】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、画質の劣化を有効に回避して輪郭強調することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため請求項１の発明は、画像処理装置に適用して、エッジ成分を保存して入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化回路と、前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算回路と、前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出回路と、前記エッジ成分による画像データの信号レベルを可変する第１の増幅回路と、前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅回路と、前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅回路から出力される画像データを加算する加算回路とを備えるようにする。
【００１０】
また請求項３の発明は、画像処理方法に適用して、エッジ成分を保存して入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備えるようにする。
【００１１】
また請求項４の発明は、演算処理手段による実行により、入力画像データを処理する画像処理方法のプログラムに適用して、エッジ成分を保存して前記入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備えるようにする。
【００１２】
また請求項５の発明は、演算処理手段による実行により、入力画像データを処理する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法は、エッジ成分を保存して前記入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化のステップと、前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算のステップと、前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出のステップと、前記エッジ成分による画像データの信号レベルを可変する第１の増幅のステップと、前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅のステップと、前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅のステップから出力される画像データを加算する加算のステップとを備えるようにする。
【００１３】
請求項１の構成により、画像処理装置に適用して、エッジ成分を保存して入力画像データを平滑化処理して、平滑化処理結果による画像データを出力する非線型平滑化回路と、前記平滑化処理結果による画像データを前記入力画像データから減算して、エッジ成分を除く高周波成分による画像データを出力する減算回路と、前記平滑化処理結果による画像データからエッジ成分を抽出して、エッジ成分による画像データを出力する輪郭抽出回路と、前記エッジ成分による画像データの信号レベルを可変する第１の増幅回路と、前記エッジ成分を除く高周波成分による画像データの信号レベルを可変する第２の増幅回路と、前記平滑化処理結果による画像データ又は前記入力画像データに、前記第１及び第２の増幅回路から出力される画像データを加算する加算回路とを備えるようにすれば、ノイズ成分の混入を防止してエッジ成分だけを独立してレベル調整することができ、これによりノイズによる画質劣化を防止して輪郭強調することができる。
【００１４】
これにより請求項３、請求項４、請求項５の構成によれば、画質の劣化を有効に回避して輪郭強調することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１５】
本発明によれば、画質の劣化を有効に回避して輪郭強調することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
図２は、本発明の実施例に係る画像処理装置である撮像装置を示すブロック図である。この撮像装置１０において、撮像素子１１は、例えばＣＣＤ（Charge Coupled Device ）固体撮像素子等により形成され、図示しないレンズにより撮像面に形成される光学像の撮像結果を出力する。
【００１８】
カメラ信号処理回路１２は、この撮像素子１１から出力される撮像結果を演算処理、アナログディジタル変換処理、ガンマ補正処理、ホワイトバランス調整等して輝度データＹ１及び色差データＣｒ、ＣｂによるビデオデータＤＶを出力する。カメラ信号処理回路１２は、この一連の処理において、画像処理回路１３によりこのビデオデータＤＶを輪郭強調し、さらにはコントラスト、鮮鋭度を改善して出力する。
【００１９】
この撮像装置１０は、このカメラ信号処理回路１２から出力されるビデオデータＤＶによるモニタ画像を表示手段により表示し、記録系１４は、ユーザーによる操作に応動してこのビデオデータＤＶをデータ圧縮して記録媒体に記録する。なおここでこの記録媒体は、例えば光ディスク、磁気ディスク、磁気テープ、メモリカード等の記録媒体である。
【００２０】
図１は、この撮像装置１０に適用される画像処理回路の構成を示すブロック図である。画像処理回路１３は、輝度データＹ１及び色差データＣｒ、Ｃｂによる入力画像データの輪郭を強調し、さらにはコントラスト、鮮鋭度を改善する。このため画像処理回路１３において、分離回路１５は、エッジ成分を保存したまま輝度データＹ１を平滑化して輝度データＳＴ１を出力する。また分離回路１５において、この平滑化した輝度データＳＴ１を元の輝度データＹ１から減算し、これによりエッジ成分を除く高域成分ＴＸ１を抽出する。
【００２１】
ここで図３は、この分離回路１５の構成を示すブロック図である。分離回路１５は、水平方向処理回路１６、垂直方向処理回路１７によりエッジ成分を保存したまま順次輝度データＹ１を水平方向及び垂直方向に平滑化処理する。
【００２２】
すなわち画像処理回路１３は、図示しないバッファメモリからラスタ走査の順序により順次輝度データＹ１を水平方向成分抽出回路１８に入力し、水平方向成分抽出回路１８は、この輝度データＹ１を所定段数のシフトレジスタにより順次遅延させる。水平方向成分抽出回路１８は、このシフトレジシスタに保持した複数サンプリングの輝度データＳ１を同時並列的に出力し、これにより処理対象のサンプリング点と、その水平方向の前後、水平方向に隣接する複数サンプリング点とによる輝度データＳ１を非線型平滑化回路２１に出力する。これにより水平方向成分抽出回路１８は、平滑化処理に供する複数サンプリング点の輝度データＳ１を順次非線型平滑化回路２１に出力する。
【００２３】
垂直方向成分抽出回路１９は、直列接続された複数段のラインバッファに輝度データＹ１を入力して順次転送し、各ラインバッファから出力される輝度データＹ１を同時並列的に基準値設定回路２０に出力する。これにより垂直方向成分抽出回路１９は、水平方向成分抽出回路１８による処理対象のサンプリング点と、その垂直方向の上下、垂直方向に隣接する複数サンプリング点とによる輝度データＳ２を基準値設定回路２０に出力する。
【００２４】
基準値設定回路２０は、この垂直方向成分抽出回路１９から出力される垂直方向に連続する複数サンプリングによる輝度データＳ２により、処理対象のサンプリング点に対する垂直方向の隣接サンプリング点によるサンプリング値の変化を検出し、このサンプリング値の変化の大きさに応じて非線型平滑化処理に供する基準値ε１を設定する。これにより基準値設定回路２０は、非線型平滑化回路２１において過不足なく平滑化処理を実行する。
【００２５】
すなわち基準値設定回路２０において、差分絶対値算出回路２２は、この垂直方向成分抽出回路１９から出力される垂直方向に連続する複数サンプリングの輝度データＳ２を入力し、処理対象のサンプリング点に係る輝度データを、隣接するサンプリング点の輝度データからそれぞれ減算し、この減算結果による減算値をそれぞれ絶対値化する。これにより差分絶対値算出回路２２は、処理対象のサンプリング点を基準にして、垂直方向に隣接する複数サンプリング点の差分絶対値を検出する。
【００２６】
基準値設定回路２３は、このようにして差分絶対値算出回路２２で検出される垂直方向に連続する隣接サンプリング点による複数の差分絶対値から最大値を検出し、この最大値に一定のマージンを加算して基準値ε１を設定する。なお基準値設定回路２３は、例えばこのマージンを１０〔％〕に設定して、差分絶対値の最大値の１．１倍を基準値ε１に設定する。
【００２７】
非線型平滑化回路２１は、この基準値ε１を基準にして水平方向成分抽出回路１８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１を非線型平滑化処理する。この処理において、非線型平滑化回路２１は、平滑化処理により失われる微小なエッジ成分を補うように、平滑化処理結果と元の輝度データＹ１とを加重平均して出力する。
【００２８】
すなわち図４に示すように、非線型平滑化回路２１において、非線型フィルタ３１は、εフィルタであり、基準値設定回路２０による基準値ε１により水平方向成分抽出回路１８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１を非線型平滑化処理し、これにより基準値ε１を超えて大きく信号レベルが変化する成分を保存して、輝度データＹ１を平滑化処理する。これにより非線型フィルタ３１は、垂直方向におけるサンプリング値の変化を基準にした基準値ε１により、この基準値ε１を超えて大きく変化する信号レベルの変化を保存するようにして、水平方向に輝度データＹ１を非線型平滑化処理する。
【００２９】
混合回路３３は、混合比検出回路３２で計算される重み付け係数により、非線型フィルタ３１から出力される輝度データＳ３と元の輝度データＹ１とを加重平均して輝度データＳ４を出力する。
【００３０】
混合比検出回路３２は、水平方向成分抽出回路１８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１により、処理対象のサンプリング点に対する水平方向に隣接するサンプリング点による信号レベルの変化を検出する。またこの検出した信号レベルの変化により、微小なエッジの有無を検出し、この検出結果により混合回路３３の加重平均処理に係る重み付け係数を計算する。
【００３１】
具体的に、混合比検出回路３２は、基準値設定回路２０で検出される垂直方向に係る基準値ε１を一定の割合により割り算し、又はこの基準値ε１から一定値を減算し、これによりこの垂直方向に係る基準値ε１を基準にして、この基準値ε１より値の小さな基準値ε２を計算する。なおこの基準値ε２の設定にあっては、垂直方向に係る基準値ε１による非線型平滑化処理により平滑化された微小なエッジ成分を、後述する差分絶対値との比較により検出できるように、設定される。
【００３２】
さらに混合比検出回路３２は、水平方向成分抽出回路１８から出力される水平方向に連続する複数サンプリングによる輝度データＳ１を入力し、処理対象のサンプリング点に係る輝度データと、この処理対象のサンプリング点に隣接する残りのサンプリング点の輝度データとの間で、順次差分絶対値を計算する。混合比検出回路３２は、この計算した差分絶対値の全てが基準値ε２より小さい場合、微小なエッジが存在しないと判定する。
【００３３】
これに対してこの計算した差分絶対値の何れかが基準値ε２以上の場合、この基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、何れの側に存在するか、さらに差分値の極性を検出する。ここで基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、双方に存在し、かつこの双方に存在するサンプリング点に係る差分値の極性が一致している場合、この場合、ノイズ等により一時的にサンプリング値が増大している場合であることにより、混合比検出回路３２は、微小なエッジが存在しないと判定する。
【００３４】
これに対して基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、一方の側のみである場合、又は双方に存在して差分値の極性が異なっている場合、処理対象のサンプリング点を間に挟んで、サンプリング値が小さく変化している場合であることにより、微小なエッジが存在すると判定する。
【００３５】
混合比検出回路３２は、微小なエッジが存在すると判定した場合、元の輝度データＹ１を選択的に出力するように、混合回路３３の加重平均処理に係る重み付け係数を設定する。
【００３６】
これに対して微小なエッジが存在しないと判定した場合、混合回路３３から出力される輝度データＳ４において、基準値ε２による判定に供した差分絶対値の最大値の値に応じて非線型平滑化処理による輝度データＳ３の成分が増大するように、混合回路３３の加重平均処理に係る重み付け係数を設定する。なおここでこの重み付け係数の設定は、非線型平滑化処理による輝度データＳ３に係る重み付け係数を、例えば差分絶対値の最大値の増大により値０から値１．０に直線的に増大させ、差分絶対値の最大値が一定値以上となると、非線型平滑化処理による輝度データＳ３のみを選択出力するような係数の設定である。これにより混合比検出回路３２は、エッジが存在しないと判定した場合、サンプリング値の変化が大きい場合程、平滑化処理に係る重みを大きく設定して輝度データを出力する。
【００３７】
これらにより水平方向処理回路１６は、垂直方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、水平方向に輝度データＹ１を非線型平滑化処理する。またこの垂直方向に隣接するサンプリング点におけるサンプリング値の変化より小さな水平方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の輝度データＹ１を選択的に出力するのに対し、このようなエッジが存在しない場合には、水平方向におけるサンプリング値の変化の大きさに応じて非線型平滑化処理結果Ｓ４と元の輝度データＹ１とを加重平均して出力し、これらにより微小なエッジ成分についても保存して輝度データＹ１を水平方向に平滑化処理する。
【００３８】
垂直方向処理回路１７（図３）は、水平方向に代えて、垂直方向に同様の処理を実行して、水平方向処理回路１６から出力される輝度データＳ４を平滑化処理する。これにより垂直方向処理回路１７は、水平方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、垂直方向に輝度データＳ４を非線型平滑化処理する。またこの水平方向に隣接するサンプリング点におけるサンプリング値の変化より小さな垂直方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の輝度データＳ４を選択的に出力するのに対し、このようなエッジが存在しない場合には、垂直方向におけるサンプリング値の変化の大きさに応じて非線型平滑化処理結果と元の輝度データＳ４とを加重平均して出力し、これらにより微小なエッジ成分についても保存して、輝度データＹ１を垂直方向に平滑化処理する。
【００３９】
これらにより分離回路１５は、図５（Ａ）との対比により図５（Ｂ）に示すように、順次入力される輝度データＹ１を非線型平滑化処理して、エッジ成分を保存した２次元方向の平滑化処理結果による輝度データＳＴ１を出力する。また図５（Ｄ１）により示すように、減算回路４０により元の輝度データＹ１からこの平滑化処理結果による輝度データＳＴ１を減算し、これによりエッジ成分を除く高周波成分の輝度データＴＸ１を出力する。
【００４０】
増幅回路４１（図１）は、図５（Ｄ１）との対比により図５（Ｄ２）により示すように、このエッジ成分を除く高周波成分の輝度データＴＸ１を所定の利得により増幅し、これによりエッジ成分を除く高周波成分をレベル調整して出力する。
【００４１】
輪郭抽出回路４２は、図５（Ｂ）との対比により図５（Ｃ１）により示すように、分離回路１５から出力される平滑化処理結果による輝度データＳＴ１からエッジ成分を抽出して出力する。具体的に、輪郭抽出回路４２は、２次元のフィルタにより構成され、水平方向及び垂直方向に隣接するサンプリング点との間で、順次差分値を計算することにより、輝度データＳＴ１の微分値によりエッジ成分ＯＴ１を検出する。
【００４２】
増幅回路４３は、図５（Ｃ１）との対比により図５（Ｃ２）により示すように、このエッジ成分ＯＴ１を所定の利得により増幅し、これによりエッジ成分ＯＴ１をレベル調整して出力する。
【００４３】
加算回路４４は、図５（Ｅ）に示すように、分離回路１５から出力される平滑化処理結果による輝度データＳＴ１、増幅回路４１から出力されるエッジ成分を除く高周波成分ＴＸ２、増幅回路４３から出力されるエッジ成分ＯＴ２を加算して輝度データＹ４を出力する。
【００４４】
レベル補正回路４５は、処理結果に係る輝度データＹ４に対する色差データＣｒ、Ｃｂの比率が元の輝度データＹ１に対する比率と等しくなるように色差データＣｒ、Ｃｂの信号レベルを補正して出力し、これにより色相の変化を防止する。
【００４５】
（２）実施例の動作
以上の構成において、この実施例に係る撮像装置１０では（図２）、撮像素子１１より得られた撮像結果がカメラ信号処理回路１２により信号処理された後、モニタ画像として表示され、またユーザーによる操作に応動して記録系１４により記録される。この撮像装置１０では、このカメラ信号処理回路１２における処理において、画像処理回路１３により輝度データＹ１が輪郭強調され、またコントラスト、鮮鋭度が改善される。
【００４６】
すなわち画像処理回路１３において（図１）、輝度データＹ１は、分離回路１５でエッジ成分を保存して平滑化処理され、輪郭抽出回路４２によりこの平滑化処理結果ＳＴ１からエッジ成分が抽出される。これによりこの画像処理回路１３においては、エッジ成分以外の高周波成分の混入を有効に回避して、エッジ成分ＯＴ１が抽出される。
【００４７】
すなわち輝度データＹ１よりエッジ成分のみ抽出する場合にあっては、図７について上述したように、エッジ成分以外の高周波成分の混入を避け得ず、これにより輪郭強調によりノイズ成分まで強調され、画質が劣化する。しかしながらこの実施例のように、エッジ成分を保存した平滑化処理結果からエッジ成分を抽出する場合には、ノイズ成分の混入を防止することができ、これによりノイズ成分を強調することなく輪郭強調することができる。またεフィルタ等を用いた非線型平滑化処理によれば、エッジ成分を保存したまま平滑化処理することができる。これによりエッジ成分を保存した平滑化処理結果からエッジ成分を抽出すれば、その分、画質劣化を防止して輪郭強調することができる。またＳ／Ｎ比の劣るビデオ信号を処理する場合であっても、画質劣化を防止して輪郭強調して画質を向上することができる。
【００４８】
すなわち図６は、従来手法による輪郭抽出処理との対比により、この実施例による輪郭抽出処理のイメージを示す平面図である。従来手法では、符号Ｙ１で示す入力画像（図６（Ａ））をハイパスフィルタ等を用いて帯域制限して輪郭成分Ｙ２（図６（Ｂ））を抽出していることから、この図における髪の毛の部分、衣服の部分、花の微細な構造等の、画像中の微細な輝度変化まで輪郭成分Ｙ２に含まれてしまうことになる。また同様に、ノイズ成分も輪郭成分Ｙ２に含まれてしまうことになる。これに対してこの実施例のように、非線型フィルタを用いてエッジ成分を保存して平滑化処理すれば、入力画像Ｙ１（図６（Ａ））の各部における平均輝度レベルを保持してエッジ成分を抽出することができる（図６（Ｃ））。すなわちこの平滑化処理結果ＳＴ１では、髪の毛の部分、衣服の部分、花の微細な構造等の、画像中の微細な輝度変化が、選択的に平滑化処理される。これによりこの平滑化処理結果ＳＴ１から輪郭抽出すれば、画像中の微細な輝度変化を含まないようにして、さらにはノイズを含まないようにして、輪郭強調処理に優意なエッジ成分だけを抽出することができる（図６（Ｄ））。これによりこの実施例では、非線型フィルタからエッジ成分を取り出して強調することにより、従来手法とは異なる優意なエッジ成分のみ独立に輪郭強調することができる。
【００４９】
これによりこの実施例では、このようにして検出したエッジ成分ＯＴ１が増幅回路４３によりレベル調整されて輪郭強調の程度が設定され、加算回路４４により他の成分と加算して輪郭強調した輝度信号Ｙ４が生成される。
【００５０】
またさらにこの実施例では、分離回路１５において、このエッジ成分を保存した平滑化処理結果が元の輝度データＹ１から減算され、これによりエッジ成分を除く高周波成分ＴＸ１が検出される。ここでこのようにして検出されるエッジ成分を除く高周波成分ＴＸ１は、いわば画像中の模様であり、コントラスト、鮮鋭度を設定する要素である。これによりこの実施例では、このエッジ成分を除く高周波成分ＴＸ１が増幅回路４１によりレベル調整された後、加算回路４４により他の成分と加算させ、これによりコントラスト、鮮鋭度が改善される。
【００５１】
またさらにこのようにエッジ成分とエッジ成分を除く高周波成分とを個別にレベル調整することにより、従来とは異なる種々のエンハンス処理を実行して画質を向上することができ、さらに画質設定の自由度を従来に比して格段的に向上することができる。
【００５２】
またこのように加算回路４４による加算対象が、元の輝度データＹ１に代えて、分離回路１５から出力されるエッジ成分を保存した平滑化処理結果であることにより、その分、加算回路４４により加算する各種データのタイミングの一致を図る構成を簡略化して全体構成を簡略化することができる。
【００５３】
このように分離回路１５でエッジ成分を保存して輝度データＹ１を平滑化処理するようにして、分離回路１５では（図３）、水平方向処理回路１６の水平方向成分抽出回路１８により平滑化処理に係る処理対象のサンプリング点の輝度データと、このサンプリング点に隣接するサンプリング点による輝度データとが選択され、εフィルタである非線型フィルタ３１（図４）におけるこれらの輝度データの処理により、エッジ成分を保存した平滑化処理が実行される。
【００５４】
このとき分離回路１５では、水平方向処理回路１６の垂直方向成分抽出回路１９により処理対象のサンプリング点の垂直方向に隣接する複数のサンプリング点による輝度データが選択され、続く基準値決定回路２０の差分絶対値算出回路２２において、この垂直方向成分抽出回路１９で選択された輝度データにより垂直方向へのサンプリング値の変化の大きさが検出される。またこの検出結果により、基準値設定回路２３において、この垂直方向のサンプリング値の変化を大きさによる変化を保存するように、非線型フィルタ３１の平滑化処理に係る基準値ε１が設定される。これによりこの実施例では、垂直方向におけるサンプリング値の変化の大きさに応じて、適応的に非線型フィルタ３１の特性が切り換えられて、エッジ成分を保存するように平滑化処理が実行され、これにより処理対象の画像データに応じて過不足なく基準値ε１を設定して適切に平滑化処理することができる。
【００５５】
またこのようにして平滑化処理するようにして、混合比検出回路３２において、垂直方向における変化の大きさにより設定されたε１を基準にして、基準値ε２が設定され、この基準値ε２により水平方向におけるサンプリング値の変化の大きさが検出され、これにより微小なエッジが検出される。またこのエッジ検出結果に基づいて、微小なエッジが存在する場合には、元の輝度データＹ１が混合回路３３より選択出力されるのに対し、微小なエッジが存在しない場合には、水平方向におけるサンプリング値の変化の大きさの増大により非線型フィルタ３１の出力データ成分が増大するように、混合回路３３における元の輝度データＹ１と非線型フィルタ３１の出力データＳ３との加重平均化処理が切り換えられる。
【００５６】
またこのような水平方向の平滑化処理に続いて、同様にして垂直方向に平滑化処理して、エッジ成分を保存して輝度データＹ１が平滑化処理される。これによりこの実施例では、微小なエッジについても、エッジ成分を保存して輝度データＹ１を平滑化処理することができ、この平滑化処理結果による輝度データＳＴ１を用いた輪郭強調処理においては、微小な輪郭にあっても、確実に輪郭強調することができ、その分、従来に比して画質を向上することができる。
【００５７】
（３）実施例の効果
以上の構成によれば、エッジ成分を保存した入力画像データの平滑化処理結果から、エッジ成分を分離してレベル調整することにより、画質の劣化を有効に回避して輪郭強調することができる。
【００５８】
またこのときそれぞれ垂直方向及び水平方向の近傍サンプリング点におけるサンプリング値の変化より基準値を設定しこの基準値を超える信号レベルの変化を保存するように水平方向及び垂直方向に非線型平滑化処理するようにして、微小なエッジ検出結果に基づいた重み付け係数の設定により平滑化処理結果と入力画像データとを加重平均して一連の平滑化処理を実行することにより、微小なエッジについても確実に輪郭強調して従来に比して画質を向上することができる。
【実施例２】
【００５９】
なお上述の実施例においては、エッジ成分を保存した平滑化処理結果に、レベル調整したエッジ成分、エッジ成分を除く高周波成分を加算する場合について述べたが、本発明はこれに限らず、入力画像データに直接加算するようにしてもよい。
【００６０】
また上述の実施例においては、水平方向に平滑化処理した後、垂直方向に平滑化処理する場合について述べたが、本発明はこれに限らず、この順序を逆にしてもよい。
【００６１】
また上述の実施例においては、平滑化処理結果と入力画像データを加重平均化して出力するようにして、微小なエッジ成分の検出結果によりこの加重平均に係る重み付け係数を切り換える場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合には、この加重平均値化の処理を省略するようにして、平滑化処理結果を直接出力するようにしてもよい。
【００６２】
また上述の実施例においては、非線型平滑化の処理に供する基準値を適応的に切り換える場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合には、基準値を一定値に設定して平滑化の処理を実行するようにしてもよい。
【００６３】
また上述の実施例においては、εフィルタにより平滑化の処理を実行する場合について述べたが、本発明はこれに限らず、エッジ成分を保存して平滑化処理可能な種々のフィルタを広く適用することができる。
【００６４】
また上述の実施例においては、輝度データを輪郭強調する場合について述べたが、本発明はこれに限らず、色差データについても併せて輪郭強調してもよく、さらには色データの段階で輪郭強調してもよい。
【００６５】
また上述の実施例においては、本発明を撮像装置に適用して撮像結果による画像データをデータ処理する場合について述べたが、本発明はこれに限らず、例えばテレビジョン受像機、ＤＶＤ（Digital Versatile Disk）レコーダ等の各種映像機器、さらにはコンピュータにおけるプログラムの実行により画像処理する場合等に広く適用することができる。なおこのようにコンピュータの実行に係るプログラムに本発明を適用する場合、このプログラムにあっては、コンピュータへの事前のインストールにより提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【産業上の利用可能性】
【００６６】
本発明は、例えば撮像装置に適用することができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例に係る撮像装置の画像処理回路を示すブロック図である。
【図２】本発明の実施例に係る撮像装置を示すブロック図である。
【図３】図１の画像処理回路における分離回路を示すブロック図である。
【図４】図３の分離回路における非線型平滑回路を示すブロック図である。
【図５】図１の画像処理回路の動作の説明に供する信号波形図である。
【図６】輪郭抽出の説明に供する略線図である。
【図７】従来の輪郭強調回路を示すブロック図である。
【図８】図７の輪郭強調回路の動作の説明に供する信号波形図である。
【図９】コントラスト及び鮮鋭度の強調に供する画像処理回路を示すブロック図である。
【図１０】図９の画像処理回路の動作の説明に供する信号波形図である。
【符号の説明】
【００６８】
１……輪郭強調回路、４、９、４４……加算回路、６、１３……画像処理回路、７、１５……分離回路、８、４１、４３……増幅回路、１０……撮像装置、１２……カメラ信号処理回路、４２……輪郭抽出回路
【図１】
2007188391.tif 000003
【図２】
2007188391.tif 000004
【図３】
2007188391.tif 000005
【図４】
2007188391.tif 000006
【図５】
2007188391.tif 000007
【図７】
2007188391.tif 000008
【図８】
2007188391.tif 000009
【図９】
2007188391.tif 000010
【図１０】
2007188391.tif 000011
【図６】
2007188391.tif 000012
【手続補正書】
【提出日】平成19年1月18日(2007.1.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
すなわち図７は、従来の輪郭強調回路の一般的な構成を示すブロック図である。この輪郭強調回路１において、シャープネス成分抽出回路２は、例えばハイパスフィルタ回路により構成され、入力されたビデオ信号Ｙ１から高域成分を抽出して出力し、これにより輪郭強調に供する成分を抽出する。増幅回路３は、この高域成分を所定利得で増幅して出力する。加算回路４は、この増幅回路３の出力信号と、元のビデオ信号Ｙ１とを加算し、これにより図８（Ａ）及び（Ｂ）に示すように、エッジ成分を強調してビデオ信号Ｙ２の輪郭を強調する。