(57)【要約】【課題】様々な画像をぼけ具合に応じて、過補正や補正不足なく適正なぼけ補正を行なうことが可能な画像処理装置および画像処理プログラムを提供する。【解決手段】本画像処理装置は、画像入力部と、フィルタ部と、重み付け加算部と、ぼけ度分析処理部と、を備えている。フィルタ部は、画像入力部へ入力された画像信号に対して、遮断周波数および遮断帯域幅ＨＰＦ１〜ＨＰＦ３の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、所定の帯域の成分を除去して出力する。重み付け加算部は、複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と画像入力部に入力された画像信号とを加算する。ぼけ度分析処理部は、フィルタ部から出力された値に基づいて、画像入力部に入力された画像信号の高域の成分量を分析し、重み付け加算部に対する重み付けを決定する。【選択図】図２
2014137692.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が入力される画像入力部と、
前記画像入力部へ入力された画像信号に対して、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、所定の帯域の成分を除去して出力するフィルタ部と、
前記複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と前記画像入力部に入力された画像信号とを加算する重み付け加算部と、
前記フィルタ部から出力された値に基づいて、前記画像入力部に入力された画像信号の高域の成分量を分析し、前記重み付け加算部に対する重み付けを決定するぼけ度分析処理部と、
を備えた画像処理装置。
【請求項２】
前記フィルタ部は、遮断帯域の異なる複数の遮断フィルタ群として、低域成分を除去する複数のハイパスフィルタを有している、
請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ部は、遮断帯域の異なる複数の遮断フィルタ群として、高域成分を除去する複数のローパスフィルタを有している、
請求項１に記載の画像処理装置。
【請求項４】
前記フィルタ部において前記複数のローパスフィルタによって抽出された複数の低域成分を遅延補正した入力画像から減算処理して高域成分を抽出する高域補正成分抽出部をさらに備え、
前記ぼけ度分析処理部は、前記高域補正成分抽出部において抽出された高域の成分量を分析して、前記重み付け加算部に対する重み付けを決定する、
請求項３に記載の画像処理装置。
【請求項５】
前記フィルタ部が有する帯域幅の異なる複数の遮断フィルタ群によって抽出された複数の高域の成分量に基づいてぼけ度分析を行なう高域成分ぼけ度分析部を、さらに備えている、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記高域成分ぼけ度分析部において分析されたぼけ度に応じて抽出されたぼけ補正高域成分の振幅補正を行なうぼけ振幅補正部を、さらに備えている、
請求項５に記載の画像処理装置。
【請求項７】
前記画像入力部に入力された画像の注目画素およびその周辺画素を複数の領域に分けて算出された各領域の特徴量に基づいて平坦度を分析することでぼけ度分析を行なう平坦度分析部を、さらに備えている、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記平坦度分析部において分析されたぼけ度に応じて抽出されたぼけ補正高域成分の振幅補正を行なうぼけ振幅補正部を、さらに備えている、
請求項７に記載の画像処理装置。
【請求項９】
前記重み付け加算部は、前記画像入力部に入力された画像信号を加算する際には、前記画像信号を遅延処理する、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像入力部に入力される画像信号は、注目点としての画素およびその周辺画素の輝度信号である、
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
画像信号が入力される入力ステップと、
前記入力された画像信号に対して、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、所定の帯域の成分を除去して出力するフィルタ処理ステップと、
前記複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と前記入力された画像信号とを加算する重み付け加算処理ステップと、
前記フィルタ部から出力された値に基づいて、前記入力された画像信号の高域の成分量を分析し、前記重み付け加算部に対する重み付けを決定するぼけ度分析処理ステップと、
を備えた画像処理方法をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から高域補正成分を抽出し、高域補正された画像を生成する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、表示デバイスの大型化、高解像度化に伴い、低解像度入力画像を高解像度画像のレベルまで鮮鋭化して出力する機器が増えてきている。また、従来より、ぼけた画像を鮮鋭化する方法として、入力画像から高域補正成分を抽出し、抽出された高域補正成分を遅延補正した入力画像と加算することで高域補正された画像を生成する様々な画像処理方法や画像処理装置が提案されている。
【０００３】
例えば、図１５に示す従来の画像処理装置１では、高域補正することで鮮鋭化処理を行なう鮮鋭化処理部６を備えている。
ここで、画像処理装置１は、図１５に示すように、アナログ映像信号入力部２、デジタル映像信号入力部３、ＡＤ変換器４、前段画像処理部５、鮮鋭化処理部６、後段画像処理部７、画像表示部８、画像出力部９、システムコントロール部１０を備えている。
【０００４】
ＡＤ変換器４は、アナログ映像信号をデジタル映像信号に変換する。前段画像処理部５は、入力されたデジタル映像信号がＲＧＢ信号の場合には、ＹＵＶ色差信号に変換した後、画面切換したり合成したりする。鮮鋭化処理部６は、ぼけた映像を鮮鋭化処理する。後段画像処理部７は、鮮鋭化したＹＵＶ色差信号をＲＧＢ信号に変換する。画像表示部８は、表示デバイスによって画像を表示する。画像出力部９は、画像を出力する。システムコントロール部１０は、画像処理装置を制御する。
【０００５】
ここで、従来の画像処理装置１では、鮮鋭化処理部６が、図１６に示すように、画像を入力する画像入力部３０００と、フィルタ部３２１０と、振幅比較部３１００と、重み付き加算平均部３２２０と、画像出力部３６００と、を備えていた（例えば、下記特許文献１参照。）。
画像入力部３０００は、画像を入力する。フィルタ部３２１０は、画像入力部からの入力画像を周波数帯域の異なるハイパスフィルタ３２１０ａおよびバンドパスフィルタ３２１０ｂ，３２１０ｃに入力して、各々のフィルタにより帯域制限された各帯域毎の高域成分ｈｐ１，ｂｐ２，ｂｐ３を抽出する。振幅比較部３１００は、フィルタ部３２１０において抽出された各帯域毎の高域成分の絶対値を比較して大きさ順を検出し、検出された大きさ順に重み付けを制御する。重み付き加算平均部３２２０は、振幅比較部３１００において検出された大きさ順に従って、各帯域成分ｈｐ１，ｂｐ２，ｂｐ３を重み付き加算平均して高域補正成分ａｃを抽出する。画像出力部３６００は、重み付き加算平均部３２２０で抽出された高域補正成分をゲイン補正部３３００において定数倍してゲイン補正し、ゲイン補正部３３００からの出力と画像入力部３０００からの入力画像とを遅延補正３４００で遅延補正した後、補正成分加算部３５００において加算して補正画像を出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４０２３０５５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、例えば、医療分野において使用される医療用モニタ等では、図１７に示すように、医療画像と文字や図形とが同一画面上に混在した画像を取り扱うことがある。そして、これらを鮮鋭化処理した場合には、高周波成分が少なく、ぼけ度、平坦度の大きい医療画像は補正不足となってしまう。一方、高周波成分を多く含む文字や図形では、過補正となってしまう。よって、図１７に示すような医療画像と文字や図形等が混在した画像に対して、適切な高域補正を行なうことができないという問題があった。
【０００８】
すなわち、図１６に示した従来例においては、図１８に示すような３つの異なる通過帯域ＨＰＦ１(高域)、ＢＰＦ２（中域）、ＢＰＦ３（低域）を有するフィルタを用いて、鮮鋭化処理を行う。
具体的には、入力画像を各々の帯域毎に高域成分ｈｐ１，ｂｐ２，ｂｐ３が抽出され、どの帯域の成分量が大きいかが検出される。そして、大きな成分量を有する帯域成分から順に重み付けされ加算平均される。
【０００９】
例えば、各帯域の成分の絶対値が、｜ｂｐ３｜＞｜ｂｐ２｜＞｜ｈｐ１｜であり、この大きさ順に従って各々の重み係数３２２１，３２２２，３２２３の係数β１，β２，β３が（数１０）のように決められている。
（数１０）
β１＝１．０／４．５
β２＝１．５／４．５
β３＝２．０／４．５
そして、重み付き加算平均部３２２０において、（数１１）のように重み付き加算される場合には、
（数１１）
ａｃ＝β３＊ｂｐ３＋β２＊ｂｐ２＋β１＊ｈｐ１
補正があまり必要でない成分量の大きな帯域成分ｂｐ３が大きな重み係数β３で重み付けされて補正されてしまう。その結果、入力画像に対して過補正となってしまっていた。
【００１０】
一方、補正の必要な成分量の小さな帯域成分ｈｐ１が、小さな重み係数のβ１で重み付けされて補正された結果、補正不足となってしまっていた。
また、上記従来例において、入力画像を周波数帯域別に分割し、どの周波数帯域の成分が小さいか検出し、小さな成分から順に重み付けして加算平均する場合でも、例えば、各帯域の成分の絶対値が、｜ｂｐ３｜＞｜ｂｐ２｜＞｜ｈｐ1｜の場合は、この小さい順に従って各々の重み係数３２２１，３２２２，３２２３の係数β１，β２，β３が（数１２）のように決められる。
（数１２）
β１＝２．０／４．５
β２＝１．５／４．５
β３＝１．０／４．５
重み付き加算部３２２０において、（数１１）のように重み付き加算された場合には、高域成分ｈｐ１は大きな重み係数β１で重み付けされぼけ補正される。しかし、上記従来例と同じ量の高域成分ｈｐ１が抽出されていたとしても、例えば、低域成分ｂｐ３および中域成分ｂｐ２がほぼゼロであり、各帯域の成分の絶対値が、｜ｂｐ３｜＜｜ｂｐ２｜＜｜ｈｐ１｜となる場合には、この小さい順に従って各々の重み係数３２２１，３２２２，３２２３の係数β１，β２，β３が（数１３）のように決められる。
（数１３）
β１＝１．０／４．５
β２＝１．５／４．５
β３＝２．０／４．５
重み付き加算部３２２０において、（数１１）のように重み付き加算されると、ほぼゼロの低域成分ｂｐ３，ｂｐ２から大きな重み係数β３，β２を用いて重み付けされ、高域成分ｈｐ１は小さな重み係数β１を用いて重み付けされる。このため、上記従来例と同じ量の高域成分が抽出されているにもかかわらず、高域成分ｈｐ１の補正が上記従来例と比較して補正不足となってしまう。
【００１１】
また、図１９（ａ）〜図１９（ｆ）は、上記従来の構成において、周波数が低域から高域まで変化する画像にローパスフィルタをかけて高域をぼかした画像を入力した場合に高域成分が抽出されるまでの過程を示している。
図１９（ａ）は、ローパスフィルタによって高域をぼかした入力画像、図１９（ｂ）はハイパスフィルタ３２１０ａによって抽出された高域成分ｈｐ１を示している。図１９（ｃ）は、バンドパスフィルタ３２１０ｂによって抽出された中域成分ｂｐ２を示している。また、図１９（ｄ）は、バンドパスフィルタ３２１０ｃによって抽出された低域成分ｂｐ３、図１９（ｅ）は、図１９（ｂ）〜図１９（ｄ）を成分量の大きい順に重み付けして重み付き加算平均部３２２０において重み付き加算平均して抽出された高域補正成分ａｃ、を示している。図１９（ｆ）は、図１９（ｂ）〜図１９（ｄ）を成分量の小さい順に重み付けし、重み付き加算平均部３２２０において重み付き加算平均して抽出された場合の高域補正成分ａｃを示している。
【００１２】
そして、大きい順に重み付けした図１９（ｅ）の場合も、小さい順に重み付けした図１９（ｆ）の場合も、ぼけた高域に較べてぼけていない中域〜低域の成分が大きく抽出される。このため、中域〜低域は、過補正、高域は、補正不足となってしまう。
図２０には、図１７に示した画像を、従来の構成によって鮮鋭化処理した高域補正後の画像を示している。
【００１３】
この画像では、高周波成分が少なくぼけ度、平坦度の大きい医療画像の部分は補正不足となり、高周波成分を多く含む文字や図形の部分は過補正となり、適切な高域補正が行なわれていないことがわかる。
つまり、従来の構成では、ぼけ具合に応じた適切な高域補正ができないという課題があった。
【００１４】
そこで、本発明は、様々な画像をぼけ具合に応じて、過補正や補正不足なく適正なぼけ補正を行なうことが可能な画像処理装置および画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
そして、この目的を達成するために、第１の発明に係る画像処理装置は、画像入力部と、フィルタ部と、重み付け加算部と、ぼけ度分析処理部と、を備えている。画像入力部は、画像信号が入力される。フィルタ部は、画像入力部へ入力された画像信号に対して、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、所定の帯域の成分を除去して出力する。重み付け加算部は、複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と画像入力部に入力された画像信号とを加算する。ぼけ度分析処理部は、フィルタ部から出力された値に基づいて、画像入力部に入力された画像信号の高域の成分量を分析し、重み付け加算部に対する重み付けを決定する。
【００１６】
第２の発明に係る画像処理プログラムは、入力ステップと、フィルタ処理ステップと、重み付け加算処理ステップと、ぼけ度分析処理ステップと、を備えた画像処理方法をコンピュータに実行させる。入力ステップでは、画像信号が入力される。フィルタ処理ステップでは、入力された画像信号に対して、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、所定の帯域の成分を除去して出力する。重み付け加算処理ステップでは、複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と入力された画像信号とを加算する。ぼけ度分析処理ステップでは、フィルタ部から出力された値に基づいて、入力された画像信号の高域の成分量を分析し、重み付け加算部に対する重み付けを決定する。
【発明の効果】
【００１７】
第１の発明に係る画像処理装置によれば、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を施して重み付け処理を行なうことにより、様々な入力画像をぼけ度に応じて適切な周波数帯域幅補正および振幅補正を実施して、過補正や補正不足なくぼけ補正を行なうことができる。
第２の発明に係る画像処理プログラムによれば、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行なって重み付け処理を行なうことにより、様々な入力画像をぼけ度に応じて適切な周波数帯域幅補正および振幅補正を実施して、過補正や補正不足なくぼけ補正を行なうことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態１に係る画像処理装置の構成図。
【図２】図１の画像処理装置に設けられたハイパスフィルタの周波数特性図。
【図３】（ａ），（ｂ）は、図１の画像処理装置に設けられた高域成分ぼけ度分析部の入出力特性図。
【図４】（ａ），（ｂ）は、図１の画像処理装置に設けられた平坦度分析部の注目画素とその周辺画素の関係図。
【図５】図１の画像処理装置に設けられた平坦度分析部の部分領域毎の特徴量の関係を示す図。
【図６】（ａ）〜（ｋ）は、図１の画像処理装置に設けられたぼけ度分析処理部のぼけ度のステップ応答を示す図。
【図７】図１の画像処理装置に設けられた帯域幅補正処理部の重み付き加算平均部の構成図。
【図８】（ａ）〜（ｅ）は、図１の画像処理装置に設けられた各部で抽出された高域成分波形を示す図。
【図９】図１の画像処理装置に設けられた高域補正後のぼけ補正された画像を示す図。
【図１０】本発明の実施形態２に係る画像処理装置の構成図。
【図１１】図１０の画像処理装置に設けられたローパスフィルタの周波数特性図。
【図１２】図１０の画像処理装置に設けられた帯域幅補正処理部の重み付き加算平均部の構成図。
【図１３】（ａ）〜（ｆ）は、図１０の画像処理装置に設けられた各部で抽出された低域および高域成分波形を示す図。
【図１４】図１０の画像処理装置に設けられた高域補正後のぼけ補正された画像を示す図。
【図１５】従来の画像処理装置の構成を示すブロック図。
【図１６】図１５の従来の画像処理装置における鮮鋭化処理部の構成図。
【図１７】画像処理装置に入力される入力画像例。
【図１８】従来の画像処理装置で用いられるバンドパスフィルタの周波数特性図。
【図１９】（ａ）〜（ｆ）は、従来の画像処理装置における各部で抽出された高域成分波形を示す図。
【図２０】従来の画像処理装置によって高域補正後のぼけ補正された画像を示す図。
【図２１】本発明の他の実施形態に係る画像処理プログラムがコンピュータに実行させる画像処理方法の流れを示すフローチャート。
【発明を実施するための形態】
【００１９】
（実施の形態１）
以下、本発明の一実施形態に係る画像処理装置および画像処理プログラムについて、添付図面を用いて説明する。
図１は、本実施形態に係る画像処理装置の構成を示している。
本画像処理装置は、図１に示すように、画像入力部１０００、ぼけ度分析処理部１１００、帯域幅補正処理部１２００、振幅補正処理部１３００、遅延補正部１４００、ぼけ補正成分加算処理部１５００、画像出力部１６００を備えている。
【００２０】
ぼけ度分析処理部１１００は、高域成分ぼけ度分析部１１１０、および平坦度分析部１１２０を有している。
なお、本実施形態の画像処理装置では、ぼけ度分析処理部１１００が、高域成分ぼけ度分析部１１１０、および平坦度分析部１１２０の両方を備えている例を挙げて説明した。しかし、本発明はこれに限定されるものではない。例えば、ぼけ度分析処理部１１００は、高域成分ぼけ度分析部１１１０、および平坦度分析部１１２０のうち、少なくとも一方を有していればよい。
【００２１】
高域成分ぼけ度分析部１１１０は、ぼけ度分析部１１１０ａ，１１１０ｂ，１１１０ｃによって、帯域幅補正処理部１２００の異なる帯域幅（狭帯域、中帯域、広帯域）ＨＰＦ１，ＨＰＦ２，ＨＰＦ３（図２参照）のハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃを用いて抽出された各々の高域成分ｈｐ１，ｈｐ２，ｈｐ３を、その大きさに応じて出力する。すなわち、高域成分ぼけ度分析部１１１０は、図３（ａ）あるいは図３（ｂ）に示すように、１．０〜０．０の範囲で入力される高域成分の振幅ａｋが小さいほど高域成分ぼけ度ｂｋが大きく、また振幅ａｋが大きいほど高域成分ぼけ度ｂｋが小さくなるようにぼけ度ｂｋを分析して出力する（ｋ＝１，２，３）。
【００２２】
また、画像のぼけ度分析には、上述した高域成分ぼけ度分析による方法だけでなく、例えば、国際公開特許ＷＯ２０１０／０７３５８２Ａ１に示されている入力画像の注目画素およびその周辺画素を複数の領域に分けて各領域の特徴量である傾斜量を求める方法に基づいて実施されてもよい。この場合には、平坦度分析部１１２０において平坦度を分析し、この平坦度をぼけ度として扱う方法も考えられる。ここでは、その一例を、図４（ａ）〜図５に基づいて説明する。
【００２３】
図４（ａ）は、注目画素２５と注目画素２５を中心とする７＊７の周辺画素を示している。図４（ｂ）には、これを３＊３画素毎の２５の部分領域に分けた画像を示している。図５に示すように、１から２５の各々の部分領域毎の画素の輝度信号の最大値ＭＸ１〜２５、輝度信号の最小値ＭＮ１〜２５を求め、（数１）によって部分領域毎の輝度信号の傾斜量ｇｒａｄ１〜２５を求める。そして、算出されたｇｒａｄ１〜２５のうち最大となる輝度信号の傾斜量ｇｒａｄＭを求める。
（数１）
ｇｒａｄｉ＝ＭＸｉ−ＭＮｉ  （ｉ＝１〜２５）
そして、各部分領域毎の輝度信号の最大値ＭＸ１〜２５および最小値ＭＮ１〜２５を、（数２）によって平滑化し、最大値ＭＡＸＡ、最小値ＭＩＮＡおよび傾斜量ｇｒａｄを求める。
（数２）
ＭＸ１=(ＭＡ１＋４＊ＭＡ２＋６＊ＭＡ３＋４＊ＭＡ４＋ＭＡ５)／１６
ＭＸ２=(ＭＡ６＋４＊ＭＡ７＋６＊ＭＡ８＋４＊ＭＡ９＋ＭＡ１０)／１６
ＭＸ３=(ＭＡ１１＋４＊ＭＡ１２＋６＊ＭＡ１３＋４＊ＭＡ１４＋ＭＡ１５)／１６
ＭＸ４=(ＭＡ１６＋４＊ＭＡ１７＋６＊ＭＡ１８＋４＊ＭＡ１９＋ＭＡ２０)／１６
ＭＸ５=(ＭＡ２１＋４＊ＭＡ２２＋６＊ＭＡ２３＋４＊ＭＡ２４＋ＭＡ２５)／１６
ＭＡＸＡ＝（ＭＸ１＋４＊ＭＸ２＋６＊ＭＸ３＋４＊ＭＸ４＋ＭＸ５）／１６
ＭＮ１=(ＭＩ１＋４＊ＭＩ２＋６＊ＭＩ３＋４＊ＭＩ４＋ＭＩ５)／１６
ＭＮ２=(ＭＩ６＋４＊ＭＩ７＋６＊ＭＩ８＋４＊ＭＩ９＋ＭＩ１０)／１６
ＭＮ３=(ＭＩ１１＋４＊ＭＩ１２＋６＊ＭＩ１３＋４＊ＭＩ１４＋ＭＩ１５)／１６
ＭＮ４=(ＭＩ１６＋４＊ＭＩ１７＋６＊ＭＩ１８＋４＊ＭＩ１９＋ＭＩ２０)／１６
ＭＮ５=(ＭＩ２１＋４＊ＭＩ２２＋６＊ＭＩ２３＋４＊ＭＩ２４＋ＭＩ２５)／１６
ＭＩＮＡ＝（ＭＮ１＋４＊ＭＮ２＋６＊ＭＮ３＋４＊ＭＮ４＋ＭＮ５）／１６
ｇｒａｄ＝ＭＡＸＡ−ＭＩＮＡ
ここで、注目画素２５における平坦度をぼけ度とみなし、例えば、（数３）によってこれを算出する。
（数３）
ｂ０＝１−（ｇｒａｄ／ｇｒａｄＭ）＊（ｇｒａｄ／ｇｒａｄＭ）
そして、このぼけ度は、高域成分ぼけ度ｂ１，ｂ２，ｂ３とともに、帯域幅補正処理部１２００の重み付き加算平均部１２２０に入力される。
【００２４】
図６（ａ）〜図６（ｋ）は、入力画像の値がステップ状に変化したときに、ぼけ度分析処理部１１００において分析されるぼけ度ｂ１，ｂ２，ｂ３およびｂ０の様子を示す。
なお、図６（ａ）は、入力画像、図６（ｂ）、図６（ｃ）、図６（ｄ）は、ハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃを用いて抽出された高域成分ｈｐ１，ｈｐ２，ｈｐ３を示している。また、図６（ｅ）、図６（ｆ）、図６（ｇ）は、ぼけ度分析部１１１０ａ，１１１０ｂ，１１１０ｃによって分析されたぼけ度ｂ１，ｂ２，ｂ３を示している。さらに、図６（ｈ）、図６（ｉ）、図６（ｊ）は、平坦度分析部１１２０において（数２）によって算出された平滑化された最大値ＭＡＸＡ、最小値ＭＩＮＡおよび傾斜量ｇｒａｄ、図６（ｋ）は、平坦度分析部１１２０において（数３）によって分析された平坦度をぼけ度ｂ０とみなしたものである。
【００２５】
帯域幅補正処理部１２００は、ハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃを含むフィルタ部１２１０および重み付き加算平均部１２２０を有している。
重み付き加算平均部１２２０においては、図７に示すように、ハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃにおいて抽出された高域成分ｈｐ１，ｈｐ２，ｈｐ３が、入力部１２３１，１２３２，１２３３へ入力される。
【００２６】
さらに、ぼけ度分析処理部１１００において分析された各々のぼけ度ｂ０，ｂ１，ｂ２，ｂ３が、入力部１２４０，１２４１，１２４２，１２４３に入力される。
そして、各々のぼけ度ｂ０，ｂ１，ｂ２，ｂ３は、係数器１２５０，１２５１，１２５２，１２５３，１２５４，１２５５，１２５６，１２５７，１２５８および加算器１２６０，１２６１，１２６２によって（数４）で示した重み付き加算平均処理され、算出結果ａｃが出力部１２７０から出力される。
（数４）
ａｃ１２＝（１−β１）＊ｈｐ１＋β１＊ｈｐ２
ａｃ２３＝（１−β３）＊ｈｐ２＋β３＊ｈｐ３
ａｃ＝（１−β２）＊ａｃ１２＋β２＊ａｃ２３
β１＝ｂ０＊ｂ１
β２＝ｂ０＊ｂ２
β３＝ｂ０＊ｂ３
なお、計算を簡素化して、ぼけ度ｂ２だけを使用して重み付き加算平均部１２２０による重み付き平均を（数５）のように算出してもよい。
（数５）
ａｃ１２＝（１−β１）＊ｈｐ１＋β１＊ｈｐ２
ａｃ２３＝（１−β３）＊ｈｐ２＋β３＊ｈｐ３
ａｃ＝（１−β２）＊ａｃ１２＋β２＊ａｃ２３
β１＝β２＝β３＝ｂ２
（数４）および（数５）において、ぼけていない画像が入力されて各々のぼけ度が
β１＝β２＝β３＝０
と分析された場合には、
ａｃ＝（１−β２）＊ａｃ１２＋β２＊ａｃ２３
および
β２＝０
より、
ａｃ＝ａｃ１２
となる。
【００２７】
そして、
ａｃ＝ａｃ１２＝（１−β１）＊ｈｐ１＋β１＊ｈｐ２
および
β１＝０
より
ａｃ＝ｈｐ１
となり、狭帯域幅ハイパスフィルタＨＰＦ１により高域成分のみが抽出される。
【００２８】
また、ぼけた画像が入力されて各々のぼけ度が
β１＝β２＝β３＝１
と分析された場合は、
ａｃ＝（１−β２）＊ａｃ１２＋β２＊ａｃ２３
および
β２＝１
により、
ａｃ＝ａｃ２３
となる。
【００２９】
そして、
ａｃ＝ａｃ２３＝（１−β３）＊ｈｐ２＋β３＊ｈｐ３
および
β３＝１
より、
ａｃ＝ｈｐ３
となり、広帯域幅ハイパスフィルタＨＰＦ３により高域から低域までの成分が抽出される。
【００３０】
また、中程度のぼけ画像が入力されて各々のぼけ度が
β１＝β２＝β３＝１／２
となる場合は、
ａｃ＝（１−β２）＊ａｃ１２＋β２＊ａｃ２３
および
β２＝１／２
より、
ａｃ＝１／２＊ａｃ１２＋１／２＊ａｃ２３＝１／２＊（ａｃ１２＋ａｃ２３）
となる。さらに、
ａｃ＝１／２＊（ａｃ１２＋ａｃ２３）
および
β１＝β３＝１／２
であるから、
ａｃ＝１／２＊（（１−β１）＊ｈｐ１＋β１＊ｈｐ２＋（１−β３）＊ｈｐ２＋β３＊ｈｐ３）
より、
ａｃ＝１／２＊（１／２＊ｈｐ１＋１／２＊ｈｐ２＋１／２＊ｈｐ２＋１／２＊ｈｐ３）
から、
ａｃ＝１／２＊ｈｐ２＋１／２＊（ｈｐ１＋ｈｐ３）／２
となる。
【００３１】
このため、
ｈｐ２＝（ｈｐ１＋ｈｐ３）／２
となるようにフィルタを構成しておけば、
ａｃ＝１／２＊ｈｐ２＋１／２＊ｈｐ２＝ｈｐ２
となり、中帯域幅ハイパスフィルタＨＰＦ２によって中域までの成分が抽出される。
【００３２】
これにより、重み付き加算平均部１２２０では、各々のぼけ度が高いほど（１に近いほど）広帯域ハイパスフィルタＨＰＦ３からの出力ｈｐ３の重みが重くなる。一方、ぼけ度が低いほど（０に近いほど）狭帯域ハイパスフィルタＨＰＦ１からの出力ｈｐ１の重みが重くなる。この結果、ぼけ度に応じて高域補正成分の帯域幅を滑らかに切り換えることができる。
【００３３】
さらに、振幅補正処理部１３００は、ぼけ振幅補正部１３１０およびゲイン補正部１３２０を有している。重み付き加算平均部１２２０からの出力ａｃは、帯域幅補正処理部１２００の出力として振幅補正処理部１３００に入力される。そして、ぼけ振幅補正部１３１０において入力された出力ａｃの大きさに応じて、図３（ａ）や図３（ｂ）に示すように、分析されたぼけ度ｂ４、もしくはぼけ度分析処理部１１００において分析されたぼけ度ｂ０，ｂ１，ｂ２，ｂ３のうちの少なくともいずれか１つのぼけ度を、例えば、（数６）（数７）のように用いて、ぼけ振幅補正係数αとして重み付き加算平均部１２２０からの出力ａｃに乗算する。
（数６）
α＝ｂ４＊ｂ０
（数７）
α＝ｂ３
次に、ぼけ度が高いほど大きく、ぼけ度が低いほど小さく振幅補正するとともに、ゲイン補正部１３２０において定数倍してゲイン補正した高域補正成分を出力する。そして、このゲイン補正された高域補正成分と画像入力部１０００からの遅延補正部１４００において遅延補正された入力画像を、ぼけ補正成分加算処理部１５００において加算する。
【００３４】
これにより、ぼけ度に応じて、適応的にかつ適切に帯域幅補正および振幅補正された出力画像を、画像出力部１６００から得ることができる。
ここで、図８（ａ）〜図８（ｅ）に、本実施形態に係る画像処理装置において、周波数が低域から高域まで変化する画像にローパスフィルタをかけて高域をぼかした画像が入力された場合に高域成分が抽出されるまでの過程を示す。
【００３５】
図８（ａ）は、ローパスフィルタによって高域をぼかした入力画像を示している。図８（ｂ）は、ハイパスフィルタ１２１０ａによって抽出された狭帯域幅高域成分ｈｐ１を示している。図８（ｃ）は、ハイパスフィルタ１２１０ｂによって抽出された中帯域幅高域成分ｈｐ２を示している。図８（ｄ）は、ハイパスフィルタ１２１０ｃによって抽出された広帯域高域成分ｈｐ３を示している。図８（ｅ）は、図８（ｂ）〜図８（ｄ）をぼけ度に応じて重み付き加算平均部１２２０において加算平均して抽出された高域補正成分ａｃを示している。
【００３６】
本実施形態の画像処理装置によれば、図８（ｅ）に示すように、図１９（ｅ）および図１９（ｆ）に示した上記従来例で抽出された高域補正成分ａｃと比較して、低域〜中域の過補正および高域の補正不足が改善されていることが分かる。
図９は、図１７に示す入力画像を、本実施形態の画像処理装置において、ぼけ補正処理した高域補正後の画像を示している。本実施形態の画像処理装置によれば、図２０で示した従来のぼけ補正処理された高域補正後の画像と比較して、帯域ごとに偏った補正が行なわれて過補正や補正不足となることなく、低域から高域全体に亘って適切にぼけ補正されていることが分かる。
【００３７】
（実施の形態２）
本発明の他の実施形態に係る画像処理装置について、図面を用いて説明すれば以下の通りである。
本実施形態の画像処理装置では、図１１に示す異なる帯域幅（広帯域、中帯域、狭帯域）ＬＰＦ１，ＬＰＦ２，ＬＰＦ３を有する３つのローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃを用いてフィルタ処理を行い、その後、高域補正成分抽出部２２３０において高域補正成分を抽出してぼけ補正を実施する点で、ハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃを用いて抽出した高域成分をそのまま使用する上記実施形態１と異なっている。
【００３８】
すなわち、本実施形態の画像処理装置は、図１０に示すように、画像入力部２０００、ぼけ度分析処理部２１００、帯域幅補正処理部２２００、振幅補正処理部２３００、遅延補正部２４００、ぼけ補正成分加算処理部２５００、画像出力部２６００を備えている。
ぼけ度分析処理部２１００は、高域成分ぼけ度分析部２１１０および平坦度分析部２１２０を有している。
【００３９】
なお、本実施形態の画像処理装置では、ぼけ度分析処理部２１００が、高域成分ぼけ度分析部２１１０、および平坦度分析部２１２０の両方を備えている例を挙げて説明した。しかし、本発明はこれに限定されるものではない。例えば、ぼけ度分析処理部２１００は、高域成分ぼけ度分析部２１１０、および平坦度分析部２１２０のうち、少なくとも一方を有していればよい。
【００４０】
高域成分ぼけ度分析部２１１０は、帯域幅補正処理部２２００のフィルタ部２２１０の異なる帯域幅（広帯域、中帯域、狭帯域）ＬＰＦ１，ＬＰＦ２，ＬＰＦ３（図１１参照）のローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃによって抽出された低域成分ｌｐ１，ｌｐ２，ｌｐ３を、遅延補正部２４１０において遅延補正された入力画像から減算器２１１１ａ，２１１１ｂ，２１１１ｃを用いて減算する。これにより、ローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃを用いた場合でも、高域成分ａｃ１，ａｃ２，ａｃ３を抽出することができる。
【００４１】
次に、抽出された高域成分ａｃ１，ａｃ２，ａｃ３の大きさに応じて、それぞれのぼけ度分析部２１１２ａ，２１１２ｂ，２１１２ｃにおいて、図３（ａ）や図３（ｂ）に示すように、１．０〜０．０の範囲において、抽出された高域成分の振幅ａｋが小さいほど、ぼけ度ｂｋが大きく、振幅ａｋが大きいほど、ぼけ度ｂｋが小さくなるようにぼけ度ｂ１，ｂ２，ｂ３を分析する。
【００４２】
なお、画像のぼけ度分析には、高域成分ぼけ度分析部２１１０だけでなく、平坦度分析部２１２０において平坦度を分析し、この平坦度をぼけ度ｂ０として扱う方法も考えられる。ここでは、平坦度分析部２１２０は、上記第１実施形態で示した平坦度分析部１１２０と同様であるから、その説明を省略する。
ここで、帯域幅補正処理部２２００は、ローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃを含むフィルタ部２２１０および重み付き加算平均部２２２０を有している。
【００４３】
そして、各々の低域成分ｌｐ１，ｌｐ２，ｌｐ３は、ローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃによって抽出される。
重み付き加算平均部２２２０において、図１２に示すように、抽出された低域成分ｌｐ１，ｌｐ２，ｌｐ３は、入力部２２３１，２２３２，２２３３から入力される。さらに、ぼけ度分析処理部２１００において分析された各々のぼけ度ｂ０，ｂ１，ｂ２，ｂ３は、入力部２２４０，２２４１，２２４２，２２４３から入力される。そして、係数器２２５０，２２５１，２２５２，２２５３，２２５４，２２５５，２２５６，２２５７，２２５８および加算器２２６０，２２６１，２２６２において、（数８）で示すような重み付き加算平均が行なわれ、算出結果ｌｐが出力部２２７０から出力される。
（数８）
ｌｐ１２＝（１−β１）＊ｌｐ１＋β１＊ｌｐ２
ｌｐ２３＝（１−β３）＊ｌｐ２＋β３＊ｌｐ３
ｌｐ＝（１−β２）＊ｌｐ１２＋β２＊ｌｐ２３
β１＝ｂ０＊ｂ１
β２＝ｂ０＊ｂ２
β３＝ｂ０＊ｂ３
これにより、各々のぼけ度が高いほど、つまり、ぼけ度が１に近いほど、狭帯域ローパスフィルタＬＰＦ３からの出力ｌｐ３の重みが重くなる。一方、ぼけ度が低いほど、つまり、０に近いほど、広帯域ローパスフィルタＬＰＦ１からの出力ｌｐ１の重みが重くなる。
【００４４】
よって、ぼけ度に応じて抽出される低域ぼけ成分の帯域幅を適切に滑らかに切り換えることができる。
ここで、高域補正成分抽出部２２３０において、重み付き加算平均部２２２０によって抽出された低域ぼけ成分を、画像入力部２０００に入力された画像を、遅延補正部２４１０，２４２０で遅延補正した入力画像から減算して高域補正成分ａｃを抽出する。
【００４５】
そして、この高域補正成分ａｃは、帯域幅補正処理部２２００の出力として、振幅補正処理部２３００に入力される。
次に、ぼけ振幅補正部２３１０において入力された高域補正成分ａｃの大きさに応じて、図３（ａ）や図３（ｂ）に示すように、分析して得たぼけ度ｂ４、もしくはぼけ度分析処理部２１００において分析されたぼけ度ｂ０，ｂ１，ｂ２，ｂ３のうち少なくともいずれか１つのぼけ度を、ぼけ振幅補正係数αとして、高域補正成分抽出部２２３０において抽出された高域補正成分ａｃに乗算する。
【００４６】
これにより、上記第１実施形態と同様に、ぼけ度が高いほど大きく、ぼけ度が低いほど小さく振幅補正することができる。よって、ゲイン補正部２３２０において定数倍してゲイン補正された高域補正成分を出力し、高域補正成分画像入力部２０００から遅延補正部２４１０，２４２０，２４３０において遅延補正されてゲイン補正された入力画像を、ぼけ補正成分加算処理部２５００において加算する。
【００４７】
この結果、入力画像のぼけ度に応じて、適切に周波数帯域幅補正および振幅補正された出力画像を、画像出力部２６００から出力させることができる。
ここで、図１３（ａ）〜図１３（ｆ）に、本実施形態の画像処理装置において、周波数が低域から高域まで変化する画像にローパスフィルタをかけて高域をぼかした画像が入力された場合に、低域成分および高域成分が抽出されるまでの過程を示す。
【００４８】
図１３（ａ）は、ローパスフィルタにより高域をぼかした入力画像を示している。図１３（ｂ）は、ローパスフィルタ２２１０ａを用いて抽出された広帯域幅低域成分ｌｐ１、図１３（ｃ）は、ローパスフィルタ２２１０ｂを用いて抽出された中帯域幅低域成分ｌｐ２、図１３（ｄ）は、ローパスフィルタ２２１０ｃを用いて抽出された狭帯域低域成分ｌｐ３を示している。図１３（ｅ）は、図１３（ｂ）〜図１３（ｄ）をぼけ度に応じて重み付き加算平均部２２２０において加算平均して算出された低域補正成分ｌｐを示している。図１３（ｆ）は、遅延補正された入力画像から低域成分ｌｐを減算して抽出された高域補正成分ａｃを示している。
【００４９】
本実施形態の画像処理装置では、図１３（ｆ）に示すように、図１９（ｆ）に示す従来例において抽出された高域成分ａｃと比較して、低域〜中域の過補正および高域の補正不足が改善されていることが分かる。
また、図１４には、図１７で示した入力画像を、本実施形態の画像処理装置によって鮮鋭化処理した高域補正後の画像の一例を示している。
図１４の画像から分かるように、図２０で示した従来の構成によってぼけ補正処理した高域補正後の画像と比較して、帯域ごとに偏った補正が行なわれて過補正や補正不足となることなく、低域から高域全体に亘って適切にぼけ補正されていることが分かる。
【００５０】
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
【００５１】
（Ａ）
上記実施形態では、画像処理装置として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した画像処理装置の構成を用いて、図２１に示す画像処理方法をコンピュータに実行させる画像処理プログラムとして、本発明を実現してもよい。
【００５２】
すなわち、本画像処理プログラムは、図２１に示すように、入力ステップＳ１と、フィルタ処理ステップＳ２と、ぼけ度分析処理ステップＳ３と、重み付け加算処理ステップＳ４と、を備えた画像処理方法をコンピュータに実行させる。
まず、入力ステップＳ１では、画像入力部１０００（あるいは画像入力部２０００）に画像信号が入力される。
【００５３】
次に、フィルタ処理ステップＳ２では、フィルタ部１２１０（あるいはフィルタ部２２１０）において、画像入力部１０００（あるいは画像入力部２０００）に入力された画像信号に対して、遮断周波数および遮断帯域幅の異なる複数の遮断フィルタ群を用いて並列にフィルタ処理を行い、低域（あるいは高域）の成分を除去して出力する。
なお、上記実施形態１，２で説明したように、フィルタ処理ステップＳ２において使用される遮断フィルタ群は、低域成分を除去するハイパスフィルタ１２１０ａ，１２１０ｂ，１２１０ｃ、高域成分を除去するローパスフィルタ２２１０ａ，２２１０ｂ，２２１０ｃのどちらを用いてもよい。
【００５４】
次に、ぼけ度分析処理ステップＳ３では、フィルタ部１２１０（あるいはフィルタ部２２１０）から出力された値に基づいて、入力された画像信号の高域の成分量を分析し、重み付き加算平均部１２２０（あるいは重み付き加算平均部２２２０）に対する重み付けを決定する。
次に、重み付け加算処理ステップＳ４では、重み付き加算平均部１２２０（あるいは重み付き加算平均部２２２０）において、複数の遮断フィルタ群から出力されたそれぞれの出力に対して重み付けを行い、その結果と画像入力部１０００（あるいは画像入力部２０００）に入力された画像信号とを加算する。
【００５５】
本実施形態の画像処理プログラムによれば、以上のように、入力ステップＳ１、フィルタ処理ステップＳ２、ぼけ度分析処理ステップＳ３、重み付け加算処理ステップＳ４、を備えた画像処理方法をコンピュータに実行させることにより、上述した実施形態１，２と同様に、従来の構成によってぼけ補正処理した高域補正後の画像と比較して、帯域ごとに偏った補正が行なわれて過補正や補正不足となることなく、低域から高域全体に亘って適切にぼけ補正されていることが分かる。
【産業上の利用可能性】
【００５６】
本発明の画像処理装置は、従来の構成と比較して、様々な画像に対して過補正や補正不足なく適切にぼけ補正を実行することができるという効果を奏することから、例えば、手術用モニタ等の高精細な表示装置等に対して適用されることが特に有効である。
【符号の説明】
【００５７】
１０００  画像入力部
１１００  ぼけ度分析処理部
１１１０  高域成分ぼけ度分析部
１１１０ａ，１１１０ｂ，１１１０ｃ  ぼけ度分析部
１１２０  平坦度分析部
１２００  帯域幅補正処理部
１２１０  フィルタ部
１２１０ａ，１２１０ｂ，１２１０ｃ  ハイパスフィルタ
１２２０  重み付き加算平均部
１２３１，１２３２，１２３３，１２３４  入力部
１２４０，１２４１，１２４２，１２４３  入力部
１２５０〜１２５８  係数器
１２６０，１２６１，１２６２  加算器
１２７０  出力部
１３００  振幅補正処理部
１３１０  ぼけ振幅補正部
１３２０  ゲイン補正部
１４００  遅延補正部
１５００  ぼけ補正成分加算処理部
１６００  画像出力部
２０００  画像入力部
２１００  ぼけ度分析処理部
２１１０  高域成分ぼけ度分析部
２１１１ａ，２１１１ｂ，２１１１ｃ  減算器
２１１２ａ，２１１２ｂ，２１１２ｃ  ぼけ度分析部
２１２０  平坦度分析部
２２００  帯域幅補正処理部
２２１０  フィルタ部
２２１０ａ，２２１０ｂ，２２１０ｃ  ローパスフィルタ
２２２０  重み付き加算平均部
２２３０  高域補正成分抽出部
２２３１，２２３２，２２３３  入力部
２２４０，２２４１，２２４２，２２４３  入力部
２２５０〜２２５８  係数器
２２６０，２２６１，２２６２  加算器
２２７０  出力部
２３００  振幅補正処理部
２３１０  ぼけ振幅補正部
２３２０  ゲイン補正部
２４００  遅延補正部
２４１０，２４２０，２４３０  遅延補正部
２５００  ぼけ補正成分加算処理部
２６００  画像出力部
【図１】
2014137692.tif 000003
【図２】
2014137692.tif 000004
【図３】
2014137692.tif 000005
【図４】
2014137692.tif 000006
【図５】
2014137692.tif 000007
【図６】
2014137692.tif 000008
【図７】
2014137692.tif 000009
【図８】
2014137692.tif 000010
【図９】
2014137692.tif 000011
【図１０】
2014137692.tif 000012
【図１１】
2014137692.tif 000013
【図１２】
2014137692.tif 000014
【図１３】
2014137692.tif 000015
【図１４】
2014137692.tif 000016
【図１５】
2014137692.tif 000017
【図１６】
2014137692.tif 000018
【図１７】
2014137692.tif 000019
【図１８】
2014137692.tif 000020
【図１９】
2014137692.tif 000021
【図２０】
2014137692.tif 000022
【図２１】
2014137692.tif 000023