(57)【要約】【課題】画像を歪ませること無く鮮鋭化処理を行う。【解決手段】入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの前記判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定する判定部２４３と、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で前記判定領域に対応する前記画像信号を増幅した増幅画像信号を出力する増幅部２４４，２４５，２４６と、前記判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する前記増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力する処理部２４７とを備える。【選択図】図３
2011109374.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの前記判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定する判定部と、
高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で前記判定領域に対応する前記画像信号を増幅した増幅画像信号を出力する増幅部と、
前記判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する前記増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力する処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定部は、
前記画像信号がカラー信号である場合には、該画像信号から色差情報を示す色差信号を分離した前記輝度情報に基づいて判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理部は、
前記高い周波数成分を含むと判定された判定領域であるほど、前記ぼかし処理をする前記境界部分を含む所定の範囲を狭く設定する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記高い周波数成分を含むとする判定は、
前記画像信号と、該画像信号から高周波成分を除去した低域周波数信号との差が、予め定められる閾値より大きな値を示す場合に高い周波数成分を含むと判定する
ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
撮像された信号に基づく画像信号を出力する撮像手段と、
請求項１から請求項４のいずれかに記載され、前記画像信号に基づいて画像処理を行う画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項６】
入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの前記判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定するステップと、
高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で前記判定領域に対応する前記画像信号を増幅した増幅画像信号を出力するステップと、
前記判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する前記増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力するステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の鮮鋭化処理をする画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像を鮮鋭化（シャープに）する鮮鋭化処理は、細部の表現を強調する処理として用いられ、輪郭強調処理にも応用されている。また、画像の鮮鋭化処理は、「アンシャープマスク処理（以下、「ＵＳＭ処理」という。）」と言われる。市販のソフトウェアなどで行える簡易的なＵＳＭ処理では、ユーザーが入力したパラメータにしたがって、全画面一律の条件で処理できる。その入力できるパラメータが限られるので、画面の特定の部分ごとに適正なパラメータを設定することはできず、また、そのパラメータに基づいた処理結果の良否はユーザーの判断にゆだねられている。
全画面を一律のパラメータを用いて処理するのではなく、画像信号に含まれる周波数成分にしたがって画面を分割し、分割した範囲の画像信号に含まれる周波数成分に輪郭強調を施す技術がある。その周波数成分に対する輪郭強調量の設定は、画像信号に含まれる高い周波数成分の量が多い場合ほど輪郭強調量を少なく設定し、高い周波数成分の量が少ない場合ほど輪郭強調量を多く設定して、分割した範囲ごとに異なる輪郭強調量を設定することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１４３６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、緻密な画像を得るためには、様々な周波数成分が含まれる画像に対し適切に鮮鋭化（シャープ化）する必要がある。特に、高い周波数成分が含まれる領域の画像をシャープ化する処理が不十分であると、高い周波数成分が目立たない画像となることから、人間の視覚では、その画像をシャープに感じることができない。
しかしながら、特許文献１によると、周波数成分に応じて分割した画面ごとに処理をしているものの、周波数成分が高い部分の処理が適切に処理されていない。つまり、その処理によって導かれる画像では周波数成分が高い部分の輪郭強調量が少なく設定されることから緻密さに欠ける画像となる。
そこで、その技術に基づいて高い周波数成分が含まれる領域と中域の周波数成分が含まれる領域において、ＵＳＭ処理によって補正される対象領域の広さを同じに設定したまま、増幅率を高くすると仮定する。その結果、高域周波数領域で示される線（ライン）はシャープになる反面、オーバーシュートが過度に大きくなる。その大きなオーバーシュートの影響により、線が太くなるという課題が生じて、緻密な原画像を示すことができなくなる。そのため、増幅率の設定により、ＵＳＭ処理で高い周波数成分を強調しようとしても画像に歪みが生じてしまい、特許文献１の技術からは、高い周波数成分を強調したＵＳＭ処理が行えないという問題がある。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、画像を歪ませること無く鮮鋭化処理を行う画像処理装置、撮像装置及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの前記判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定する判定部と、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で前記判定領域に対応する前記画像信号を増幅した増幅画像信号を出力する増幅部と、前記判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する前記増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力する処理部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、上記の発明において、前記判定部は、前記画像信号がカラー信号である場合には、該画像信号から色差情報を示す色差信号を分離した前記輝度情報に基づいて判定することを特徴とする。
【０００８】
また、本発明は、上記の発明において、前記処理部は、前記高い周波数成分を含むと判定された判定領域であるほど、前記ぼかし処理をする前記境界部分を含む所定の範囲を狭く設定することを特徴とする。
【０００９】
また、本発明は、上記の発明において、前記高い周波数成分を含むとする判定は、前記画像信号と、該画像信号から高周波成分を除去した低域周波数信号との差が、予め定められる閾値より大きな値を示す場合に高い周波数成分を含むと判定することを特徴とする。
【００１０】
また、上記問題を解決するために、本発明は、撮像された信号に基づく画像信号を出力する撮像手段と、上記のいずれかに記載され、前記画像信号に基づいて画像処理を行う画像処理装置と、を備えることを特徴とする撮像装置である。
【００１１】
また、上記問題を解決するために、本発明は、入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの前記判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定するステップと、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で前記判定領域に対応する前記画像信号を増幅した増幅画像信号を出力するステップと、前記判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する前記増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力するステップと、をコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１２】
この本発明によれば、画像を歪ませること無く鮮鋭化処理をすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態によるＵＳＭ処理の原理を示す図である。
【図２】同実施形態による撮像装置の構成を示すブロック図である。
【図３】同実施形態による画質調整処理部の構成を示すブロック図である。
【図４】同実施形態による（３×３）画素の範囲に適用するフィルターの係数を示す。
【図５】同実施形態による２つのカットオフ周波数で定義されるフィルターを用いた判定方法を示す。
【図６】同実施形態によるぼかし処理を示す図である。
【図７】同実施形態によるＵＳＭ処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態について、図面を参照して説明する。
図を参照し、本実施形態によって示される画像信号の先鋭化処理、すなわち「アンシャープマスク（ＵＳＭ）処理」の原理について説明する。
図１は、ＵＳＭ処理の原理を示す図である。この図では、時間に応じて輝度が高くなる波形の輪郭強調処理を例にして説明する。それぞれの図の横軸は水平方向の走査線上の位置を示し、縦軸は輝度を示す。すなわち、横軸を時間軸とした場合に水平方向に走査する画像信号の変化と等価になる。
図１（ａ）に示される波形Ｓ１１４は、輝度がスロープ状に変化する過渡区間を経てステップ状に変化する原画像信号の波形である。波形Ｓ１１４の高域成分を除去するぼかし処理により波形Ｓ１１６が導かれる。図１（ｂ）に示される波形Ｓ１１８は、原画像信号の波形Ｓ１１４と、ぼかし処理をして導かれた波形Ｓ１１６との差を示している。図１（ｃ）には、原画像信号（波形Ｓ１１４）の輪郭強調処理を行った結果の波形Ｓ１３０が示される。波形Ｓ１３０は、図１（ｂ）の波形Ｓ１１８を増幅し、原画像信号（波形Ｓ１１４）に加算することにより導かれる。
このＵＳＭ処理を式（１）に示す。
【００１５】
【数１】
2011109374.tif 000003
【００１６】
式（１）において、Ｙｓが鮮鋭化画像の輝度、Ｙが入力される原画像の輝度、Ｙｇａｕｓｓが入力された原画像にガウスぼかし処理によってガウスボケを付加した画像の輝度、Ａｍｐが増幅率を示す。
【００１７】
図２は、本実施形態による撮像装置の構成を示すブロック図である。この図に示される撮像装置１は、カメラボディ１００及びカメラボディ１００に取り付けられるレンズ鏡筒２００を備える。
撮像装置１においてレンズ鏡筒２００は、光学系２１０、光学系駆動部２２０、光学系制御部２３０を備える。
レンズ鏡筒２００における光学系２１０は、撮像素子８への光の出力を調整する光学素子と、その光学素子などを保護する構造を備えている。光学系駆動部２２０は、制御部２０からの制御信号に応じて光学系２１０をモーターなどのアクチュエータによって駆動して、撮像素子８への光の出力を調整する。光学系制御部２３０は、光学系２１０に設けられた各種センサー、エンコーダの情報を収集し、制御部２０に通知する。
【００１８】
撮像装置１においてカメラボディ１００は、撮像処理部１０、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７及び制御部２０を備える。
カメラボディ１００における撮像処理部１０は、撮像素子制御回路７、撮像素子８及び映像回路９を備える。撮像素子８は、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの受光素子であり、光学系２１０から出力され結像された像を電気信号に変換してアナログの画像信号を出力する。撮像素子８には、映像回路９と、撮像素子制御回路７とが接続されている。映像回路９は、撮像素子８が出力する画像信号を増幅し、デジタル信号に変換する。撮像素子制御回路７は、撮像素子８を駆動させ、撮像素子８により結像された像の画像信号への変換や、変換された画像信号の出力などの動作を制御する。
【００１９】
不揮発メモリー１１には、制御部２０を動作させるプログラムや、撮像され生成された画像データ、ユーザーから入力された各種設定や撮像条件などの情報が記憶される。バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であり、例えば、撮像素子８から出力される画像信号や、画像信号に応じて生成された画像データなどが制御部２０によって一時的に記憶される。
【００２０】
操作検出回路１３は、入力部に入力されたユーザーの操作を検出し、検出した操作情報を制御信号として制御部２０に入力する。入力部は、例えば電源スイッチ１３ａ、レリーズスイッチ１３ｂなどを備える。
モニター制御回路１４は、例えば、モニター１５の点灯、消灯や明るさ調整などの表示制御や、制御部２０から出力される画像データをモニター１５に表示させる処理を行う。モニター１５は、画像データを表示し、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）で構成される。
【００２１】
メモリー制御回路１６は、制御部２０とメモリー１７との情報の入出力を制御し、例えば、制御部２０によって生成された画像データなどの情報をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像データなどの情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなどカメラボディ１００から抜き差し可能な記憶媒体であり、制御部２０によって生成される画像データなどが記憶される。
【００２２】
制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいてカメラボディ１００の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。例えば、制御部２０は、操作検出回路１３に入力されるユーザーからの操作情報に応じて、カメラボディ１００への電源の投入、光学系駆動部２２０を介した光学系２１０の駆動制御、撮像素子制御回路７を介した撮像素子８の駆動制御、モニター制御回路１４を介したモニター１５の表示制御、撮像素子８で検出した被写体の撮影処理、撮影した画像信号の画質調整処理の制御を行う。
【００２３】
制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３及び画質調整処理部２４を備える。
制御部２０における画像処理部２１は、撮像素子８の撮像領域内に捉えられ映像回路９に出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１は、画像処理により生成した画像データをバッファメモリー１２に記憶させる。表示制御部２２は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを一定時間間隔毎に読み出し、読み出した画像データをリアルタイムにモニター１５に出力する。ここで、一定時間間隔とは、例えば１／６０秒であり、この場合、表示制御部２２によって１秒間に６０フレームの画像データがスルー画としてモニター１５に表示され、動画像としてメモリー１７に記録される。
【００２４】
撮影制御部２３は、ユーザーの操作入力に基づいた撮影処理を制御するための撮影処理開始指令又は撮影処理終了指令などの制御信号が操作検出回路１３から入力されることに応じて、各部に対して必要な制御信号を出力する。撮影制御部２３は、撮像処理開始命令が入力されると光学系２１０を駆動させ、画像データを生成する撮像処理を行う。撮影制御部２３は、予めユーザーから入力された撮影条件に応じて、光学系駆動部２２０を介して光学系２１０のフォーカシング、露出制御、ズーミングなどの制御を行う。
【００２５】
画質調整処理部２４は、撮像処理部１０で撮像され、画像処理部２１でバッファメモリー１２に記録された撮像画像、或いは、メモリー１７に記憶された記憶画像の画質を調整し、処理した処理画像をバッファメモリー１２又はメモリー１７に記録する。
図３は、画質調整処理部２４の構成を示すブロック図である。
画質調整処理部２４は、画像入力処理部２４１、ＹＣｂＣｒ変換部２４２、フィルター処理部２４３、ＵＳＭ処理部２４４、２４５、２４６、合成処理部２４７、ＲＧＢ変換部２４８、及び、画像出力部２４９を備える。
画質調整処理部２４における画像入力処理部２４１は、画像処理部２１でバッファメモリー１２に記録された撮像画像、或いは、メモリー１７に記憶された記憶画像を参照し、ＲＧＢ形式の画像を出力する。画像入力処理部２４１から出力される画像は、画質調整処理の入力画像となる。
ＹＣｂＣｒ変換部２４２は、入力されるＲＧＢ形式の入力画像に基づいて輝度成分（Ｙ成分）の情報と色差成分（ＣｂＣｒ成分）の情報とに分離して、輝度情報と色差情報を出力する。ＲＧＢ形式の画像情報から、輝度情報と色差情報への分離は、一般的な変換式にしたがった演算処理により行われる。分離された輝度情報は、フィルター処理に用いられ、色差情報は、フィルター処理後に行われる画像の合成処理に用いられる。
【００２６】
フィルター処理部２４３は、ＹＣｂＣｒ変換部２４２によって分離された輝度情報に対し、予め定められた周波数範囲の成分を含む領域か否かを判定する。その判定は、フィルター処理によって透過される輝度情報の値に基づいて行われる。また、フィルター処理部２４３は、判定した領域に含まれる周波数成分がいずれの周波数範囲であるかを示す周波数判定情報を、判定した領域ごとに対応させてバッファメモリー１２に記録する。本実施形態では、フィルター処理部２４３は、２つの閾値で定められる３つの周波数帯域に分類することとして、以下を説明する。フィルター処理部２４３は、高域周波数領域を選択するフィルター処理部２４３Ｈ、中間周波数領域を選択するフィルター処理部２４３Ｍ、低域周波数領域を選択するフィルター処理部２４３Ｌを備える。
【００２７】
フィルター処理部２４３が行うフィルター処理について説明する。
２次元画像を示す画像信号においてカットオフ周波数より高い周波数成分を透過させるハイパスフィルター（ＨＰＦ）の特性の定め方について示す。まず、入力される原画像信号に対してぼかし処理を行うローパスフィルター（ＬＰＦ）特性を定義する。このＬＰＦの特性は、ボケ画像を生成する際のガウス特性を付加したものとする。
このＬＰＦの通過域は、対応するＨＰＦの遮断域になる。ぼかし処理の範囲を定め、その範囲に応じたＬＰＦの透過域をＬＰＦ１として定めると、ＬＰＦの遮断域、すなわちＨＰＦの透過域は式（２）の関係式で示される。
【００２８】
【数２】
2011109374.tif 000004
【００２９】
式（２）において、ＬＰＦ１がボケ画像を生成する際における、原画像のガウス特性付加量、Ｙが入力される原画像の輝度、ＨＰＦ１がＨＰＦを通過した輝度情報の値を示す。
このように、ぼかし処理の範囲に基づいてＬＰＦの特性を定義することにより、ＬＰＦの遮断域に対応するＨＰＦの通過域が導かれる。また、ＬＰＦでは、ぼかし処理を適用する範囲をより広く設定すると、より低い周波数領域の信号だけが選択される。それに対応するＨＰＦではカットオフ周波数が低下する。
【００３０】
なお、フィルター処理は、２次元データに基づいたコンボリューション演算によって行うこともできる。
図４は、（３×３）画素の範囲に適用するフィルターの係数を示す。この図に示される（ａ）は、水平方向の信号の変化を検出できる係数であり、（ｂ）は、水平方向の信号の変化を検出できる係数である。このフィルターの係数の定義は、「Ｐｒｅｗｉｔｔフィルター」として知られるものである。この演算方法は、その中心画素周辺の周波数成分を水平方向の成分Δｘｆと垂直方向の成分Δｙｆとに分けてそれぞれ演算し、その結果に基づいて式（３）を用いて演算する。
【００３１】
【数３】
2011109374.tif 000005
【００３２】
直交する方向ごとに分けて演算できることと、図に示すように演算係数が（−１、０、１）と単純なため計算の負荷がかからないことが特徴である。以上の演算の結果を、予め定められる閾値に基づいて判定し、周波数成分の範囲を分類する。
【００３３】
上記に示した方法などにより、いくつかのフィルター特性を定め、カットオフ周波数の異なるフィルターを用いて信号に含まれる周波数成分に基づいた分類を行う。
図５は、２つのカットオフ周波数ｆｃ１とｆｃ２（ただし、ｆｃ１＞ｆｃ２）で定義されたフィルターを用いた判定方法を示す。
図５（ａ）は、画面の中央から周囲方向に遠ざかるにつれて信号の周波数成分が低くなる画像をモデル化して示したものである。図に描かれる同心円は、輝度が低い暗い部分、円の間の白い部分は輝度が高い明るい部分をそれぞれ示す。すなわち、円の半径の差が小さくて線が蜜な部分は周波数成分が高い画像、逆に円の半径の差が大きくて線が疎な部分は周波数成分が低い画像を示している。
【００３４】
図５（ｂ）は、図５（ａ）の画像に、高い方のカットオフ周波数（ｆｃ１）のＨＰＦによって抽出された範囲を白、遮断された範囲を黒で示した画像である。
図５（ｃ）は、図５（ａ）の画像に、低い方のカットオフ周波数（ｆｃ２）のＨＰＦによって抽出された範囲を白、遮断された範囲を黒で示した画像である。
図５（ｂ）と図５（ｃ）を比べると、白い円の半径は図５（ｃ）の方が長く、周波数の低い範囲まで透過領域として判定された結果が示される。
図５（ｄ）は、図５（ｃ）の領域から図５（ｂ）の領域を除いた範囲を白で示す。白いドーナッツ状の範囲が、透過領域として判定される領域であり、カットオフ周波数ｆｃ２からｆｃ１までの周波数成分が含まれる領域が示される。この特性は、バンドパスフィルターの特性になる。
また、図５（ｅ）は、図５（ｃ）に示した図と白黒が反転した図が示され、カットオフ周波数（ｆｃ２）のＬＰＦによって抽出された範囲を白、遮断された範囲を黒で示した画像である。
このように、ぼかし処理の広さに基づいて画像に含まれる周波数成分を判定することができる。この判定方法では、厳密な周波数解析の演算処理を用いること無く等価的に周波数成分の判定が行えることが特徴である。すなわち、フィルター処理部２４３Ｈは、判定領域を標準範囲より狭くするように設定され、判定領域を定める中心画素からの半径を標準範囲を定める標準半径より短くする。フィルター処理部２４３Ｍは、判定領域を標準とするように設定され、判定領域を定める中心画素からの半径を標準半径にする。フィルター処理部２４３Ｌは、判定領域を標準範囲より広くするように設定され、判定領域を定める中心画素からの半径を標準範囲を定める標準半径より長くする。
また、フィルター処理部２４３では、高い周波数成分を含むとする判定は、画像信号と、その画像信号から高周波成分を除去した低域周波数信号との差が、予め定められる閾値より大きな値を示す場合に高い周波数成分を含むと判定する。
【００３５】
図２に戻り、制御部２０におけるＵＳＭ処理部２４４、２４５及び２４６について示す。ＵＳＭ処理部２４４、２４５及び２４６は、フィルター処理部２４３における３つのフィルター処理部２４３Ｈ、２４３Ｍ及び２４３Ｌが判定した結果の周波数判定情報を参照し、その情報に応じて適したＵＳＭ処理をそれぞれ行う。ＵＳＭ処理部２４４、２４５及び２４６は、周波数判定情報によって分類される周波数帯域によって異なる値に設定された設定値（パラメータ）によるＵＳＭ処理をそれぞれ行う。設定される設定値には、ＵＳＭ処理範囲を定めるぼかし処理の広さ、及び、原画像信号とぼかし処理を施した信号との差を増幅する増幅率がある。
【００３６】
ＵＳＭ処理部２４４は、フィルター処理部２４３Ｈが判定した結果の高い周波数成分の信号に対し高域周波数領域用のＵＳＭ処理を行う。高域周波数領域用のＵＳＭ処理では、標準範囲より狭く設定された判定領域において、増幅率を標準増幅率より高く設定する。
ＵＳＭ処理部２４５は、フィルター処理部２４３Ｍが判定した結果の中間の周波数成分の信号に対し中間周波数領域用のＵＳＭ処理を行う。中間周波数領域用のＵＳＭ処理では、標準範囲に設定された判定領域において、増幅率を標準増幅率に設定する。
ＵＳＭ処理部２４６は、フィルター処理部２４３Ｈが判定した結果の低い周波数成分の信号に対し低域周波数領域用のＵＳＭ処理を行う。低域周波数領域用のＵＳＭ処理では、標準範囲より広く設定された判定領域において、増幅率を標準増幅率より低く設定する。
ＵＳＭ処理部２４４、２４５及び２４６は、上記のように定めることにより、画像信号の周波数成分に応じた増幅率で増幅することができる。
【００３７】
また、合成処理部２４７は、ＵＳＭ処理部２４４、２４５及び２４６でそれぞれ処理された結果に基づいて１つの合成画像信号を合成する。ＵＳＭ処理部２４４、２４５及び２４６は、フィルター処理部２４３による判定の結果に基づいて、それぞれの領域に適したＵＳＭ処理部の特性に応じてそれぞれ信号処理を行った。合成処理部２４７は、それらの結果に基づいて、１つの画像信号とする合成処理を行う。フィルター処理部２４３の判定は、各領域をいずれかの領域とする判定方法をとることから、その結果に応じて隣接する領域どうしを組み合わせることは容易である。そのまま領域をつなぎ合わせた場合の画像の境界部に不自然さが生じることがある。
【００３８】
つまり、それぞれの領域で異なる増幅率によって増幅処理された結果、領域の境界部では画像信号の連続性が保障されないことになる。そのため、そのまま合成すると境界部では不連続に映像信号が変化することから、不自然な画像となる。そこで、合成処理部２４７では、フィルター処理部２４３によって異なる周波数成分を含むと判定された領域どうしの接続部では、ぼかし処理を施して、映像信号の連続性を確保する。ぼかし処理は、前述のようにガウスぼかしを適用できる。
【００３９】
図６は、ぼかし処理を示す図である。図４（ｂ）に示したＨＰＦの通過領域と、その周囲を取り囲むＨＰＦの遮断領域との境界部の輝度情報にそれぞれぼかし処理を施すことにより、図に示される輝度分布に変換できる。この図は、高域周波数領域と判定された判定領域にガウスぼかしを付加した結果を示す。また、この図の特性をＨｉｍａｓｋと定義することにより、高域周波数領域と中間周波数領域の合成では式（４）のようになる。
【００４０】
【数４】
2011109374.tif 000006
【００４１】
式（４）において、Ｙｈｉが高域周波数領域をＵＳＭ処理部２４４によって処理した結果の輝度、Ｙｍｉｄが中間周波数領域をＵＳＭ処理部２４５によって処理した結果の輝度を示す。
このようなぼかし処理は、異なる周波数成分を含むと判定された領域間の接続部に適用させることにより、信号変化の連続性を確保した合成画像信号を合成することができる。
【００４２】
ＲＧＢ変換部２４８は、合成処理部２４７が合成した合成画像信号によって示される輝度情報と、ＹＣｂＣｒ変換部２４２が分離した色差情報に基づいて、ＲＧＢ形式のＲＧＢ画像情報に変換する。輝度情報と色差情報から、ＲＧＢ形式の画像情報への変換は、一般的な変換式にしたがった演算処理により行われる。
画像出力部２４９は、ＲＧＢ変換部２４８から入力されたＲＧＢ画像情報に基づいてＵＳＭ処理を適用した画像情報を出力する。画像出力部２４９は、ＵＳＭ処理が施された画像情報をバッファメモリー１２又はメモリー１７に記録する。
【００４３】
図７は、ＵＳＭ処理を示すフローチャートである。
まず、画像入力処理部２４１は、撮像処理部１０から入力され、画像処理部２１でバッファメモリー１２に記録された撮像画像、或いは、メモリー１７に記憶された記憶画像を参照し、ＲＧＢ形式の画像を出力する（ステップＳａ１２）。
ＹＣｂＣｒ変換部２４２は、入力されるＲＧＢ形式の画像情報に基づいて輝度成分（Ｙ成分）の情報と色差成分（ＣｂＣｒ成分）の情報とに分離して、輝度情報と色差情報を出力する（ステップＳａ１４）。
【００４４】
フィルター処理部２４３は、ＹＣｂＣｒ変換部２４２によって分離された輝度情報に対し、複数の領域に対して予め定められた周波数範囲の成分を含む領域か否かを判定する。その判定は、フィルター処理による透過領域の輝度情報の値に基づいて行われる。また、フィルター処理部２４３は、判定した領域に含まれる周波数成分がいずれの周波数範囲であるかを示す周波数判定情報を、判定した領域ごとに対応させてバッファメモリー１２に記録する（ステップＳａ１６）。
フィルター処理部２４３が、特性の異なる複数のフィルターを用いて判定した結果を示す周波数判定情報を参照し、その領域に含まれる周波数成分の周波数領域に応じて、ステップＳａ２０、Ｓａ２２、Ｓａ２４の処理に移る（ステップＳａ１８）。
【００４５】
ステップＳａ１８における判定の結果、ＵＳＭ処理部２４４は、判定された周波数成分が高い周波数成分であると判定された場合に高域周波数領域用のＵＳＭ処理を行う。高域周波数領域用のＵＳＭ処理では、標準範囲より狭く設定された判定領域の信号に対し、増幅率を標準増幅率より高く設定する。フィルター処理部２４３が判定した全ての高域周波数領域の増幅処理を行い、終了するとステップＳａ２６の処理に移る（ステップＳａ２０）。
【００４６】
ステップＳａ１８における判定の結果、ＵＳＭ処理部２４５は、判定された周波数成分が中間の周波数成分であると判定された場合に中間周波数領域用のＵＳＭ処理を行う。中間周波数領域用のＵＳＭ処理では、標準範囲に設定された判定領域の信号に対し、増幅率を標準増幅率に設定する。フィルター処理部２４３が判定した全ての中間周波数領域の増幅処理を行い、終了するとステップＳａ２６の処理に移る（ステップＳａ２２）。
【００４７】
ステップＳａ１８における判定の結果、ＵＳＭ処理部２４６は、判定された周波数成分が低い周波数成分であると判定された場合に低域周波数領域用のＵＳＭ処理を行う。低域周波数領域用のＵＳＭ処理では、標準範囲より広く設定された判定領域の信号に対し、増幅率を標準増幅率より低く設定する。フィルター処理部２４３が判定した全ての低域周波数領域の増幅処理を行い、終了するとステップＳａ２６の処理に移る（ステップＳａ２４）。
【００４８】
合成処理部２４７は、ＵＳＭ処理部２４４、２４５及び２４６でそれぞれ処理された結果に基づいて１つの画像信号を合成する。ＵＳＭ処理部２４４、２４５及び２４６では、フィルター処理部２４３による判定の結果に基づいて、それぞれの領域に適したＵＳＭ処理部の特性に応じてそれぞれ信号処理を行い、合成処理部２４７は、それらの結果に基づいて、１つの画像信号とする合成処理を行う。合成処理部２４７では、フィルター処理部２４３によって異なる周波数成分を含むと判定された領域どうしの接続部、すなわち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する増幅画像信号に対して、ガウスぼかしを適用して、輝度情報の変化を抑えるぼかし処理を施して映像信号の連続性を確保する（ステップＳａ２６）。
【００４９】
ＲＧＢ変換部２４８は、合成処理部２４７が合成した合成画像信号によって示される輝度情報と、ＹＣｂＣｒ変換部２４２が分離した色差情報に基づいて、ＲＧＢ形式のＲＧＢ画像情報に変換する（ステップＳａ２８）。
画像出力部２４９は、ＲＧＢ変換部２４８から入力されたＲＧＢ画像情報に基づいてＵＳＭ処理を適用した画像情報を出力する。画像出力部２４９は、適したＵＳＭ処理が適用された画像情報をメモリー１７に記録し、処理を終了する（ステップＳａ３０）。
以上の手順にしたがって処理することにより、ＵＳＭ処理を行うことができる。
【００５０】
なお、本発明の実施形態の制御部２０において、フィルター処理部２４３は、入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定する。ＵＳＭ処理部２４４、２４５、２４６は、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で判定領域に対応する画像信号を増幅した増幅画像信号を出力する。合成処理部２４７は、判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力する。
これにより、制御部２０は、入力される画像信号を歪ませること無く鮮鋭化処理をすることができる。
また、本実施形態では、フィルター処理部２４３は、画像信号がカラー信号である場合には、その画像信号から色差情報を示す色差信号を分離した輝度情報に基づいて判定する。
これにより、分離されたカラー信号それぞれに演算処理を施すこと無く輝度情報を代表して判定することができることから、少ない演算処理で画像を歪ませること無く鮮鋭化処理をすることができる。
【００５１】
また、本実施形態では、フィルター処理部２４３は、高い周波数成分を含むと判定された判定領域であるほど、ぼかし処理をする境界部分を含む所定の範囲を狭く設定する。
これにより、画像信号の周波数成分に応じたＵＳＭ処理を行うことができることから、画像を歪ませること無く鮮鋭化処理をすることができる。
【００５２】
また、本実施形態では、高い周波数成分を含むとする判定は、画像信号と、その画像信号から高周波成分を除去した低域周波数信号との差が、予め定められる閾値より大きな値を示す場合に高い周波数成分を含むと判定する。
これにより、画像信号の周波数成分に応じたＵＳＭ処理の判定条件を、複雑な周波数解析の演算処理を使わずに判定できることから、画像を歪ませること無く鮮鋭化処理をすることができる。
【００５３】
また、本実施形態によれば、撮像処理部１０が、撮像された信号に基づく画像信号を出力する。上記のいずれかに記載された制御部２０が、その画像信号に基づいた画像処理を行う。
これにより、撮像装置１は、撮像された画像信号を歪ませること無く鮮鋭化処理を行うことができる。
【００５４】
また、本実施形態によれば、画像処理プログラムは、入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定するステップと、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で判定領域に対応する画像信号を増幅した増幅画像信号を出力するステップと、判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力するステップとを制御部２０のコンピュータに実行させる。
これにより、画像処理プログラムは、制御部２０のコンピュータを使って、入力される信号を歪ませること無く鮮鋭化処理を行うことができる。
【００５５】
なお、本実施形態におけるぼかし処理の特性は、ガウスぼかしを代表して示したが、他の特性を用いることも可能である。
また、フィルター処理部２４３における帯域分割を３つとして説明したが、少なくとも２つ以上に帯域分割することも可能である。
また、フィルター処理部２４３が判定に用いた情報は、カラー画像信号から分離した輝度情報として説明したが、分離した色差情報やカラー画像信号そのものを対象とすることも可能であるが、実施形態に示した輝度情報の方が好適である。
また、フィルター処理部２４３において、Ｐｒｅｗｉｔｔフィルターについて例示したが、同種のＳｏｂｅｌフィルターを適用することもできる。
また、制御部２０は、複数のコンピュータシステムの組み合わせで実現させることも可能である。
【００５６】
また、図２に示した制御部２０（画像処理装置）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより図１から図７に示したＵＳＭ処理を行ってもよい。
【００５７】
例えば、画像処理プログラムは、入力される画像信号に基づく画像に対して複数の判定領域を設定し、それぞれの判定領域に予め定められた範囲の周波数成分が含まれるか否かを判定するステップと、高い周波数の周波数成分を含むと判定された判定領域ほど高い増幅率を前記判定領域ごとに設定し、設定した増幅率で判定領域に対応する画像信号を増幅した増幅画像信号を出力するステップと、判定領域のうち、互いに異なる範囲の周波数成分を含むと判定された互いに隣接する判定領域の境界部分を含む所定の範囲内に対応する増幅画像信号に対して、輝度情報の変化を抑えるぼかし処理を施して出力するステップとを、コンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより図２に示す制御部２０（画像処理装置）の機能を実現するようにしてもよい。
【００５８】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６０】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６１】
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６２】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではない。
【符号の説明】
【００６３】
１  撮像装置
２０  制御部
２４３  フィルター処理部
２４４、２４５、２４６  ＵＳＭ処理部
２４７  合成処理部
【図１】
2011109374.tif 000007
【図２】
2011109374.tif 000008
【図３】
2011109374.tif 000009
【図４】
2011109374.tif 000010
【図５】
2011109374.tif 000011
【図７】
2011109374.tif 000012
【図６】
2011109374.tif 000013