(57)【要約】【課題】光軸から離れた周辺部のＭＴＦ特性を、光軸中心部のＭＴＦ特性と略同一となるように補正することを可能とする撮像装置を提供する。【解決手段】レンズ光学系１０と、ＣＣＤセンサ１１と、ＣＣＤセンサ１１により生成された画像に対して鮮鋭化処理を施す画像処理部１４とを含み、画像処理部１４は、ＣＣＤセンサ１１が生成した画像（入力画像）を直交変換し、鮮鋭化を強調したい中間周波数領域に対するＢＰＦのパラメータを設定し、鮮鋭化を強調したい中間周波数領域の鮮鋭化度（ゲイン）が高くなるように、かつ、レンズ光学系１０の光軸からの距離の二乗に比例するように、鮮鋭化度（ゲイン）を設定する。【選択図】図１
2005176150.tif 000002
【特許請求の範囲】
【請求項１】
レンズ光学系により、被写体の光学像を撮像素子の撮像面上に結像して、前記被写体を撮像する撮像装置であって、
撮像により得られた画像のうち、特定の空間周波数成分の鮮鋭化度が大きくなるように、前記画像に対する第１の鮮鋭化度を設定する第１の鮮鋭化度設定手段と、
撮像により得られた前記画像の中心からの距離と、前記レンズ光学系の変調伝達関数特性との関係に基づいて、前記画像に対する第２の鮮鋭化度を設定する第２の鮮鋭化度設定手段と、
前記第１の鮮鋭化度と前記第２の鮮鋭化度に基づいて、前記画像に対して鮮鋭化処理を行う鮮鋭化処理手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第２の鮮鋭化度設定手段は、
前記画像に対する第２の鮮鋭化度を、前記画像の中心からの距離の二乗に比例するように設定すること
を特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ等の撮像装置に関し、より詳しくは、所定の変調伝達関数特性のレンズ光学系を通して撮像素子により撮像された画像に基づいてディジタル処理する撮像装置に関するものである。
【背景技術】
【０００２】
一般に、ディジタルカメラ等の撮像装置では、撮像素子のサンプリング周波数の１／２以上の高周波成分が入射する光に含まれていると、折り返し信号によるモアレが発生する。このモアレは、電気回路により画像処理により除去することが難しいので、撮像素子に光を入射させる光学レンズと撮像素子との間の光路中に光学ローパスフィルタを配置し、高周波成分を除去している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般に光学レンズを含むレンズ光学系の画像の鮮鋭度を表す変調伝達関数特性（以下、ＭＴＦ特性：Modulation Transfer Function) は、収差の影響により均一ではなく、光学レンズの中心部の解像度が高く、周辺部に行くにしたがって解像度が低くなっている。
図６は、通常の光学レンズを用いた場合のＭＴＦ特性を例示し、（ａ）は光軸上の特性を、（ｂ）は像高５割における特性を、（ｃ）は像高７割における特性を、（ｄ）は光軸から最も遠い位置における特性を、それぞれ示す。図に示すように、光軸上から遠ざかった周辺部ほどＭＴＦ特性が悪化する。
一方、光学レンズと撮像素子との間の光路中に配置される光学ローパスフィルタは、水晶で形成されており、周辺部から中心部までその厚みは一定である。したがって、光学ローパスフィルタの周波数特性は、全体的に一様であるため、上記ＭＴＦ特性を持つ光学レンズと光学ローパスフィルタを組み合わせても、周辺部のＭＴＦ特性は改善しない。
【０００４】
特殊な光学レンズを使用することにより、ある程度周辺部のＭＴＦ特性を改善することは可能であるが、このような特殊な光学レンズの使用はコスト上昇を招来するため好ましくなく、かかる特殊な光学レンズを使用することなく、従来の光学レンズおよび光学ローパスフィルタを使用しつつ、画像処理によって、周辺部のＭＴＦ特性を中心部のＭＴＦ特性並に向上させる技術が要請される。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、その目的は、光軸から離れた周辺部のＭＴＦ特性を、光軸中心部のＭＴＦ特性と略同一となるように補正することを可能とする撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の観点は、レンズ光学系により、被写体の光学像を撮像素子の撮像面上に結像して、前記被写体を撮像する撮像装置であって、撮像により得られた画像のうち、特定の空間周波数成分の鮮鋭化度が大きくなるように、前記画像に対する第１の鮮鋭化度を設定する第１の鮮鋭化度設定手段と、撮像により得られた前記画像の中心からの距離と、前記レンズ光学系の変調伝達関数特性との関係に基づいて、前記画像に対する第２の鮮鋭化度を設定する第２の鮮鋭化度設定手段と、前記第１の鮮鋭化度と前記第２の鮮鋭化度に基づいて、前記画像に対して鮮鋭化処理を行う鮮鋭化処理手段とを有する。
【０００７】
好適には、前記第２の鮮鋭化度設定手段は、前記画像に対する第２の鮮鋭化度を、前記画像の中心からの距離の二乗に比例するように設定する。
【発明の効果】
【０００８】
本発明の撮像装置によれば、光軸から離れた周辺部のＭＴＦ特性を、光軸中心部のＭＴＦ特性と略同一となるように補正することを可能となるので、広い範囲で解像度の高い鮮明な画像が得られる。
【発明を実施するための最良の形態】
【０００９】
実施形態
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
図１は、本実施形態における撮像装置１の全体構成を例示する図である。当該撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００１０】
光学系は、レンズ光学系１０およびＣＣＤセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズおよび図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズにより被写体の光学像を集光して、ＣＣＤセンサ１１上に被写体の像を結像する。
【００１１】
また、レンズ光学系１０は、上記の光学レンズの曲率、収差等により定まる所定のＭＴＦ特性を備えている。
一般に、ＭＴＦ特性は、収差等により光軸中心から遠ざかるほどが悪化し、同一の空間周波数においては、光軸中心からの距離の二乗とＭＴＦ値とは略反比例の関係にある。すなわち、光軸中心から離れるほどＭＴＦ特性は加速度的に悪化する。
【００１２】
ＣＣＤセンサ１１は、たとえば、カラーフィルタが設けられたＣＣＤイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
【００１３】
信号処理系は、ＣＣＤセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double
Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
【００１４】
記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
【００１５】
表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。
【００１６】
制御系は、ＣＣＤセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、入力画像を鮮鋭化処理することによりＭＴＦ特性を補正する画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。
【００１７】
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してＣＣＤセンサ１１に入射され、ＣＣＤセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。
【００１８】
表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。
以上のような撮像装置１の動作によって、１枚の画像データの取り込みが終了する。
【００１９】
次に、図２を用いて、画像処理部１４において実行される処理について説明する。
図２において、（Ａ）はレンズ光学系１０のＭＴＦ特性であり、（ａ）は光軸中心のＭＴＦ特性を、（ｂ）は光軸から少し離れた位置のＭＴＦ特性を、（ｃ）は光軸から最も遠い位置（最周辺部）のＭＴＦ特性を、それぞれ示す。また、図２において、（Ｂ）は、画像処理部１４において実行される鮮鋭化度（後述するゲイン）と空間周波数との関係を示す。
【００２０】
図２（Ａ）に示すように、ＭＴＦ特性は光軸から遠ざかるほど悪化するため、画像処理部１４においては、光軸からの距離に応じて、鮮鋭化度を調整する。
一方、ＭＴＦ特性を改善するために全空間周波数領域について一様に鮮鋭化度を上げるのは好ましくなく、図２（Ｂ）に示すように、中間の空間周波数領域Ｂｆについて特に鮮鋭度を上げることが望ましい。すなわち、空間周波数の低周波領域や高周波領域において、過剰に鮮鋭化度を上げてしまうと、かえって不自然な印象の画像になってしまう場合があり、これを回避する必要がある。
かかる観点から、後述するように、画像処理部１４においては、光軸からの距離と空間周波数域に応じて、鮮鋭化度（ゲイン）を設定するように構成する。
【００２１】
図３は、本実施形態における画像処理部１４の構成の一例を示す。図３に示すとおり、画像処理部１４は、直交変換部１４１と、第１の鮮鋭化度設定手段としてのパラメータ設定部１４２と、第２の鮮鋭化度設定手段および鮮鋭化処理手段としての鮮鋭化処理部１４３とを含んで構成される。
直交変換部１４１は、Ａ／Ｄ変換器１３より入力した画像（入力画像Ｉｉｎ）を直交変換してパラメータ設定部１４２へ出力する。直交変換部１４１で行われる直交変換は、２次元のフーリエ変換を指しており、ＦＦＴ（高速フーリエ変換）を行うことであり、これにより入力画像Ｉｉｎの空間周波数特性を得ることができる。
パラメータ設定部１４２は、後段の鮮鋭化処理部１４３において実行されるバンドパスフィルタ（ＢＰＦ）のための空間周波数の設定を行う。具体的には、レンズ光学系１０のＭＴＦ特性のうち補正したい空間周波数領域Ｂｆがあらかじめ設定されるが、たとえば、光軸からの距離に応じて、設定値（空間周波数域）を可変としてもよい。
鮮鋭化処理部１４３は、パラメータ設定部１４２により設定されたＢＰＦ、および、光軸中心からの距離に応じて設定されるゲインを用いて、入力画像の鮮鋭化処理を行い、出力画像Ｉｏｕｔを生成する。
【００２２】
さらに、鮮鋭化処理部１４３において実行される画像の鮮鋭化処理について、図４に関連付けて説明する。
図４において、画像入力部５１は、Ａ／Ｄ変換器１３から入力した入力画像Ｉｉｎを入力して、水平方向成分、垂直方向成分、および、斜め方向成分に分離する。
垂直方向ＬＰＦ５２，５４は垂直方向のローパスフィルタ（ＬＰＦ）であり、水平方向ＬＰＦ５３，５５は水平方向のローパスフィルタ（以下、ＬＰＦ）である。
水平方向ＢＰＦ５６，垂直方向ＢＰＦ５７は、それぞれ水平方向，垂直方向のバンドパスフィルタ（以下、ＢＰＦ）である。ゲイン５８〜６１は、画像鮮鋭化の程度（鮮鋭化度）を調整するためのゲインである。
以上のような構成により、入力画像Ｉｉｎの水平、垂直および斜め方向の鮮鋭化を行った後、それらを合成し、全体としての鮮鋭化の程度を調整して鮮鋭化処理が終了する。
【００２３】
ここで、水平方向の鮮鋭化処理を例に、各方向において行われる鮮鋭化処理について説明する。
先ず、鮮鋭化を行う方向に対して直交方向にＬＰＦをかけ、後段の処理に不要な成分を除いておく。すなわち、図３に示すとおり、水平方向の鮮鋭化の場合には、垂直方向のＬＰＦをかけることになる（垂直方向ＬＰＦ５２）。
次に、鮮鋭化したい空間周波数を水平方向のＢＰＦ（水平方向ＢＰＦ５６）で抽出し、抽出された部分に対して鮮鋭化の度合いを示すゲインをかける（ゲイン５８）ことで水平方向の鮮鋭化が終了する。
【００２４】
鮮鋭化処理部１４３において、ゲインに応じて実行される鮮鋭化処理については、ラプラシアンフィルタを用いる方法など様々な公知技術を適用させることができる。たとえば、ゲインの値に応じてラプラシアンフィルタのフィルタ係数を変更することにより、ゲインに応じた鮮鋭化処理が可能となる。
【００２５】
次に、図４に示す各ゲイン５８〜６１において設定されるゲイン（鮮鋭化度）について説明する。
図５は、光軸からの距離Ｒとゲインとの関係を示す図であり、（Ａ）は、撮像面における光軸からの距離Ｒの定義を、（Ｂ）は光軸からの距離Ｒとゲインの関係の一例を、それぞれ示す。
図５（Ａ）は、被写体からの光束がレンズ光学系１０の光学レンズを通してＣＣＤセンサ１１の撮像面に結像する状態を表しており、ＣＣＤセンサ１１により撮像された画像において、Ｒは光軸中心からの距離により定義される。
図５（Ｂ）において、光軸からの距離Ｒとゲインとの関係を例示するように、図４に示す各ゲイン５８〜６１において設定されるゲイン（鮮鋭化度）は、光軸からの距離Ｒの二乗に比例するように設定される。
これにより、光軸からの距離Ｒに応じて加速度的に低下するレンズ光学系１０のＭＴＦ特性を補正することが可能となる。すなわち、光軸から離れた位置の撮像面に対して、図２（Ａ）に示すように、見かけ上のＭＴＦ特性を持ち上げることが可能となる。
【００２６】
以上説明したように、本実施形態における撮像装置１によれば、所定のＭＴＦ特性を有するレンズ光学系１０と、レンズ光学系１０により結像された光学像を光電変換して画像を生成するＣＣＤセンサ１１と、ＣＣＤセンサ１１により生成された画像に対して鮮鋭化処理を施す画像処理部１４とを含み、画像処理部１４は、ＣＣＤセンサ１１が生成した画像（入力画像）を直交変換する直交変換部と、直交変換により得られた入力画像の空間周波数特性に対して鮮鋭化を強調したい中間周波数領域に対するＢＰＦのパラメータを設定するパラメータ設定部と、パラメータ設定部により設定されたパラメータに基づいて、鮮鋭化を強調したい中間周波数領域の鮮鋭化度（ゲイン）が高くなるように設定される。また、鮮鋭化対象の画像に対する鮮鋭化度が、画像の中心（レンズ光学系１０の光軸）に対する鮮鋭化度に対して、画像の中心からの距離の二乗に比例するように、鮮鋭化度（ゲイン）が設定される。以上のように設定された鮮鋭化度により、入力画像の鮮鋭化処理が行われる結果、以下の効果を得ることができる。
【００２７】
すなわち、画像処理部１４は、撮像面における光軸からの距離に応じた鮮鋭化度（ゲイン）により、入力画像を鮮鋭化処理する結果、周辺部のＭＴＦ特性が光軸中心部のＭＴＦ特性並に向上し、広範囲で解像度の高い画像が得られる。
【００２８】
光軸からの距離Ｒに応じて加速度的に低下するレンズ光学系１０のＭＴＦ特性を補間するように、鮮鋭化度（ゲイン）を光軸からの距離の二乗に応じて設定したので、過剰に鮮鋭化処理を行うことによって不自然な印象の画像になることはない。
【００２９】
従来の一般的な光学レンズのＭＴＦ特性に適合するように、鮮鋭化度（ゲイン）を設定したので、撮像装置のレンズ光学系に使用される光学レンズは、従来から使用される一般的な光学レンズでよく、特殊な光学レンズを使用する必要がないので、安価に性能向上を実現できる。
【００３０】
なお、本実施形態の内容は、上述した内容に拘泥せず、本発明の要旨を変更しない範囲で様々な改変が可能である。
たとえば、画像処理部１４では、直交変換部１４１により直交変換された空間周波数特性に対してＢＰＦをかけることとしたが、空間周波数に応じた大きさのゲイン（鮮鋭化度）を設定してもよい。すなわち、ＭＴＦ値を大きく向上させる必要がある中間の空間周波数域では強いゲインをかけ、ＭＴＦ値を大きく向上させる必要がない高周波および低周波の空間周波数域では比較的弱いゲインをかけるように構成してもよい。
【００３１】
また、上記説明では、一般的な光学レンズに適合するように、鮮鋭化処理部１４３において実行される鮮鋭化処理のゲインを、光軸中心からの距離の二乗に応じて変化させるように構成したが、「二乗」に拘泥するものではなく、光軸中心からの距離とＭＴＦ特性の関係が明確であれば、その関係に応じてゲインを設定することが可能である。
たとえば、実際に撮像装置１に使用されるレンズ光学系１０のＭＴＦ特性を光軸中心からの距離を変数として測定し、その測定結果に応じたマッピングデータ（光軸中心からの距離とゲインとの関係）に基づいて、鮮鋭化処理を行うように構成してもよい。
【図面の簡単な説明】
【００３２】
【図１】撮像装置のブロック図の一例である。
【図２】画像処理部において実行される処理を図解した図であり、（Ａ）はＭＴＦ特性を、（Ｂ）はＭＴＦ特性を補正するために必要な空間周波数に対する鮮鋭化度を、それぞれ示す。
【図３】画像処理部のブロック図である。
【図４】鮮鋭化処理部のブロック図である。
【図５】光軸からの距離Ｒとゲインとの関係を示す図であり、（Ａ）は、撮像面における光軸からの距離Ｒの定義を、（Ｂ）は光軸からの距離Ｒとゲインの関係の一例を、それぞれ示す。
【図６】通常の光学レンズを用いた場合のレンズ光学系のＭＴＦ特性を例示し、（ａ）は光軸上の特性を、（ｂ）は像高５割における特性を、（ｃ）は像高７割における特性を、（ｄ）は光軸から最も遠い位置における特性を、それぞれ示す。
【符号の説明】
【００３３】
１…撮像装置
１０…レンズ光学系
１１…ＣＣＤセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１４１…直交変換部
１４２…パラメータ設定部
１４３…鮮鋭化処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部
【図１】
2005176150.tif 000003
【図２】
2005176150.tif 000004
【図３】
2005176150.tif 000005
【図４】
2005176150.tif 000006
【図５】
2005176150.tif 000007
【図６】
2005176150.tif 000008