(57)【要約】【課題】シャッタ速度を低下させることなく、広い距離範囲でピント精度が高く、高速なＡＦ処理を実現可能な撮像装置および撮像方法、並びに画像処理装置を提供する。【解決手段】システム制御装置２００は、操作部１９０が操作されてＡＦを開始する指示を受けると、フォーカスレンズ駆動部１３０によりフォーカスレンズ１１１を移動させて結像状態を良好な合焦状態とし、その後、システム制御装置２００は、複数のボケ復元フィルタ群の中から使用するフィルタを変えてカメラ信号処理部１６０のボケ復元フィルタ処理部１６４にフィルタリング処理を行わせ、最も高い振幅相関値が得られるフィルタを選択し、ボケ復元フィルタ処理部１６４に指示する。【選択図】図１
2008033060.tif 000002
【特許請求の範囲】
【請求項１】
オートフォーカス（ＡＦ）を開始させるＡＦ指示手段と、
撮像光学系と、
前記撮像光学系の移動手段と、
前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換手段と、
前記光電変換手段によって得られた画像データに演算処理を施す演算手段と、
前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタ群と、
前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ手段と、を有し、
前記演算手段は、画像内の所定領域の所定周波数の振幅相関値を検出する機能を含み、
前記ＡＦ指示手段の指示を受けると、前記撮像光学系の移動手段によるＡＦ制御に加え、
前記ボケ復元フィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択する
撮像装置。
【請求項２】
前記ＡＦ指示手段の指示によってＡＦが開始すると、前記振幅相関値が最も高くなる箇所に前記撮像光学系を移動させる山登りＡＦ手段を有する
請求項１記載の撮像装置。
【請求項３】
前記撮像光学系の光線以外で被写体までの距離を測定する測距手段と、
前記ＡＦ指示手段の指示によってＡＦが開始すると、前記測距手段によって得られた前記被写体までの距離の情報に従って前記撮像光学系を移動させる
請求項１記載の撮像装置。
【請求項４】
前記被写体の明るさが所定の明るさより暗い場合は、前記撮像光学系の移動手段によるＡＦ制御のみを行い、前記フィルタリング処理を行わない、
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
前記ボケ復元フィルタは前記撮像光学系の位置に依存しない
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
前記ボケ復元フィルタは前記撮像光学系の位置における同じデフォーカス量に対する復元フィルタを平均化したフィルタである
請求項１から４のいずれか一に記載の撮像装置。
【請求項７】
前記最も高い振幅相関値が得られるフィルタでフィルタリング処理して生成した画像を最終画像として出力し、または保存する手段を有する
請求項４から６のいずれか一に記載の撮像装置。
【請求項８】
前記ＡＦ制御によって得られた画像データに、前記最も高い振幅相関値が得られるフィルタを付帯情報として添付する手段を有する
請求項４から７のいずれか一に記載の撮像装置。
【請求項９】
前記フィルタ手段は、前記付帯情報として添付された前記フィルタを用いて、画像データにフィルタリング処理を行う
請求項８記載の撮像装置。
【請求項１０】
オートフォーカス（ＡＦ）を開始させるＡＦ指示手段と、
撮像光学系と、
前記撮像光学系の移動手段と、
前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換手段と、
前記光電変換手段によって得られた画像データに演算処理を施す演算手段と、
前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタ群と、
前記ボケ復元フィルタで前記画像データをフィルタリング処理するフィルタ手段と、
を有し、
前記移動手段は、前記ＡＦ指示手段の指示を受けて前記ＡＦ制御を実施した結果ＡＦ不能またはＡＦ不定となった場合に、所定の位置に前記撮像光学系を移動し、
前記フィルタ手段は、前記ボケフィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択する
撮像装置。
【請求項１１】
撮像光学系を移動させて結像面の結像状態を変化させる移動ステップと、
前記撮像光学系によって結像された撮像画像を電気信号に変換する変換ステップと、
前記第１ステップによって得られた画像データに演算処理を施す演算処理ステップと、
前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタで前記画像データをフィルタリング処理するフィルタリングステップと、を有し、
前記移動ステップは、オートフォーカス（ＡＦ）を開始させる指示を受けた場合に結像状態を最も合焦状態に近くするＡＦステップを含み、
前記フィルタリングステップは、前記合焦ステップ後に前記ボケフィルタ群の中から選択するフィルタを変えながらフィルタリング処理を行うステップを含む
撮像方法。
【請求項１２】
撮像光学系を移動させて結像面の結像状態を変化させる移動ステップと、
前記撮像光学系によって結像された撮像画像を電気信号に変換する変換ステップと、
前記第１ステップによって得られた画像データに演算処理を施す演算処理ステップと、
前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタで前記画像データをフィルタリング処理するフィルタリングステップと、を有し、
前記移動ステップは、オートフォーカス（ＡＦ）を開始させる指示を受けてＡＦ制御を実施した結果ＡＦ不能またはＡＦ不定となった場合に、所定の位置に前記撮像光学系を移動するステップを含み、
前記フィルタリングステップは、前記撮影光学系の前記所定位置への移動処理後、前記ボケフィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値を得るステップを含む
撮像方法。
【請求項１３】
光電変換手段によって得られた画像データに演算処理を施す演算手段と、
撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数からあらかじめ算出されたボケ復元フィルタ群と、
前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ手段と、を有し、
前記演算手段は、画像内の所定領域の所定周波数の振幅相関値を検出する機能を含み、
前記フィルタ手段は、前記ボケ復元フィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択して、前記高い振幅相関値が得られるフィルタを付帯情報とし、当該付帯情報として添付された前記フィルタを用いて、画像データにフィルタリング処理を行う
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および撮像方法、並びに画像処理装置に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図３９は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図３９に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図４０（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのピントの違いによるスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  ｏｐｔｉｃａｌ  ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を組み合わせた場合のＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）が距離の変化に対してほぼ一定になっていることを前提としている。
したがってズームレンズやＦ値の明るいレンズ、解像力を要求されるレンズでは、上記距離の変化に対して、ＰＳＦをほぼ一定にする光学設計の精度の高さやそれに伴うコストアップが原因になり、上述文献の技術を採用するには大きな問題を抱えている。
具体的には、ＷＩＤＥ時やＴＥＬＥ時のスポット像のずれを引き起こす非点収差、コマ収差、色収差等の各収差を無くす光学設計が要求される。
しかしながらこれの収差を無くす光学設計はその難易度が高く、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【０００８】
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズを増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
【０００９】
また、携帯電話などモバイル機器に搭載されているカメラモジュールは広範囲な撮影距離をカバーするためにオートフォーカス（以下ＡＦ）機構を搭載している。
ところが、一般的なＡＦ方式ではＡＦ中に画像変化、またはＡＦ中のカメラぶれなどによってＡＦターゲットの画像が変化することがある。あるいは、ピント合わせをメカ式で行っていることから、バックラッシュ等によって振幅相関値がピークとなるレンズ位置が必ずしも一致しない場合があり、必ずしも理想的ないわゆる山登り処理を行うことができないという不利益がある。
また、一方でＡＦのダイナミックレンジを広げかつステップ等の位置精度を高めるとＡＦ（合焦点）に時間がかかるという問題があり、時間短縮のためにステッパの位置精度を粗くすると精度を低下させてしまうという不利益がある。
【００１０】
特に、カメラモジュールは、近接撮影において、距離が非常に近いことによって被写界深度が極端に狭くなり、ＡＦ機構を搭載した撮像装置（カメラ）は一点にピントを合わせることはできるものの、被写体が立体物の場合、被写界深度内に収まらないと被写体全てを鮮明に撮影することはできなくなる。
そこで、絞りを絞ることで被写界深度を広げて撮影することが行われるが、シャッタ速度が長くなり静止物以外は像振れを起こすという不利益がある。
同様に、ＡＦ機構を搭載せず、絞りで被写界深度を稼ぐ固定焦点光学系は、ピント合わせをする必要がなく、簡便に使用することができるが、レンズは明るいものを使用することはできないという不利益がある。
【００１１】
一方、デジタルフィルタ処理によってボケ画像を復元させ被写界深度を広げる技術は、レンズを犠牲にする（暗くする）必要がなく、ある程度広い撮影距離範囲に対してピントのあった画を生成することができるが、これにもレンジに限界がある。
【００１２】
本発明の目的は、高フレームレートを保持しつつ、高価なボケ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができることはもとより、シャッタ速度を低下させることなく、広い距離範囲でピント精度が高く、高速なＡＦ処理を実現可能な撮像装置および撮像方法、並びに画像処理装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の観点の撮像装置は、オートフォーカス（ＡＦ）を開始させるＡＦ指示手段と、撮像光学系と、前記撮像光学系の移動手段と、前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換手段と、前記光電変換手段によって得られた画像データに演算処理を施す演算手段と、前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタ群と、前記ボケ復元フィルタで前記画像データをフィルタリング処理するフィルタ手段とを有し、前記ＡＦ指示手段の指示を受けると、前記撮像光学系の移動手段によるＡＦ制御に加え、前記ボケ復元フィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択する。
【００１４】
好適には、前記演算手段は、画像内の所定領域の所定周波数の振幅相関値を検出する機能を含み、前記ＡＦ指示手段の指示によってＡＦが開始すると、前記振幅相関値が最も高くなる箇所に前記撮像光学系を移動させる山登りＡＦ手段を有する。
【００１５】
好適には、前記撮像光学系の光線以外で被写体までの距離を測定する測距手段と、前記ＡＦ指示手段の指示によってＡＦが開始すると、前記測距手段によって得られた前記被写体までの距離の情報に従って前記撮像光学系を移動させる。
【００１６】
好適には、前記ボケ復元フィルタは前記撮像光学系の位置に依存しない。
【００１７】
好適には、前記ボケ復元フィルタは前記撮像光学系の位置における同じデフォーカス量に対する復元フィルタを平均化したフィルタである。
【００１８】
好適には、前記最も高い振幅相関値が得られるフィルタでフィルタリング処理して生成した画像を最終画像として出力し、または保存する手段を有する。
【００１９】
好適には、前記ＡＦ制御によって得られた画像データに、前記高い振幅相関値が得られるフィルタを付帯情報として添付する手段を有する。
【００２０】
好適には、前記フィルタ手段は、前記付帯情報として添付された前記フィルタを用いて、画像データにフィルタリング処理を行う。
【００２１】
本発明の第２の観点の撮像装置は、オートフォーカス（ＡＦ）を開始させるＡＦ指示手段と、撮像光学系と、前記撮像光学系の移動手段と、前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換手段と、前記光電変換手段によって得られた画像データに演算処理を施す演算手段と、前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタ群と、前記ボケ復元フィルタで前記画像データをフィルタリング処理するフィルタ手段と、を有し、前記移動手段は、前記ＡＦ指示手段の指示を受けて前記ＡＦ制御を実施した結果ＡＦ不能またはＡＦ不定となった場合に、所定の位置に前記撮像光学系を移動し、前記フィルタ手段は、前記ボケフィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択する。
【００２２】
本発明の第３の観点の撮像方法は、撮像光学系を移動させて結像面の結像状態を変化させる移動ステップと、前記撮像光学系によって結像された撮像画像を電気信号に変換する変換ステップと、前記第１ステップによって得られた画像データに演算処理を施す演算処理ステップと、前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタボケ復元フィルタで前記画像データをフィルタリング処理するフィルタリングステップと、を有し、前記移動ステップは、オートフォーカス（ＡＦ）を開始させる指示を受けた場合に結像状態を合焦状態にする合焦ステップを含み、前記フィルタリングステップは、前記合焦ステップ後に前記ボケフィルタ群の中から選択するフィルタを変えながらフィルタリング処理を行うステップを含む。
【００２３】
本発明の第４の観点の撮像方法は、撮像光学系を移動させて結像面の結像状態を変化させる移動ステップと、前記撮像光学系によって結像された撮像画像を電気信号に変換する変換ステップと、前記第１ステップによって得られた画像データに演算処理を施す演算処理ステップと、前記撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数から算出されたボケ復元フィルタボケ復元フィルタで前記画像データをフィルタリング処理するフィルタリングステップと、を有し、前記移動ステップは、オートフォーカス（ＡＦ）を開始させる指示を受けてＡＦ制御を実施した結果ＡＦ不能またはＡＦ不定となった場合に、所定の位置に前記撮像光学系を移動するステップを含み、前記フィルタリングステップは、前記所定位置への移動処理後、前記ボケフィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値を得るステップを含む。
【００２４】
本発明の第５の観点の画像処理装置は、光電変換手段によって得られた画像データに演算処理を施す演算手段と、撮像光学系の焦点位置を中心に前後のデフォーカスに応じた点広がり関数からあらかじめ算出されたボケ復元フィルタ群と、前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ手段と、を有し、前記演算手段は、画像内の所定領域の所定周波数の振幅相関値を検出する機能を含み、前記フィルタ手段は、前記ボケ復元フィルタ群の中から使用するフィルタを変えて前記フィルタリング処理を行い、最も高い振幅相関値が得られるフィルタを選択して、前記高い振幅相関値が得られるフィルタを付帯情報とし、当該付帯情報として添付された前記フィルタを用いて、画像データにフィルタリング処理を行う。
【発明の効果】
【００２５】
本発明によれば、高価なボケ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができることはもとより、シャッタ速度を低下させることなく、広い距離範囲でピント精度が高く、高速なＡＦ処理を実現できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２７】
図１は、本発明の第１の実施形態に係る撮像装置を示すブロック構成図である。
【００２８】
本実施形態に係る撮像装置１００はＡＦ（オートフォーカス）機能を備え、図１に示すように、光学系１１０、撮像素子１２０、フォーカスレンズ駆動部１３０、アナログフロントエンド部（ＡＦＥ）１４０、タイミングジェネレータ１５０、カメラ信号処理部１６０、外部メモリ１７０、画像モニタリング装置としてのＬＣＤモニタ１８０、操作部１９０、およびシステム制御装置（ＭＰＵ）２００を有している。
【００２９】
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、フォーカスレンズ１１１やズーム光学系１１２を含み、また、後述するように、光波面変調素子を含み、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。
【００３０】
光波面変調素子としては、後で詳述するがたとえば光学位相板１１３が適用される。
ここで光学位相板は光束を分散させる働きがあるので、光学位相板１１３を含む撮像光学系（テイキングレンズ）１１０で撮像素子１２０の結像面上に結ぶ像はピントを結ぶことなく、ボケた状態になる。
ただし、このボケた状態とは、単純なデフォーカスによるボケでは無く、スポットダイアグラムとしては最も集中している状態（ピントが合っている状態に近い）で、ピントは結んでいない状態となっている。これは前述の通り光学位相板１１３の光束を分散させる働きによって拡がった結果である。
被写体の距離に応じてフォーカシングレンズを動かすと、ボケ状態は最も小さく、ほぼ変わらず維持される。またこのボケ形状は、設計上の点光源のレスポンスである点像分布関数ＰＳＦ（Point Spread Function）に従ったボケ方になる。
ところで、光学位相板１１３はデフォーカス量に対してボケ形状の変化が鈍感であるように設計されているので、被写体距離を中心とした前後の異なる距離に存在する物体のボケ像は、デフォーカスに対してあまり大きく変化はしない。
前述の通りテイキングレンズを通って撮像素子面上に結んだ像は光学位相板１１３の設計通りにボケている。
【００３１】
撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１４０を介して画像処理装置１６０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００３２】
フォーカスレンズ駆動部１３０は、カメラ信号処理部１６０の出力によりシステム制御装置２００の指示の下、被写体までの距離に応じた所定の繰り出し位置へフォーカスレンズ１１１を移動させる。
【００３３】
アナログフロントエンド部１４０は、アナログ／デジタル（Ａ／Ｄ）コンバータ１４１を有する。
Ａ／Ｄコンバータ１４１は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、たとえばベイヤー配列となっているデジタルデータを信号処理装置１６０に出力する。
【００３４】
タイミングジェネレータ１５０は、カメラ信号処理部１６０の制御の下、撮像素子１２０のＣＣＤの駆動タイミングを生成する。
【００３５】
カメラ信号処理部１６０は、図１に示すように、ＲＡＷバッファ１６１、ＲＧＢ変換部１６２、ＹＵＢ変換部１６３、ボケ復元フィルタ処理部１６４、Ｙ′ＵＶ処理部１６５、およびＪＰＥＧエンジン１６６を有する。
【００３６】
カメラ信号処理部１６０においては、前段のＡＦＥ１４０からくる撮像画像のデジタル信号を入力するが、このデジタルデータはベイヤー（Ｂａｙａｒ）配列となっているのでＲＡＷバッファ１６２にいったん蓄えられ、ＲＧＢ変換部１６２で補間処理することによりＲプレーンＧプレーン、Ｂプレーンに変換される（ＲＧＢ変換）。
さらに、ＹＵＶ変換部１６３により、輝度、色差信号に変換される。
次に、ボケ復元フィルタ処理部１６４は、ボケ復元フィルタの処理を行い、ボケ画像はピントの合った画像に復元される。このとき前記の通り、距離に対してＰＳＦの形状が大きく変化しないので（距離感度が鈍くなる様に設計されているので）、ボケ画像が復元された時、前後の広い範囲をピントが合ったようにすることができる。
この復元後の輝度信号Ｙ′ＵＶをＬＣＤモニタ１８０に表示し、またＪＰＥＧエンジン１６６によってＪＰＥＧファイル圧縮を行って外部メモリ１７０に画像ファイルを記録する。
【００３７】
カメラ信号処理部１６０のボケ復元フィルタ処理部１６４は、撮像光学系１１０の合焦位置を中心に前後のデフォーカスに応じたＰＳＦ（点広がり関数）から算出されたボケ復元フィルタ群を有している。
そして、ボケ復元フィルタ処理部１６４は、たとえばシステム制御装置２００により指定されたボケ復元フィルタを使ってデジタル画像データに対するフィルタリング処理を行う。
ボケ復元フィルタ処理部１６４は、撮像画像のデジタル信号に対して、たとえば二次元のコンボリューション処理（演算処理）を施す。
ボケ復元フィルタ処理部１６４は、システム制御装置２００の所定情報（たとえば露出情報）に応じて、撮像素子１２０からの画像の焦点のボケを補正して復元した画像信号を生成する。より具体的には、ボケ復元フィルタ処理部１６４は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。
このボケ復元フィルタ処理部１６４は、画像データに対して演算処理を施すがその演算結果をシステム制御装置２００に出力する。
【００３８】
また、ボケ復元フィルタ処理部１６４で用いるボケ復元フィルタは撮像光学系１１０の位置に依存しない。また、ボケ復元フィルタは撮像光学系１１０の位置における同じデフォーカス量に対する復元フィルタを振幅を抑圧し、平均化したフィルタである。
ボケ復元フィルタ処理部１６４を有するカメラ信号処理部１６０は、システム制御装置２００の制御の下、最も高い振幅相関値が得られるフィルタでフィルタリング処理して生成した画像を最終画像として出力し、または保存する。
さらに、本実施形態のボケ復元フィルタ処理部１６４は、ＡＦ制御によって得られた画像データに、高い振幅相関値が得られるフィルタを付帯情報として添付する機能を有しており、付帯情報として添付されたフィルタを用いて、画像データにフィルタリング処理を行う機能を有している。
【００３９】
画像モニタリング装置としてのＬＣＤモニタ１８０は、たとえばカメラ信号処理部１６０により所定の画像処理を受けたスルー画やキャプチャ画像を表示する。
【００４０】
メモリ１７０は、カメラ信号処理部１６０で所定の画像処理を受けたキャプチャ画像等が記録される。
【００４１】
操作部１９０は、システム制御装置２００に対して所定の機能制御を行うように指示する入力スイッチ等により構成される。操作部１９０は、たとえばシャッタボタン、レリーズボタン、拡大ボタン、移動キー上、移動キー下、移動キー右、移動キー左、等の各スイッチを含む。
【００４２】
システム制御装置２００は、操作部１９０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、フォーカスレンズ駆動部１３０、カメラ信号処理部１６０等を制御し、システム全体の調停制御を司るものである。
【００４３】
カメラ信号処理部１６０はボケ復元フィルタ処理部１６４の演算処理結果を受けて、所定の領域の所定の周波数の振幅相関値を検出する機能を有し、システム制御部２００は、この検出した振幅相関値をモニタしながら、撮像光学系１１０のフォーカスレンズ１１１を移動させ最も高い振幅値の箇所にフォーカスレンズ１１１が停止するように、フォーカスレンズ駆動部１３０を駆動制御する。すなわち、システム制御装置２００は、いわゆる山登り法に対応した処理を行う。
【００４４】
システム制御装置２００は、たとえば操作部１９０が操作されてＡＦを開始する指示を受けると、フォーカスレンズ駆動部１３０によりフォーカスレンズ１１１を移動させて結像状態を良好な合焦状態とし（第１のＡＦ）、その後、システム制御装置２００は、複数のボケ復元フィルタ群の中から使用するフィルタを変えてカメラ信号処理部１６０のボケ復元フィルタ処理部１６４にフィルタリング処理を行わせ、最も高い振幅相関値が得られるフィルタを選択し、ボケ復元フィルタ処理部１６４に指示する。
【００４５】
また、システム制御装置２００は、たとえば操作部１９０が操作されてＡＦを開始する指示を受けると、フォーカスレンズ駆動部１３０によりフォーカスレンズ１１１を移動させて上述した山登り法に行った結果、所定のしきい値を検出できず、ＡＦ不能またはＡＦ不定となった場合に所定の位置にフォーカスレンズ１１１を移動させ、その後、システム制御装置２００は、複数のボケ復元フィルタ群の中から使用するフィルタを変えてカメラ信号処理部１６０のボケ復元フィルタ処理部１６４にフィルタリング処理を行わせ、最も高い振幅相関値が得られるフィルタを選択し、ボケ復元フィルタ処理部１６４に指示する。
【００４６】
ところで、ＰＳＦはレンズ位置毎、デフォーカス量毎にそれぞれ特性が異なるため、最適なボケ復元フィルタも異なるものとなる。しかしながら、レンズ位置毎に異なるフィルタ群を用意していたのでは、レンズ制御位置の分解能が高いほど、要するフィルタ群の量は増え、記憶容量を要し、処理も煩雑となる。そこで、ここでは、レンズ位置の影響を受けずに共通で使用できるフィルタ群を提供する手法について説明する。
【００４７】
ここでは、物体の距離無限大（以下Ｉｎｆ）と物体の距離１０００ｍｍと物体の距離５００ｍｍに対し、それぞれで合焦（スポットダイアグラムが最も小さく集まる状態のレンズ位置）の位置をＩｎｆ３、１０００ｍｍ３、５００ｍｍ３と定義する。
さらに各々の合焦の位置を中心として等間隔でデフォーカスさせた点を前側ピントからそれぞれ、
Ｉｎｆ１、Ｉｎｆ２、Ｉｎｆ３、Ｉｎｆ４、Ｉｎｆ５
１０００ｍｍ１、１０００ｍｍ２、１０００ｍｍ３、１０００ｍｍ４、１０００ｍｍ５
５００ｍｍ１、５００ｍｍ２、５００ｍｍ３、５００ｍｍ４、５００ｍｍ５
とする。
【００４８】
各ＰＳＦを図示すると図２に示すようになる。
ＰＳＦの形状から分る通り、合焦状態である３の位置が最も高くかつ裾野が狭く、３の位置から離れるに連れ高さが下がり裾野も広がっていく。
この場合、合焦位置から均等に前後のデフォーカス位置を観測しているので、波形の高さ裾野の広がりは前後とも形状的にやや近い状態にある。
一方で同じフォーカス位置での合焦距離違いを比較すると形状はほぼ近い状態にある。  本実施形態はこの特徴を利用している。
【００４９】
また別な見方としてこれらＰＳＦのＭＴＦを算出し、１００ｌｐ/ｍｍの位置のＭＴＦ（Modulation Transfer Function：振幅伝達関数）をプロットしたものが図１１である。（Ａ）はＩｎｆ、（Ｂ）は１０００ｍｍ、（Ｃ）は５００ｍｍのそれぞれレンズ位置におけるＭＴＦを示している。（Ａ）〜（Ｃ）である。
ＭＴＦ分析においても、レンズ位置が異なってもほぼデフォーカス量に対する変化の形状が似ていることが分る。
【００５０】
以上から合焦位置を中心としてその前後のデフォーカスによるボケに対し、予め用意した所定の復元フィルタを共通化させられることができる。
図３は図２で示されているＰＳＦを用いてインバース法によりボケ復元フィルタを作成したものである。
【００５１】
［数１］
Filter=ifft2（1./fft2(PSF)）
【００５２】
ただしifft2は２次元フーリエ逆変換、fft2は２次元フーリエ変換、  ./演算子は各配列の要素同士の除算を表す。
ＰＳＦがボケによって崩れてくるとそれに応じてＭＴＦも下がっていく。
【００５３】
［数２］
MTF=abs（fft2(PSF)）
【００５４】
ただしabsは複素数の振幅分の算出を示す。
上記式から分るように、ＭＴＦが低下すると、Filterの値は逆数からなるので発散する方向になる。図３のfilterの値が大きくなっているのはこのためである。
【００５５】
さて図３で生成されたフィルタとボケ関数であるＰＳＦ（図２）でコンボリューション（convolution）処理を行ってみると、図４に示すようになる。
このとき使用したフィルタはそれぞれのＰＳＦで生成されたもの同士をコンボリューション処理をしているので理想的にそれぞれ復元されるはずであるが、ほぼ中心に点像が復元されている場合もあるが、１０００ｍｍ１（Ｆｉｇ３−１−２）、１０００ｍｍ２（Ｆｉｇ３−２−２）、１０００ｍｍ４（Ｆｉｇ３−４−２）、５００ｍｍ２（Ｆｉｇ３−２−３）、５００ｍｍ４（Ｆｉｇ３−４−３）は大きなノイズが現れ、復元できているとは言い難い。
【００５６】
本目的である共通の復元フィルタの可能性を探るために、Ｉｎｆ、１０００ｍｍ、５００ｍｍの各々のＰＳＦから得られる復元フィルタを同じデフォーカス同士で平均して求めたフィルタを共通フィルタとして、各々のＰＳＦにコンボリューション処理を施した結果が図６である。
ノイズの振幅量は収まる方向になっているものの依然としてノイズが大きく点光源に復元されたとは言い難い。
これらの原因は前述したように逆数を取ることによって分母が小さくなるとその係数部分は非常に大きくなり、十分広いフィルタサイズを付与できない限りにおいて誤差が大きくなって大きく暴れる結果となる。
【００５７】
また、図４と図５を比較すると分るように、本来の目的である「合焦が異なったレンズ位置であっても共通の復元フィルタを適用する。」ことが困難となっている。これは僅かな誤差が敏感に響いてしまうためである。
【００５８】
上記問題を鑑みインバースフィルタの分母が小さ過ぎる場合はある値でクリップされるように固定値を入れたものが簡易wienerフィルタである。
【００５９】
［数３］
psff=fft2（PSF）
Filter=ifft2(conj(psff)./（r+conj(psff).*psff）
【００６０】
ただし、r＝抑圧項、conj＝共役な複素数を得る関数である。また、.＊演算子は各配列の要素同士の積算を示す。
本計算で生成したフィルタを図示したものが図７である。フィルタの振幅が１／５程度に抑圧されていることが分る。
これらフィルタをそれぞれのＰＳＦに応じてコンボリューション処理を行った結果が図８である。
図４と比較して復元点光源の振幅がノイズが少なくほぼ理想的に復元できていることが分る。
【００６１】
さてここでフィルタの共通化のために１０００ｍｍのＰＳＦから作成したフィルタ（filter）でＩｎｆと５００ｍｍの復元をしたものが図９である。
大きな破綻はないが、図９−２−１にあるように復元点光源の鋭さ（高さ）が低くなっているような点が現れる。
【００６２】
図１０は、Ｉｎｆ、１０００ｍｍ、５００ｍｍの各値を同じデフォーカス同士で平均して求めたフィルタ群でＰＳＦを復元したものである。
合焦位置が異なるにも拘らずほぼどの距離、デフォーカスであっても復元できていることが分る。
【００６３】
以下に、本実施形態の特徴である光学系１１０と変換手段として機能するカメラ信号処理部１６０のボケ復元フィルタ処理部１６４のさらに具体的な構成および機能の例について具体的に説明する。
【００６４】
ここでは、ベストフォーカス（焦点）位置で光線が集中する一般的な結像光学系を比較例として挙げる。
図１２は、一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
また、図１３は、本実施形態の光学系の結像付近の光学特性を示す図である。
【００６５】
図１２に示すように、一般的な結像光学系においては、ベストフォーカスの位置では光線が最も密に集中し、ベストフォーカス位置から離れていくとそのデフォーカス量にほぼ比例してボケ径が広がる。
これに対し、本実施形態の光学系１１０は、図１３に示すように、一般的な結像系光学系と異なり、ベストフォーカスの位置で光線が集中しないため、ベストフォーカス位置であってもボケている。しかしながら、本実施形態の光学系１１０は、このベストフォーカス近傍では、デフォーカス量に対してボケの形（ＰＳＦ）の変化が鈍感になるように設計されている。
したがって、ベストフォーカス位置のＰＳＦに応じたボケ復元処理を行えば、ベストフォーカス点はもちろんその前後もボケを除去し鮮明な画像を得ることができる。
これが本実施形態で採用している深度拡大の原理である。
【００６６】
次に、ボケ画像復元処理について説明する。
図１４は、一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function：振幅伝達関数）特性図である。
図１５は、本実施形態の光学系のＭＴＦ特性を示す図である。
【００６７】
本実施形態の光学系１１０を通過して撮像素子１２０で得られた撮像画像はボケているため中域〜高域にかけてＭＴＦが低下している。このＭＴＦを演算によって上昇させる。レンズ単体の振幅特性であるＭＴＦに対し、画像処理を含めたトータルの振幅特性はＳＦＲ（Spatial Frequency Response）と呼ばれている。
ボケ画像を発生させるＰＳＦの周波数特性がＭＴＦであるので、これから所望のＳＦＲ特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。
【００６８】
このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション（Convolution）演算（畳み込み演算）を行う方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。
【００６９】
【数４】
2008033060.tif 000003
【００７０】
ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分る通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
【００７１】
次に、図１６（Ａ）〜（Ｃ）に関連付けて３＊３のフィルタを例に挙げ具体的に説明する。
図１６（Ａ）の復元フィルタ（既に１８０度回転済み）を図１６（Ｂ）に示すボケ画像のＡ(i,j)上にフィルタの中心ｆ(0,0)を重ね、各タップ同士の積をとりこの９個の総和値を図１６（Ｃ)に示すボケ復元画像のＢ(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなＢ画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。
【００７２】
また、本実施形態においては、前記ＰＳＦのボケ幅は、画像モニタリング装置１８０の分解能を上限として設定することができ、たとえば上述したボケ復元処理を実施しないように構成したとしても、ボケが目立たないようなモニタ表示が可能となる。
【００７３】
さらに、本実施形態においては、ボケ幅の大きさを画像モニタリング装置１８０の画素ピッチの２倍程度以下に設定してあることから、スルー画中のライブ画像は実質的にボケてはいない。
【００７４】
画像ピッチの２倍程度以下として表示が実質的にボケないのは、一般的にモニタ装置でカラー表示を行う場合、光の３原色であるＲ，Ｇ，Ｂを１画素ずつに割り当て、最低でもこの３画素を１ユニットとしてカラー表示が行われることに起因する。
図１７（Ａ）〜（Ｄ）に示すように、画素の配列には、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタリング配列といった複数の手法があるが、いずれの手法も最低でも正方画素の２×２のサイズを最小ユニットとして構成されている。
よって、モニタ表示画像の分解能としては画素ピッチの２倍以下であれば実質的に問題のないレベルであるといえる。
【００７５】
また、本実施形態においては、ボケ画像をボケ復元フィルタ処理部１６４でカメラ信号処理が終わったところで自動的に画像モニタリング装置１８０にボケ復元画像を出力するようにすることが可能で、ボケ復元処理にある程度時間がかかっても処理終了と同時に見ることができ、撮影者が復元処理を実行させるための特別な操作を行う必要はない。
【００７６】
以下、本実施形態の光学系、画像処理装置の構成および機能についてさらに具体的に説明する。
【００７７】
図１８は、本実施形態に係るＡＦ機能に加えてズーム機能を有する光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図１９は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
なお、図１８および図１９の構成では、レンズ１１１とレンズ１１２との間に光学位相板１１３ａが配置されたズーム光学系の例を示している。
そして、図２０は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図２１は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
【００７８】
図１８および図１９のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ  Ｐｈａｓｅ  Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ  Ｃｏｄｉｎｇ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞りが設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
【００７９】
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
【００８０】
図１８および図１９のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システムといい、この処理を画像処理装置３００において行う。
【００８１】
ここで、波面収差制御光学系システムの基本原理について説明する。
図２２に示すように、被写体の画像ｆが波面収差制御光学系システム光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００８２】
（数５）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００８３】
生成された画像から被写体を求めるためには、次の処理を要する。
【００８４】
（数６）
ｆ＝Ｈ−１＊ｇ
【００８５】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００８６】
【数７】
2008033060.tif 000004
【００８７】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００８８】
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、ボケ復元フィルタ処理部１６４に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００８９】
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００９０】
次に、ボケ復元フィルタ処理部１６４を画像処理装置３００としてその構成および処理について説明する。
【００９１】
画像処理装置３００は、図２３に示すように、生（ＲＡＷ）バッファメモリ３０１、コンボリューション演算器３０２、記憶手段としてのカーネルデータ格納ＲＯＭ３０３、およびコンボリューション制御部３０４を有する。
【００９２】
コンボリューション制御部３０４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、システム制御装置２００により制御される。
【００９３】
また、カーネルデータ格納ＲＯＭ３０３には、図２４に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、システム制御装置２００によって、たとえば露出情報を取得し、コンボリューション制御部３０４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【００９４】
図２４の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
【００９５】
図２５は、システム制御装置２００の露出情報（絞り除去を含む）により切り替え処理のフローチャートである。
まず、露出情報が検出されコンボリューション制御部３０４に供給される（ＳＴ１０１）。
コンボリューション制御部３０４においては、露出情報ＲＰからカーネルサイズ、数値演算係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１４０等を介して二次元コンボリューション演算部３０２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータが得られる（ＳＴ１０３）。
【００９６】
以下に画像処理装置３００の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
【００９７】
図２６は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２６の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【００９８】
露出情報を取得し、コンボリューション制御部３０４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部３０２においては、カーネルデータを用いてコンボリューション処理を施す。
【００９９】
図２７は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２７の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
【０１００】
露出情報を取得し、コンボリューション制御部３０４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部３０２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
【０１０１】
図２８は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２８の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
【０１０２】
露出情報を取得し、コンボリューション制御部３０４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部３０２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
【０１０３】
図２９は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２９の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ２４は省略することも可能である。
露出情報を取得し、コンボリューション制御部３０４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部３０２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
【０１０４】
以上は露出情報のみに応じて２次元コンボリューション演算部３０２においてフィルタ処理を行う例を説明したが、たとえば、被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【０１０５】
なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にボケ味を出すことも可能になる。
【０１０６】
本実施形態においては、波面収差制御光学系システムを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【０１０７】
図３０（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図３０（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図３２（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、図３０（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図３０（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【０１０８】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【０１０９】
図３１（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図３１（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図３１（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置３００の補正処理に任せるため、図３１（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【０１１０】
画像処理装置３００は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【０１１１】
画像処理装置３００のＭＴＦ補正処理は、たとえば図３２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図３２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図３２中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【０１１２】
本実施形態においては、図３２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図３２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図３３に示すようになる。
【０１１３】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【０１１４】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置３００からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置３００を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置３００で行う。
【０１１５】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【０１１６】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図３０（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置３００でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【０１１７】
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
【０１１８】
図３４は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３５は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３６は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【０１１９】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【０１２０】
以上説明したように、本第１の実施形態によれば、たとえば合焦位置でもピントを結ばないがその前後でほぼＰＳＦ（Point  Spread Function 点広がり関数）が一定になるように設計された光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成するボケ復元フィルタ処理部１６４（画像処理装置３００）を有するカメラ信号処理部１６０と、カメラ信号処理部１６０のボケ復元フィルタ処理部１６４の演算処理結果を受けて、所定の領域の所定の周波数の振幅相関値を検出する機能を有し、この検出した振幅相関値をモニタしながら、撮像光学系１１０のフォーカスレンズ１１１を移動させ最も高い振幅値の箇所にフォーカスレンズ１１１が停止するように、フォーカスレンズ駆動部１３０を駆動制御するシステム制御装置２００とを有し、システム制御装置２００は、操作部１９０が操作されてＡＦを開始する指示を受けると、フォーカスレンズ駆動部１３０によりフォーカスレンズ１１１を移動させて結像状態を良好な合焦状態とし、その後、システム制御装置２００は、複数のボケ復元フィルタ群の中から使用するフィルタを変えてカメラ信号処理部１６０のボケ復元フィルタ処理部１６４にフィルタリング処理を行わせ、最も高い振幅相関値が得られるフィルタを選択し、ボケ復元フィルタ処理部１６４に指示することから、以下の効果を得ることができる。
高フレームレートを保持しつつ、高価なボケ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができることはもとより、シャッタ速度を低下させることなく、広い距離範囲でピント精度が高く、高速なＡＦ処理を実現できる
【０１２１】
また、カメラ信号処理部１６０において、システム制御装置２００からの振幅相関値情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズの波面収差制御光学系システムに使用することが可能である。
【０１２２】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置３００とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【０１２３】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【０１２４】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【０１２５】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【０１２６】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【０１２７】
また、図１８や図１９の光学系は一例であり、本発明は図１８や図１９の光学系に対して用いられるものとは限らない。また、スポット形状についても図２０および図２１は一例であり、本実施形態のスポット形状は、図２０および図２１に示すものとは限らない。
また、図２４のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
【０１２８】
図３７は、本発明の第２の実施形態に係る撮像装置を示すブロック構成図である。
【０１２９】
本第２の実施形態に係る撮像装置１００Ａが第１の実施形態に係る撮像装置１００と異なる点は、フォーカスレンズの駆動制御を振幅相関値の検出情報に基づいて行う代わりに、外部の測距モジュールで得られた被写体ＯＢＪまでの距離情報に従って行うようにした点にある。
【０１３０】
第２の実施形態において、操作部１９０のレリーズ釦が押下されると、システム制御装置２００Ａはその操作部１９０の変化を検出し、測距モジュール２１０を用いて被写体ＯＢＪとの距離を測定する。図３７の例では赤外線アクティブ測距の例で説明する。
【０１３１】
測距モジュール２１０は、システム制御装置２００Ａからのコマンドにより赤外線ＬＥＤ２１１から赤外線を被写体ＯＢＪに投射し、その反射光をＰＳＤ（Position Sensitive Device）センサ２１２で受光し、右側と左側の光電流比によってＰＳＤ上の光の位置を検出する。
投光レンズと受光レンズの基線長から三角測距の原理によって被写体距離を算出する方法は公知の通りである。
算出した被写体距離データをシステム制御装置２００Ａへ送信する。この動作によってシステム制御装置２００Ａは被写体ＯＢＪまでの距離データを測定することができる。
第２の実施形態においては、アクティブ測距モジュールとしたがこれに限定するものではなく、その他の撮像光学系（テイキングレンズ）の光線を用いない客観的な検出方式（例えばパッシブＡＦ方式）を使用してもよい。
【０１３２】
次に、システム制御装置２００Ａは、フォーカスレンズ駆動部１３０を使用して、被写体ＯＢＪまでの距離データに応じた所定の繰り出し位置へ、フォーカシングレンズを移動させる。
ここで光学位相板は光束を分散させる働きがあるので、光学位相板１１３を含む撮像光学系（テイキングレンズ）１１０で撮像素子１２０の結像面上に結ぶ像はピントを結ぶことなく、ボケた状態になる。
ただし、このボケた状態とは、単純なデフォーカスによるボケでは無く、スポットダイアグラムとしては最も集中している状態（ピントが合っている状態に近い）で、ピントは結んでいない状態となっている。これは前述の通り光学位相板１１３の光束を分散させる働きによって拡がった結果である。
このように、被写体の距離に応じてフォーカシングレンズを動かすので、ボケ状態は最も小さく、ほぼ変わらず維持される。またこのボケ形状は、設計上の点光源のレスポンスである点像分布関数ＰＳＦ（Point Spread Function）に従ったボケ方になる。
ところで、光学位相板１１３はデフォーカス量に対してボケ形状の変化が鈍感であるように設計されているので、被写体距離を中心とした前後の異なる距離に存在する物体のボケ像は、デフォーカスに対してあまり大きく変化はしない。
前述の通りテイキングレンズを通って撮像素子面上に結んだ像は光学位相板１１３の設計通りにボケている。
【０１３３】
撮像素子１２０の結像面上に結んだ画像情報は、カメラ信号処理部１６０からタイミングジェネレータ１５０に制御データを設定し、タイミングジェネレータ１５０の駆動波形によって撮像素子１２０から画素信号を出力させる。
カメラ信号処理部１６０においては、前段のＡＦＥ１４０からくる撮像画像のデジタル信号を入力するが、このデジタルデータはベイヤー（Ｂａｙａｒ）配列となっているのでＲＡＷバッファ１６２にいったん蓄えられ、ＲＧＢ変換部１６２で補間処理することによりＲプレーンＧプレーン、Ｂプレーンに変換される（ＲＧＢ変換）。
さらに、ＹＵＶ変換部１６３により、輝度、色差信号に変換される。
次に、ボケ復元フィルタ処理部１６４は、ボケ復元フィルタの処理を行い、ボケ画像はピントの合った画像に復元される。このとき前記の通り、距離に対してＰＳＦの形状が大きく変化しないので（距離感度が鈍くなる様に設計されているので）、ボケ画像が復元された時、前後の広い範囲をピントが合ったようにすることができる。
この復元後の輝度信号Ｙ′ＵＶをＬＣＤモニタ１８０に表示し、またＪＰＥＧエンジン１６６によってＪＰＥＧファイル圧縮を行って外部メモリ１７０に画像ファイルを記録する。
【０１３４】
以上説明したように、本第２の実施形態によれば、撮像光学系（テイキングレンズ）を通る光線を使わない測距モジュール２１０で客観的にフォーカシングをし、かつテイキングレンズ内には光学位相板１１３ａが配置されており、後工程のボケ復元フィルタ処理によってボケ画像が復元されるので、ボケ成分がデフォーカスによるボケを除くことができ、純粋な光学位相板のみの成分となるので、被写体の距離を問わず最適なスポットダイアグラム状態のボケを得ることができ、ボケ画像の復元結果も被写体が最もピントの合った状態になる。
このように制御した結果、ボケ復元の効果が及ぶ範囲も被写体を中心に前後が均等に被写界深度として広がるので、例えば被写体が立体物であったとしても被写体全体がボケずに鮮明な両像を得ることができる。
また測距が外部センサを用いているため、一義的に目的のフオーカシング量が定まるので、ＡＦ時間が非常に速くなりタイムラグも小さくなる。
【０１３５】
図３８は、本発明の第３の実施形態に係る撮像装置を示すブロック構成図である。
【０１３６】
本第３の実施形態に係る撮像装置１００Ｂが第２の実施形態に係る撮像装置１００Ａと異なる点は、測距データを外部センサではなくカメラ信号処理部１６０Ｂで行うようにしたことにある。
【０１３７】
本第３の実施形態において、カメラ信号処理部１６０Ｂは，ＹＵＶ信号から図示しないバンドパス処理を行って低域周波数を除去しそれらを積算することで測距データを生成する。
この測距データ１６７をモニタしながらシステム制御装置２００Ｂは、フォーカスレンズ駆動部１３０でフォーカスレンズ１１１を駆動させながらコントラスト法（いわゆる山登り法）によって測距を行う。
この測距コントラストデータが最も高くなる（山のピーク位置）フォーカスレンズ１１１の位置がピントの合った状態となる。
前述の通り、この光学位相板は距離が変わってもボケ状態があまり強い影譬を受けないので山登り法による最もピントの合った状態の前後のボケ状態はデフォーカス量に対してあまり大きく変わらない。
【０１３８】
本第３の実施形態によれば、外部ＡＦセンサを設ける必要がないためコスト、小型化の点で有利となる。もちろん光学位相板の効果により被写界深度を広げられるので、鮮明な画像を得ることができる。
本実施形態においては、被写界深度の狭くなる近接撮影で特に実用上の効果が大きいため、接写用の近接カメラ等への応用において，接写距離が変わっても常にベストな位置へフォーカシングすることにより、常に広い被写界深度を維持できる。
【図面の簡単な説明】
【０１３９】
【図１】本発明の第１の実施形態に係る撮像装置を示すブロック構成図である。
【図２】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第１図である。
【図３】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第２図である。
【図４】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第３図である。
【図５】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第４図である。
【図６】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第５図である。
【図７】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第６図である。
【図８】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第７図である。
【図９】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第８図である。
【図１０】合焦位置が異なるにもかかわらずほぼどの距離、デフォーカスであっても復元できていることについて説明するための第９図である。
【図１１】ＰＳＦのＭＴＦを算出し、１００１ｐ/ｍｍの位置のＭＴＦをプロットした図である。
【図１２】一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
【図１３】本実施形態の光学系の結像付近の光学特性を示す図である。
【図１４】一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｒｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function  振幅伝達関数）特性図である。
【図１５】本実施形態の光学系のＭＴＦ特性を示す図である。
【図１６】本実施形態におけるボケ復元処理の説明図である。
【図１７】モニタの画素配列の例を示す図である。
【図１８】本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。
【図１９】本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
【図２０】広角側の像高中心のスポット形状を示す図である。
【図２１】望遠側の像高中心のスポット形状を示す図である。
【図２２】波面収差制御光学系システムの原理を説明するための図である。
【図２３】本実施形態に係る画像処理装置（ボケ復元フィルタ処理部）の構成例を示す図である。
【図２４】カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。
【図２５】システム制御装置の光学系設定処理の概要を示すフローチャートである。
【図２６】信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。
【図２７】信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
【図２８】信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
【図２９】信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。
【図３０】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図３１】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図３２】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図３３】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図３４】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図３５】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図３６】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図３７】本発明の第２の実施形態に係る撮像装置を示すブロック構成図である。
【図３８】本発明の第３の実施形態に係る撮像装置を示すブロック構成図である。
【図３９】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図４０】図３９の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ  ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【０１４０】
１００，１００Ａ，１００Ｂ・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・フォーカスレンズ駆動部、１４・・・アナログフロントエンド部（ＡＦＥ）、１５０・・・タイミングジェネレータ、１６０・・・カメラ信号処理部、１７０・・・外部メモリ、１８０・・・画像モニタリング装置としてのＬＣＤモニタ、１９０・・・操作部、２００Ａ，２００Ｂ・・・システム制御装置（ＭＰＵ）、２１０・・・測距モジュール。
【図１】
2008033060.tif 000005
【図２】
2008033060.tif 000006
【図３】
2008033060.tif 000007
【図４】
2008033060.tif 000008
【図５】
2008033060.tif 000009
【図６】
2008033060.tif 000010
【図７】
2008033060.tif 000011
【図８】
2008033060.tif 000012
【図９】
2008033060.tif 000013
【図１０】
2008033060.tif 000014
【図１１】
2008033060.tif 000015
【図１２】
2008033060.tif 000016
【図１３】
2008033060.tif 000017
【図１４】
2008033060.tif 000018
【図１５】
2008033060.tif 000019
【図１６】
2008033060.tif 000020
【図１７】
2008033060.tif 000021
【図１８】
2008033060.tif 000022
【図１９】
2008033060.tif 000023
【図２０】
2008033060.tif 000024
【図２１】
2008033060.tif 000025
【図２２】
2008033060.tif 000026
【図２３】
2008033060.tif 000027
【図２４】
2008033060.tif 000028
【図２５】
2008033060.tif 000029
【図２６】
2008033060.tif 000030
【図２７】
2008033060.tif 000031
【図２８】
2008033060.tif 000032
【図２９】
2008033060.tif 000033
【図３０】
2008033060.tif 000034
【図３１】
2008033060.tif 000035
【図３２】
2008033060.tif 000036
【図３３】
2008033060.tif 000037
【図３４】
2008033060.tif 000038
【図３５】
2008033060.tif 000039
【図３６】
2008033060.tif 000040
【図３７】
2008033060.tif 000041
【図３８】
2008033060.tif 000042
【図３９】
2008033060.tif 000043
【図４０】
2008033060.tif 000044