(57)【要約】【課題】撮影画像におけるコマ収差、非点収差、像面湾曲等の収差補正処理を、指示に対応した処理速度で高速に行うのに適した撮像装置を提供する。【解決手段】補正速度指示部９からの収差補正処理の処理速度の指示に応じて特定像高設定部７は、ヒストグラム保持部７−１による各像高での画素数を参照し、各像高の画素数に対して収差補正処理に要する時間の相関付けを行い、指示された処理速度を実現できるように特定像高を設定し、この特定像高で撮像面と焦点面とが交わるように撮像系１１を駆動する。特定像高の位置で撮像系１１のピント合わせを行い、収差補正処理に必要な演算量を低減して収差補正処理を行う。【選択図】図１
2011205231.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を結像する光学系と、前記被写体像が撮影面に結像され、撮影面に結像された被写体像を光電変換した撮影画像を出力する撮像素子を備えた撮像装置において、
撮影画像に対する収差補正処理の処理速度を指示するための補正速度指示手段と、
前記補正速度指示手段に基づいて撮像面の所定の像高を特定像高として指定するための特定像高設定手段と、
前記特定像高で撮像面と焦点面が交わるように光軸上における前記光学系と前記撮像素子の相対位置を変化させるための撮像系駆動手段と、
前記撮像系駆動手段により駆動した撮像系での撮影画像に対して収差補正処理を行うための収差補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記補正速度指示手段は、
動画撮影モードまたは静止画撮影モードを切り替えるための撮影モード切替手段による切り替えに連動して処理速度の指示を切り替えるための撮影モード認識手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定像高設定手段は、
各像高に該当する画素数を頻度としたヒストグラムを保持するビストグラム保持手段と、
前記各像高に該当する画素数から前記処理速度を達成するように該処理速度と像高との相関を設定する処理速度像高相関手段と、
前記相関に基づいて前記特定像高を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記特定像高設定手段は、
光軸上を中心とした画像中の観察領域を指示するための観察領域指示手段と、
前記観察領域内において前記特定像高を設定する観察領域像高設定手段を備えることを特徴とする請求項１こ記載の撮像装置。
【請求項５】
前記収差補正手段は、
前記観察領域内の領域のみを補正対象とする観察領域補正手段を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記特定像高設定手段は、動画撮影モード、又は実質的に零値よりも大きい処理速度が指示された場合には、画素数が最大となる像高を前記特定像高に設定することを特徴とする請求項１から３のいずれか１つの請求項に記載の撮像装置。
【請求項７】
前記観察領域像高設定手段は、前記観察領域に内接する円の半径を前記特定像高に設定することを特徴とする請求項４又は５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理を用いた収差補正処理に関し、特に焦点面と撮像面の相対位置を調整して高速な収差補正処理を行う撮像装置に関する。
【背景技術】
【０００２】
撮影の際に光学系の設計値が要因となり発生する収差には、主にザイデルの５収差と呼ばれる球面収差、非点収差、像面湾曲、コマ収差、歪曲収差があり、またそれ以外の収差としては倍率色収差などが一般に知られている。  
この内、点像が結像するべき一点に収束せず分散してボケた像となる要因として球面収差、非点収差、像面湾曲、コマ収差が知られ、さらに非点収差、像面湾曲、コマ収差は像高によって分散の度合いが変化するため画像の中心と周辺領域に画質差が生じてしまう。  
一般的には撮像面の中心位置と焦点面との交点が位置するるようにピント合わせするため、像高に比例して非点収差、コマ収差、像面湾曲の歪みの量は増加していき、被写界の一点から出た光線が光学系を通過して撮像面に結像する様子を表した点広がり関数（Point Spread Function、以下ＰＳＦと略記）の分散度合いが増していく。
【０００３】
図９Ａは、レンズにより物体面の像が撮像面において、像高による非点収差が変化する様子、図９Ｂは像高によるコマ収差が変化する様子、図９Ｃは像高による像面湾曲が変化する様子をそれぞれ示している。つまり、像高が０（零値）となる光軸上でのＰＳＦ０は、広がりが小さいが、光軸から離れた像高でのＰＳＦ１は、ＰＳＦ０の場合から逸脱した広がりを持つ形状となってしまう。  
これらの収差が乗った撮影画像に対して収差補正処理を施すための手段として、各画素位置でのＰＳＦの逆関数を求め、該逆関数をフィルタとして撮影画像に畳み込むことにより補正を行う逆フィルタリングが一般に知られている。以下に逆フィルタリングについて簡単に説明する。
【０００４】
逆フィルタリングによる画像の収差補正モデルは、式（１）を含む以下の式で表せる。
【０００５】
ｇ＝ｈ＊ｆ
Ｇ＝ＨＦ
Ｆ＝Ｈ−１Ｇ
ｆ＝ｈ＾＊ｇ  （１）
ここでｇは収差の乗った劣化画像を示す行列、ｆは収差のない理想画像を示す行列、ｈは収差による影響を孕む（又は含む）ＰＳＦを示す行列である。また、Ｇ、Ｈ、Ｆはそれぞれｇ、ｈ、ｆの行列をフーリエ変換したものである。
【０００６】
劣化画像ｇは、理想画像ｆにＰＳＦ ｈを畳み込んだ式でモデル化できる。このモデルに従って、ＰＳＦ ｈのフーリエ変換された行列Ｈの、その逆フィルタＨ−１を求め、さらにその逆フィルタＨ−１の逆フーリエ変換によりＰＳＦ逆フィルタｈ＾を算出する。  
このＰＳＦ逆フィルタｈ＾を用いることにより、（１）式に示すように劣化画像ｇに対する理想画像ｆを、ＰＳＦ逆フィルタｈ＾と劣化画像ｇの畳み込みにより算出することが可能となる。
【０００７】
ここで非点収差、像面湾曲、コマ収差によるＰＳＦの歪みは、光学系の設計値に依存するため既知の値として取得可能である。従って、これらのＰＳＦから収差補正用の逆フィルタを予め設計することが可能となる。そして、（１）式による逆フィルタリングを適用することにより、収差を伴う光学系により撮影された撮影画像から理想画像に近い補正画像を取得することが可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の逆フィルタリングの演算処理速度は一般に各像高位置における逆フィルタの処理を行う際のフィルタサイズとしてのカーネルサイズと、畳み込みの対象となる画素数の積和によって決定される。  
ここで逆フィルタのカーネルサイズは、導出の元となるＰＳＦ行列のサイズに比例し、ＰＳＦ行列のサイズは、収差によるＰＳＦの分散度合いの大きさに依存する。また、一般にＰＳＦが以下の（１）〜（４）の条件の順番に、収差補正が容易とされている。１）回転対称で小さなＰＳＦ
２）非対称であるが小さなＰＳＦ
３）回転対称であるが大きなＰＳＦ
４）回転非対称で大きなＰＳＦ
従って、大きな点広がり関数に関しては、回転対称であることが望ましい。
【０００９】
これらの特性により、像高が大きくなるとカーネルサイズと対象となる画素数が共に増え、その積和演算から求められる収差補正処理の処理速度が遅くなるという問題があった。  
また、上記の収差補正処理の処理速度に着目し、使用する逆フィルタを回転対称形に限定し、全像高における逆フィルタのカーネルサイズが最適化される像高位置にピント位置である焦点面と撮像面の交点を設置する手法が特開２００３−１７２８７３号公報にて提案されている。  
この手法では像高に依存して歪むＰＳＦを回転対称形である円分布に近似し、その近似ＰＳＦから算出した逆フィルタのカーネルサイズの逆数を全像高について加重加算する。これを評価値とし、その評価値が最も高くなるように焦点面と撮像面の相対位置を制御する。
【００１０】
しかし上記公報における手法においては、像高毎に補正対象となる画素数を勘案すべき事が考慮されておらず、処理速度の観点において改善の余地がある。  
本発明は上述した課題に着目してなされたものであり、撮影画像におけるコマ収差、非点収差、像面湾曲等の収差補正処理を、指示に対応した処理速度で高速に行うのに適した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１に係る発明は、被写体像を結像する光学系と、前記被写体像が撮影面に結像され、撮影面に結像された被写体像を光電変換した撮影画像を出力する撮像素子を備えた撮像装置において、
撮影画像に対する収差補正処理の処理速度を指示するための補正速度指示手段と、
前記補正速度指示手段に基づいて撮像面の所定の像高を特定像高として設定するための特定像高設定手段と、
前記特定像高で撮像面と焦点面が交わるように光軸上における前記光学系と前記撮像素子の相対位置を変化させるための撮像系駆動手段と、
前記撮像系駆動手段により駆動した撮像系での撮影画像に対して収差補正処理を行うための収差補正手段と、
を備えることを特徴とする。
【００１２】
（効果）
撮影画像に対する収差補正処理の処理速度の指示に対して、該処理速度に基づいて焦点面と撮像面の交点を特定像高にして、各像高における画素数と、その場合に発生する収差の補正量の大きさの関係を調整することで、高速の収差補正処理を行うことを可能とする。つまり、撮影画像におけるコマ収差、非点収差、像面湾曲等の収差補正処理を、指示に対応した処理速度で高速に行うのに適する。
【００１３】
さらに請求項２に係る本発明は、請求項１の撮像装置において、
前記補正速度指示手段は、動画撮影モードまたは静止画撮影モードを切り替える撮影モード切替手段による切り替えに連動して処理速度の指示を切り替えるための撮影モード認識手段を備えることを特徴とする。
【００１４】
（請求項２の効果）
請求項１の効果に加えて、動画撮影モードと静止画撮影モードの切り替えを認識して処理速度の指示を切り替えることで、静止画撮影モードからより速い演算処理が求められる動画撮影モードとのいずれの場合でも、切り替えられた撮影モードに対応した好適な収差補正処理を行うことが可能となる。
【００１５】
請求項３に係る本発明は、請求項１の撮像装置において、
前記特定像高設定手段は、各像高に該当する画素数を頻度として示すヒストグラムを保持するヒストグラム保持手段と、
前記各像高に該当する画素数から前記処理速度を達成するように該処理速度と像高の相関を設定するための処理速度像高相関手段と、
前記相関に基づいて前記特定像高の設定を行うことを特徴とする。
【００１６】
（請求項３の効果）
請求項１の効果に加えて、像高に対する画素数のヒストグラムを用い、指示された処理速度を達成するように各像高における補正対象となる画素数を考慮して、各像高における画素数に対して処理に要する時間を相関付けることを円滑に行うことが可能になる。そして、指示された処理速度を達成できる特定像高に設定することにより収差補正処理が必要な総演算量を削減して高速の収差補正処理を円滑に行うことを可能にする。
【００１７】
請求項４に係る本発明は、請求項１の撮像装置において、
前記特定像高設定手段は、光軸上を中心とした画像中の観察領域を指示するための観察領域指示手段と、
前記観察領域内において前記特定像高を設定する観察領域像高設定手段を備えることを特徴とする。
【００１８】
（請求項４の効果）
請求項１の効果に加えて、撮影画像の観察対象となる観察領域を指定し、該観察領域内に焦点面と撮像面の交点を配置することにより観察領域内での収差補正量を限定することにより、指示された処理速度での収差補正処理を実現し易くする。
【００１９】
請求項５に係る本発明は、請求項４の撮像装置において、
前記収差補正手段は、前記観察領域内の領域のみを補正対象とする観察領域補正手段を備えることを特徴とする。
【００２０】
（請求項５の効果）
請求項４の効果に加えて、指定した観察領域内のみにおいて収差補正処理を施すことにより、観察領域に対する収差補正を保証しつつ、より高速な収差補正処理を実現できる。
【００２１】
請求項６に係る本発明は、請求項１から３のいずれか１つの撮像装置において、
前記特定像高設定手段は、動画撮影モード、又は実質的に零値よりも大きい処理速度が指示された場合には、画素数が最大となる像高を前記特定像高に設定することを特徴とする。
【００２２】
（請求項６の効果）
請求項１から３のいずれかの効果に加えて、動画撮影モード、又は実質的に零値よりも大きい処理速度が指示された場合には、画素数が最大となる像高を前記特定像高に設定することにより、最速に近い処理速度で収差補正処理を行うことができる。
【００２３】
請求項７に係る本発明は、請求項４又は５の撮像装置において、
前記観察領域像高設定手段は、前記観察領域に内接する円の半径を前記特定像高に設定することを特徴とする。
【００２４】
（請求項７の効果）
請求項４又は５の効果に加えて、撮影画像における観察領域の収差補正処理を最速に近い処理速度で収差補正処理を行うことができる。
【発明の効果】
【００２５】
本発明によれば、撮影画像におけるコマ収差、非点収差、像面湾曲等の収差補正処理を、指示に対応した処理速度で高速に行うのに適する。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の第１の実施形態別こ係る撮像装置の構成を示すブロック図
【図２】図２は補正量ＬＵＴの例を示す図
【図３Ａ】図３Ａは第１の実施形態における処理手順を示すフローチャート
【図３Ｂ】図３Ｂは図３Ａとは異なる処理手順の一部を示すフローチャート
【図４Ａ】図４Ａは正方形の場合における像高と画素数を頻度して示すヒストグラムを示し、最頻値の像高をＲｍで示す図
【図４Ｂ】図４Ｂは図４Ａの場合よりも少し横長の場合における像高と画素数を頻度として示すヒストグラムを示し、最頻値となる像高をＲｍで示す図
【図４Ｃ】図４Ｃは図４Ｂよりもさらに横長の場合における像高と画素数を頻度として示すヒストグラムを示し、最頻値となる像高をＲｍで示す図
【図５Ａ】図５Ａは焦点面の位置を撮像面と直交する光軸方向に移動してピントを合わせる位置を変化させた様子を示す図
【図５Ｂ】図５Ｂは、図５Ａに対応して撮像面からの焦点面の相対位置に応じてカーネルサイズの大きさが変化する様子を示す図
【図６】図６は本発明の第２の実施形態に係る撮像装置の構成を示すブロック図
【図７Ａ】図７Ａは観察領域に内接する円を特定像高に設定した図
【図７Ｂ】図７Ｂは図７Ａの場合における各像高と画素数を頻度として示すヒストグラムを示す図
【図８】図８は第２の実施形態の処理手順を示すフローチャート
【図９Ａ】図９Ａは像高に依存した非点収差の変化の様子を示す図
【図９Ｂ】図９Ｂは像高に依存したコマ収差の変化の様子を示す図
【図９Ｃ】図９Ｃは像高に依存した像面歪曲の変化の様子を示す図
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１に示すように本実施形態の撮像装置１は、光学系２、撮像素子３、画像情報取得部４、収差補正部５、補正画像記憶部６、特定像高設定部７、撮影モードユーザインタフェース（撮影モードＵＩと略記）８、補正速度指示部９、撮像系駆動部１０とから構成される。  
光学系２は、複数のレンズ群から構成される。そして、この光学系２は、図示しない被写体からの光線をこの光学系２を通過する際に屈折させることにより、撮像素子３の撮像面上に被写体像を結像する。この光学系２と、撮像素子３とにより、撮像を行う撮像系１１が形成される。  
電荷結合素子（ＣＣＤ）や、ＣＭＯＳ撮像素子等により構成される撮像素子３は、その撮像面に結像された被写体像を光電変換して撮像画像の電子信号として画像情報取得部４に出力する。
【００２８】
なお、ユーザにより撮影モードＵＩ８から、動画撮影又は静止画撮影の指示操作が行われると、撮像素子３により撮像された撮像画像は、動画又は静止画の撮影画像となり、画像情報取得部４に出力される。  
また、この撮影モードＵＩ８は、動画撮影モードから静止画撮影モード又は逆に切り替える撮影モード切替手段としての撮影モード切替部８−１の機能、又は撮影モードの設定を行う撮影モード設定部の機能を備える。  
画像情報取得手段としての画像情報取得部４は、撮影画像の画像情報を電子信号として読み取り、撮影画像の画像情報データ（画像データと略記）として保持（取得）する。  
収差補正手段としての収差補正部５は、光学系２の構造に伴い撮像系１１による撮影画像の画像データに発生したコマ収差、非点収差、像面湾曲等の収差を補正する収差補正処理を行う。
【００２９】
この収差補正部５により、収差が補正された撮影画像の画像データは、補正画像記憶手段としての補正画像記憶部６に出力され、補正画像記憶部６は、フラッシュメモリ等の記憶部に、収差が補正された撮影画像の画像データを記憶する。  
本実施形態の撮像装置１においては、収差補正部５により、動画撮影モード又は静止画撮影モードのいずれの撮影モードにおいても各撮影モードに対応した収差補正処理を適切に行うことができるようにしている。  
特に動画撮影モードのように動画撮影の速度に対応して、静止画撮影モードの場合よりも高速の処理速度で収差補正処理を行うことができるように撮影画像に対する収差補正処理の処理速度を指示する補正速度指示部９等を備えていることが特徴となる。
【００３０】
補正速度指示手段としての補正速度指示部９は、収差補正処理の処理速度をユーザが指示入力する指示速度指示手段としての処理速度指示部９−１を有すると共に、撮影モードＵＩ８により指示設定された動画撮影モード又は静止画撮影モードを認識する撮影モード認識手段としての撮影モード認識部９−２を備えている。  
なお、処理速度指示部９−１を、撮影モードＵＩ８に設けるようにしても良い。又は、補正速度指示部９と撮影モードＵＩ８とが一体化された構成でも良い。
【００３１】
補正速度指示部９は、ユーザにより動画撮影モード又は静止画撮影モードが指示入力された場合には、撮影モード認識部９−２により、指示入力された撮影モードに対応した処理速度に設定する。  
特定像高設定手段としての特定像高設定部７は、補正速度指示部９の処理速度の指示に基づいて撮像面の所定の像高を特定像高として指定（設定）する。後述する図５で示すようにこの特定像高は、処理速度を向上（逆フィルタリングする場合のカーネルサイズを低減）するためのものである。
【００３２】
このため、特定像高設定部７は、補正画像記憶部６に記憶された収差が補正された撮影画像の画像データにおける像高毎に、その像高に対応する画素数を頻度として示すヒストグラムを算出して保持するヒストグラム保持手段としてのヒストグラム保持部７−１を有する。後述するようにヒストグラムを算出する場合、例えば撮影サイズを認識して行う。  
ヒストグラム保持部７−１は、補正画像記憶部６に撮影画像が記憶されていない場合には、例えば画像情報取得部４のメモリ等に記憶されている収差補正前の画像データから、各像高に対応した画素数を頻度としたヒストグラムを算出して保持する。  
なお、ヒストグラム保持部７−１は、補正画像記憶部６の撮影画像を参照しないで、画像情報取得部４の収差補正前の画像データから、各像高に対応した画素数を頻度としたヒストグラムを算出して保持するようにしても良い（第２の実施形態では画像情報取得部４の収差補正前の画像データを参照する。）。
【００３３】
また、この特定像高設定部７は、処理速度像高相関手段としての処理速度像高相関部７−２を有し、処理速度像高相関部７−２は、上記ヒストグラムを用いて各像高における画素数（の頻度）と、収差補正処理の処理速度の相関（相関関係）の設定する。換言すると処理速度像高相関部７−２は、ヒストグラムにおける（各像高に対する）画素数を考慮して、指示された収差補正処理の処理速度を達成可能とするように各像高と、各像高での収差補正処理にかける処理速度の時間配分とを相関付ける。  
より具体的には、この処理速度像高相関部７−２は、ヒストグラムの画素数を参照して像高毎に収差補正処理に要する時間の推測値を割り当て、その推測による処理速度に要する時間と、補正速度指示部９から指示された収差補正処理の処理速度の場合の時間と照合する。
【００３４】
そして、特定像高設定部７の処理速度像高相関部７−２は、指示された処理速度（の場合の時間）を達成可能とする条件に該当する像高を特定像高として相関付け、その場合の特定像高の信号を収差補正部５と撮像系駆動部１０に出力する。  
このようにヒストグラムを利用することにより、指示された処理速度の時間に対して、各像高での画素数を考慮して収差補正処理に要する時間配分（時間割り当て）の相関付けを行い易くなる。  
また、この場合、推測による時間は、各像高での補正量の大きさ（カーネルサイズ）に依存して変化するが、例えば平均的な値を用いて推測することにより、各像高での画素数に対して収差補正処理に要する時間を大雑把に見積もることができる。
【００３５】
そして、本実施形態においては、指示された処理速度の時間に対応して、実際に収差補正処理を行う前に、概略の処理速度又はその時間を推測又は予測することが可能となる。従って、指示された処理速度の時間に対応した収差補正処理を行い易くなる。  
また、各像高での補正量の大きさの変化の情報を参照することにより、より精度良く収差補正処理に要する時間を推測することが可能となり、指示された処理速度に適切に対応した収差補正処理を行い易くなる。  
このため、特定像高設定部７の処理速度像高相関設定部７−２が、各像高毎に特定像高を設定した場合の補正量の情報、つまり図２の補正量ＬＵＴ５−１を参照して、指示された処理速度を達成可能とするように処理速度と像高とを相関付けるようにしても良い。
【００３６】
このように本実施形態は、収差補正処理に要する時間を、実際に収差補正処理を実行する前に、推測（予測）することができるので、指示された処理速度に対応した高速の収差補正処理を行うことを可能とする。  
これに対して、例えば、本実施形態のように各像高での画素数の情報を予め有しない構成であると、各像高での画素数に応じて、その収差補正処理に要する時間が（実際に収差補正を行う前に推測できないで）不定となる。  
このため、仮に処理速度が指示されても、実際に収差補正処理を行う前に収差補正処理に要する時間を推測又は予測しにくい。従って、高速の収差補正処理を行い難い。
【００３７】
これに対して、本実施形態は、上記のように推測することができる利点を有する。このため、特定像高設定部７は、指示された処理速度に対して、実際に収差補正処理を行う場合の処理速度を推測（又は予測）する処理速度推測部の機能を持つとも言える。  
また、本実施形態においては、指示された処理速度に応じて実際に設定する特定像高を可変設定（又は調整）することにより、指示された処理速度を達成するように、実際に収差補正処理を行う処理速度を調整し易くする。
【００３８】
撮像系駆動手段としての撮像系駆動部１０は、処理速度像高相関部７−２から出力される特定像高の設定指示により、光学系２と撮像素子３の少なくとも一方を駆動することで、光学系２による焦点面と、撮像素子３の撮像面の相対位置を光軸に平行な方向に移動させ、上記特定像高の位置で撮像面と焦点面とが交わるように駆動する。  
この場合、撮像系駆動部１０は、例えば光学系２を光軸方向に移動するように駆動して、上記特定像高の位置で撮像面と焦点面とが交わるように駆動する。
【００３９】
本実施形態においてはこのように設定することにより、像高が大きくと共にその画素数が増大する場合における収差補正処理に用いられる逆フィルタのカーネルサイズを低減（小さく）して、収差補正処理の演算量を低減できるようにし、その結果、高速の処理速度を実現することができるようにしている。  
また、この撮像系駆動部１０は、撮像素子駆動信号を撮像素子３に印加して、撮像素子３から撮影画像を出力させる。  
収差補正部５は、収差補正処理を行う際の補正量を、入力値に対応付けた値として参照可能なルックアップテーブル（ＬＵＴと略記）にした補正量参照手段としての補正量ＬＵＴ５−１を有する。
【００４０】
補正量ＬＵＴ５−１には、複数に区分けした像高の値を特定像高と設定した場合における画像データの各像高毎に補正量が格納されており、収差補正部５は、この補正量ＬＵＴ５−１を参照して、特定像高に設定した場合における画像データの像高毎の補正量を使用して、逆フィルタ法（逆フィルタリングとも言う）で収差補正処理を行う。  
より具体的には、補正量ＬＵＴ５−１は、所定の像高毎にその所定像高を、特定像高とした場合の全像高に対する補正量の情報を保持しており、特定像高としては撮像面に平行な物体面（被写体）を撮影したときにピントの最も合う像高が適用される。  
このように特定像高においてピントを合わせるように設定することによって、通常のピント合わせにおける光軸上（像高が零値）でピントが合うように設定した場合における像高が大きくと共に、収差補正処理を行う際のカーネルサイズが大きくなってしまうと共に、その場合に処理が必要な画素数も増大して、処理速度が低下してしまうことを低減することが本実施形態の１つの特徴となる。
【００４１】
図２は、補正量ＬＵＴ５−１の補正量のデータを示す。この図２の表に示すように各像高（縦方向の像高０，１，２，…，ｋ）に応じて、その像高を特定像高（横方向の特定像高０，１，２，…，ｎ）とした場合の補正量（一般的には像高ｉに対する特定像高ｊの補正量ｉ−ｊ）がテーブル化されている。  
特定像高ｉｊに設定した場合の補正量の大きさが像高により変化する様子は、後述する図５Ｂに示すカーネルサイスが焦点面の移動位置に対して変化する特性とほぼ同様なものとなる。そして、図５Ｂに示す特性を考慮して本実施形態においては、画素数の頻度が大きくなる像高を特定像高に設定することにより、収差補正処理を高速で行うことができるようにする。
【００４２】
次に図３Ａのフローチャートを用いて、本実施形態による撮影画像の収差補正処理の代表的な処理手順を説明する。  
先ず、最初のステップＳ１においてユーザは、収差補正処理の処理速度の指示入力又は撮影モードの設定を行う。  
図３Ａにおいては、直感的な設定方法として、動画撮影モードと静止画撮影モードとのいずれかの撮影モードの設定を行った場合としていている（処理速度を指示入力した場合に関しては後述）。  
ステップＳ１の撮影モードの設定により、ステップＳ２に示すように補正速度指示部９内の撮影モード認識部９−２は、動画撮影モードであるか静止画撮影モードであるかの認識を行う。そして、ステップＳ３に示すように補正速度指示部９は、撮影モード認識部９−２による認識結果が例えば動画撮影モードであるか否かの判別を行う。
【００４３】
補正速度指示部９は、ユーザが撮影モードＵＩ８により動画撮影モードを選択した場合には、ステップＳ４に示すように処理速度を優先する設定を行い、この処理速度を優先する処理速度の情報を特定像高設定部７に送る。  
一方、ユーザが撮影モードＵＩ８により静止画撮影モードを選択した場合にはステップＳ５に示すように補正速度指示部９は、画質を優先した設定を行い、この情報を特定像高設定部７に送る。  
特定像高設定部７は、処理速度の情報によって、その処理速度を達成できるように特定像高位置を設定する処理を行う。  
この場合、像高毎にその像高に対応する画素数を頻度とした画素数（頻度）分布を示すヒストグラムは、撮影画像サイズによって異なるため、特定像高設定部７は、ステップＳ６に示すように先ず撮影画像サイズの認識を行う。
【００４４】
図４Ａ−図４Ｃは画像サイズを変化させたときの画素数を頻度として示すヒストグラムと、それぞれの画像サイズにおける画素数の頻度が最大となる最頻値Ｒｍの像高を示す。  
図４Ａ−図４Ｃに示す様に、最頻値Ｒｍは画像の内接の円の半径となり、その場合の画素数の頻度は円周に沿った画素数によって求められる。また、その他の像高での画素数の頻度も、その像高を半径とする円の円周に相当するものとして求めることができる。  
そして、特定像高設定部７は、指示された動画撮影モードとして、処理速度を優先するために、処理速度とヒストグラムによる各像高での画素数との相関関係を考慮して、ステップＳ７に示すように処理速度に対応した特定像高の設定を行う。
【００４５】
図３Ａに示す例では分かりやすい例として、特定像高の設定として例えば最頻度（最大）の画素数の場合の像高、つまり最頻値Ｒｍを特定像高に設定した場合で示している。  
この場合には、この最頻値Ｒｍでの補正量を最も小さい値に設定、つまり収差補正処理のための演算量を最小に近い状態に低減できるので、収差補正処理を行う処理速度としては、最速に近い処理速度となり、動画撮影モードの場合に要求される処理速度を優先した高速の処理をすることができる。つまり、動画撮影モードの場合に必要とされる高速の処理速度を満たすように特定像高が設定される。  
ステップＳ７に示すように特定像高を最頻値Ｒｍに決定した後の次のステップＳ８において特定像高設定部７は、その特定像高の情報を撮像系駆動部１０に出力し、撮像系駆動部１０は、その特定像高においてピントの合った画像が撮影されるように撮像系１１を駆動する。
【００４６】
具体的には撮像系駆動部１０は、焦点面と撮像面の少なくとも一方を光軸に平行に移動して、互いの相対位置（相対距離）を変化させ、入力された特定像高でピントが合う状態に駆動設定する。  
一方、撮影モードが静止画撮影モードと判断されていた場合は撮像系駆動部１０は、撮像系１１を駆動せず、光軸上で焦点面と撮像面が交わる状態を保持する。この時、特定像高は零値とされる（そして、図２の特定像高０の補正量が以下の逆フィルタリングに用いられるようになる。）。  
撮影モードが動画撮影モード及び静止画撮影モードのいずれの場合にも、特定像高設定部７は、この特定像高の情報を収差補正部５に送る。収差補正部５は、ステップＳ９に示すようにその特定像高から補正量ＬＵＴ５−１を参照し、全像高に対する補正量としての逆フィルタ行列等を読み出す（又は参照する。）。
【００４７】
本実施形態では収差補正法として逆フィルタ法を採用し、補正量としては各像高で実験値より得られたＰＳＦを元に式（１）より設計された逆フィルタ行列、またはその設計値である。  
そして、収差補正部５は、特定像高から参照して取得された逆フィルタ行列を各像高の画像データに適用してステップＳ１０の逆フィルタリングにより収差補正処理を行う。ステップＳ１１に示すように収差補正部５は、逆フィルタリングにより収差補正処理がされた画像データを収差補正画像として出力し、補正画像記憶部６にて保存する。
【００４８】
図３Ａにおいては、ユーザがステップＳ１において撮影モードの指示入力を行った場合で説明したが、ユーザが図３Ｂに示すステップＳ２１に示すように収差補正処理の処理速度を指示入力しても良い。又は、ユーザが予め設定された複数の処理速度からユーザが１つの処理速度を選択しても良い。  
なお、処理速度が零値か、殆ど零値に近いが指示された場合には、図３Ａにおける静止画撮影モードの場合と同様に処理すれば良いので、図３Ｂにおいては零値よりは大きい処理速度の場合であるとする。  
指示された処理速度は、特定像高設定部７のヒストグラム保持部７−１に送られる。ステップＳ２２に示すようにヒストグラム保持部７−１は、撮影サイズの情報を参照する等して、ヒストグラムにおける各像高と画素数の関係を示すヒストグラムの情報を生成し、処理速度像高設定部７−２に出力する。
【００４９】
次のステップＳ２３において処理速度像高設定部７−２は、ヒストグラムの情報と、各像高毎に収差補正処理に要する時間の推測値から全像高でのトータルの時間での処理速度が、指示された処理速度を達成できるように処理速度と像高との相関関係を調整する。そして、処理速度像高設定部７−２は、指示された処理速度を達成できるように処理速度と像高との相関関係から特定像高を設定する。  
具体例の１つとして、各像高毎に収差補正処理に要する時間を推測する場合、処理速度像高設定部７−２は、最初に最頻値Ｒｍを特定像高に設定する。処理速度像高設定部７−２は、その設定の場合における各像高での収差補正処理に要する時間のトータルに対応する処理速度（つまり、推測により処理速度）が、指示された処理速度よりも高速となることを確認する。
【００５０】
この確認ができた場合には、処理速度像高設定部７−２は、次に、最頻値Ｒｍの場合の特定像高よりも所定値分だけ小さい特定像高Ｒｍ−１に設定して、各像高での収差補正処理に要する時間のトータルに対応する処理速度（つまり、推測により処理速度）が、指示された処理速度よりも高速になるか否かを判定する。このようにして、処理速度像高設定部７−２は、指示された処理速度を満たし、最も特定像高が小さいものを特定像高として決定する。  
換言すると、最速に近い推測による処理速度から、その場合の特定像高よりも１ステップ分づつ小さい特定像高に順次設定してその場合の（より遅くなる）推測による処理速度を推測する処理を行い、指示された処理速度（を満たし、これ）に最も近い推測による処理速度に対応する特定像高を決定する。
このステップＳ２３の後の処理は、図３ＡのステップＳ８以降と同様となるので、その説明を省略する。
【００５１】
このように処理速度が指示入力された場合にも、その処理速度を達成できる処理速度で収差補正処理を行うことができる。このようにして、ステップＳ２３において、処理速度像高設定部７−２は、指示された処理速度を達成できる条件を満たすもので、最小に近い特定像高を設定する。  
このように特定像高を設定することによって、指示された処理速度を達成可能とし、かつ撮影画像における中央側での収差量が大きくなることを抑制して中央側での画質向上を確保することができる効果を有する。  
なお、実質的に零値よりも大きい処理速度が指示された場合、図３Ａの動画撮影モードの場合と同様に、画素数が最大となる像高を特定像高に設定して、収差補正処理を行うようにしても良い。
【００５２】
また、最初に最頻値Ｒｍを特定像高に設定した場合における推測による処理速度が、指示された処理速度よりも高速とすることを確認できない場合には、後述する第２の実施形態のように収差補正処理を行う対象領域を狭い領域に制限することにより対処するようにしても良い。  
特定像高に合わせて撮像系１１を駆動することによる収差補正処理の補正量の大きさに対応するカーネルサイズの変化について図５Ａ、図５Ｂを用いて説明する。  
図５Ａは撮像面に対して焦点面を光軸に平行に動かして像高Ｒ０，Ｒ１，Ｒ２でピントを合わせた様子を示し、図５Ｂは、図５Ａの設定時における逆フイルタのカーネルサイズの変化の様子を示す。図５Ｂの横軸は焦点面の移動距離を示し、図５Ａの焦点面移動方向と対応している。
【００５３】
図５Ｂに示すように、逆フィルタのカーネルサイズは、元のＰＳＦの広がり度合いに比例するため、像高Ｒ０では零値近傍から始まり、次第にカーネルサイズが大きくなっていく。  
これに対して像高Ｒ１，Ｒ２にピントを合わせた場合では、最初は像面湾曲、コマ収差、非点収差の影響により、カーネルサイズが大きくなるが、焦点面と撮像面の相対位置（相対距離）が近付くにつれ像面湾曲が解消されてカーネルサイズが小さくなる。ただしコマ収差と非点収差の影響は残るため光軸上の像高Ｒ０、つまり像高の値が零値の場合程にはカーネルサイズは小さくならない。
【００５４】
ここで像高ＲＩ、Ｒ２に対応する画素数は、像高Ｒ０よりも多いことが明らかであるため、カーネルサイズを小さくすることにより、画素数が多い部分で小さいカーネルサイズの状態で収差補正処理を行うことにより、処理速度を向上する効果を期待できる。一方、像高Ｒ０で焦点面と撮像面が交わるように設定した場合は、対応する画素が多い像高が大きい状態でカーネルサイズも大きくなるため、演算量が増大して処理速度は遅くなる。  
しかし、この場合には、コマ収差、非点収差の影響を受けにくい画像中心領域においてピントが合った画像が撮影されているため、注目する被写体部分が通常は位置する中心領域の画質を保証しつつ、出力画像を生成できる。
【００５５】
つまり、静止画撮影モードの場合には、処理速度は低下するが、像高Ｒ０を特定像高に設定して、収差補正処理を行い、撮影画像の中心領域側の画質を確保した収差補正された撮影画像を得ることができる。  
以上、示したように、本実施形態によれば、撮影時の撮影モードにより収差補正処理速度を判別し、早い処理速度が求められる撮影モードと判定された場合にはピントを合わせる特定像高を対応する画素数が多い位置に設定することにより、撮影画像全体におけるコマ収差、非点収差、像面湾曲等に対する収差補正処理の処理速度の向上を実現できる。  
一方、静止画のように処理速度が要求されないで画質を優先した方が良い場合には、ピントを合わせる特定像高を光軸上となる零値近傍に設定することにより、撮影画像の中心領域の画質を保証した収差補正された画像を得ることを実現できる。
【００５６】
（第２の実施形態）
次に、本発明の第２の実施の形態を説明する。図６は、本発明の第２の実施の形態の撮像装置１Ｂの構成を示す。  
この撮像装置１Ｂの構成において、第１の実施形態と同様である部分についてはその説明を省略し、主として異なる構成についてのみ説明する。  
本実施形態の撮像装置１Ｂは、第１の実施形態の収差補正部５において、さらに観察領域補正手段としての観察領域補正部５−２を備えた収差補正部５Ｂが採用される。  
また、本実施形態における特定像高設定部７Ｂは、第１の実施形態の特定像高設定部７において、観察領域指示手段としての観察領域指示部７−３と、観察領域像高設定手段としての観察領域像高設定部７−４とを備えた構成である。なお、図６には示していないが、特定像高設定部７Ｂは、ヒストグラム保持部７−１、処理速度像高設定部７−２を備えた構成にしても良い。
【００５７】
観察領域補正部５−２は、動画撮影モードの場合には、画像データから指定された領域を観察領域として、その観察領域のみにおいて、補正量ＬＵＴ５−１の補正量を参照して収差補正処理を適用する。一方、静止画撮影モードの場合には、第１の実施形態と同様に画像データ全体に対して収差補正処理を適用する。  
観察領域指示部７−３は、例えば画像情報取得部４により取得された画像データからその画像データの中心を基準として、その周囲となる所定の領域を収差補正処理対象の観察領域として指示設定する。  
この場合の所定の領域、つまり観察領域の設定は撮影モードに基づいて適用してもよいし、標準で特定の領域を観察領域として指定するという手法でもよい。本実施形態の具体例では、標準で画像データの中心を基準とした矩形領域を観察領域に設定するようにしている。
【００５８】
観察領域像高設定部７−４は、補正速度指示部９からの収差補正処理の処理速度、又は動画撮影モードの指示に従い、観察領域内から特定像高を設定する。本実施形態では図７Ａに示すように特定像高Ｒｓを観察領域としての矩形領域に内接する円における半径とする。  
図７Ａは観察画像内の観察領域と、この観察領域に内接する円及び特定像高Ｒｓを示す。また、図７Ｂは図７Ａの場合における像高に対する画素数を頻度として示すと共に、特定像高Ｒｓを示している。  
図８は本実施形態における収差補正処理の処理手順のフローチャートを示す。  
本実施形態においては、第１の実施形態の処理手順に加え、動画撮影モードの場合には、観察領域を指定し、その観察領域内のみで収差補正処理を行う。
【００５９】
先ず、ユーザは、撮影モードＵＩ８を用いて撮影モードの設定又は、補正速度指示部９から処理速度の指示入力を行う。図８の具体例では、ユーザは、ステップＳ３１に示すように撮影モードＵＩ８の撮影モード切替部８−１から動画撮影モード又は静止画撮影モードの設定を行う。  
すると、ステップＳ３２に示すように補正速度指示部９の撮影モード認識部９−２は、設定された撮影モードの認識を行う。さらに補正速度指示部９は、撮影モードの認識により、ステップＳ３３に示すように動画撮影モードか静止画撮影モードかの判別を行う。  
そして判別結果により、補正速度指示部９は、ステップＳ３４に示すようにユーザが動画撮影モードを選択した場合には処理速度を優先し、逆に静止画撮影モードを選択した場合にはステップＳ３５に示すように処理速度より画質を優先する。
【００６０】
撮影モード認識部９の結果により、動画撮影モードであれば処理速度優先する信号が観察領域像高設定部７−４と観察領域指示部７−３に送られる。  
観察領域指示部７−３は、ステップＳ３６に示すように処理速度優先の信号を受け取ると画像データ中に予め設定された観察領域サイズを矩形で設定し、その観察領域サイズを観察領域像高設定部７−４に指示する。  
ステップＳ３７に示すように観察領域像高設定部７−４は、図７Ａに示すように観察領域に内接する円の半径を特定像高Ｒｓとして設定する。観察領域像高設定部７−４は、その特定像高Ｒｓの情報を撮像系駆動部１０に出力すると共に、収差補正部５Ｂに出力する。  
次のステップＳ３８に示すように撮像系駆動部１０は、この特定像高Ｒｓにおいてピントの合った画像が撮影されるように撮像系１１（の例えば光学系２又は撮像素子３）を駆動する。
【００６１】
ここで撮影モ一ドが静止画撮影モードと判断されていた場合は撮像系１１を駆動させず、光軸上で焦点面と撮像面が交わる状態で保持する。この時の特定像高は零値としている。また、観察領域の指定も行われない。そして、第１の実施形態と同様の収差補正処理が行われることになる。  
次のステップＳ３９に示すように収差補正部５Ｂは、特定像高から補正量ＬＵＴ５−１を参照し、全像高に対する補正量としての逆フィルタ行列等を読み出す（参照する）。  
本実施形態では収差補正法として逆フィルタ法を採用し、補正量としては各像高で実験値より得られたＰＳＦを元に式（１）より設計された逆フィルタ行列、またはその設計値である。
【００６２】
続くステップＳ４０において、動画撮影モードの場合には収差補正部５の観察領域補正部５−２は、参照した逆フィルタを観察領域内の各像高に適用して、逆フィルタリングを行うことにより観察領域内の画像データの収差補正処理を行う。  
一方、静止画撮影モードの場合には、収差補正部５は、特定像高から参照した逆フィルタを画像データの全像高に適用して逆フィルタリングにより収差補正処理を行う（図８のステップＳ４０では、動画撮影モードの場合に該当する観察領域内を括弧で示し、静止画撮影モードではこの括弧を外した全画像データに対して逆フィルタリングを行う。）。  
ステップＳ４１に示すように収差補正部５は、逆フィルタリングにより収差補正処理がされた画像データを収差補正画像として出力し、補正画像記憶部６はこの収差補正画像を保存する。
【００６３】
なお、本実施形態において、撮影モードの設定の代わりに処理速度が指示入力された場合には、処理速度に対応して観察領域のサイズを可変設定するようにしても良い。例えば、高速の処理速度が指示入力された場合には、観察領域のサイズを小さくして、その観察領域に内接する円の半径を特定像高に設定するようにしても良い。  
このように処理する本実施形態によれば、撮影時の撮影モードに応じて収差補正処理の処理速度を判別し、高速の処理速度が求められる撮影と判定された場合にはピントの合う特定像高を観察対象領域の中で対応する画素数が多い位置に変更することにより画像の収差補正処理の処理速度のさらなる向上を実現できる。  
これに対して、処理速度が要求されていない場合には画像の中心領域の画質を保証して画像全体を対象にした収差補正を行い、画質の良い収差補正画像を得ることを実現できる。
【００６４】
なお、上述した実施形態を組み合わせたり、発明の主旨を変更しないで変形したものも本発明に属する。例えば、図１の撮像装置又は図６の撮像装置１Ｂの構成は、図示の構成例に限定されるものでなく、撮像装置全体として図示した各部の機能を備えたものであるば良い。  
また、図１と図６とを備えた構成にして、ユーザが動画撮影モード又は処理速度の指示に対して、第１の実施形態と第２の実施形態とのいずれかの動作を選択できるようにしても良い。
【符号の説明】
【００６５】
１、１Ｂ…撮像装置、  ２…光学系、  ３…撮像素子、  ４…画像情報取得部、  ５、５Ｂ…収差補正部、５−１…補正量ＬＵＴ、  ６…補正画像記憶部、  ７、７Ｂ…特定像高設定部、７−１…ヒストグラム保持部、７−２…処理速度像高設定部、７−３…観察領域指示部、７−４…観察領域像高設定部、８…撮影モードＵＩ、８−１…撮影モード切替部、９…補正速度指示部、９−１…処理速度指示部、９−２…撮影モード認識部、１０…撮像系駆動部、１１…撮像系
【先行技術文献】
【特許文献】
【００６６】
【特許文献１】特開２００３−１７２８７３号公報
【図１】
2011205231.tif 000003
【図２】
2011205231.tif 000004
【図３Ａ】
2011205231.tif 000005
【図３Ｂ】
2011205231.tif 000006
【図４Ａ】
2011205231.tif 000007
【図４Ｂ】
2011205231.tif 000008
【図４Ｃ】
2011205231.tif 000009
【図５Ａ】
2011205231.tif 000010
【図５Ｂ】
2011205231.tif 000011
【図６】
2011205231.tif 000012
【図７Ａ】
2011205231.tif 000013
【図７Ｂ】
2011205231.tif 000014
【図８】
2011205231.tif 000015
【図９Ａ】
2011205231.tif 000016
【図９Ｂ】
2011205231.tif 000017
【図９Ｃ】
2011205231.tif 000018