(57)【要約】【課題】撮像装置において、光学歪曲に起因した画像の周辺部の画質の劣化を抑えつつ、歪曲成分が十分に低減された画像を生成する。【解決手段】撮像装置は、撮像素子１０２の有効画素の出力をサンプリングして画像を生成するとともに、該画像に含まれる光学系１０１の歪曲収差に対応する成分を低減するための歪曲補正処理を行う。撮像素子の全有効画素数より少ない所定画素数を有する出力画像を生成する際に、該所定画素数よりも多い数の有効画素の出力をサンプリングし、かつ撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように補正対象画像を生成する。補正対象画像に対して歪曲補正処理を行い、該歪曲補正処理後の結果画像から出力画像を生成する。【選択図】図１
2014072877.tif 000002
【特許請求の範囲】
【請求項１】
光学系により形成された光学像を光電変換する撮像素子と、
該撮像素子の有効画素の出力をサンプリングして画像を生成するとともに、前記画像に含まれる前記光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行う画像生成手段とを有し、
前記画像生成手段は、
前記撮像素子の全有効画素数より少ない所定画素数を有する出力画像を生成する際に、前記所定画素数よりも多い数の前記有効画素の出力をサンプリングし、かつ前記撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように補正対象画像を生成し、
前記補正対象画像に対して前記歪曲補正処理を行い、
該歪曲補正処理後の結果画像から前記出力画像を生成することを特徴とする撮像装置。
【請求項２】
前記画像生成手段が前記補正対象画像を生成する際に出力をサンプリングする前記有効画素の数Ｓｌが、以下の条件を満足することを特徴とする請求項１に記載の撮像装置。
Ｓｌ＝Ｓｅ／Ｌｍ２
ただし、Ｓｅは前記撮像素子の全有効画素数であり、Ｌｍは前記サンプリングピッチの最小値である。
【請求項３】
前記画像生成手段が前記補正対象画像を生成する際の前記周辺部でのサンプリングピッチが、前記中心部のサンプリングピッチよりも小さいことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像生成手段は、前記補正対象画像を、前記中心部と前記周辺部とで画素間引き率を異ならせて生成することを特徴する請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像生成手段は、前記補正対象画像を、前記中心部と前記周辺部とで画素混合を行う画素数を異ならせて生成することを特徴する請求項１から３のいずれか１項に記載の撮像装置。
【請求項６】
前記画像生成手段は、前記補正対象画像に対する前記歪曲補正処理として、前記光学系の歪曲収差に関する情報と前記有効画素からサンプリングした出力の情報とを用いた座標変換処理を行うことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
光学系により形成された光学像を光電変換する撮像素子を有する撮像装置に、前記撮像素子の有効画素の出力をサンプリングして画像を生成させ、前記画像に含まれる前記光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行わせる撮像方法であって、
前記撮像装置に、
前記撮像素子の全有効画素数より少ない所定画素数を有する補正対象画像を、前記所定画素数よりも多い数の前記有効画素の出力をサンプリングして、かつ前記撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように生成させるステップと、
前記補正対象画像に対して前記歪曲補正処理を行わせるステップと、
該歪曲補正処理後の結果画像から前記出力画像を生成させるステップとを有することを特徴とする撮像方法。
【請求項８】
光学系により形成された光学像を光電変換する撮像素子を有する撮像装置に、前記撮像素子の有効画素の出力をサンプリングして画像を生成させ、前記画像に含まれる前記光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行わせる、該撮像装置のコンピュータにより実行可能なコンピュータプログラムとしての撮像プログラムであって、
前記撮像装置に、
前記撮像素子の全有効画素数より少ない所定画素数を有する補正対象画像を、前記所定画素数よりも多い数の前記有効画素の出力をサンプリングして、かつ前記撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように生成させるステップと、
前記補正対象画像に対して前記歪曲補正処理を行わせるステップと、
該歪曲補正処理後の結果画像から前記出力画像を生成させるステップとを有することを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等、撮像素子を有する撮像装置に関し、特に撮像により生成された画像に含まれる撮像光学系の歪曲収差に対応する成分を低減することが可能な撮像装置に関する。
【背景技術】
【０００２】
上記のような撮像装置では、撮像光学系の歪曲収差（以下、光学歪曲ともいう）に対応する画像中の成分（以下、歪曲成分ともいう）を電気的処理により補正することで、光学歪曲を許容して撮像光学系の設計自由度を高め、その小型化を実現する場合がある。
【０００３】
特許文献１には、撮像素子からの信号（画像）に対して画角に応じた拡大・縮小処理を行うことで、画像中の歪曲成分を電気的に補正する撮像システムが開示されている。また、特許文献２には、撮像素子のサンプリング点を制御することにより、画像中の歪曲成分を電気的に補正する収差補正装置が開示されている。
【０００４】
また、一般に、静止画に求められる解像度に対して動画に求められる解像度は低い。そこで、静止画撮像時には撮像素子の全有効画素から電荷（データ）を読み出して高画質の静止画を生成する一方、動画撮像時にはデータを読み出す画素を選択する「読み飛ばし」を行って撮像装置の計算負荷を軽減し、高フレームレートで動画を生成することが多い。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−２０５２４２号公報
【特許文献２】特開平１０−２２４６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像光学系の負の光学歪曲を許容して撮像光学系の小型化を図る場合、該光学歪曲による空間圧縮効果を考慮すると、撮像素子側の空間周波数は、画面（撮像素子の有効画素領域）の周辺部で高周波側にシフトする。
【０００７】
ここで、光学歪曲による空間圧縮効果について、図１１および図１２を用いて説明する。図１１（Ａ）には、光学歪曲の量（以下、歪曲量という）の像高に対する特性を示している。横軸は規格化された像高を示し、縦軸は歪曲量を示す。ここにいう「歪曲量」は、採用した射影方式における理想像高と、光学系を通して得られる実像高との比である。例えば、中心射影方式では、光学系の焦点距離をｆとし、画角をωとするとき、歪曲量Ｖは、理想像高ｈ（＝ｆ×ｔａｎω）と実像高ｈ′との比として、
Ｖ＝［｛ｈ′／（ｆ×ｔａｎω）｝−１］×１００［％］
で表している。
【０００８】
この歪曲量が負であるときには、図１１（Ｂ）に示すように、画面の中心部に対して周辺部では空間が圧縮され、四角形の被写体が樽型に歪曲する。
【０００９】
ここで、理想像高ｈに対する歪曲量Ｖの関数をＶ（ｈ）とすると、光学歪曲を考慮した像高（実像高）Ｌは、
Ｌ（ｈ）＝ｈ’＝ｈ＋ｈ×Ｖ（ｈ）
と表すことができる。
【００１０】
このとき、像面において光軸から動径方向（メリディオナル方向）の微小区間ｄｈを考えると、理想像高への空間の引延し比率ｋｍは、
ｋｍ＝ｄＬ（ｈ）／ｄｈ
＝１＋Ｖ（ｈ）＋ｄＶ（ｈ）／ｄｈ
となり、歪曲量と歪曲曲線の微分値とに依存することが分かる。
【００１１】
同様に、像面において光軸から角方向（サジタル方向）の微小角ｄθを考えると、理想像高への空間の引延し比率ｋｓは、
ｋｓ＝Ｌ（ｈ）ｄθ／ｈｄθ
＝１＋Ｖ（ｈ）
となり、歪曲量に依存することが分かる。
【００１２】
ここまで、光学歪曲が残存する像の理想像高への空間引延し比率を考えたが、物体が光学歪曲により圧縮される空間圧縮比率は、上記空間引延し比率の逆数として定義できる。
【００１３】
図１２は、理想像高ｈに対する歪曲曲線Ｖ（ｈ）が、
Ｖ（ｈ）＝−０．２５×ｈ３
と仮定した場合の、像高に対する空間引延し比率の計算結果を示している。図１２の横軸は規格化された像高を示し、縦軸は空間引延し比率を示している。ｍｅｒｉはメリジオナル方向、ｓａｇｉはサジタル方向を示す。
【００１４】
図１２から分かるように、最大像高にて−２５％の光学歪曲が３次関数的に発生している光学系の場合は、画面の中心部に対して最周辺部では動径方向の空間は約１／２に圧縮される。
【００１５】
ここで、撮像素子のサンプリングピッチｐで決まるナイキスト周波数をｆｎとするとき、
ｆｎ＝ｐ／２
である。画面の中心部でのナイキスト信号ｆｎは、上記光学歪曲を有する光学系が用いられる場合は、空間圧縮効果により、画面の最周辺部において、
ｆｎ′＝ｆｎ×２
まで、高周波側にシフトしてしまう。
【００１６】
つまり、撮像素子のサンプリングピッチが画面の全域で一定であると、画面の中心部に対して周辺部で解像可能な空間周波数帯域が狭まることとなり、中心部のナイキスト信号に対応した空間周波数の物体は、周辺部では解像できないこととなる。
【００１７】
したがって、大きな光学歪曲が残存した撮像光学系を用いる場合は、歪曲成分の電気的補正である歪曲補正処理の有無に関わらず、画像（画面）の中心部に対する周辺部（特に動径方向）での画質劣化を回避することが難しい。
【００１８】
上述した特許文献１にて開示された撮像システムでは、画像の拡大・縮小処理によって歪曲補正処理が可能であるが、撮像素子のサンプリング点が等ピッチであるため、光学歪曲に起因して画像の中心部と周辺部との画質が不均一となるという問題がある。
【００１９】
また、上述した特許文献２にて開示された収差補正装置では、撮像素子上での空間サンプリング点を歪曲収差特性に合わせてランダムに制御する。しかし、画素を並べ替えて読み出す方式を採っているため、歪曲補正処理後の画像のエッジにジャギー等のノイズが発生する懸念がある。このようなノイズの発生を抑制するために画素補間等の処理を行うと、特に撮像素子の全画素サンプリング時には補間処理のための計算負荷が増大する。
【００２０】
本発明は、光学歪曲に起因した画像の周辺部の画質の劣化を抑えつつ、歪曲成分が十分に低減された画像を生成することができ、さらに計算負荷の増大も抑えることができるようにした撮像装置および撮像方法を提供する。
【課題を解決するための手段】
【００２１】
本発明の一側面としての撮像装置は、光学系により形成された光学像を光電変換する撮像素子と、該撮像素子の有効画素の出力をサンプリングして画像を生成するとともに、該画像に含まれる光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行う画像生成手段とを有する。画像生成手段は、撮像素子の全有効画素数より少ない所定画素数を有する出力画像を生成する際に、該所定画素数よりも多い数の有効画素の出力をサンプリングし、かつ撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように補正対象画像を生成する。そして、補正対象画像に対して歪曲補正処理を行い、該歪曲補正処理後の結果画像から出力画像を生成することを特徴とする。
【００２２】
また、本発明の他の一側面としての撮像方法は、光学系により形成された光学像を光電変換する撮像素子を有する撮像装置に、該撮像素子の有効画素の出力をサンプリングして画像を生成させ、該画像に含まれる光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行わせる。該撮像方法は、撮像装置に、撮像素子の全有効画素数より少ない所定画素数を有する補正対象画像を、該所定画素数よりも多い数の前効画素の出力をサンプリングして、かつ撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように生成させるステップと、補正対象画像に対して歪曲補正処理を行わせるステップと、該歪曲補正処理後の結果画像から出力画像を生成させるステップとを有することを特徴とする。
【００２３】
さらに、本発明の他の一側面としての撮像プログラムは、光学系により形成された光学像を光電変換する撮像素子を有する撮像装置に、撮像素子の有効画素の出力をサンプリングして画像を生成させ、該画像に含まれる光学系の歪曲収差に対応する成分を低減するための歪曲補正処理を行わせる、該撮像装置のコンピュータにより実行可能なコンピュータプログラムである。該撮像プログラムは、撮像装置に、撮像素子の全有効画素数より少ない所定画素数を有する補正対象画像を、該所定画素数よりも多い数の有効画素の出力をサンプリングして、かつ撮像素子の中心部と周辺部とで異なるサンプリングピッチを用いて又は異なるサンプリングピッチを用いた場合と等価となるように生成させるステップと、補正対象画像に対して歪曲補正処理を行わせるステップと、該歪曲補正処理後の結果画像から出力画像を生成させるステップとを有することを特徴とする。
【発明の効果】
【００２４】
本発明によれば、光学歪曲に起因した画像の周辺部の画質の劣化を抑えた補正対象画像に対して歪曲補正処理を行うので、歪曲成分が十分に低減され、かつ中心部から周辺部にかけて良好な画質を有する出力画像を生成することができる。しかも、画像生成に際しての計算負荷の増大を抑えることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置で行われる処理を示すフローチャート。
【図３】実施例１の撮像装置にて用いられる撮像素子の画素のベイヤー配列を示す図。
【図４】実施例１における撮像素子からの非等ピッチ画素サンプリングを示す図。
【図５】実施例１および後述する本発明の実施例２の撮像装置におけるナイキスト周波数を示す図。
【図６】実施例１，２における最大撮像周波数を示す図。
【図７】実施例２の撮像装置で行われる処理を示すフローチャート。
【図８】実施例２における撮像素子からの画素混合サンプリングを示す図。
【図９】本発明の実施例３である撮像装置における撮像素子からの非等ピッチ画素サンプリングを示す図。
【図１０】実施例３における撮像素子からの別の非等ピッチ画素サンプリングを示す図。
【図１１】歪曲収差による空間圧縮を説明する図。
【図１２】歪曲収差に起因する空間引延し比率を説明する図。
【発明を実施するための形態】
【００２６】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２７】
図１は、本発明の実施例１である撮像装置の基本構成を示している。撮像光学系１０１は、不図示の被写体からの光に被写体像（光学像）を形成させる。撮像素子１０２は、被写体像を光電変換してアナログ信号を出力する。撮像光学系１０１に含まれる絞り１０１ａは、その開口径が変化することで撮像素子１０２に到達する光量を調節する。また、撮像光学系１０１に含まれるフォーカスレンズ１０１ｂは、被写体距離に応じて撮像光学系１０１のピント合わせを行うために不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によってその位置が調節される。撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を含ませてもよい。撮像光学系１０１は、撮像装置に一体に設けられてもよいし、交換可能に設けられてもよい。
【００２８】
Ａ／Ｄコンバータ１０３は、撮像素子１０２からのアナログ信号をデジタル信号に変換し、画像処理部１０４に入力する。読み出し位置制御部１２０は、撮像素子１０２の全有効画素のうち電荷（データ）を読み出す画素を、等ピッチまたは非等ピッチで選択する。撮像素子１０２の有効画素とは、撮像素子１０２が有する全ての画素のうち画像の生成に用いられるデータの読み出しが可能な画素である。
【００２９】
画像処理部１０４は、各種画像処理を行うとともに、後述する歪曲補正処理を行って出力画像を生成する。
【００３０】
具体的には、画像処理部１０４は、まず状態検知部１０８から撮像装置の状態（撮像光学系１０１の焦点距離、フォーカス位置および絞り値や、後述する撮像モード等）を示す状態情報を得る。状態検知部１０８は、状態情報をシステムコントローラ１１０から直接得てもよいし、撮像光学系１０１に関する状態情報は撮像光学系制御部１０６から得てもよい。次に画像処理部１０４は、状態情報に応じた歪曲補正情報を記憶部１０７から選択的に読み出し、画像処理部１０４にて生成された画像（歪曲成分を含む画像）に対して歪曲補正処理を行うことにより、該画像中の歪曲成分を低減する。
【００３１】
歪曲成分とは、先にも説明したように、撮像光学系１０１の歪曲収差（光学歪曲）に対応する画像中の成分（画像成分）である。画像処理部１０４および読み出し位置制御部１２０は画像生成手段に相当する。
【００３２】
以下、撮像光学系１０１がズームレンズである場合に本撮像装置にて行われる撮像処理（画像生成処理）について、図２のフローチャートを用いて説明する。この処理は、システムコントローラ（ＣＰＵ等を含むコンピュータ）１１０が、半導体メモリ、光ディスク等の記録媒体やインターネット、ＬＡＮ等の通信網を介してインストールされたコンピュータプログラムである撮像プログラムに従って実行する。このコンピュータにより実行可能な撮像プログラム自体およびこれを記録した記録媒体も、本発明の実施例に含まれる。
【００３３】
システムコントローラ１１０は、ステップＳ１０１において、状態検知部１０８を介して現在設定されている撮像モードを検出する。撮像モードは、不図示の操作部における使用者の操作により設定される。撮像モードには、撮像素子１０２の全有効画素を全て用いて高解像度の画像を生成する第１の撮像モードと、全有効画素のうち一部の有効画素を用いて、すなわち有効画素を間引いて読み出して低解像度の画像を生成する第２の撮像モードとがある。
【００３４】
なお、第２の撮像モードで生成される出力画像は、第１の撮像モードで生成される出力画像に比べて少ない画素数を有する画像であり、第１の撮像モードで生成される高解像度の画像に対して解像度が低いという意味で低解像度の画像という。
【００３５】
システムコントローラ１１０は、ステップＳ１０２において、ステップＳ１０１にて検出した撮像モードが第１の撮像モードか否か（第２の撮像モードか）を判定する。
【００３６】
第１の撮像モードに設定されている場合は、システムコントローラ１１０は、ステップＳ１０３に進み、操作部における使用者のズーム操作によるズーム制御信号の入力に応じて、撮像光学系制御部１０６を介して撮像光学系１０１にズーム動作を行わせる。ズーム動作とともに、撮像光学系１０１のフォーカス動作も行わせて合焦状態を維持したり、絞り動作も行わせて被写体像の明るさを適切に設定したりする。そして、システムコントローラ１１０は、ズーム動作後の撮像光学系１０１の状態情報（ズーム位置およびフォーカス位置）を状態検知部１０８から取得する。
【００３７】
次に、ステップＳ１０４では、システムコントローラ１１０は、ステップＳ１０３にて取得した撮像光学系１０１の状態情報に基づいて歪曲補正処理を実行するか（必要とするか）否かを判定する。具体的には、状態情報が示すズーム位置およびフォーカス位置に対応する歪曲補正情報が記憶部１０７に保存されているか否かを判定する。ここにいう歪曲補正情報は、例えば、撮像光学系１０１の歪曲収差特性から求められる画像（歪曲成分を含む画像）中の位置ごとの実像高と理想像高との比（先に説明した「歪曲量Ｖ」）である。
【００３８】
歪曲補正処理を実行すると判定した場合は、システムコントローラ１１０は、ステップＳ１０５にて、画像処理部１０４に歪曲補正処理を実行させる。画像処理部１０４は、歪曲成分を含む画像に対して、状態情報に応じて記憶部１０７から読み出した歪曲補正情報を用いて座標変換処理を実行する。この歪曲補正処理（座標変換処理）のアルゴリズムについては一般に知られているものを用いればよい。例えば、上述した歪曲補正情報から、歪曲成分を含む画像の位置ごとの実像高を理想像高に変換するための拡大・縮小率（先に説明した「引延し比率ｋｍ，ｋｓ」）を算出し、該拡大・縮小率を用いて拡大・縮小処理を行う。また、必要に応じて画素補間処理を行う。
【００３９】
こうして歪曲補正処理後の結果画像が得られると、システムコントローラ１１０は、画像処理部１０４に該結果画像から出力画像を生成させ、その後、本処理を終了する。
【００４０】
一方、ステップＳ１０４にて歪曲補正処理を実行しない（必要としない）と判定した場合は、システムコントローラ１１０は、画像処理部１０４に歪曲補正処理を実行させることなく出力画像を生成させ、本処理を終了する。
【００４１】
また、ステップＳ１０２において撮像モードが第２の撮像モードに設定されている場合は、システムコントローラ１１０は、ステップＳ１０６に進み、ステップＳ１０３と同様に、ズーム動作後の撮像光学系１０１の状態情報を取得する。
【００４２】
そして、ステップＳ１０７で、システムコントローラ１１０は、ステップＳ１０４と同様に歪曲補正処理を実行するか否かを判定し、歪曲補正処理を実行すると判定した場合は、ステップＳ１０８に進む。
【００４３】
ステップＳ１０８では、システムコントローラ１１０は、撮像素子１０２の全有効画素のうち読み出し位置制御部１２０により非等ピッチで選択された有効画素からのデータ読み出し、つまりは非等ピッチでの画素間引き読み出しを行う。これにより、低解像度画像としての補正対象画像を生成する。間引き読み出し（Decimation）は、例えば、撮像素子１０２がＣＭＯＳセンサのようなＸ−Ｙアドレス読出し型の撮像素子である場合に、画素読み出し用の水平および垂直シフトレジスタを駆動するクロックパルスの周期を任意に制御することで実現できる。
【００４４】
ここで、撮像素子１０２からの非等ピッチでの画素間引き読み出し（以下、非等ピッチ画素サンプリングともいう）について、図４〜図６を用いて説明する。撮像素子１０２には、水平方向に４８画素、垂直方向に４８画素の計２３０４個の有効画素が等ピッチで配置されているものとする。また、ここでは、撮像光学系１０１は光軸に関して回転対称性を有するものとして、撮像素子の１／４象限の範囲にて説明する。さらに、実際の撮像素子１０２では、図３に示すようにＲ（赤）、Ｇ（緑）およびＢ（青）の原色カラーフィルタを備えた４つ（ＲＧＧＢ）の画素がベイヤー配列により水平および垂直方向に周期的に並んでいるものとする。ただし、ここでの説明では、これら４つの画素を１画素として扱い、カラーフィルタの概念を省略する。
【００４５】
図４には、第２の撮像モードでの最終の画素間引き率（撮像素子１０２の全有効画素数に対する記録画素数の割合が１／４）である場合の非等ピッチ画素サンプリングの概略を示す。図４には、１／４象限に含まれる２４×２４の有効画素を示しているが、実際の撮像素子１０２は、２４×２４×４＝２３０４の有効画素を有する。図４に示した有効画素のうちハッチングして示されている画素が、データが読み出される（サンプリングされる）画素である。
【００４６】
画素間引き率１／４（２３０４／４＝５７６画素）は、水平方向にて１画素おき、かつ垂直方向にて１画素おきの等ピッチ画素サンプリングでも実現できる。しかし、これでは撮像素子１０２のナイキスト周波数が撮像素子１０２の有効画素領域（以下、画面という）全体で一様にシフトすることとなる。撮像光学系１０１が大きい負の光学歪曲を有する場合、前述したように光学歪曲に起因して、画面の中心部と周辺部とで解像可能な空間周波数が変化してしまうため、中心部のナイキスト信号が周辺部では解像できないこととなる。
【００４７】
そこで、本実施例では、第２の撮像モードにおいて歪曲補正処理を実行する場合には、光学歪曲に起因する空間周波数シフトを考慮して、低解像度画像としての補正対象画像を生成する。具体的には、低解像度画像としての出力画像を生成する際に撮像素子１０２からサンプリングする有効画素数を、該出力画像の画素数（所定画素数＝５７６画素）より多くしつつ、撮像素子１０２（画面）の中心部と周辺部とでサンプリングピッチが異なるようにする。つまり、出力画像に対してオーバーサンプリングを行うとともにサンプリングピッチを変化させた補正対象画像を生成することで、撮像素子のナイキスト周波数を画面内の位置に応じて変化させるのと同等の効果を得る。
【００４８】
ここで、補正対象画像を生成する際にデータ（出力）をサンプリングする有効画素数をＳｌとし、撮像素子１０２の全有効画素数をＳｅとし、サンプリングピッチの最小値をＬｍとするとき、以下の条件を満足するようにＳｌを設定することが望ましい。
Ｓｌ＝Ｓｅ／Ｌｍ２    …（１）
この条件（１）を満たすようにオーバーサンプリングすることで、サンプリングピッチが変化する位置で画像に段差が生じることを防ぐことができる。
【００４９】
本実施例では、図５に示すように、画面の中心部に対して周辺部での動径方向のナイキスト周波数が２倍となる非等ピッチ画素サンプリングが行われるように画素間引き率を画面の中心部と周辺部とで異ならせる。図５の横軸は規格化された像高を示し、縦軸はナイキスト周波数を軸上に対する比率で表している。
【００５０】
具体的には、画面の中心（軸上）から８割像高までの中心部は、水平および垂直方向にて１画素おきの画素間引き率（サンプリングピッチは２画素）を設定して画素間引き読み出しを行う。一方、８割像高以上の周辺部では、画素間引き率を零（サンプリングピッチは１画素）に設定して全画素読み出しを行う。このとき、撮像素子からの読み出しを行う画素が図４においてハッチングされた画素に対応する。また、補正対象画像を生成する際にデータをサンプリングする有効画素数Ｓｌは２３０４画素であり、図４において２重線で囲まれた領域に対応する。つまり、補正対象画像を生成する際にデータをサンプリングする有効画素数に対して、撮像素子から画素間引きを通じて読み出される総画素数は少ない構成となっている。
ここで、撮像素子からの読み出しが行われずにサンプリングするデータがない画素（例えば１行２列目の画素であり、以下、無データ画素という）の画素値に関しては、その周辺の画素のデータから補間して算出するとよい。無データ画素はそもそもナイキスト周波数が低い領域に配置されているため、この無データ画素の画素値として、該無データ画素に最も近い画素のデータを流用するような単純な処理を行ってもよい。例えば、１行２列目の無データ画素の画素値として、１行１列目の画素のデータを用いてもよい。
【００５１】
このように本実施例では、出力画像の画素数（所定画素数）対して縦横２倍のオーバーサンプリングを行い、画面の中心部と周辺部とで異なるサンプリングピッチを用いて補正対象画像を生成することにより、ナイキスト周波数の制御を行っている。
【００５２】
図６には、図１１に示した最大像高にて−２５％の光学歪曲が３次関数的に発生している撮像光学系を用いた撮像装置において本実施例の画素サンプリングを行った場合のナイキスト周波数（最大解像周波数）を軸上に対する比率で示している。図６の横軸は規格化された像高を示し、縦軸はナイキスト周波数（軸上に対する比率）を示す。
【００５３】
撮像素子１０２からの画素読み出しピッチを非等ピッチとすることで、図６に示すように、画面の中心部から周辺部にわたって解像可能な最大空間周波数であるナイキスト周波数を制御することができる。このため、撮像光学系１０１が負の光学歪曲が大きい光学系であっても、ナイキスト周波数を制御することで、歪曲補正処理前の画像として中心部から周辺部まで画質の不均一性を抑制した（周辺部の画質の劣化を抑制した）良好な補正対象画像を得ることができる。
【００５４】
なお、撮像光学系１０１が負の光学歪曲を有する場合は、補正対象画像を生成する際に、撮像素子１０２の画面の周辺部ほど密なピッチで画素サンプリングを行うようにオーバーサンプリングを行うことが好ましい。つまり、周辺部でのサンプリングピッチを中心部のサンプリングピッチよりも小さくするとよい。これにより、歪曲補正処理において引延し比率の大きい画面の周辺部で画素補間に用いる原画素が密に存在するため、補間精度の向上が期待できる。
【００５５】
そして、図２のステップＳ１０９では、システムコントローラ１１０は、ステップＳ１０８にて生成された補正対象画像に対して、ステップＳ１０５と同様に画像処理部１０４に歪曲補正処理を実行させる。また、画像処理部１０４は、歪曲補正処理後の結果画像に対して一般的な手法によりダウンサンプリングを行うことで、最終的な出力画像としての低解像度画像を生成する。本実施例では、縦横１／２のダウンサンプリングを行うことで、１２×１２×４＝５７６画素（最終の画素間引き率１／４）の低解像度画像を生成する。こうして出力画像を生成した後、本処理を終了する。
【００５６】
一方、ステップＳ１０７にて歪曲補正処理を実行しないと判定した場合は、システムコントローラ１１０は、ステップＳ１１０において、画面全体で水平および垂直方向にて１画素おきの等ピッチで画素間引き読み出し（等ピッチ画素サンプリング）を行う。こうして、こうして出力画像としての低解像度画像を生成した後、本処理を終了する。
【００５７】
画像処理部１０４で生成された出力画像は、図１に示した画像記録媒体１０９に所定のフォーマットで保存される。また、出力画像は、表示部１０５にて表示される。
【００５８】
このように本実施例では、撮像素子１０２の全有効画素数より少ない所定画素数を有する出力画像を生成する際に、所定画素数より多い数の有効画素の出力をサンプリングし、かつ画面の中心部と周辺部とで異なるサンプリングピッチを用いて補正対象画像を生成する。これにより、光学歪曲に起因した画像の周辺部の画質の劣化を抑えた補正対象画像を生成することができる。そして、このような補正対象画像に対して歪曲補正処理を行うので、歪曲成分が十分に低減され、かつ中心部から周辺部にかけて良好な画質を有する出力画像を生成することができる。このことは、後述する他の実施例でも同様である。
【００５９】
また、本実施例にて得られる歪曲補正処理後の結果画像は、撮像素子に対して全画素サンプリングを行って生成した画像に対して歪曲補正処理を行い、その後に縮小処理を行うことでも得られる。しかし、この場合は、扱う画素数が多くなるほど歪曲補正処理における計算負荷が増大する。これに対して、本実施例のように光学歪曲に応じて画面の中心部と周辺部とでサンプリングピッチを最適化して得られた補正対象画像に対して歪曲補正処理を行うことで、計算負荷を軽減することができる。特に、出力画像としての低解像度画像と撮像素子の有効画素数との比（最終の画素間引き率）が大きいほど、計算負荷の軽減効果が高くなる。このことは、後述する他の実施例でも同様である。
【００６０】
なお、本実施例では、画面の中心部と周辺部との境界を８割像高とした場合について説明したが、これは例に過ぎず、他の像高（例えば、７割像高）を中心部と周辺部との境界としてもよい。
【００６１】
また、本実施例では、画面の中心部に対する周辺部のナイキスト周波数を２倍に制御して画面全体のナイキスト周波数を２段階に異ならせる場合について説明した。しかし、これは例に過ぎず、画面全体において画素サンプリングピッチを多段階に変化させることで、ナイキスト周波数を連続的に制御することもできる。例えば、中心部に対して周辺部のナイキスト周波数を３倍に設定したい場合は、所定画素数に対して縦横３倍のオーバーサンプリングを行うことで対応できる。つまり、画素サンプリングピッチや最終の画素間引き率等のパラメータは任意に設定可能である。さらに、これらパラメータを、電子ズーム処理や電子手振れ補正処理等の画像処理に応じて変更してもよい。
【実施例２】
【００６２】
次に、本発明の実施例２である撮像装置について説明する。本実施例の撮像装置の基本構成は図１に示した実施例１の撮像装置と同じであるが、撮像処理（画像生成処理）が実施例１とは異なる。図７のフローチャートを用いて、本実施例での撮像処理について説明する。この処理も、システムコントローラ１１０が、コンピュータプログラムである撮像プログラムに従って実行する。
【００６３】
図７におけるステップＳ１０１〜ステップＳ１０７は、図２に示したステップＳ１０１〜ステップＳ１０７と同じである。
【００６４】
ステップＳ１０２で現在の撮像モードが第２の撮像モードであり、かつステップＳ１０７で歪曲補正処理を実行すると判定した場合、システムコントローラ１１０は、ステップＳ２０１に進む。
【００６５】
本実施例では、実施例１とは異なり、読み出し位置制御部１２０に、撮像素子１０２の全有効画素のうちデータを読み出す画素を常に等ピッチで選択させる。そして、本実施例では、システムコントローラ１１０は、ステップＳ２０１において、画像処理部１０４に、画面の中心部における画素間引き読み出しを画素混合によって行わせる。画素混合とは、互いに隣接する所定数の画素の出力（データ）の平均値を１つの画素値として出力する処理である。
【００６６】
図８には、画素混合による画素サンプリングの概略を示す。ここでも、撮像素子１０２を、水平方向に４８画素、垂直方向４８画素からなる２３０４個の有効画素を有するものとし、１／４象限の範囲にて説明する。また、ベイヤー配列で配置されたＲＧＧＢの４つの画素を１画素として扱い、カラーフィルタの概念を省略する。
【００６７】
図８中に示した有効画素のうちハッチングして示されている画素が、データが読み出される（サンプリングされる）画素である。また、太線で囲まれた４つの画素が、画素混合により１画素として扱われる。つまり、本実施例では、撮像素子１０２の全有効画素のデータを読み出した後、画面の中心部については画素混合によって画素間引き処理を行う。これにより、非等ピッチ画素サンプリングを行った場合と等価な補正対象画像を生成する。
【００６８】
本実施例では、図５に示すように、画面の中心部に対して周辺部での動径方向のナイキスト周波数が２倍となる非等ピッチ画素サンプリングと等価なサンプリング結果が得られるように、画素混合される画素数を画面の中心部と周辺部とで異ならせる。より具体的には、画面の中心（軸上）から８割像高までの中心部は、画素混合を行う画素数を水平および垂直方向の２画素（サンプリングピッチは２画素）に設定し、計４画素の画素混合を行う。一方、８割像高以上の周辺部では、画素混合を行う画素数を零（サンプリングピッチは１画素）に設定して全画素読み出しを行う（画素混合を行わない）。このとき、補正対象画像を生成する際にデータをサンプリングする有効画素数Ｓｌは２３０４画素となり、図８において２重線で囲まれた領域に対応する。
【００６９】
画素混合が行われた４画素（例えば、１行１〜２列目と２行１〜２列目の４画素）画素値として、これら４画素からのデータの平均値としての同一値が用いられる。
【００７０】
このように本実施例では、出力画像の画素数（所定画素数＝５７６画素）対して縦横２倍のオーバーサンプリングを行い、画面の中心部と周辺部とで異なるサンプリングピッチを用いた場合と等価な補正対象画像を生成する。これにより、ナイキスト周波数の制御を行っている。本実施例でも、図６に示すように、画面の中心部から周辺部にわたって解像可能な最大空間周波数であるナイキスト周波数を制御することができる。このため、撮像光学系１０１が負の光学歪曲が大きい光学系であっても、ナイキスト周波数を制御することで、歪曲補正処理前の画像として中心部から周辺部まで画質の不均一性を抑制した（周辺部の画質の劣化を抑制した）良好な補正対象画像を生成することができる。
【００７１】
こうしてステップＳ２０１にて生成された補正対象画像に対して、システムコントローラ１１０は、図７のステップＳ１０９において、図２のステップＳ１０９と同様に画像処理部１０４に歪曲補正処理を実行させる。この際、本実施例でも、非等ピッチ画素サンプリングを行った場合は、歪曲補正処理としての座標変換処理に、光学歪曲に関する情報を用いるだけでなく、撮像素子１０２からのサンプリングした出力の情報をも用いる必要がある。
【００７２】
また、本実施例でも、画像処理部１０４は、歪曲補正処理後の結果画像に対して一般的な手法によりダウンサンプリングを行うことで、最終的な出力画像としての低解像度画像（最終の画素間引き率１／４に対応する５７６画素の画像）を生成する。こうして出力画像を生成した後、本処理を終了する。
【００７３】
一方、ステップＳ１０７にて歪曲補正処理を実行しないと判定した場合は、システムコントローラ１１０は、ステップＳ２０２において、画面全体で水平および垂直方向にて２画素の画素混合を行って出力画像としての低解像度画像を生成する。そして、本処理を終了する。
【００７４】
本実施例では、画面中において画素混合を行う領域を適切に設定することで、主被写体が存在することが多い画面の中央部において画素混合によるノイズの平均化効果が期待できる。
【実施例３】
【００７５】
次に、本発明の実施例３である撮像装置について説明する。本実施例の撮像装置の基本構成は図１に示した実施例１の撮像装置と同じであるが、撮像処理（画像生成処理）において２倍の電子ズームを行い、それに伴って画素間引き率を実施例１とは異ならせている。なお、撮像処理の流れ自体は、図１のフローチャートに示した流れと同じであるので、ここでは第２の撮像モードにおいて歪曲補正処理を行う場合の画素サンプリング方法について説明する。
【００７６】
２倍の電子ズームを行う本実施例でも、補正対象画像を生成する際に、画面の周辺部において動径方向のナイキスト周波数が中心部の２倍となるようにナイキスト周波数を制御する。具体的には、出力画像に対して縦横２倍のオーバーサンプリングを行い、画面の中心部と周辺部とで画素間引き率を変化させることで補正対象画像を生成する。
【００７７】
図９および図１０には、第２の撮像モードでの非等ピッチ画素サンプリングの概略を示す。図９および図１０には、撮像素子１０２の１／４象限の有効画素のみを示している。有効画素のうちハッチングして示されている画素が、データが読み出される（サンプリングされる）画素である。また、太線で囲まれた範囲は、画素データを読み出す範囲である。撮像素子１０２の有効画素数は、図９では２４×２４×４＝２３０４画素であり、図１０では１２×１２×４＝５７６画素である。
【００７８】
図９において、中心（軸上）から８割像高までの中心部では、水平および垂直方向のそれぞれにて４画素ごとに１画素を読み出す画素間引き率（サンプリングピッチは４画素）を設定している。一方、８割像高以上の周辺部では、水平方向では４画素ごとに１画素を読み出し、垂直方向では４画素ごとに２画素を読み出す画素間引き率（サンプリングピッチは水平方向にて４画素、垂直方向にて２画素）を設定している。これにより、撮像素子１０２のナイキスト周波数を制御している。
【００７９】
このとき、補正対象画像を生成する際に用いる画素数は１２×１２×４＝１１５２画素となり、図９において２重線で囲まれた領域が１つの画素に対応する。ここで、無データ画素に対する画素値の補間方法は実施例１と同じである。このとき、出力画像としての低解像度画像の画素数は、６×６×４＝１４４画素である。
【００８０】
また、図１０において、中心（軸上）から８割像高までの中心部では、水平および垂直方向のそれぞれにて１画素おきの画素間引き率（サンプリングピッチは２画素）を設定している。また、８割像高以上の周辺部では、画素間引き率を零（サンプリングピッチは１画素）に設定して全画素読み出しを行う。これにより、撮像素子１０２のナイキスト周波数を制御している。
【００８１】
このとき、補正対象画像を生成する際に用いる画素数は、１２×１２×４＝１１５２画素となり、図１０において２重線で囲まれた領域が１つの画素に対応する。ここで、無データ画素に対する画素値の補間方法は実施例１と同じである。このとき、出力画像としての低解像度画像の画素数は、６×６×４＝１４４画素である。
【００８２】
図９に示した撮像素子１０２からの画素データの読み出し領域に対して、図１０に示した画素データの読み出し領域は１／２となるが、出力する低解像度画像の画素数は１４４画素で同じである。このため、上記２つの処理を切り替えることで、２倍の電子ズーム倍率が得られる。
【００８３】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００８４】
良好に歪曲補正がなされた高画質の画像を出力可能なデジタルスチルカメラやビデオカメラ等の撮像装置を提供できる。
【符号の説明】
【００８５】
１０１  撮像光学系
１０２  撮像素子
１０４  画像処理部
１１０  システムコントローラ
１２０  読み出し位置制御部
【図１】
2014072877.tif 000003
【図２】
2014072877.tif 000004
【図３】
2014072877.tif 000005
【図４】
2014072877.tif 000006
【図５】
2014072877.tif 000007
【図６】
2014072877.tif 000008
【図７】
2014072877.tif 000009
【図８】
2014072877.tif 000010
【図９】
2014072877.tif 000011
【図１０】
2014072877.tif 000012
【図１１】
2014072877.tif 000013
【図１２】
2014072877.tif 000014