(57)【要約】【課題】ローリングシャッタ方式で露光を行う撮像装置において、ローリングシャッタ歪みを効果的に補正できるようにする。【解決手段】ローリングシャッタ方式で露光を行う撮像部と、撮像部により得られる画像信号における被写体の奥行き方向の距離に対応する情報である距離情報を取得する取得部と、距離情報に基づいて画像信号の歪み補正を行う補正部とを備える。【選択図】図１３
2018019293.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッタ方式で露光を行う撮像手段と、
前記撮像手段により得られる画像信号における被写体の奥行き方向の距離に対応する情報である距離情報を取得する取得手段と、
前記距離情報に基づいて前記画像信号の歪み補正を行う補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記補正手段は、前記距離情報が所定の距離より近いことを示す被写体に対しては、所定の距離以上であることを示す被写体よりも大きく前記歪み補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、前記距離情報が大きい被写体であるほど小さく前記歪み補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記補正手段は、前記距離情報に基づいて、前記距離情報が所定の範囲の距離にあることを示す被写体に対して、前記歪み補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記補正手段は、前記画像信号内の被写体の移動量を検出し、検出された移動量に基づいて前記歪み補正の補正量を決定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記補正手段は、ライブビュー用に前記撮像手段で得られた画像信号と、本撮影用に前記撮像手段で得られた画像信号とにおける被写体のずれ量に基づいて前記被写体の移動量を検出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記補正手段は、前記歪み補正として、前記撮像手段の露光時間に基づくローリングシャッタ歪みを補正する歪み補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段は、それぞれが複数の光電変換素子を有する複数の単位画素を含み、それぞれの光電変換素子が受光する撮影レンズの異なる瞳領域を通過した光が生成する像のずれ量に基づいて、被写体の距離情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像手段は、画像信号を複数の領域に分割し、分割されたそれぞれの分割領域ごとに被写体の距離情報を取得することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記補正手段は、それぞれの分割領域ごとの被写体の距離情報に基づいて、１つの被写体を構成する複数の分割領域のグループを判定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
ローリングシャッタ方式で露光を行う撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により得られる画像信号における被写体の奥行き方向の距離に対応する情報である距離情報を取得する取得工程と、
前記距離情報に基づいて前記画像信号の歪み補正を行う補正工程と、
を有することを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式を用いて撮影した撮影画像の歪みを補正する技術に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルカメラの多くで、ＣＭＯＳ型の撮像素子が用いられるようになってきている。ＣＭＯＳ型の撮像素子では、ローリングシャッタと呼ばれるライン毎に撮像のタイムラグがある露光方式が用いられることから、所謂、ローリングシャッタ歪みの問題が発生する。ローリングシャッタ歪みとは、撮像装置のパンニングを行った場合に撮影画像が斜めに歪む、チルティングを行った場合に撮影画像が伸び縮みする、手ぶれにより撮影画像が波を打ったように歪む、といった現象である。このローリングシャッタ歪みを、以下、ＲＳ歪みと称する。
【０００３】
ＲＳ歪みには、一画面の撮影期間内におけるカメラと被写体の相対的な移動量によって歪み量や歪み方が異なって見えるという特徴がある。図２１は、ＣＭＯＳ型の撮像素子における一般的なローリングシャッタの動作タイミングを示す図である。横軸は時間の経過を示し、縦軸はシャッタの走査による読み出しラインの移動を示している。図２１に示すように、ローリングシャッタによる露光では、ラインごとに露光が行われ、各ラインの露光時間は、リセット動作から読み出し動作までの期間として設定される。そして、シャッタの走査方向に従い、上から下に向かって順番に露光が行われるため、ラインごとに露光タイミングがずれて撮像タイムラグが発生する。
【０００４】
たとえば、建物などの静止物を背景に、右から左に移動する電車を撮影する場合を考える。この場合、ローリングシャッタを用いて撮影を行うと、上記の撮像タイムラグにより、１画面の撮影時間内に電車が移動した分だけ、図２２（ｂ）に示すように電車が平行四辺形に歪んで撮影される。本来の正しい撮影シーンは、図２２（ａ）の様になるはずである。電車の移動量に応じて、図２２（ｃ）に示すように、画像に適切な幾何変形処理を適用することで電車の形状歪みを正しく補正することができる。しかし、静止している背景の建物は、この幾何変形処理により逆に歪んでしまう結果となる。
【０００５】
さらに他の撮影例では、移動する電車の車窓から外の風景を撮影すると、図２３（ｂ）に示すように、高速に移動して見える近景の被写体ほど歪み量が大きく、相対的に移動量の小さい遠景の被写体ほど歪み量が小さく見える。本来の正しい撮影シーンは、図２３（ａ）である。
【０００６】
この場合も、被写体の移動量に応じて、図２３（ｃ）に示すように、画像に適切な幾何変形処理を適用することで歪みの目立つ近景の被写体の形状歪みを正しく補正することができる。しかし、遠景の被写体は、この幾何変形処理により逆方向に歪んでしまい、かえって歪みを目立たせてしまう結果となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−３８４８２号公報
【特許文献２】特開２０１４−７５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のＲＳ歪みの問題点に対しては、従来から様々な補正処理方法が提案されている。例えば、特許文献１においては、撮像装置が動きのある被写体に追従しているか否かを合焦度合いで判断し、追従している場合にはＲＳ歪み補正を行わないことで、不要な逆歪みの発生を防止している。
【０００９】
しかしながら、この補正方法では、ＲＳ歪みの補正処理を撮影画面全体に対して一律の補正量で適用するために、互いに移動量の異なる複数の被写体に対して歪みのない適切な補正とはならない問題がある。
【００１０】
また、特許文献２においては、時間的に連続する２枚の撮影画像を用いて領域ごとの移動量を検出することで、動きのある領域と静止領域とを分けて領域ごとに移動量に合わせて適切な補正を行うことが示されている。
【００１１】
しかしながら、この補正方法では、高精細な撮影画像を得るために２回の本撮影動作が必要になり、２回の本撮影動作で発生する撮影タイムラグの影響は無視できない。
【００１２】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ローリングシャッタ方式で露光を行う撮像装置において、ローリングシャッタ歪みを効果的に補正できるようにすることである。
【課題を解決するための手段】
【００１３】
本発明に係わる撮像装置は、ローリングシャッタ方式で露光を行う撮像手段と、前記撮像手段により得られる画像信号における被写体の奥行き方向の距離に対応する情報である距離情報を取得する取得手段と、前記距離情報に基づいて前記画像信号の歪み補正を行う補正手段と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ローリングシャッタ方式で露光を行う撮像装置において、ローリングシャッタ歪みを効果的に補正することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係わる撮像装置の概略構成を示すブロック図。
【図２】撮像素子の概略構造を示す図
【図３】撮像素子の１画素の概略構成を示す図。
【図４】撮像素子の画素アレイの一部を概略的に示す平面図。
【図５】像面位相差方式の射出瞳と撮像素子が受光する光の関係を示す模式図。
【図６】撮像素子の画素の回路図。
【図７】撮像素子の駆動パターンを示すタイミングチャート。
【図８】像面位相差方式の焦点検出方法の概念を模式的に説明する図。
【図９】焦点検出領域を概略的に示す図。
【図１０】焦点検出演算を示すフローチャート。
【図１１】相関波形と像ずれ量との関係を概略的に示す図。
【図１２】距離情報マップの作成例を説明する図。
【図１３】ＲＳ歪み補正の処理部の概略構成を示す図。
【図１４】第１の実施形態における撮影動作のフローチャート。
【図１５】第１の実施形態におけるＲＳ歪み補正動作を示すフローチャート。
【図１６】第１の実施形態におけるＲＳ歪み補正を説明する図。
【図１７】ＲＳ歪み補正の他の例を説明する図。
【図１８】ＲＳ歪み補正のさらに他の例を説明する図。
【図１９】第２の実施形態における撮影動作のフローチャート。
【図２０】第２の実施形態におけるＲＳ歪み補正を説明する図。
【図２１】ローリングシャッタ動作の信号読出しタイミングを示す図。
【図２２】従来例におけるＲＳ歪みとＲＳ歪み補正を説明する図。
【図２３】従来例におけるＲＳ歪みとＲＳ歪み補正を説明する図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施形態は単なる例示であり、本発明は実施形態に記載された構成に限定されるものではない。
【００１７】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示した図である。図１において、撮像装置１２００は、撮影レンズ１２０１、撮影レンズ１２０１を駆動するレンズ駆動部１２０２、光量を調節する絞り１２０４、絞り１２０４を駆動する絞り駆動部１２０５、被写体像を撮像するＣＭＯＳ型の撮像素子１００を備える。
【００１８】
また、撮像装置１２００は、信号処理系として、撮像信号処理回路１２０７、第１のメモリ１２０８、第２のメモリ１２１４、全体制御演算部１２０９、記録媒体制御インターフェイス（以下、記録媒体制御Ｉ／Ｆ）、記録媒体１２１２を有する。撮像装置１２００は、さらに表示部１２１１、外部インターフェイス（以下、外部Ｉ／Ｆ）１２１３、操作部１２１５を有する。
【００１９】
撮影レンズ１２０１を通過した被写体光は絞り１２０４により適切な光量に調整され、撮像素子１００の撮像面上に被写体像として結像される。撮像素子１００の撮像面に結合した被写体像は、詳細は後述するが、画素アレイ部１０１（図２参照）の各画素上に配置されたフォトダイオード（ＰＤ）により光電変換される。光電変換された信号は、ゲイン調整、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われ、（Ａ＋Ｂ）信号、Ａ信号として撮像信号処理回路１２０７に送られる。撮像信号処理回路１２０７では、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種の補正、画像データの現像、圧縮等を行う。また、減算により分離したＡ信号、Ｂ信号の相関演算により、レンズの焦点距離および被写体距離の算出を行う。なお、Ａ信号、Ｂ信号についての詳細は後述する。
【００２０】
撮影レンズ１２０１は、レンズ駆動部１２０２によってズーミング、フォーカシング等の駆動が行われる。絞り１２０４は、絞り駆動部１２０５によって駆動制御される。全体制御演算部１２０９は撮像装置全体の制御と各種演算を行う。第１のメモリ１２０８は、画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ１２１０は、記録媒体１２１２への画像データの記録、あるいは記録媒体１２１２からの画像データの読み出しを行う。表示部１２１１は画像データの表示を行う。記録媒体１２１２は半導体メモリ等の着脱可能記憶媒体であり、画像データの記録または読み出しを行う。外部Ｉ／Ｆ１２１３は外部コンピュータ等と通信を行うためのインターフェイスである。第２のメモリ１２１４は、全体制御演算部１２０９での演算結果を記憶する。操作部１２１５を用いてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部１２０９に送られ、これらの情報に基づいて撮像装置１２００全体の制御が行われる。
【００２１】
図２は、本実施形態の撮像装置に用いられる撮像素子１００の概略構成を示す図である。図２において、撮像素子１００は、複数の画素が２次元状に配列された画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。また、画素アレイ１０１の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す読み出し回路１０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）１０５を含む。読み出し回路１０３は、信号を一時的に蓄積するメモリ、ゲインアンプ、Ａ／Ｄ変換器などを有する。通常、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し、読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読みだされた複数の画素信号を列ごとに順に選択する。なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し回路１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。
【００２２】
図３は、撮像素子１００の１つの単位画素の構成を示す図である。単位画素２０１は、１つのマイクロレンズ２０２と、光電変換素子として、２つのフォトダイオード（以下、ＰＤ）２０３及び２０４を有する。更に、ＰＤ２０３とＰＤ２０４の各々の信号を読み出す転送スイッチ２０５、２０６と、ＰＤ２０３またはＰＤ２０４の信号を一時的に蓄積するフローティングディフュージョン部（ＦＤ）２０７も有する。各画素は、図示された構成要素以外にも、後述する複数の構成要素を備える。なお、単位画素２０１は、２つのフォトダイオードを有することにより、撮像光学系の瞳分割機能を有し、撮像面での位相差方式の焦点検出が可能である。
【００２３】
図４は、画素アレイ１０１の一部を概略的に示す平面図である。画素アレイ１０１は、２次元の画像を提供するために、図３に示すような画素を、２次元アレイ状に複数配列して構成される。図３の単位画素２０１にそれぞれ相当する画素３０１、３０２、３０３、３０４を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは図３のＰＤ２０３に対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは図３のＰＤ２０４に対応している。
【００２４】
図４のような画素アレイ１０１を有する撮像素子１００における受光の様子について、図５を用いて説明する。図５は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を示す概念図である。
【００２５】
図５において、画素アレイ１０１は断面４０１を有する。断面４０１に示すように、各画素は、マイクロレンズ２０２、ＰＤ２０３、ＰＤ２０４の他に、カラーフィルタ４０３を有する。また、撮影レンズ１２０１の射出瞳４０６から出射して、中央のマイクロレンズ２０２を有する画素に入射する光束の中心を光軸４０９とする。射出瞳４０６から出射した光は、光軸４０９を中心として撮像素子１００に入射する。撮影レンズ１２０１の射出瞳４０６は、一部領域（瞳領域）４０７、４０８を有する。瞳領域４０７を通過する光の最外周の光線を４１０、４１１で示し、瞳領域４０８を通過する光の最外周の光線を４１２、４１３で示す。図５からわかるように、射出瞳４０６から出射する光束のうち、光軸４０９を境にして、上側の光束はＰＤ２０４に入射し、下側の光束はＰＤ２０３に入射する。つまり、ＰＤ２０３とＰＤ２０４は、各々、撮影レンズの射出瞳４０６の別の瞳領域４０７、４０８を通過した光を受光している。
【００２６】
以下、図４を参照すると、画素行３０５に含まれる画素３０１、３０２、３０３、３０４の場合、光軸４０９を挟んで一方の瞳領域から出射する光束を受光するＰＤ２０３に対応するＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌから得られる像をＡ像とする。そして、その信号をＡ像信号（第１信号）と呼ぶ。また、光軸４０９を挟んで他方の射出瞳から出射する光束を受光するＰＤ２０４に対応するＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒから得られる像をＢ像とする。そして、その信号をＢ像信号（第２信号）と呼ぶ。
【００２７】
図６は、図３に示す構成を有する単位画素２０１の回路構成を示す等価回路図である。ここでは、模式的に３列１行分の画素を記載している。図６において、図３と同じ構成には同じ参照番号を付している。画素２０１の転送スイッチ２０５、２０６はそれぞれ転送パルスφＴＸ１、φＴＸ２によって駆動され、それぞれ対応するＰＤ２０３、ＰＤ２０４で発生した光電荷をＦＤ２０７に転送する。ＦＤ２０７は電荷を一時的に蓄積するバッファとしての役割を有する。増幅ＭＯＳアンプ５０１はソースフォロアとして機能し、選択スイッチ５０２は垂直選択パルスφＳＥＬによって画素を選択する。ＦＤ２０７、増幅ＭＯＳアンプ５０１、及び垂直出力線５０３に接続された不図示の定電流源からフローティングディフュージョンアンプが構成される。選択スイッチ５０２で選択された画素のＦＤ２０７の信号電荷がフローティングディフュージョンアンプにより電圧に変換されて、垂直出力線５０３に出力され、読み出し回路１０３に読み出される。リセットスイッチ５０４は、リセットパルスφＲＥＳを受けてＶＤＤによりＦＤ２０７をリセットする。
【００２８】
上述したように、ＰＤ２０３及びＰＤ２０４はそれぞれに対応する転送スイッチ２０５、２０６を持つが、画素中の回路において、ＦＤ２０７以降で信号読み出しに用いる回路は共有する。このような構成にすることで、画素の縮小化を図ることができる。また、図示したように転送パルスφＴＸ１、φＴＸ２を提供する配線は各行に配列された画素により共有される。
【００２９】
次に、上記構成を有する撮像素子１００の駆動方法について説明する。図７は撮像素子の駆動パターンを示すタイミングチャートであり、１行分の信号を読み出し回路１０３に読み出す駆動について示している。先ず、時間ｔ６０１の間に、リセットパルスφＲＥＳと転送パルスφＴＸ１、φＴＸ２を同時に高電位（以下、「Ｈ」）にする。これにより、リセットスイッチ５０４と転送スイッチ２０５、２０６がオンとなり、ＰＤ２０３、ＰＤ２０４、ＦＤ２０７の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１、φＴＸ２が低電位（以下、「Ｌ」）になると、ＰＤ２０３、ＰＤ２０４において電荷蓄積が開始される。
【００３０】
次に、電荷蓄積時間に基づいて決められる所定時間経過後、時間ｔ６０３において選択パルスφＳＥＬをＨにして選択スイッチ５０２をオンすることで読み出し行を選択し、１行分の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳをＬにして、ＦＤ２０７のリセットを解除する。
【００３１】
時間ｔ６０４の間にφＴＮをＨにして、読み出し回路１０３に、ＦＤ２０７のリセット信号であるＮ信号を読み出して記録する。なお図示しないが、読み出し回路１０３では、φＴＮ、φＳ１、φＳ２の制御に基づいて、ＦＤ２０７の電位を垂直出力線５０３を介して読み出し、各々信号を記録しておく。次に、時間ｔ６０５の間に転送パルスφＴＸ１とφＳ１を同時にＨにして転送スイッチ２０５をオンすることで、ＰＤ２０３の光信号とノイズ信号の加算信号である第１ＰＤ信号を読み出し回路１０３に記録する。
【００３２】
次に、リセットスイッチ５０４をオンしない状態で、時間ｔ６０６の間に転送パルスφＴＸ１、φＴＸ２とφＳ２を同時にＨにして転送スイッチ２０５、２０６をオンする。これにより、ＰＤ２０３の光信号とＰＤ２０４の光信号とノイズ信号とが混合された加算信号である第２ＰＤ信号を読み出し回路１０３に記録する。時間ｔ６０５で一度転送パルスφＴＸ１をオンしてＰＤ２０３の信号をＦＤ２０７に読み出しているので、時間ｔ６０６では転送パルスφＴＸ１はオフ状態でもよい。また、厳密には、時間ｔ６０１の終了から時間ｔ６０６の終了までが蓄積時間ｔ６０２となる。なお、転送パルスφＴＸ２をＨにしてＰＤ２０４をリセットするタイミングを、時間ｔ６０５と時間ｔ６０６の時間差分、遅らせても良い。
【００３３】
上記の動作で読み出し回路１０３に読み出されたＮ信号、第１ＰＤ信号、第２ＰＤ信号に基づいて、第１ＰＤ信号からノイズ信号を差し引いたＡ像信号と、第２ＰＤ信号からノイズ信号を差し引いた（Ａ＋Ｂ）像信号（画像信号）が撮像素子１００の外部に出力される。この画像信号はＰＤ２０３とＰＤ２０４の信号を合成した信号であるので、後段の信号処理により（Ａ＋Ｂ）像信号（画像信号）からＡ像信号を減算することでＢ像信号を生成することができる。
【００３４】
次に、撮像素子１００で撮影レンズの射出瞳の異なる瞳領域の像が得られる特性を生かした、位相差方式の焦点検出方法の概念について、図８を参照して説明する。図８（ａ）は、Ａ像信号を得るために１行に配置された画素群（Ａライン）と、Ｂ像信号を得るために１行に配置された画素群（Ｂライン）をそれぞれ示している。図８（ｂ）は合焦状態、図８（ｃ）は前ピン状態、図８（ｄ）は後ピン状態を示し、それぞれＡライン及びＢラインから出力されたＡ像及びＢ像を示している。
【００３５】
Ａ像及びＢ像は、図８から分かるように、合焦状態、前ピン状態及び後ピン状態の何れであるかによりに２像の間隔が異なる。これを利用して、像間隔が合焦状態の間隔になるように、撮影レンズに含まれるフォーカスレンズを移動させてピントを合わせることができる。そのためのフォーカスレンズの移動量は、２像のずれ量から計算して求めることができる。
【００３６】
図９、図１０を用いて、合焦位置からのずれ量を求める演算であるＡ像とＢ像の２像の間隔を算出する方法について説明する。図９は撮像素子１００上での焦点検出領域を示す図である。図９（ａ）では、焦点検出領域８０２は、中心位置８０１を中心にして、Ｘ方向がｐからｑ列、Ｙ方向がｒからｓ行の範囲を示している。シフト量は−ｉｍａｘから＋ｉｍａｘまでである。実質的な焦点検出領域はシフト量も含んだ焦点検出領域８０３となる。図９（ｂ）は、図９（ａ）と異なる位置の焦点検出を行う場合の焦点検出領域を示している。図９（ｂ）のように画面上の任意の場所に焦点検出領域を設定することで、画面上の任意の場所で合焦位置からのずれ量を求める演算を行うことが可能である。
【００３７】
図１０は撮像素子から得られた像データから、合焦位置からのずれ量、ひいては、フォーカスレンズ移動量を求める演算の手順を示すフローチャートである。図１０を用いて、図９で説明した焦点検出領域の合焦位置からのずれ量を求める焦点検出演算について説明する。なお、ここでは、相関演算を行うための上記のＡ像の信号とＢ像の信号は既に取得されているものとする。
【００３８】
処理がスタートすると、Ｓ９０１で最初の行Ｙ＝ｒを選択する。次にＳ９０２では後述する相関波形Ｃ（Ｉｙ）をゼロクリアする。次に、Ｓ９０３でＩｙ＝−Ｉｍａｘにする。ここではＹ＝ｒ行なので、ｒ行での像ずれ量を求める。次にＳ９０４でＢ像の画素のデータをＩｙ画素分、シフトする。次にＳ９０５でＡ像とＢ像のＩｙ画素分シフトした時の相関値を求める。
【００３９】
具体的に相関値演算の一例を示すと、以下の式（１）で表わされるように、Ａ像とＢ像の各画素での信号値の差の絶対値を求めることで算出される。
【００４０】
【数１】
2018019293.tif 000003
【００４１】
ここで、Ａｘ、Ｂｘは指定した行での、Ａ像、Ｂ像のｘ座標の出力をそれぞれ示す。
つまり、Ｃ（Ｉｙ）は、Ｂ像をＩｙ画素分シフトさせたときのＡ像とＢ像の差の絶対値の総和を表わしている。
【００４２】
次に、Ｓ９０６では、Ｉｙ＋１をＩｙに代入する（１画素ずらす）。Ｓ９０７でＩｙ＞ＩｍａｘならＳ９１０に進み、ＩｙがＩｍａｘ以下であれば、Ｓ９０４、Ｓ９０５、Ｓ９０６を繰り返す。従って、Ｓ９１０に進むときには、Ｉｙが−Ｉｍａｘから＋Ｉｍａｘまでの１行分の相関値の集合である相関波形Ｃ（Ｉｙ）が求まっていることになる。
【００４３】
次にＳ９０８では、Ｃ（Ｉｙ）＋Ｃ（Ｉ）をＣ（Ｉ）に代入する。次にＳ９０９でＹ＋１をＹに代入し、Ｓ９１０でＹ＞ｓならば、Ｓ９１１に進み、そうでない場合はＳ９０２に戻って上記処理を繰り返す。つまりＳ９１０では、各行のＣ（Ｉｙ）を加算してＣ（Ｉ）を生成し、それをｒからｓまでの各行分繰り返すことで、各行の相関波形Ｃ（Ｉｙ）から全行加算された相関波形Ｃ（Ｉ）を求めている。
【００４４】
ここで、相関波形Ｃ（Ｉ）について図１１を用いて説明する。図１１は相関波形Ｃ（Ｉ）を模式的に示す図である。相関波形Ｃ（Ｉ）はシフト量ＩずらしたときのＡ像とＢ像の相関値を示し、相関値を差の絶対値の総和としている場合には相関波形Ｃ（Ｉ）の出力が最も低い場所が最も相関が高い。図１１（ａ）で示すように、合焦時には、相関波形Ｃ（Ｉ）のうち、最も相関が高い場合のＩの値、すなわち相関波形Ｃ（Ｉ）の出力が最も低い場所のＩの値は０である。また、図１１（ｂ）、図１１（ｃ）で示すように、ピントがずれているときには、ずれている量に基づいたシフト量Ｉにおいて、最も相関が高くなる。つまり最も相関が高い場所のシフト量は像ずれ量と等価である。
【００４５】
次に、Ｓ９１１では全行の相関波形Ｃ（Ｉｙ）が加算された相関波形Ｃ（Ｉ）のうち、最も相関があるシフト量Ｉを求める。具体的には図１１を用いて説明した前述のとおり、最も相関がある場合のシフト量Ｉ、すなわち相関波形Ｃ（Ｉ）の出力が最も低い場所のＩを求めればよい。Ｓ９１１では、最も相関のある場合のシフト量Ｉを相関波形Ｃ（Ｉ）のうちから求めることで、ｒ行からｓ行におけるＡ像、Ｂ像間の像のずれ量を算出する。Ｓ９１２では、求めた像のずれ量を換算することで、最終的にピントのずれ量Ｌを求め、処理を終了する。
【００４６】
このように各行で相関波形Ｃ（Ｉｙ）を求め、焦点検出領域の行数分だけ相関波形Ｃ（Ｉｙ）を加算して、相関波形Ｃ（Ｉ）を生成することによって、図９で示した２次元の焦点検出領域におけるピントのずれ量を求めることができる。ピントのずれ量Ｌに基づいて、フォーカスレンズをＬ分だけ移動することで、焦点検出領域において被写体を合焦させることができる。なお、位相差方式の焦点検出方法におけるＡ像、Ｂ像間の像のずれ量から、焦点検出領域におけるピントのずれ量Ｌおよび被写体までの距離Ｚが所定の換算により求められることは公知の技術である。
【００４７】
次に、図１２を用いて、距離情報マップの作成方法について説明する。図１２（ａ）は、画素アレイ１０１から得られる像データを、垂直方向にｍ個、水平方向にｎ個のブロック（分割領域）に分割した状態を示す図である。一番左上のブロックをＷ１１とし、隣接右のブロックをＷ１２、隣接下のブロックをＷ２１、…、一番右下のブロックをＷｍｎとする。そして、各ブロックごとに最初のＷ１１から最後のＷｍｎまでを順番に焦点検出領域として設定しながら、各ブロックごとに画像の奥行き方向の距離情報を求めていく。各ブロックごとのＡ像、Ｂ像間の像のずれ量の求め方は、上記図９、図１０で説明した焦点検出領域におけるＡ像、Ｂ像間の像のずれ量の求め方と同様の方法であるため説明は省略する。
【００４８】
図１２（ｂ）は、近景の建物と遠景の建物とが混在する場合の像データの一例を示している。図１２（ｃ）は、Ｗ１１からＷｍｎまでの各ブロックごとに求められた距離情報が、同じくブロックごとにマップ状に配置された（ｍ×ｎ）個の記憶領域に記憶される状態を模式的に示した図である。このように、２次元上の位置情報と対応付けて、近景の建物に対応するブロックのグループには距離情報Ｚ１が記憶され、遠景の建物に対応するブロックのグループには距離情報Ｚ２が記憶される（Ｚ１＜Ｚ２）。
【００４９】
図１３は、図１における撮像信号処理回路１２０７の詳細な構成を示す内部構成図である。図１３において、減算回路１３０１は撮像素子１００から入力された（Ａ＋Ｂ）信号とＡ信号とからＢ信号を分離する。相関演算回路１３０２は、Ａ信号、Ｂ信号間の像のずれ量を求める。焦点検出領域設定回路１３０３は相関演算のための焦点検出領域を設定する。演算用画像バッファメモリ１３０４は、フレーム画像を一時記憶した後に、読み出してＲＳ歪み補正（ローリングシャッタ方式における歪み補正）を行うためのメモリである。
【００５０】
デフォーカス量算出回路１３０５はＡ信号、Ｂ信号間の像のずれ量から合焦点までの距離を算出する。被写体距離情報算出回路１３０６は指定の焦点検出領域における被写体距離情報を算出する。距離情報マップ生成回路１３０７は全体制御演算部１２０９からの制御信号および被写体距離情報算出回路１３０６からの被写体距離情報に基づいて距離情報マップを生成する。距離情報マップ生成回路１３０７には、生成された距離情報を記憶するマップ状に配置された（ｍ×ｎ）個の記憶領域が含まれる。被写体領域分離回路１３０８は距離情報マップ生成回路１３０７で生成された距離情報マップを用いて被写体領域を分離する。ＲＳ歪補正回路１３０９は演算用画像バッファメモリ１３０４に一時記憶されたフレーム画像に対して、被写体領域分離回路１３０８で分離された被写体領域ごとに幾何変形（アフィン変換）を行う。
【００５１】
次に図１４、図１５を用いて、本実施形態の撮像装置の動作手順について説明する。図１４、図１５は、本実施形態における撮影シーケンスおよび信号処理の手順を示すフローチャートである。図１４はメインルーチンを示しており、図１５（ａ）、（ｂ）、（ｃ）は、それぞれ、ＲＳ歪み補正のサブルーチンのバリエーションを示している。
【００５２】
図１４において、まず、不図示の電源スイッチにより撮像システムが起動された後、Ｓ１４０１では、全体制御演算部１２０９により、操作部１２１５からユーザーが入力した設定に基づき各種の撮影パラメータを初期化する。初期化したパラメータは第２のメモリ１２１４に記録される。
【００５３】
Ｓ１４０２では、操作部１２１５からユーザーが入力した設定に基づき、移動被写体の速度設定を行い、設定された速度ｖは第２のメモリ１２１４に記録される。なお、移動被写体の速度設定の仕方は、直接、ユーザーが入力する形式であってもよいし、ユーザーが選択した撮影シーンモードなどのシチュエーションに合わせて、予め用意した既定値を設定するなどの方法でもよい。
【００５４】
Ｓ１４０３では、被写体の映像をリアルタイムに表示部１２１１へ表示させるライブビューモードで撮像システムを駆動させる。具体的には、撮像素子１００を画像信号の一部を加算、または間引いて読み出す加算・間引きモードで駆動させて画像信号を読出し、読み出した画像信号に対して撮像信号処理回路１２０７で各種信号処理を施してから表示部１２１１へ表示する。
【００５５】
Ｓ１４０４では、ライブビューモード駆動を継続しつつ、測光動作（ＡＥ動作）、焦点検出動作（ＡＦ動作）を行う。つまり、撮像信号処理回路１２０７では、撮像素子１００から読み出した画像信号を元に被写体の明るさや焦点位置を測定し、適切な明るさ、焦点位置になるように、絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを算出する。
【００５６】
算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌになるよう全体制御演算部１２０９からレンズ駆動部１２０２、絞り駆動部１２０５に指令を送り、撮影レンズ１２０１、絞り１２０４を駆動させる。上記で算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ１２１４へ記録する。
【００５７】
Ｓ１４０５では、全体制御演算部１２０９により、操作部１２１５にある撮影レリーズスイッチ（ＳＷ）のＯＮ／ＯＦＦを判定し、ＳＷがＯＮであればＳ１４０６へ進み、ＯＦＦであれば再びＳ１４０３へ戻り、ライブビュー駆動を継続する。
【００５８】
Ｓ１４０６では、全体制御演算部１２０９からの指令により、第２のメモリ１２１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出して、レンズ駆動部１２０２、絞り駆動部１２０５を介して撮影レンズ１２０１、絞り１２０４を駆動する。
【００５９】
Ｓ１４０７では、本撮影用に、ライブビューモードによる駆動時とは異なり、撮像素子１００上の全ての画素から画像信号を読み出す全画素読み出しモードに駆動方法を切り替える。そして、シャッタ速度Ｔｖに相当するリセット動作から読み出し動作までの露光時間を設けて、露光・蓄積読み出しの撮影動作を開始する。
【００６０】
読み出し動作の開始時点から、Ｓ１４０８で、撮像素子１００から読み出された撮像信号（Ａ＋Ｂ）を、撮像信号処理回路１２０７において演算用画像バッファメモリ１３０４に記憶する。この動作と並行して、分離されたＡ信号、Ｂ信号から相関演算により、（ｍ×ｎ）個のブロックに分割された焦点検出領域ごとに、順次、被写体距離情報の抽出を行い、距離情報マップの記憶領域に記憶していく。そして、１画面分の画像信号の読み出しを終えて撮像信号のバッファメモリへの記憶および被写体距離情報の抽出が全て完了したところで、距離情報マップの作成が完了する。Ｓ１４０９では、ＲＳ歪み補正処理のサブルーチンに移行して、ＲＳ歪み補正処理を行う。ＲＳ歪み補正処理のサブルーチンの詳細については後述する。
【００６１】
ＲＳ歪み補正処理が終了したら、Ｓ１４１０でノイズ処理、シェーディング処理、ＷＢ処理などの各種の信号処理を含めた画像データの現像、圧縮を行い、Ｓ１４１１で記録媒体１２１２に撮影画像として記録して、一連の撮影シーケンスを終了する。なお、Ｓ１４０１からＳ１４１１で説明した撮影シーケンスを構成する各ステップは、全体制御演算部１２０９からの指令に基づいて順次実行される。
【００６２】
次に、ＲＳ歪み補正処理のサブルーチンについて説明する。図１５（ａ）は、ＲＳ歪み補正処理のサブルーチンのひとつの例を示すフローチャートであり、図１６は、ＲＳ歪み補正の行われる様子を示す図である。
【００６３】
図１６（ａ）は撮影シーンの一例を示しており、建物などの静止物を背景にして、右から左に移動する電車などの移動体を主被写体として撮影した場合を想定している。図１６（ｃ）は、この撮影シーンが図１４のＳ１４０８で撮影されてバッファメモリ１３０４に記憶された画像を示す。
【００６４】
背景の建物はオリジナルのシーンそのままに歪みの無い状態で記憶されるのに対して、移動体である電車の箱型形状は、画像の下方に行くほど電車の移動により左側にシフトし、菱型形状に歪んだ状態で記憶される。
【００６５】
この場合、画像の垂直方向とシフト量とがなす角度をθとすると、この歪みは、一般的にアフィン変換と呼ばれる以下の式（２）で表わされる座標変換により元の箱型形状に戻すことができる。
【００６６】
【数２】
2018019293.tif 000004
【００６７】
図１６（ｂ）は、アフィン変換による図形の形状変化を説明した図である。図１６（ｄ）は、図１４のＳ１４０８で作成された距離情報マップを示す。距離情報マップ上に歪みのない背景の建物の領域ＡＺ２に対応して建物までの距離情報Ｚ２が記憶され、歪みのある電車の領域ＡＺ１に対応して電車までの距離情報Ｚ１が記憶される。
【００６８】
ここから、図１５（ａ）のフローチャートについて説明する。図１４のＳ１４０９から図１５（ａ）のＲＳ歪み補正処理のサブルーチンに移行すると、Ｓ１４２１では作成された距離情報マップからＲＳ歪み補正領域を抽出する。具体的には、合焦時の距離情報Ｚ０に対して、合焦範囲とみなせる被写体距離情報｜Ｚ０±α｜未満の領域を抽出する。この場合は主被写体である電車に合焦しているので電車の領域ＡＺ１が抽出される。
【００６９】
次に、Ｓ１４２２では補正領域として抽出された電車の領域ＡＺ１に対して、図１４のＳ１４０２で設定された被写体速度ｖと検出された被写体距離情報Ｚ１から補正量θを算出する。補正量θは、被写体速度ｖに比例し被写体距離Ｚ１に反比例するパラメータとして容易に計算で求めることができる。
【００７０】
次に、Ｓ１４２３では補正領域として抽出された電車の領域ＡＺ１に対して、補正量θによる式（２）を用いた座標変換により歪み形状の補正を行う。補正が完了したらサブルルーチンを終えて図１４のメインルーチンに戻る。
【００７１】
図１６（ｆ）は、図１５（ａ）のＳ１４２３で抽出された電車の領域ＡＺ１に対して座標変換を行った補正後の状態を模式的に示したもので、図１６（ｅ）は、バッファメモリ１３０４に記憶された実際の画像の補正後の状態を示したものである。図１６（ｅ）に示されるように、歪みのない背景の建物の形状はそのままに保ちつつ、歪みのある電車の形状を正しく補正することができる。
【００７２】
図１５（ｂ）は、ＲＳ歪み補正処理のサブルーチンの他の例を示すフローチャートであり、図１７は、ＲＳ歪み補正の行われる様子を説明する図である。図１７（ａ）は撮影シーンの一例を示した図であり、左から右に移動する電車の車窓から外の風景を撮影した場合を想定している。図１７（ｂ）は、この撮影シーンが図１４のＳ１４０８で撮影されてバッファメモリ１３０４に記憶された画像を示す。
【００７３】
高速に移動して見える近景の家屋は歪み量が大きく、相対的に移動量の小さい遠景の建物は歪み量が小さく見える。どちらの被写体も画像の下方に行くほど電車の移動により左側にシフトするために菱型形状に歪んだ状態で記憶される。
【００７４】
図１７（ｃ）は、図１４のＳ１４０８で作成された距離情報マップを示す。距離情報マップ上に歪みの量の大きい近景の家屋の領域ＡＺ１に対応して家屋までの距離情報Ｚ１が記憶され、歪みの比較的小さい遠景の建物の領域ＡＺ２に対応して建物までの距離情報Ｚ２が記憶される。
【００７５】
ここから、図１５（ｂ）のフローチャートについて説明する。図１４のＳ１４０９から図１５（ｂ）のＲＳ歪み補正処理のサブルーチンに移行すると、Ｓ１４３１では作成された距離情報マップからＲＳ歪み補正領域を抽出する。具体的には、被写体領域を近景から遠景までの間で既定の閾値で区分けして、区分けされた被写体距離ごとに被写体領域を抽出する。この場合は近景の家屋の領域ＡＺ１と遠景の建物の領域ＡＺ２とが抽出される。
【００７６】
次に、Ｓ１４３２では補正領域として抽出された近景の家屋の領域ＡＺ１に対して、図１４のＳ１４０２で設定された乗車中の電車の速度ｖと検出された被写体距離情報Ｚ１から補正量θ１を算出する。同じく補正領域として抽出された遠景の建物の領域ＡＺ２に対して、乗車中の電車の速度ｖと検出された被写体距離情報Ｚ２から補正量θ２を算出する。
【００７７】
次に、Ｓ１４３３では補正領域として抽出された近景の家屋の領域ＡＺ１に対して補正量θ１による式（２）を用いた座標変換により歪み形状の補正を行う。同じく補正領域として抽出された遠景の建物の領域ＡＺ２に対して補正量θ２による式（２）を用いた座標変換により歪み形状の補正を行う。補正が完了したらサブルルーチンを終えて図１４のメインルーチンに戻る。
【００７８】
図１７（ｅ）は、図１５（ｂ）のＳ１４３３で抽出された近景の家屋の領域ＡＺ１および遠景の建物の領域ＡＺ２に対して座標変換が行われた補正後の状態を示したものである。また、図１７（ｄ）は、バッファメモリ１３０４に記憶された実際の画像の補正後の状態を示したものである。図１７（ｄ）に示されるように、それぞれ歪み量の異なる近景の家屋と遠景の建物の形状を正しく補正することができる。
【００７９】
図１５（ｃ）は、ＲＳ歪み補正処理のサブルーチンのさらに他の例を示すフローチャートであり、図１８は、ＲＳ歪み補正の行われる様子を説明する図である。図１８（ａ）は撮影シーンの一例を示した図であり、左から右に移動する電車の車窓から外の風景を撮影した場合を想定している。図１８（ｂ）は、この撮影シーンが図１４のＳ１４０８で撮影されてバッファメモリ１３０４に記憶された画像を示す。
【００８０】
高速に移動して見える近景の家屋は歪み量が大きく、画像の下方に行くほど電車の移動により左側にシフトするために菱型形状に歪んだ状態で記憶される。これに対して、所定の距離より遠方（所定の距離以上）にある山などは、移動量が非常に小さくほとんど歪んで見えない。
【００８１】
図１８（ｃ）は、図１４のＳ１４０８で作成された距離情報マップを示す。距離情報マップ上に歪みの量の大きい近景の家屋の領域ＡＺ１に対応して家屋までの距離情報Ｚ１が記憶され、ほぼ歪みのない遠方の山の領域ＡＺ２に対応して山までの距離情報Ｚ２が記憶される。
【００８２】
ここから、図１５（ｃ）のフローチャートについて説明する。図１４のＳ１４０９から図１５（ｃ）のＲＳ歪み補正処理のサブルーチンに移行すると、Ｓ１４４１では作成された距離情報マップからＲＳ歪み補正領域を抽出する。具体的には、近景とみなせる所定の閾値Ｚ未満の被写体領域を抽出する。この場合は近景の家屋の領域ＡＺ１が抽出される。
【００８３】
次に、Ｓ１４４２では補正領域として抽出された近景の家屋の領域ＡＺ１に対して、図１４のＳ１４０２で設定された乗車中の電車の被写体速度ｖと検出された被写体距離情報Ｚ１から補正量θを算出する。
【００８４】
次に、Ｓ１４４３では補正領域として抽出された近景の家屋の領域ＡＺ１に対して補正量θによる式（２）を用いた座標変換により歪み形状の補正を行う。補正が完了したらサブルルーチンを終えて図１４のメインルーチンに戻る。
【００８５】
図１８（ｅ）は、図１５（ｃ）のＳ１４３３で抽出された近景の家屋の領域ＡＺ１に対して座標変換が行われた補正後の状態を示したもので、図１８（ｄ）は、バッファメモリ１３０４に記憶された実際の画像の補正後の状態を示したものである。図１７（ｄ）に示されるように、ほぼ歪みのない遠方の山の形状はそのままに保ちつつ、歪みのある近景の家屋の形状を正しく補正することができる。
【００８６】
＜第２の実施形態＞
第１の実施形態では、ＲＳ歪み補正のためのパラメータとして、移動被写体の速度ｖを撮影シーンの状況に合わせて規定値で設定していた。この方法では、移動速度の異なる複数の被写体に対しては、個々に適切な値を設定する必要があるためチューニングに手間が掛かる。これに対して第２の実施形態では、ライブビュー時も距離情報マップを作成し、本撮影時の距離情報マップと比較することで、個々の移動被写体の速度を自動的に検出することができる例について説明する。
【００８７】
図１９を用いて、本発明の第２の実施形態における撮像システムの動作手順について説明する。なお、本実施形態における撮像装置の基本構成は第１の実施形態と同様であるため説明を省略する。図１９は、第２の実施形態における撮影シーケンスおよび信号処理をフローチャートとして記載したものである。図１９（ａ）はメインルーチンを示しており、図１９（ｂ）はＲＳ歪み補正のサブルーチンを示している。
【００８８】
図１９（ａ）において、まず、不図示の電源スイッチにより撮像装置が起動された後、Ｓ１８０１では、全体制御演算部１２０９により、操作部１２１５からユーザーが入力した設定に基づき各種の撮影パラメータを初期化する。初期化したパラメータは第２のメモリ１２１４に記録される。
【００８９】
Ｓ１８０２では、被写体の映像をリアルタイムに表示部１２１１へ表示させるライブビューモードで撮像システムを駆動させる。具体的には、撮像素子１００を画像信号の一部を加算、または間引いて読み出す加算・間引きモードで駆動させて画像信号を読出し、読み出した画像信号に対して撮像信号処理回路１２０７により各種信号処理を施してから表示部１２１１へ表示する。
【００９０】
Ｓ１８０３では、ライブビューモード駆動を継続しつつ、測光動作（ＡＥ動作）、焦点検出動作（ＡＦ動作）を行う。つまり、撮像信号処理回路１２０７では、撮像素子１００から読み出した画像信号を元に被写体の明るさや焦点位置を測定し、適切な明るさ、焦点位置になるように、絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを算出する。
【００９１】
算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌになるよう全体制御演算部１２０９からレンズ駆動部１２０２、絞り駆動部１２０５に指令を送り、撮影レンズ１２０１、絞り１２０４を駆動させる。上記で算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ１２１４へ記録する。
【００９２】
Ｓ１８０４では、ライブビュー用の距離情報マップを作成し更新する。すなわち、ライブビューモード駆動により、撮像素子１００から読み出されて分離されたＡ信号、Ｂ信号から相関演算により、（ｍ×ｎ）個のブロックに分割された焦点検出領域ごとに、順次、被写体距離情報の抽出を行う。そして、ライブビュー用の距離情報マップの記憶領域に記憶していく。そして、１画面分の画像信号の読み出しを終えて被写体距離情報の抽出が全て完了したところで、ライブビュー用の距離情報マップの作成が完了する。
【００９３】
Ｓ１８０５では、全体制御演算部１２０９により、操作部１２１５にある撮影レリーズスイッチ（ＳＷ）のＯＮ／ＯＦＦを判定し、ＳＷがＯＮであればＳ１８０６へ進み、ＯＦＦであれば再びＳ１８０２へ戻り、ライブビュー駆動を継続する。
【００９４】
Ｓ１８０６では、全体制御演算部１２０９からの指令により、第２のメモリ１２１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出して、レンズ駆動部１２０２、絞り駆動部１２０５を介して撮影レンズ１２０１、絞り１２０４を駆動する。
【００９５】
Ｓ１８０７では、本撮影用に、ライブビューモードによる駆動時とは異なり、撮像素子１００上の全ての画素から画像信号を読み出す全画素読み出しモードに駆動方法を切り替える。そして、シャッタ速度Ｔｖに相当するリセット動作から読み出し動作までの露光時間を設けて、露光・蓄積読み出しの撮影動作を開始する。
【００９６】
読み出し動作の開始時点から、Ｓ１８０８で、撮像素子１００から読み出された撮像信号（Ａ＋Ｂ）を、撮像信号処理回路１２０７においてバッファメモリ１３０４に記憶する。この動作と並行して、分離されたＡ信号、Ｂ信号から相関演算により、（ｍ×ｎ）個のブロックに分割された焦点検出領域ごとに、順次、被写体距離情報の抽出を行い、距離情報マップの記憶領域に記憶していく。そして、１画面分の画像信号の読み出しを終えて撮像信号のバッファメモリへの記憶および被写体距離情報の抽出が全て完了したところで、本撮影用の距離情報マップの作成が完了する。Ｓ１８０９では、ＲＳ歪み補正処理のサブルーチンに移行して、ＲＳ歪み補正処理を行う。ＲＳ歪み補正処理のサブルーチンの詳細については後述する。
【００９７】
ＲＳ歪み補正処理が終了したら、Ｓ１８１０でノイズ処理、シェーディング処理、ＷＢ処理などの各種の信号処理を含めた画像データの現像、圧縮を行い、Ｓ１８１１で記録媒体１２１２に撮影画像として記録して、一連の撮影シーケンスを終了する。なお、Ｓ１８０１からＳ１８１１で説明した撮影シーケンスを構成する各ステップは、全体制御演算部１２０９からの指令に基づいて順次実行される。
【００９８】
次に、ＲＳ歪み補正処理のサブルーチンについて説明する。図１９（ｂ）は、ＲＳ歪み補正処理のサブルーチンの一例を示すフローチャートであり、図２０は、ＲＳ歪み補正の行われる様子を示す図である。
【００９９】
図２０（ａ）は撮影シーンの一例を示しており、左から右に移動する電車などの移動体を背景にして、右から左に移動する電車などの移動体を撮影した場合を想定している。図２０（ｂ）は、この撮影シーンが図１９（ａ）のＳ１８０４で撮影されてバッファメモリ１３０４に記憶されたライブビュー画像を示す。図２０（ｄ）は、撮影シーンが図１９（ａ）のＳ１８０８で撮影されてバッファメモリ１３０４に記憶された本撮影画像を示す。
【０１００】
背景の移動体である電車の箱型形状は、画像の下方に行くほど電車の移動により右側にシフトし、菱型形状に歪んだ状態で記憶される。これに対して、前方の移動体である電車の箱型形状は、画像の下方に行くほど電車の移動により左側にシフトし、背景の電車とは逆方向の菱型形状に歪んだ状態で記憶される。
【０１０１】
図２０（ｃ）は、図２０（ａ）のＳ１８０８で作成されたライブビュー用の画像信号内の距離情報マップを示す。距離情報マップ上に歪みのある背景の電車の領域ＬＡＺ２に対応して電車までの距離情報Ｚ２が記憶され、逆方向に歪みのある前方の電車の領域ＬＡＺ１に対応して電車までの距離情報Ｚ１が記憶される。
【０１０２】
ここから、図１９（ｂ）のフローチャートについて説明する。図１９（ａ）のＳ１８０９から図１９（ｂ）のＲＳ歪み補正処理のサブルーチンに移行すると、Ｓ１８２１では作成された距離情報マップからＲＳ歪み補正領域を抽出する。具体的には、被写体距離領域を近景から遠景までの間で既定の閾値で区分けして、区分けされた被写体距離ごとに被写体領域を抽出する。この場合、ライビュー用の距離情報マップからは前方の電車の領域ＬＡＺ１と背景の電車の領域ＬＡＺ２とが抽出される。本撮影用の距離情報マップからは前方の電車の領域ＡＺ１と背景の電車の領域ＡＺ２とが抽出される。
【０１０３】
次に、Ｓ１８２２では補正領域として抽出された前方の電車のライブビュー用の領域ＬＡＺ１と本撮影用の領域ＡＺ１の間の水平方向のずれ量Ｓ１を検出して、前方の電車の被写体速度ｖ１を求め、補正量θ１を算出する。同じく補正領域として抽出された背景の電車のライブビュー用の領域ＬＡＺ２と本撮影用の領域ＡＺ２の間の水平方向のずれ量Ｓ２を検出して、背景の電車の被写体速度ｖ２を求め、補正量θ２を算出する。
【０１０４】
次に、Ｓ１８２３では補正領域として抽出された前方の電車の領域ＡＺ１に対して補正量θ１による式（２）を用いた座標変換により歪み形状の補正を行う。同じく補正領域として抽出された背景の電車の領域ＡＺ２に対して補正量θ２による式（２）を用いた座標変換により歪み形状の補正を行う。補正が完了したらサブルルーチンを終えて図１９（ａ）のメインルーチンに戻る。
【０１０５】
図２０（ｆ）は、図１９（ｂ）のＳ１８２３で抽出された前方の電車の領域ＡＺ１および背景の電車の領域ＡＺ２に対して座標変換が行われた補正後の状態を模式的に示したものである。また、図２０（ｅ）は、バッファメモリ１３０４に記憶された画像の補正後の状態を示したものである。図１９（ｅ）に示されるように、それぞれ歪み量の異なる前方の電車と背景の電車の形状を正しく補正することができる。
【０１０６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０７】
１００：撮像素子、１２０１：撮影レンズ、１２０２：レンズ駆動部、１２０４：絞り、１２０５：絞り駆動部、１２０７：撮像信号処理回路、１２０９：全体制御演算部
【図１】
2018019293.tif 000005
【図２】
2018019293.tif 000006
【図３】
2018019293.tif 000007
【図４】
2018019293.tif 000008
【図５】
2018019293.tif 000009
【図６】
2018019293.tif 000010
【図７】
2018019293.tif 000011
【図８】
2018019293.tif 000012
【図９】
2018019293.tif 000013
【図１０】
2018019293.tif 000014
【図１１】
2018019293.tif 000015
【図１２】
2018019293.tif 000016
【図１３】
2018019293.tif 000017
【図１４】
2018019293.tif 000018
【図１５】
2018019293.tif 000019
【図１６】
2018019293.tif 000020
【図１７】
2018019293.tif 000021
【図１８】
2018019293.tif 000022
【図１９】
2018019293.tif 000023
【図２０】
2018019293.tif 000024
【図２１】
2018019293.tif 000025
【図２２】
2018019293.tif 000026
【図２３】
2018019293.tif 000027