(57)【要約】【課題】レンズ歪み補正、ＦＰ歪み補正及び手ぶれ補正を高効率に実現する。【解決手段】撮像素子１１の出力信号に基づくＲＡＷ画像Ｉ410から動き検出情報（フレーム間のＸＹ軸動き情報）に応じたＲＡＷ画像Ｉ420を切り出すことで並進ぶれを補正する。ＲＡＷ画像Ｉ420には、レンズ歪み、ＦＰ歪み（フォーカルプレーン歪み）及び回転ぶれが残存している。後置水平信号処理部２４は、ＲＡＷ画像Ｉ420の信号をＹＵＶ信号に変換した後、レンズ歪み、ＦＰ歪み及び回転ぶれの各水平成分を補正することでＹＵＶ画像Ｉ430を生成する。後置垂直信号処理部２７は、ＹＵＶ画像Ｉ430に残存しているレンズ歪み、ＦＰ歪み及び回転ぶれの各垂直成分を補正することでＹＵＶ画像Ｉ440を生成する。【選択図】図１０
2014120984.tif 000002
【特許請求の範囲】
【請求項１】
レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、
レンズ歪みに対する補正、フォーカルプレーン歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、
前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記レンズ歪み、前記フォーカルプレーン歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記レンズ歪み、前記フォーカルプレーン歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行する
ことを特徴とする画像処理装置。
【請求項２】
前記補正部は、前記水平補正処理を行う水平信号処理部及び前記垂直補正処理を行う垂直信号処理部を備え、
前記水平信号処理部は、前記回転ぶれの回転角に応じた水平スキュー処理を含む第１幾何学的変換によって前記回転ぶれの水平成分を補正し、前記垂直信号処理部は、前記回転角に応じた垂直スキュー処理を含む第２幾何学的変換によって前記回転ぶれの垂直成分を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１幾何学的変換は、前記水平スキュー処理と前記回転角に応じた画像縮小処理を含み、
前記第２幾何学的変換は、前記垂直スキュー処理と前記回転角に応じた画像拡大処理を含む
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記垂直信号処理部は、前記撮像素子の出力信号に前記水平補正処理及び前記垂直補正処理を施して得られた画像信号に対し、電子ズームを実行する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、
レンズ歪みに対する補正及びフォーカルプレーン歪みに対する補正を前記撮像素子の出力信号に実行する補正部を備え、
前記補正部は、前記レンズ歪み及び前記フォーカルプレーン歪みの各水平成分を補正するための水平補正処理と、前記レンズ歪み及び前記フォーカルプレーン歪みの各垂直成分を補正するための垂直補正処理と、を分けて実行する
ことを特徴とする画像処理装置。
【請求項６】
レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、
レンズ歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、
前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記レンズ歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記レンズ歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行する
ことを特徴とする画像処理装置。
【請求項７】
レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、
フォーカルプレーン歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、
前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記フォーカルプレーン歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記フォーカルプレーン歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行する
ことを特徴とする画像処理装置。
【請求項８】
レンズ及び撮像素子と、
前記撮像素子の出力信号に対し信号処理を行う、請求項１〜７の何れかに記載の画像処理装置と、を備えた
ことを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びカメラに関する。
【背景技術】
【０００２】
カメラによる動画像撮影時において、カメラの動きの影響により、撮影画像にぶれが混入することがある。ぶれには、ヨー方向及びピッチ方向のぶれから成る並進ぶれと、ロール方向のぶれである回転ぶれと、がある。カメラの動き情報に基づき、フレーム間の並進ぶれ及び回転ぶれを電子的に補正する電子式手ぶれ補正（以下、手ぶれ補正という）が知られている。
【０００３】
また、固体撮像素子に用いられる電子シャッタは、撮像面の全受光画素が共通タイミングで露光されるグローバルシャッタと、異なる水平ライン間で露光タイミングが異なるローリングシャッタに大別される。ローリングシャッタは、ＸＹアドレス型の固体撮像素子、例えばＣＭＯＳイメージセンサで利用される。ローリングシャッタを採用したカメラにおいて、１フレームの露光期間中に固体撮像素子の位置的変化が生じると、撮影画像にフォーカルプレーン歪み（以下、ＦＰ歪みという）が発生する。但し、撮影画像に対して適切な画像処理を行えばＦＰ歪みを除去することが可能である。
【０００４】
また、カメラのレンズにおける収差の影響により、撮影画像に無視できない程度のレンズ歪みが含まれることがある。レンズ歪みを補正する技術の１つとして、水平方向のレンズ歪みと垂直方向のレンズ歪みを別々に補正する第１従来技術が提案されている（例えば特許文献１〜３参照）。当該第１従来技術を用いれば、レンズ歪み補正の高精度化、高速化等が図られる。また、水平方向のレンズ歪み補正と垂直方向のレンズ歪み補正に加えて、ＦＰ歪み補正を行う第２従来技術も提案されている（例えば特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９１４４号公報
【特許文献２】特開２００９−１７７６５１号公報
【特許文献３】特開２０１１−２２３３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
レンズ歪み補正、ＦＰ歪み補正、手ぶれ補正を行うカメラでは、通常、図１９に示す如く、レンズ歪み補正、ＦＰ歪み補正及び手ぶれ補正（特に例えば回転ぶれの補正）が順次行われ、各補正の前後にＤＡＲＭ（Dynamic Random Access Memory）へのアクセスが行われる。従って、図１９の構成では、“ＤＲＡＭからの画像信号の読み出し”、“補正用ＩＣでの信号処理”及び“信号処理後の画像信号のＤＲＡＭへの書き込み”を１セットとする単位処理が３回実行される（但し、最後の単位処理ではＤＲＡＭへの書き込みが割愛されうる）。
【０００７】
また、レンズ歪み補正及びＦＰ歪み補正を行うカメラにおいて、レンズ歪み補正の高精度化等を狙った場合、図２０に示す如く、水平方向のレンズ歪み補正、垂直方向のレンズ歪み補正及びＦＰ歪み補正の順次実行が検討される。図２０の構成でも、単位処理が３回必要である。
また、レンズ歪み補正及び手ぶれ補正を行うカメラにおいて、レンズ歪み補正の高精度化等を狙った場合、図２１に示す如く、水平方向のレンズ歪み補正、垂直方向のレンズ歪み補正及び手ぶれ補正（特に例えば回転ぶれの補正）の順次実行が検討される。図２１の構成でも、単位処理が３回必要である。
また、ＦＰ歪み補正及び手ぶれ補正を行うカメラにおいて、パン方向（ヨー方向）のカメラ運動による水平方向のＦＰ歪みとチルト方向（ピッチ方向）のカメラ運動による垂直方向のＦＰ歪みが発生するとき、図２２に示す如く、水平方向のＦＰ歪み補正、垂直方向のＦＰ歪み補正及び手ぶれ補正（特に例えば回転ぶれの補正）の順次実行が検討される。図２２の構成でも、単位処理が３回必要である。
【０００８】
単位処理の回数が増大すれば、ＤＲＡＭへのアクセスが増大し、消費電力の増大、バンド幅の不足（必要アクセスレートが上限アクセスレートを超える）等の弊害が生じる。従って、単位処理の回数低減に寄与するような技術が切望される。
【０００９】
そこで本発明は、消費電力低減等に寄与する画像処理装置及びカメラを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る第１の画像処理装置は、レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、レンズ歪みに対する補正、フォーカルプレーン歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記レンズ歪み、前記フォーカルプレーン歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記レンズ歪み、前記フォーカルプレーン歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行することを特徴とする。
【００１１】
これにより、例えば上記単位処理を２回行うだけで、レンズ歪み、フォーカルプレーン歪み及び回転ぶれに対する補正を完了することが可能となり、結果、消費電力削減等の効果が期待される。
【００１２】
具体的には例えば、前記補正部は、前記水平補正処理を行う水平信号処理部及び前記垂直補正処理を行う垂直信号処理部を備え、前記水平信号処理部は、前記回転ぶれの回転角に応じた水平スキュー処理を含む第１幾何学的変換によって前記回転ぶれの水平成分を補正し、前記垂直信号処理部は、前記回転角に応じた垂直スキュー処理を含む第２幾何学的変換によって前記回転ぶれの垂直成分を補正する。
【００１３】
より具体的には例えば、前記第１幾何学的変換は、前記水平スキュー処理と前記回転角に応じた画像縮小処理を含み、前記第２幾何学的変換は、前記垂直スキュー処理と前記回転角に応じた画像拡大処理を含む。
【００１４】
また例えば、前記垂直信号処理部は、前記撮像素子の出力信号に前記水平補正処理及び前記垂直補正処理を施して得られた画像信号に対し、電子ズームを実行する。
【００１５】
本発明に係る第２の画像処理装置は、レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、レンズ歪みに対する補正及びフォーカルプレーン歪みに対する補正を前記撮像素子の出力信号に実行する補正部を備え、前記補正部は、前記レンズ歪み及び前記フォーカルプレーン歪みの各水平成分を補正するための水平補正処理と、前記レンズ歪み及び前記フォーカルプレーン歪みの各垂直成分を補正するための垂直補正処理と、を分けて実行することを特徴とする。
【００１６】
本発明に係る第３の画像処理装置は、レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、レンズ歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記レンズ歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記レンズ歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行することを特徴とする。
【００１７】
本発明に係る第４の画像処理装置は、レンズ及び撮像素子を備えたカメラに用いられる画像処理装置において、フォーカルプレーン歪みに対する補正、及び、前記出力信号に基づく動画像上において被写体を回転させる回転ぶれに対する補正を、前記撮像素子の出力信号に実行する補正部を備え、前記補正部は、前記回転ぶれが前記出力信号に与える影響を水平及び垂直成分に分離し、前記フォーカルプレーン歪み及び前記回転ぶれの各水平成分を補正するための水平補正処理と、前記フォーカルプレーン歪み及び前記回転ぶれの各垂直成分を補正するための垂直補正処理と、を分けて実行することを特徴とする。
【００１８】
第２、第３又は第４の画像処理装置によれば、例えば上記単位処理を２回行うだけで、レンズ歪み、フォーカルプレーン歪み及び回転ぶれに対する補正の内、２つの補正を完了することが可能となり、結果、消費電力削減等の効果が期待される。
【００１９】
本発明に係るカメラは、レンズ及び撮像素子と、前記撮像素子の出力信号に対し信号処理を行う前記第１〜第４の画像処理装置の何れかと、を備えたことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、消費電力低減等に寄与する画像処理装置及びカメラを提供することが可能である。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るカメラの外観斜視図である。
【図２】図１のカメラの撮像部の構成図である。
【図３】任意の二次元画像とＸ、Ｙ軸との関係を示す図（ａ）と、Ｘ、Ｙ、Ｘ軸の関係を示す図（ｂ）である。
【図４】レンズ歪みの影響とレンズ歪み補正を示す図である。
【図５】ＦＰ歪みの影響とＦＰ歪み補正を示す図である。
【図６】並進ぶれ及び回転ぶれの補正概念図である。
【図７】回転ぶれの基本的な補正方法を説明するための図である。
【図８】４つの線形変換の様子を示す図である。
【図９】本発明の実施形態に係る回転ぶれの補正手順を示す図である。
【図１０】本発明の実施形態に係るカメラの内部構成ブロック図である。
【図１１】フレーム画像と動画像との関係を示す図である。
【図１２】動き検出情報の構造を示す図である。
【図１３】並進ぶれ、回転ぶれ、Ｚ軸ぶれの画像への影響を示す図である。
【図１４】動き検出センサがカメラに設けられる様子を示した図である。
【図１５】図１０の後置水平信号処理部の機能ブロック図の例である。
【図１６】図１０の後置垂直信号処理部の機能ブロック図の例である。
【図１７】レンズ歪み、ＦＰ歪み及び回転ぶれが、線状被写体の撮影結果に与える影響を説明するための図である。
【図１８】撮影結果にレンズ歪み、ＦＰ歪み及び回転ぶれが含まれているときの、それらの補正手順を説明するための図である。
【図１９】本発明に関連するカメラの第１構成を示す図である。
【図２０】本発明に関連するカメラの第２構成を示す図である。
【図２１】本発明に関連するカメラの第３構成を示す図である。
【図２２】本発明に関連するカメラの第４構成を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２３】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係るカメラ（撮像装置）１の概略的な外観を、カメラ１の被写体ＳＵＢと共に示した図である。図１では、被写体ＳＵＢの例として１人の人物を示しているが、被写体ＳＵＢは１以上の任意の被写体から成る。本実施形態では、説明の便宜上、被写体ＳＵＢは実空間上で静止しているものとする。カメラ１は、動画像を撮影及び記録可能なデジタルビデオカメラ又は静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。図２は、カメラ１の撮像部の構成図である。一点鎖線ＡＸOPTはカメラ１及び光学系１０の光軸を表す。
【００２４】
撮像素子１１を用いて得られたカメラ１の撮影画像は動画像として表示部１４に表示され、撮影者は、表示部１４の表示内容を確認しながら各種の撮影操作を行うことができる。撮影者がカメラ１の筐体を手で把持して撮影操作を行う場合などにおいては、動画像の撮影中にカメラ１がぶれ、結果、撮影によって得られた動画像にぶれが発生することがある。このようなぶれは、一般に手ぶれとも呼ばれる。カメラ１のぶれはカメラ１の動きと同義である。図３（ａ）には、撮像素子１１の出力信号に基づく任意の二次元画像３００が示されている。二次元画像３００の画像信号には、被写体ＳＵＢの画像信号が含まれている。Ｘ軸及びＹ軸は、夫々、二次元画像３００の水平及び垂直方向に平行な軸である。また、図３（ｂ）に示す如く、Ｘ軸及びＹ軸の夫々に直交する軸（即ち二次元画像３００が定義される平面に直交する軸）をＺ軸と呼ぶ。Ｚ軸は光軸ＡＸOPTと一致する。
【００２５】
カメラ１のぶれには、水平方向のぶれであるヨー方向のぶれ、垂直方向のぶれであるピッチ方向のぶれ、及び、回転方向のぶれであるロール方向のぶれが含まれる。ヨー方向及びピッチ方向のぶれにより、夫々、被写体ＳＵＢは画像３００上をＸ軸及びＹ軸方向に沿って平行移動する。従って、ヨー方向のぶれ及びピッチ方向のぶれから形成されるぶれを並進ぶれと呼ぶことができる。尚、カメラ１の回転運動だけでなく、カメラ１の水平方向、垂直方向への並進運動も、夫々、ヨー方向、ピッチ方向のぶれに属すると考える。ロール方向のぶれによって、被写体ＳＵＢは画像３００上で回転する。従って、ロール方向のぶれを回転ぶれと呼ぶことができる。ロール方向のぶれは、光軸ＡＸOPT周りのカメラ１の回転ぶれとも言える。カメラ１のぶれには、更に、距離方向のぶれが含まれる。距離方向のぶれとは、被写体ＳＵＢの被写体距離を増大又は減少させるぶれを指す。被写体ＳＵＢの被写体距離とは、実空間上におけるカメラ１及び被写体ＳＵＢ間の距離を指す。距離方向のぶれによって、画像３００上における被写体ＳＵＢの大きさは増大又は減少する。従って、距離方向のぶれを増減ぶれと呼ぶことができる。但し、以下では、距離方向のぶれをＺ軸ぶれと呼ぶ。
【００２６】
光学系１０は、複数のレンズ及び絞り等から成り、被写体ＳＵＢの光学像を撮像素子１１の撮像面上に結像させる。光学系１０のレンズの収差の影響により、撮像素子１１の撮像面上に結像される被写界（カメラ１の撮影領域内に収まる実空間）の光学像は歪む。この歪みをレンズ歪みと呼ぶ。撮像素子１１の撮像面上に結像される光学像そのものを原画像と呼ぶ。図４（ａ）及び（ｂ）に被写界及び原画像の関係を示す。レンズ歪みは、原画像上において被写体及び被写界を、水平及び垂直方向に歪ませる水平及び垂直成分から成る。レンズ歪みの水平成分を除去する補正をＨＤＩＳ補正と呼び、レンズ歪みの垂直成分を除去する補正をＶＤＩＳ補正と呼ぶ。図４（ｂ）には、原画像にＨＤＩＳ補正及びＶＤＩＳ補正を順次実行した結果が示されている。カメラ１は、所定のレンズ歪み情報に基づきＨＤＩＳ補正及びＶＤＩＳ補正を行うことができ、ＨＤＩＳ補正及びＶＤＩＳ補正の方法として公知の補正方法（例えば特許文献１、２又は３に記載の補正方法）を利用可能である。レンズ歪み情報は、原画像に含まれるレンズ歪みの内容を示す情報であり、カメラ１にとって既知である。
【００２７】
撮像素子（固体撮像素子）１１は、例えば、ＸＹアドレス型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにて形成され、光学系１０を介して入射した光学像を光電変換し、該光電変換によって得られた画像信号を出力する。撮像素子１１は、電子シャッタ機能を有し、所謂ローリングシャッタによって各受光画素の露光を実施する。撮像素子１１には、複数の受光画素によって形成される撮像面が設けられており、撮像面上に定義された複数の水平ライン及び複数の垂直ラインに沿って受光画素が二次元配列されている。ローリングシャッタでは、撮像面の受光画素が露光されるタイミングが水平ラインごとに異なる。つまり、撮像面における異なる水平ライン間で、受光画素の露光タイミングが異なる。
【００２８】
故に、ローリングシャッタでの撮影により得られた原画像に、ＦＰ歪み（フォーカルプレーン歪み）が含まれることがある。ＦＰ歪みは、原画像上において被写体及び被写界を、水平及び垂直方向に歪ませる水平及び垂直成分から成る。図５（ａ）、（ｂ）、（ｃ）に、被写体が垂直方向に伸びる棒状物体であるときの、被写界の様子、水平方向のＦＰ歪みを含んだ原画像の様子、垂直方向のＦＰ歪みを含んだ原画像の様子を示す。原画像を取得するための撮像素子１１の露光期間中に、カメラ１がヨー方向に運動すれば原画像上において棒状物体は傾いたように現れ、カメラ１がピッチ方向に運動すれば原画像上において棒状物体は伸縮する（図５（ｃ）では縮小されている）。ＦＰ歪みの水平成分を除去する補正をＨＦＰ補正と呼び、ＦＰ歪みの垂直成分を除去する補正をＶＦＰ補正と呼ぶ。図５（ｂ）、（ｃ）には、原画像にＨＦＰ補正、ＶＦＰ補正を実行した結果が示されている。カメラ１は、後述のフレーム内動き情報（図１２参照）に基づきＨＦＰ補正及びＶＦＰ補正を行うことができ、ＨＦＰ補正及びＶＦＰ補正の方法として公知の補正方法（例えば、特開２００６−１８６４８１号公報又は特開２０１１−１１４６４９号公報に記載の補正方法）を利用可能である。
【００２９】
撮像素子１１の出力信号には、並進ぶれ、回転ぶれ及びＺ軸ぶれが含まれうる。カメラ１は、それらのぶれを電子的に補正する。この際、図６に示す如く、まずＲＡＷ信号の段階で切り出し処理により並進ぶれを補正してから、ＲＡＷ信号をＹＵＶ信号に変換し、その後、ＹＵＶ信号の段階で回転ぶれ及びＺ軸ぶれを補正する（Ｚ軸ぶれの補正の様子については図６に明示せず）。
【００３０】
図７を参照して、回転ぶれの基本的な補正方法を説明する。図７において、符号ＩORGは、任意の原画像を表している（撮像素子１１の撮像面を表していると考えても良い）。任意の画像において任意の点の座標値を（ｘ，ｙ）にて表す。ｘ及びｙはＸ及びＹ軸上の座標値である。原画像ＩORGの原点Ｏ、中心ＣＮＴの座標値は、夫々、（０，０）、（ＯＰＴX，ＯＰＴY）である。原画像ＩORGの中心ＣＮＴは、撮像面と光軸ＡＸOPTとの交点と一致する。並進ぶれを示す後述のＸＹ軸動き情報に基づき原画像ＩORG上に矩形枠（長方形枠）３３０を設定し、矩形枠３３０の中心３３１を回転中心として用いて、回転ぶれの回転角θだけ矩形枠３３０を回転させることで、原画像ＩORGに矩形枠３４０を設定する。その後、原画像ＩORGから矩形枠３４０内の画像を切り出し、切り出した画像を（−θ）だけ回転することで回転ぶれを補正することができる。点３３２及び３４２の関係等については後述する。
【００３１】
カメラ１では、特徴的な補正方法として、回転ぶれの補正を水平方向の補正（以下、ＨＲＯＴ補正と呼ぶ）と垂直方向の補正（以下、ＶＲＯＴ補正と呼ぶ）に分離し、ＨＲＯＴ補正とＶＲＯＴ補正を別個に実行する。まず、この分離に関する原理式を説明する。
【００３２】
座標値（ｘ，ｙ）に位置する点を座標値（ｘ’，ｙ’）に位置する点に移動させる線形変換の内、式（１）、（２）、（３）、（４）に示される線形変換は、夫々、図８（ａ）、（ｂ）、（ｃ）、（ｄ）に示されるような、水平方向におけるスキュー、水平方向における縮小、垂直方向におけるスキュー、垂直方向における拡大に相当する。
【００３３】
【数１】
2014120984.tif 000003
【００３４】
これら４つの線形変換の組み合わせは、式（５）にて示される。
【００３５】
【数２】
2014120984.tif 000004
【００３６】
ここで、式（６）が成立するという条件の下、式（５）を変形すると式(７)が得られる。
【００３７】
【数３】
2014120984.tif 000005
【００３８】
式（７）による線形変換は、回転角θでの回転である。つまり、回転ぶれの補正を、水平方向におけるスキュー及び縮小から成るＨＲＯＴ補正（換言すれば、水平スキュー処理及び画像縮小処理から成る第１幾何学的変換）と、垂直方向におけるスキュー及び拡大から成るＶＲＯＴ補正（換言すれば、垂直スキュー処理及び画像拡大処理から成る第２幾何学的変換）とに分解することができ、原画像にＨＲＯＴ補正とＶＲＯＴ補正を順次実行することで、原画像に含まれる回転ぶれが補正される。図７を参照し、点３３２及び３４２は、夫々、矩形枠３３０及び３４０の左上隅に位置する点である。点３３２に位置する像は回転角θでの回転ぶれにより点３４２に移動する。点３３２の位置すべき像の点３４２への位置ずれは、水平成分ＤＰｘ及び垂直成分ＤＰｙから成る。ＨＲＯＴ補正によって当該位置ずれの水平成分ＤＰｘを補正することができ、ＶＲＯＴ補正によって当該位置ずれの垂直成分ＤＰｙを補正することができる。矩形枠３３０及び３４０に属する点３３２及び３４２以外の点についても同様である。
【００３９】
図９に、ＨＲＯＴ補正及びＶＲＯＴ補正の処理手順を示す。原画像ＩORGに設定される矩形枠（長方形枠）ＣＦは切り出し枠である。カメラ１において、切り出し枠ＣＦ内の画像が切り出し画像ＩAとして原画像ＩORGから切り出される。切り出し枠ＣＦの中心を切り出し中心と呼び、切り出し枠ＣＦの左上隅の位置を切り出し開始位置と呼ぶ。切り出し中心の座標値を（ＣＣX，ＣＣY）にて表し、切り出し開始位置の座標値を（ＣＵＴX，ＣＵＴY）にて表す。本実施形態では、回転ぶれによって、原画像ＩORGから成る動画像上で被写体が時計周り方向に回転角θだけ回転する場合を考える（０°＜θ＜９０°）。ＨＲＯＴ補正及びＶＲＯＴ補正は回転角θに基づいて行われる。
【００４０】
図９において、ドット領域と斜線領域の合成領域を第１必要領域と呼ぶ。原画像ＩORGにおいて、第１必要領域は、切り出し枠ＣＦに内包され、且つ、水平方向に平行な対向２辺と垂直方向に対して時計周り方向にθだけ傾いた対向２辺とで形成される平行四辺形状の領域である。但し、水平方向において、第１必要領域の対向２辺は切り出し枠ＣＦの対向２辺と重なる。画像ＩAの信号にＹＵＶ変換を行ってからＨＲＯＴ補正を行う。ＨＲＯＴ補正では、画像ＩAにおける第１必要領域内の信号に対して角度θによる水平スキュー処理（即ち、当該信号に対して行列Ｈ1を作用させる線形変換）を行い、これによって得た画像ＩBを水平方向にｃｏｓθ倍だけ縮小する画像縮小処理を行う。これにより、ＨＲＯＴ補正後の画像である画像ＩCが得られる。水平スキュー処理におけるスキューの軸は座標値（ＨＳＫＥＷX，ＨＳＫＥＷY）を通る。座標値（ＨＳＫＥＷX，ＨＳＫＥＷY）における点は、後述の第２必要領域の一頂点である。
【００４１】
図９において、斜線領域を第２必要領域と呼ぶ。第２必要領域は第１必要領域の一部であって（従って画像ＩCに内包され）、図７の矩形枠３４０内の領域に相当する。画像ＩCにおいて、第２必要領域は、垂直方向に平行な対向２辺と水平方向に対して時計周り方向にθだけ傾いた対向２辺とで形成される平行四辺形状の領域である。但し、垂直方向において、第２必要領域の対向２辺は画像ＩCの対向２辺と重なる。ＶＲＯＴ補正では、画像ＩCにおける第２必要領域内の信号に対して角度θによる垂直スキュー処理（即ち、式（６）が成立するという条件の下で当該信号に対し行列Ｈ3を作用させる線形変換）を行い、これによって得た画像ＩDを垂直方向に（１／ｃｏｓθ）倍だけ拡大する画像拡大処理を行う。これにより、ＨＲＯＴ補正及びＶＲＯＴ補正後の画像である画像ＩEが得られる。
【００４２】
カメラ１では、実際には、ＨＲＯＴ補正と共にＨＤＩＳ補正及びＨＦＰ補正を行い、ＶＲＯＴ補正と共にＶＤＩＳ補正及びＶＦＰ補正を行う。このため、第１及び第２必要領域の位置及び形状は、図９に示すものから変更されうる（詳細は後述の説明から明らかとなる）。
【００４３】
図１０は、カメラ１の内部構成を示すブロック図である。カメラ１は、符号１０〜１７及び２１〜２９によって参照される各部位を備える。
【００４４】
メモリ１３は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、カメラ１内で生成された各種信号を一時的に記録する。例えば、ＤＤＲ ＳＤＲＡＭ (Double-Data-Rate Synchronous Dynamic Random Access Memory)にてメモリ１３を形成可能である。表示部１４は、液晶ディスプレイパネル等から成り、主制御部１７の制御の下で、撮像素子１１を用いた撮影画像又は記録媒体１５に記録された画像などを表示する。記録媒体１５は、カード状半導体メモリや磁気ディスク等から成る不揮発性メモリであり、主制御部１７による制御の下、任意の信号及びデータを記録する。操作部１６は、カメラ１のユーザ（操作者）からの各種操作を受け付け、操作内容を主制御部１７に伝達する。主制御部１７は、ＣＰＵ（Central Processing Unit）等から成り、操作部１６に対する操作内容等に従って、カメラ１内の各部位の動作を統括的に制御する。
【００４５】
前置信号処理部２１は、撮像素子１１から出力される、被写体ＳＵＢに応じた信号に対して必要な信号処理（例えば、相関二重サンプリング、自動ゲイン調整及びＡ／Ｄ変換）を施し、該信号処理後の信号をＲＡＷ信号として出力する。
【００４６】
撮像素子１１の出力信号は、撮像素子１１の撮像面に設けられた複数の受光画素の出力信号から形成される。撮像素子１１の撮像面と光学系１０との間には、赤の光だけを透過させるカラーフィルタ、緑の光だけを透過させるカラーフィルタ及び青の光だけを透過させるカラーフィルタが、所謂ベイヤ配列に従って配置されている。結果、撮像素子１１から出力される１つの画素（１つの受光画素）についての信号は、赤の色情報、緑の色情報及び青の色情報の何れか１つのみを有する。ＲＡＷ信号についても同様である。即ち、撮像素子１１の出力信号及びＲＡＷ信号は、各画素に対して１つの色情報のみが割り当てられた画像信号の一種である。尚、上記カラーフィルタは、ベイヤ配列以外の配列方式に従って配列されても良い。
【００４７】
ＲＡＷ信号によって表される二次元画像をＲＡＷ画像という。前置信号処理部２１から出力されるＲＡＷ信号を符号４１０にて参照し、ＲＡＷ信号４１０によって表されるＲＡＷ画像を符号Ｉ410にて参照する。ＲＡＷ画像Ｉ410は図９等の原画像ＩORGに相当する。カメラ１は、撮像素子１１を用いて所定のフレーム周期で順次撮影を行うことで動画像ＭＩを生成することができる。図１１（ａ）に示す如く、動画像ＭＩは、時系列上に並ぶ複数のフレーム画像ＦＩ［１］〜ＦＩ［ｎ］から形成される（ｎは２以上の整数）。時系列上に並ぶ複数のＲＡＷ画像Ｉ410をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ410と呼ぶ（図１１（ｂ）参照）。時系列上に並ぶ複数のＲＡＷ画像Ｉ410は、互いに異なる時刻での撮影によって得られた複数のＲＡＷ画像Ｉ410である。後述の複数のＲＡＷ画像Ｉ420並びに複数のＹＵＶ画像Ｉ430又はＩ440についても同様である。
【００４８】
動き検出部１２は、撮像素子１１の出力信号に基づき、カメラ１の動きを検出して、その検出結果を含んだ動き検出情報を生成する。
【００４９】
動き検出情報は、図１２に示す如く、フレーム間におけるカメラ１の動き（換言すれば、フレーム画像間における被写体ＳＵＢの動き）を示すフレーム間動き情報を含み、フレーム間動き情報は、ＸＹ軸動き情報、回転動き情報及びＺ軸動き情報から成る。ＸＹ軸動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ410間）における被写体ＳＵＢの位置の偏移ベクトル（位置の偏移の平行移動成分）ＶＥＣを表す（図１３（ａ）参照；ｉは整数）。偏移ベクトルＶＥＣはＸ軸成分及びＹ軸成分から成る。回転動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ410間）における被写体ＳＵＢの回転の角度θを表す（図１３（ｂ）参照）。Ｚ軸動き情報は、時間的に隣接する２枚のフレーム画像ＦＩ［ｉ］及びＦＩ［ｉ＋１］間（例えば、２枚のＲＡＷ画像Ｉ410間）における被写体ＳＵＢの大きさの変化量ＣSIZEを表す（図１３（ｃ）参照）。ＸＹ軸動き情報に示される被写体ＳＵＢの位置の偏移、回転動き情報に示される被写体ＳＵＢの回転、Ｚ軸動き情報に示される被写体ＳＵＢの大きさの変化は、夫々、フレーム間における並進ぶれ、回転ぶれ及びＺ軸ぶれによってもたらされたものである。
【００５０】
動き検出情報は、更に、フレーム内におけるカメラ１の動きを示すフレーム内動き情報を含む（図１２参照）。フレーム内動き情報は、フレーム内Ｘ軸動き情報とフレーム内Ｙ軸動き情報から成る。フレーム内Ｘ軸動き情報は、１枚のフレーム画像を得るための撮像素子１１の露光期間中における、カメラ１のヨー方向の動きを示す。当該動きは、水平方向のＦＰ歪みを原画像（ＲＡＷ画像Ｉ410）に発生させる（図５（ｂ）参照）。フレーム内Ｙ軸動き情報は、１枚のフレーム画像を得るための撮像素子１１の露光期間中における、カメラ１のピッチ方向の動きを示す。当該動きは、垂直方向のＦＰ歪みを原画像（ＲＡＷ画像Ｉ410）に発生させる（図５（ｃ）参照）。
【００５１】
フレーム間におけるカメラ１の動きの検出方法及びフレーム内におけるカメラ１の動きの検出方法は公知であるので、詳細な説明を割愛する。例えば、代表点マッチング法を用いて導出したフレーム画像間のオプティカルフローを用いて、それらの検出を行うことができる。また、動き検出部１２の代わりに、図１４に示す如く、カメラ１の動きを検出する動きセンサ１２Ａ（角加速度センサ、加速度センサなど）をカメラ１に設けておき、動き検出センサ１２Ａの検出結果を用いて動き検出情報を生成するようにしても良い。また、動き検出部１２と動き検出センサ１２Ａを併用して動き検出情報を生成するようにしても良い。
【００５２】
ＲＡＷ信号４１０（即ちＲＡＷ画像Ｉ410）には、フレーム間の並進ぶれ、回転ぶれ及びＺ軸ぶれが含まれている。ＲＡＷ信号４１０に含まれるフレーム間の並進ぶれ、回転ぶれ、Ｚ軸ぶれは、動画像ＭＩ410上で、夫々、被写体ＳＵＢを平行移動させ、被写体ＳＵＢを回転させ、被写体ＳＵＢの大きさを増大又は減少させる。ＲＡＷ信号４１０（即ちＲＡＷ画像Ｉ410）は、更にＦＰ歪み及びレンズ歪みも含んでいる。
【００５３】
図１０のライトバッファ回路２２は、前置信号処理部２１から送られてくるＲＡＷ信号４１０（即ちＲＡＷ画像Ｉ410の画像信号）をメモリ１３に書き込む。リードバッファ回路２３は、ライトバッファ回路２２によってメモリ１３に書き込まれたＲＡＷ信号を読み出し、読み出したＲＡＷ信号を、集積回路等から成る後置水平信号処理部２４に出力する。ここで、リードバッファ回路２３は、動き検出情報に基づき、メモリ１３に書き込まれたＲＡＷ信号４１０の一部のみを読み出し、ＲＡＷ信号４１０の一部をＲＡＷ信号４２０として出力する。ＲＡＷ信号４２０によって表されるＲＡＷ画像を符号Ｉ420にて参照する。また、時系列上に並ぶ複数のＲＡＷ画像Ｉ420をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ420と呼ぶ（図１１（ｃ）参照）。
【００５４】
リードバッファ回路２３は、ＸＹ軸動き情報に基づき、動画像ＭＩ410上におけるフレーム画像間の被写体ＳＵＢの平行移動（並進ぶれに起因するＸ軸及びＹ軸方向への移動）が動画像ＭＩ420上で打ち消されるように、即ちＲＡＷ信号４２０及びＲＡＷ画像Ｉ420にフレーム間の並進ぶれが含まれなくなるように、ＲＡＷ信号４１０の一部をＲＡＷ信号４２０として切り出す。ＲＡＷ信号４１０の一部をＲＡＷ信号４２０として切り出すことと、ＲＡＷ画像Ｉ410の一部をＲＡＷ画像Ｉ420として切り出すことは同義である。ＲＡＷ画像Ｉ420の外形枠が切り出し枠ＣＦに相当し（図９参照）、ＸＹ軸動き情報に基づきＲＡＷ画像Ｉ420の中心の座標値（ＣＣX，ＣＣY）が決定される。以後の処理にて、レンズ歪み補正、ＦＰ歪み補正、回転ぶれ補正及びＺ軸ぶれ補正を行うことができるように、所定のレンズ歪み情報とＸＹ軸動き情報を除く動き検出情報とを用いて、ＲＡＷ画像Ｉ420の切り出し開始位置（ＣＵＴX，ＣＵＴY）が決定される。
【００５５】
後置水平信号処理部２４は、公知のデモザイキング処理によるＹＵＶ変換を用いて、ＲＡＷ信号４２０を、輝度信号Ｙ並びに色差信号Ｕ及びＶから成るＹＵＶ信号に変換し、得られたＹＵＶ信号に対して、レンズ歪み情報及び動き検出情報に基づくＨＤＩＳ補正、ＨＦＰ補正及びＨＲＯＴ補正を行うことでＹＵＶ信号４３０を生成する。ここにおけるＨＤＩＳ補正、ＨＦＰ補正及びＨＲＯＴ補正は、レンズ歪み情報、フレーム内動き情報及び回転動き情報（回転角θ）に基づき、ＹＵＶ信号４２０に含まれるレンズ歪み、ＦＰ歪み及び回転ぶれの各水平成分を補正する処理（換言すれば、レンズ歪み、ＦＰ歪み及び回転ぶれを水平方向に補正する処理）である。レンズ歪み、ＦＰ歪みの水平成分は、夫々、レンズ歪み、ＦＰ歪みが撮像素子１１の出力信号に与える影響の水平成分である。同様に、回転ぶれの水平成分は、回転ぶれが撮像素子１１の出力信号に与える影響の水平成分である。故に、処理部２４でのＨＲＯＴ補正により、フレーム間の回転ぶれによる位置ずれの水平成分ＤＰｘが補正される（水平成分ＤＰｘがＹＵＶ信号４２０から除去される；図７も参照）。ＹＵＶ信号によって表される画像をＹＵＶ画像と呼び、ＹＵＶ信号４３０によって表されるＹＵＶ画像を符号Ｉ430にて参照する。また、時系列上に並ぶ複数のＹＵＶ画像Ｉ430をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ430と呼ぶ（図１１（ｄ）参照）。ＹＵＶ信号は、各画素に対して複数の色情報が割り当てられた画像信号の一種である。
【００５６】
処理部２４は、ＹＵＶ信号４３０の生成過程において、必要な他の信号処理（輪郭強調処理やノイズ低減処理）を行うこともできる。図１５に、処理部２４の機能ブロック図の例を示す。図１５の処理部２４は、ＲＡＷ信号４２０に対し３ＤＤＮＲ（三次元ノイズリダクション）によるノイズ低減処理を実行する。そして、処理部２４は、ノイズ低減処理後のＲＡＷ信号４２０にＹＵＶ変換を行うことで得たＹＵＶ信号４２２に対し、ＨＤＩＳ補正、ＨＦＰ補正及びＨＲＯＴ補正から成る水平補正処理を行うことでＹＵＶ信号４３０を得る。尚、処理部２４の処理内容から３ＤＤＮＲが割愛されても良い。
【００５７】
ＹＵＶ信号４３０は、図１０のライトバッファ回路２５を用いてメモリ１３に書き込まれる。その後、リードバッファ回路２６を用いてメモリ１３から読み出されたＹＵＶ信号４３０は、集積回路等から成る後置垂直信号処理部２７に送られる。処理部２７は、ＹＵＶ信号４３０に対して、レンズ歪み情報及び動き検出情報に基づくＶＤＩＳ補正、ＶＦＰ補正及びＶＲＯＴ補正を行うことでＹＵＶ信号４４０を生成する。ここにおけるＶＤＩＳ補正、ＶＦＰ補正及びＶＲＯＴ補正は、レンズ歪み情報、フレーム内動き情報及び回転動き情報（回転角θ）に基づき、ＹＵＶ信号４３０に含まれるレンズ歪み、ＦＰ歪み及び回転ぶれの各垂直成分を補正する処理（換言すれば、レンズ歪み、ＦＰ歪み及び回転ぶれを垂直方向に補正する処理）である。レンズ歪み、ＦＰ歪みの垂直成分は、夫々、レンズ歪み、ＦＰ歪みが撮像素子１１の出力信号に与える影響の垂直成分である。同様に、回転ぶれの垂直成分は、回転ぶれが撮像素子１１の出力信号に与える影響の垂直成分である。故に、処理部２７でのＶＲＯＴ補正により、フレーム間の回転ぶれによる位置ずれの垂直成分ＤＰｙが補正される（垂直成分ＤＰｙがＹＵＶ信号４３０から除去される；図７も参照）。ＹＵＶ信号４４０によって表されるＹＵＶ画像を符号Ｉ440にて参照する。また、時系列上に並ぶ複数のＹＵＶ画像Ｉ440をフレーム画像ＦＩ［１］〜ＦＩ［ｎ］として持つ動画像ＭＩを動画像ＭＩ440と呼ぶ（図１１（ｅ）参照）。ライトバッファ回路２８は、ＹＵＶ信号４４０をメモリ１３に書き込むことができる。また、動画像ＭＩ440は表示部１４にて表示されると共に、動画像エンコーダ２９にて動画像ＭＩ440の画像信号（即ちＹＵＶ信号４４０）に所定のエンコード処理が施されてストリームデータが生成され、該ストリームデータが記録媒体１５に記録される。
【００５８】
処理部２７は、ＹＵＶ信号４４０の生成過程において、必要な他の信号処理を行うこともできる。図１６に、処理部２７の機能ブロック図の例を示す。図１６の処理部２７は、ＹＵＶ信号４３０に対し、ＨＤＩＳ補正、ＨＦＰ補正及びＨＲＯＴ補正から成る垂直補正処理を行うことでＹＵＶ信号４３２を生成する。
【００５９】
この後、図１６の処理部２７は、ＹＵＶ信号４３２にて表される画像を、指定された第１電子ズーム倍率にて拡大又は縮小する第１電子ズーム（第１解像度変換）を行い、第１電子ズームを経て得られたＹＵＶ信号４３４に超解像処理を施すことで、ＹＵＶ信号４４０の１つであるＹＵＶ信号４４０ａを得る。動画像エンコーダ２９は、ＹＵＶ信号４４０ａに、所定のエンコード処理（例えば、Ｈ．２６４の圧縮規格に従うエンコード処理）を施して上記ストリームデータを生成できる。１フレーム分のＹＵＶ信号４４０ａの圧縮信号を静止画像の画像信号として記録媒体１５に記録しても良い。また、処理部２７は、ＹＵＶ信号４３２にて表される画像を、指定された第２電子ズーム倍率にて拡大又は縮小する第２電子ズーム（第２解像度変換）を行い、これによってＹＵＶ信号４４０の１つであるＹＵＶ信号４４０ｂを得る。ＹＵＶ信号４４０ｂによる画像を表示部１４に表示することができる。第２電子ズームは、表示部１４の画素数に合わせた解像度変換を含み、画像の画角変更を伴いうる。尚、処理部２７の処理内容から、第１電子ズーム、第２電子ズーム及び超解像処理の何れか１以上が割愛されても良く、ＹＵＶ信号４３２又は４３４そのものがＹＵＶ信号４４０であっても良い。
【００６０】
図９を参照して説明したＨＲＯＴ補正及びＶＲＯＴ補正は、レンズ歪み及びＦＰ歪みを無視した場合における水平補正処理及び垂直補正処理に相当する。レンズ歪み及びＦＰ歪みをも考慮した水平補正処理及び垂直補正処理について説明を補足する。但し、以下では、説明の簡略化上、特に記述無き限り、Ｚ軸ぶれ並びに第１及び第２電子ズームは無いものとし、ＹＵＶ信号４３２そのものがＹＵＶ信号４４０であるとする。
【００６１】
図１７（ａ）に示す如く、実空間において鉛直方向に直立する一次元の線状被写体５００を撮影する場合を考え、この撮影によって図１７（ｂ）、（ｃ）、（ｄ）又は（ｅ）の原画像５１０ａ、５１０ｂ、５１０ｃ又は５１０ｄが得られる場合を考える。画像５１０ａは、レンズ歪み、ＦＰ歪み及び回転ぶれが全て無かった場合に得られる原画像であり、画像５１０ｂは、レンズ歪みは有るもののＦＰ歪み及び回転ぶれは無かった場合に得られる原画像であり、画像５１０ｃは、レンズ歪み及びＦＰ歪みは有るものの回転ぶれは無かった場合に得られる原画像であり、画像５１０ｄは、レンズ歪み、ＦＰ歪み及び回転ぶれが有る場合に得られる原画像である。実線５００ａ、５００ｂ、５００ｃ、５００ｄは、夫々、原画像５１０ａ、５１０ｂ、５１０ｃ、５１０ｄ上における線状被写体５００の像である。点５０１は、実空間における線状被写体５００上の点であり、点５０１ａ、５０１ｂ、５０１ｃ、５０１ｄは、夫々、原画像５１０ａ、５１０ｂ、５１０ｃ、５１０ｄ上における点５０１の像である。
【００６２】
レンズ歪み情報が分かれば点５０１ａ及び５０１ｂ間の位置ずれが定まり、フレーム内動き情報が分かれば点５０１ｂ及び５０１ｃ間の位置ずれが定まり、回転動き情報（回転角θ）が分かれば点５０１ｃ及び５０１ｄ間の位置ずれが定まる。故に、レンズ歪み情報、フレーム内動き情報及び回転動き情報に基づけば、点５０１ｄの位置を点５０１ａの位置に補正することが可能である。そのような補正を、メモリ１３を介さずに画像の全体に亘って一気に行おうとすると処理が非常に煩雑となる（故に、従来では一般に図１９のような構成が採用される）。一方で、特許文献１等にも示されているように、補正を水平成分と垂直成分に分けて実行することができれば、補正の高精度化、高速化等が図られる。
【００６３】
そこで、カメラ１では、点５０１ａ及び５０１ｄ間の位置ずれの水平成分のみを補正する水平補正処理と、点５０１ａ及び５０１ｄ間の位置ずれの垂直成分のみを補正する水平補正処理とを分けて実行する。より具体的には、ＨＤＩＳ補正、ＨＦＰ補正、ＨＲＯＴ補正において、夫々、点５０１ａ及び５０１ｂ間、点５０１ｂ及び５０１ｃ間、点５０１ｃ及び５０１ｄ間の位置ずれの水平成分（即ち、レンズ歪み、ＦＰ歪み、回転ぶれの水平成分）を補正し、ＶＤＩＳ補正、ＶＦＰ補正、ＶＲＯＴ補正において、夫々、点５０１ａ及び５０１ｂ間、点５０１ｂ及び５０１ｃ間、点５０１ｃ及び５０１ｄ間の位置ずれの垂直成分（即ち、レンズ歪み、ＦＰ歪み、回転ぶれの垂直成分）を補正する。このような補正を、像５００ｄの各点に対して行えば像５００ｄが像５００ａへと補正される。像５００ｄは、ＲＡＷ画像Ｉ410又はＩ420上の像に相当し、像５００ａは、ＹＵＶ画像Ｉ440上の像に相当する。
【００６４】
このような考え方を二次元に拡張することで、カメラ１における水平及び垂直補正処理が実現される。図１８において、ドット領域と斜線領域の合成領域は上述の第１必要領域に相当し、斜線領域は上述の第２必要領域に相当する。ＲＡＷ画像Ｉ410又はＩ420上の第１及び第２必要領域は、レンズ歪み及びＦＰ歪みが無いと仮定した場合における原画像ＩORG上の第１及び第２必要領域を、レンズ歪み情報及びフレーム内動き情報に基づき歪ませたものに相当する。カメラ１は、レンズ歪み情報及び動き検出情報に基づき、ＲＡＷ画像Ｉ410又はＩ420上の第１及び第２必要領域の位置及び形状を特定できる。
【００６５】
リードバッファ回路２３によるＲＡＷ信号４２０の読み出し処理は、ＲＡＷ画像Ｉ410に切り出し枠ＣＦを設定し、切り出し枠ＣＦ内の画像をＲＡＷ画像Ｉ420としてＲＡＷ画像Ｉ410から切り出す処理に相当する。この際、リードバッファ回路２３は、フレーム間動き情報に基づき切り出し中心の座標値（ＣＣX，ＣＣY）を設定すると共に、第１必要領域が切り出し枠ＣＦに内包されるように且つ切り出し枠ＣＦがなるだけ小さくなるように、レンズ歪み情報、フレーム内動き情報及び回転動き情報に基づき、切り出し開始位置の座標値（ＣＵＴX，ＣＵＴY）を決定する。
【００６６】
後置水平信号処理部２４は、ＲＡＷ信号４２０にＹＵＶ変換を施して得たＹＵＶ信号の内、第１必要領域のＹＵＶ信号に対して、ＨＤＩＳ補正、ＨＦＰ補正及びＨＲＯＴ補正に相当する幾何学的変換（即ち水平補正処理）を実行し、これによってＹＵＶ信号４３０及びＹＵＶ画像Ｉ430を生成する。その後、後置垂直信号処理部２７は、ＹＵＶ信号４３０に含まれる、第２必要領域内のＹＵＶ信号に対して、ＶＤＩＳ補正、ＶＦＰ補正及びＶＲＯＴ補正に相当する幾何学的変換（即ち垂直補正処理）を実行し、これによってＹＵＶ信号４４０及びＹＵＶ画像Ｉ440を生成する。
【００６７】
また、Ｚ軸ぶれがある場合、水平補正処理及び垂直補正処理の中でＺ軸ぶれも補正される。Ｚ軸ぶれがある場合、動画像ＭＩ410上において被写体ＳＵＢの大きさが水平及び垂直方向に変動する。Ｚ軸ぶれがある場合、Ｚ軸ぶれに基づく被写体ＳＵＢの大きさの変動が動画像ＭＩ440上において除去されるように、Ｚ軸動き情報をも用いて、第１必要領域、第２必要領域及び切り出し枠ＣＦの大きさ、位置及び形状を決定すると良い。そして、Ｚ軸ぶれによる被写体ＳＵＢの大きさの水平方向の変動を、Ｚ軸動き情報を用いて水平補正処理の中で補正し、Ｚ軸ぶれによる被写体ＳＵＢの大きさの垂直方向の変動を、Ｚ軸動き情報を用いて垂直補正処理の中で補正すれば良い。尚、カメラ１において、Ｚ軸ぶれの検出及び補正を割愛するようにしても良い。
【００６８】
また、水平補正処理及び垂直補正処理の夫々において異なる補正を同時に行うことに鑑み、補正の順序を考慮して、各補正での補正量を決定すると良い。例えば、水平補正処理では、垂直補正処理におけるレンズ歪み等の垂直補正量を考慮して（後から垂直補正が行われることを加味して）レンズ歪み等の水平補正量を決定し、垂直補正処理では、水平補正処理におけるレンズ歪み等の水平補正量がゼロであると仮定してレンズ歪み等の垂直補正量を算出すると良い。
【００６９】
本実施形態の構成によれば、上記単位処理を２回行うだけで、レンズ歪み補正、ＦＰ歪み補正及び手ぶれ補正（フレーム間の並進ぶれ、回転ぶれ及びＺ軸ぶれの補正）、更には電子ズームを実現することができる。このため、図１９のような構成との比較において、信号処理に関わる消費電力を低減することが可能であると共に、信号処理全体の高速化が図られる（逆に考えれば、メモリ１３に対する速度要求を緩和することができる）。
【００７０】
また、本実施形態では、ＲＡＷ信号の段階で並進ぶれを補正してからＲＡＷ信号をＹＵＶ信号に変換し、その後、回転ぶれ等を補正する。並進ぶれの補正を介して信号量を低減させてからＹＵＶ信号への変換を行うため、ＹＵＶ信号を扱う信号処理ブロック（処理部２４及び２７を含む）での処理負荷を低く抑えることができる。これは、要求される処理速度の低減及び消費電力の低減に繋がる。尚、本実施形態の方法は、回転角θが比較的小さい場合（例えば、回転角θの絶対値が３〜５°以下の場合）に特に適切に機能する。
【００７１】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、特に記述無き限り且つ矛盾無き限り、第１実施形態の記載が第２実施形態にも適用される。第１実施形態では、原画像に対し、レンズ歪みに対する補正、ＦＰ歪みに対する補正及び回転ぶれに対する補正を全て行っているが、それら３つの補正の内の何れか１つを行わないようにしても良い。
【００７２】
即ち例えば、水平補正処理からＨＲＯＴ補正を割愛すると共に垂直補正処理からＶＲＯＴ補正を割愛する第１変形構成をカメラ１に採用しても良い。この場合、カメラ１において、回転動き情報（回転角θ）の検出は不要であると共に各処理において回転動き情報は利用されず、当然、回転ぶれの補正は行われない。
【００７３】
或いは例えば、水平補正処理からＨＦＰ補正を割愛すると共に垂直補正処理からＶＦＰ補正を割愛する第２変形構成をカメラ１に採用しても良い。この場合、カメラ１において、フレーム内動き情報の検出は不要であると共に各処理においてフレーム内動き情報は利用されず、当然、ＦＰ歪みの補正は行われない。
【００７４】
或いは例えば、水平補正処理からＨＤＩＳ補正を割愛すると共に垂直補正処理からＶＤＩＳ補正を割愛する第３変形構成をカメラ１に採用しても良い。この場合、カメラ１において、レンズ歪み情報は不要であると共に各処理においてレンズ歪み情報は利用されず、当然、レンズ歪みの補正は行われない。
【００７５】
第１、第２及び第３変形構成の何れにおいても、第１実施形態と同様、上記単位処理の実行回数は２回で済む。このため、図２０、図２１又は図２２の構成との比較において、信号処理に関わる消費電力を低減することが可能であると共に、信号処理全体の高速化が図られる。また、第１実施形態と同様、並進ぶれの補正を介して信号量を低減させてからＹＵＶ信号への変換を行うため、ＹＵＶ信号を扱う信号処理ブロック（処理部２４及び２７を含む）での処理負荷を低く抑えることができる。これは、要求される処理速度の低減及び消費電力の低減に繋がる。
【００７６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７７】
［注釈１］
水平補正処理の後に垂直補正処理を行う例を上述したが、上述の各実施形態において、垂直補正処理の後に水平補正処理を実行するようにしても良い。
【００７８】
［注釈２］
カメラ１には、画像処理装置が含まれている。画像処理装置は、符号２１〜２９によって参照される各部位を備え、更に動き検出部１２及び／又はメモリ１３を備えうる。画像処理装置は、処理部２４及び２７を含む補正部を備える。補正部は、撮像素子１１の出力信号から、レンズ歪みを除去する第１補正（ＨＤＩＳ補正、ＶＤＩＳ補正）、ＦＰ歪みを除去する第２補正（ＨＦＰ補正、ＶＦＰ補正）、及び、回転ぶれを除去する第３補正（ＨＲＯＴ補正、ＶＲＯＴ補正）を実行する。回路２３、２５、２６及び２８も補正部の構成要素に含まれる、と考えても良い。画像処理装置及び／又は補正部を集積回路にて形成することができる。メモリ１３を画像処理装置に接続された外部メモリと捉えることもできる。
【００７９】
［注釈３］
カメラ１又は画像処理装置である対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体（不図示）に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体（不図示）は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。
【符号の説明】
【００８０】
１  カメラ
１０  光学系
１１  撮像素子
１２  動き検出部
１３  メモリ
２４  後置水平信号処理部
２７  後置垂直信号処理部
【図１】
2014120984.tif 000006
【図２】
2014120984.tif 000007
【図３】
2014120984.tif 000008
【図４】
2014120984.tif 000009
【図５】
2014120984.tif 000010
【図６】
2014120984.tif 000011
【図７】
2014120984.tif 000012
【図８】
2014120984.tif 000013
【図９】
2014120984.tif 000014
【図１０】
2014120984.tif 000015
【図１１】
2014120984.tif 000016
【図１２】
2014120984.tif 000017
【図１３】
2014120984.tif 000018
【図１４】
2014120984.tif 000019
【図１５】
2014120984.tif 000020
【図１６】
2014120984.tif 000021
【図１７】
2014120984.tif 000022
【図１８】
2014120984.tif 000023
【図１９】
2014120984.tif 000024
【図２０】
2014120984.tif 000025
【図２１】
2014120984.tif 000026
【図２２】
2014120984.tif 000027