(57)【要約】【課題】フォーカルプレーン歪みを安定的に除去する。【解決手段】撮像装置は、隣接水平ライン間で露光タイミングの異なる固体撮像素子（ＣＭＯＳイメージセンサ）を用いて撮影を行う。３０ｆｐｓにて動画像の撮影及び記録を行う場合、３３０ｆｐｓ相当の高速撮影条件による高速撮影画像（ＩS［１］、ＩS［２］・・・）の取得と３３ｆｐｓ相当の通常撮影条件による通常撮影画像（ＩL［１］、ＩL［２］・・・）の取得とを交互に実行する。隣接水平ライン間の露光タイミング差が小さい高速撮影画像にはフォーカルプレーン歪みが殆ど含まれていないことに鑑み、高速撮影画像ＩS［ｉ］及び通常撮影画像ＩL［ｉ］間のオプティカルフローに基づく画像処理によって、通常撮影画像ＩL［ｉ］に含まれるフォーカルプレーン歪みを除去する。【選択図】図６
2011087203.tif 000002
【特許請求の範囲】
【請求項１】
複数の水平ラインに含まれる第１及び第２水平ライン間で露光タイミングを異ならせつつ画像撮影を行う撮像素子と、
前記第１及び第２水平ライン間の露光タイミング差が比較的短い露光による画像信号を前記撮像素子から読み出すことで第１画像を取得する一方、前記露光タイミング差が比較的長い露光による画像信号を前記撮像素子から読み出すことで第２画像を取得する画像取得部と、
前記第１及び第２画像の画像信号に基づいて前記第１及び第２画像間のオプティカルフローを導出する動き検出部と、
前記オプティカルフローに基づいて前記第２画像を補正する補正部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記補正部は、前記第１及び第２水平ライン間で露光タイミングが異なることによって前記第２画像に生じた歪みを、前記オプティカルフローに基づいて補正する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動き検出部は、前記第１及び第２画像の画像信号に基づき、前記オプティカルフローを形成する複数の動きベクトルを導出し、
前記補正部は、前記第２画像に生じた前記歪みを各動きベクトルに基づいて補正する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記補正部は、各動きベクトルに基づく幾何学的変換を前記第２画像に施すことで前記歪みを補正する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像取得部は、前記第１及び第２画像の交互撮影を繰り返し実行し、
当該撮像装置は、前記補正部の補正によって得た各第２画像に基づく各補正画像を所定の記録フレームレートにて記録媒体に記録し、
１枚の第１画像を得るために必要な時間と１枚の第２画像を得るために必要な時間との合計は、前記記録フレームレートの逆数以下に設定される
ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置に関し、特にフォーカルプレーン歪みを除去する技術に関する。
【背景技術】
【０００２】
固体撮像素子に用いられる電子シャッタは、撮像面の全受光画素が共通タイミングで露光されるグローバルシャッタと、異なる水平ライン間で露光タイミングが異なるローリングシャッタに大別される。ローリングシャッタは、画素単位で受光画素の出力信号を読み出すことのできるＸＹアドレス型の固体撮像素子、例えば、ＣＭＯＳイメージセンサで利用される。
【０００３】
ローリングシャッタを採用した撮像装置では、撮影者の手ブレ等の影響によって撮影時に固体撮像素子に位置的変化が生じると、原理上、撮影画像にフォーカルプレーン歪みが発生することが知られている。但し、撮影画像に対して適切な画像処理を行えば、フォーカルプレーン歪みを低減することが可能である。
【０００４】
例えば、下記特許文献１には、各フレームの歪み量をフレーム間の動きベクトルから求める方法が提案されている。この方法では、時間的に隣接する第１及び第２フレーム間の動きベクトルから第２フレームの歪み量（フォーカルプレーン歪みの量）を検出し、検出歪み量を用いてフォーカルプレーン歪みを除去しようとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２０８５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法は、第１フレームにフォーカルプレーン歪みが含まれていないという前提の下でのみ有効に機能するものである。実際には、第１フレームにも、第２フレームと同程度のフォーカルプレーン歪みが含まれていることが想定される、或いは、第１フレームに含まれるフォーカルプレーン歪みの量が不明である。従って、特許文献１の方法では、安定的にフォーカルプレーン歪みを除去することが困難である。
【０００７】
そこで本発明は、フォーカルプレーン歪みの安定的な低減に寄与する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、複数の水平ラインに含まれる第１及び第２水平ライン間で露光タイミングを異ならせつつ画像撮影を行う撮像素子と、前記第１及び第２水平ライン間の露光タイミング差が比較的短い露光による画像信号を前記撮像素子から読み出すことで第１画像を取得する一方、前記露光タイミング差が比較的長い露光による画像信号を前記撮像素子から読み出すことで第２画像を取得する画像取得部と、前記第１及び第２画像の画像信号に基づいて前記第１及び第２画像間のオプティカルフローを導出する動き検出部と、前記オプティカルフローに基づいて前記第２画像を補正する補正部と、を備えたことを特徴とする。
【０００９】
第１画像は、第２画像と比較して上記露光タイミング差が短い状態で撮影されるため、第１画像に含まれるフォーカルプレーン歪みは比較的小さい。従って、第１及び第２画像間のオプティカルフローを導出することで、第２画像に含まれるフォーカルプレーン歪みを正確に見積もることができ、該オプティカルフローを用いて第２画像を補正すれば、第２画像のフォーカルプレーン歪みを適切に低減することが可能となる。
【００１０】
尚、上記の第１及び第２水平ラインは、撮像素子上で互いに隣接しあう２本の水平ラインであっても良いし、撮像素子上で互いに隣接しあわない２本の水平ラインであっても良い。
【００１１】
即ち例えば、前記補正部は、前記第１及び第２水平ライン間で露光タイミングが異なることによって前記第２画像に生じた歪みを、前記オプティカルフローに基づいて補正することができる。
【００１２】
具体的には例えば、前記動き検出部は、前記第１及び第２画像の画像信号に基づき、前記オプティカルフローを形成する複数の動きベクトルを導出し、前記補正部は、前記第２画像に生じた前記歪みを各動きベクトルに基づいて補正する。
【００１３】
より具体的には例えば、前記補正部は、各動きベクトルに基づく幾何学的変換を前記第２画像に施すことで前記歪みを補正する。
【００１４】
また例えば、前記画像取得部は、前記第１及び第２画像の交互撮影を繰り返し実行し、当該撮像装置は、前記補正部の補正によって得た各第２画像に基づく各補正画像を所定の記録フレームレートにて記録媒体に記録し、１枚の第１画像を得るために必要な時間と１枚の第２画像を得るために必要な時間との合計は、前記記録フレームレートの逆数以下に設定される。
【００１５】
これにより、所定の記録フレームレートに従いつつ、記録動画像のフォーカルプレーン歪みを安定的に低減することができる。
【発明の効果】
【００１６】
本発明によれば、フォーカルプレーン歪みの安定的な低減に寄与する撮像装置を提供することが可能となる。
【００１７】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】撮像素子上に設定された水平ラインを示す図である。
【図４】撮像素子上の水平ライン間で露光タイミングが異なる様子を示した図である。
【図５】本発明の実施形態に係り、フォーカルプレーン歪みの除去に寄与する部位のブロック図である。
【図６】動画像撮影時に撮影される画像列と該画像列の撮影タイミングを示す図である。
【図７】撮像面の共通エリア内の受光画素から高速撮影画像と通常撮影画像が得られる様子を示す図である。
【図８】サイズ正規化後の高速撮影画像と通常撮影画像の夫々が、複数の検出用ブロックに分割される様子を示す図である。
【図９】サイズ正規化後の高速撮影画像と通常撮影画像との間におけるオプティカルフローを示す図である。
【図１０】フォーカルプレーン歪みが除去された補正画像の生成概念図である。
【図１１】本発明の第１実施例に係り、動画像の撮影及び記録の動作フローチャートである。
【図１２】本発明の第２実施例に係り、シャッタボタンの押下操作に伴い、高速撮影画像と通常撮影画像が連続的に撮影される様子を示した図である。
【図１３】本発明の第２実施例に係り、連写操作に伴い、１枚の高速撮影画像と３枚の通常撮影画像が連続的に撮影される様子を示した図である。
【図１４】本発明の第２実施例に係り、連写操作に伴い、１枚の高速撮影画像と１枚の通常撮影画像の連続撮影が３回繰り返される様子を示した図である。
【図１５】本発明の第４実施例に係り、画像が水平及び垂直方向に沿って分割される様子を示した図である。
【図１６】本発明の第５実施例に係り、高速撮影画像列及び通常撮影画像列と、それらの撮影タイミングを示す図である。
【図１７】本発明の第５実施例に係り、サイズ正規化後の高速撮影画像と、通常撮影画像と、を示す図である。
【図１８】図１７に対して、複数の特徴点の組と各特徴点の動きベクトルを重畳した図である。
【図１９】本発明の第５実施例に係り、通常撮影画像から補正画像を生成する方法を説明するための図である。
【図２０】本発明の第５実施例に係る補正画像を示す図である。
【図２１】本発明の第６実施例に係り、高速撮影画像列及び通常撮影画像列と、それらの撮影タイミングを示す図である。
【図２２】本発明の第６実施例に係り、サイズ正規化後の高速撮影画像と、通常撮影画像と、を示す図である。
【図２３】本発明の第６実施例に係る補正画像を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２０】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈するようにしても良い。
【００２１】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、固体撮像素子である撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御されることによって、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量が制御される。
【００２２】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２３】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２４】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
【００２５】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００２６】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＴＧ２２は、更に、ＣＰＵ２３の制御の下、撮像素子３３の駆動パルスを生成して撮像素子３３に供給する。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００２７】
撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各受光画素の露光を実施する。撮像素子３３には、複数の受光画素によって形成される撮像面が設けられており、撮像面上に定義された複数の水平ライン及び複数の垂直ラインに沿って受光画素が二次元配列されている。ローリングシャッタでは、撮像面の各受光画素が露光されるタイミングが水平ラインごとに異なる。つまり、撮像面における異なる水平ライン間で受光画素の露光タイミングが異なる。
【００２８】
図３及び図４を参照しつつ、撮像素子３３のローリングシャッタについて説明を補足する。図３に示す如く、撮像面において、垂直ラインに沿った方向（即ち撮像面の垂直方向）が上下方向であり、撮像面の有効画素領域の最上端に配置された水平ラインが第１水平ラインであって且つ撮像面の有効画素領域の最下端に配置された水平ラインが第Ｍ水平ラインであるとする（Ｍは、２以上の整数であり、一般的には数１００から数１０００である）。そうすると、図４に示す如く、或る１つの注目フレームについて、第（ｉ＋１）水平ライン上の受光画素における露光の開始時刻は、第ｉ水平ライン上の受光画素における露光の開始時刻よりもΔｔ秒だけ遅い（Δｔ＞０且つｉは整数）。１つのフレームにおいて、第ｉ水平ライン上の受光画素の露光が行われる時間の長さは第（ｉ＋１）水平ライン上の受光画素のそれと同じであると共に、Δｔはｉの値に依存せず一定である。各受光画素の露光の終了後に、各受光画素の出力信号を読み出すことができ、読み出された出力信号はＡＦＥ１２に送られる。
【００２９】
Δｔ及びΔｔの整数倍を、異なる水平ライン間における露光タイミング差という。Δｔは、隣接水平ライン間における露光タイミング差である。
【００３０】
尚、第１〜第Ｍ水平ラインの内、露光タイミングが互いに同じとなる複数の水平ラインが存在していても構わない。例えば、２本の水平ラインごとに露光タイミングが異なっていても構わない。この場合、第２水平ラインの露光タイミングと第３水平ラインの露光タイミングが異なるものの、第１及び第２水平ラインの露光タイミングが同じであって且つ第３及び第４水平ラインの露光タイミングが同じとなる。また、１つの水平ラインにおいても各受光画素の露光タイミングは順次ずれるが、１つの水平ライン上の異なる受光画素間の露光タイミング差は、異なる水平ライン間のそれよりも十分小さいため、１つの水平ライン上における各受光画素の露光タイミングを同じとみなすことができる。
【００３１】
撮像素子３３は、例えば、ＸＹアドレス型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。ＣＭＯＳを形成可能な半導体基板上に、複数の受光画素から成る撮像面、垂直走査回路、水平走査回路及び画素信号出力回路等を形成することによって、ＣＭＯＳイメージセンサが形成される。但し、撮像素子３３がローリングシャッタによって各受光画素の露光を実施するものであるならば、撮像素子３３は、ＸＹアドレス走査型のＣＭＯＳイメージセンサでなくても構わない。
【００３２】
背景技術の説明でも述べたように、ローリングシャッタにて撮影された画像には、フォーカルプレーン歪み（以下、ＦＰ歪みという）が発生する。ＦＰ歪みは、Δｔが０よりも大きいことに起因して生じ、Δｔが大きいほどＦＰ歪みは増加する傾向にある。撮像装置１には、このＦＰ歪みを適切に除去する機能が備えられている。
【００３３】
図５に、この機能を担う主たる部位のブロック図を示す。画像取得部５１は、図１の映像信号処理部１３、ＴＧ２２及びＣＰＵ２３によって形成される。歪み検出部５２は、ＣＰＵ２３によって或いは映像信号処理部１３及びＣＰＵ２３によって形成される。歪み補正部５３は、映像信号処理部１３に設けられる。歪み検出部５２には、動き検出部５４が内包されている。後述するように、歪み検出部５２の検出対象であるＦＰ歪み量は動き検出部５４の検出対象である動きベクトルから直接的に導かれるため、歪み検出部５２は動き検出部５４そのものである、と考えることも可能である。
【００３４】
撮像素子３３を用いた撮影のフレームレート（以下、撮影フレームレートという）は可変となっており、画像取得部５１は、撮影フレームレートの制御を行うと共に、撮像素子３３の各受光画素の露光タイミングの制御及び各受光画素の出力信号を読み出すタイミングの制御を行う。これらの制御の下、撮像素子３３の各受光画素の出力信号は、画像信号として画像取得部５１に与えられる。但し、各受光画素の出力信号に必要な信号処理を施して得た画像信号が画像取得部５１に与えられるものとする。ここにおける信号処理には、ＡＦＥ１２における信号増幅が含まれる。画像取得部５１において、所謂デモザイキング処理を用い、画像信号の信号形式をＲＡＷデータ形式からＹＵＶ形式に変換することができる。ＹＵＶ形式の画像信号は、輝度信号と色差信号から形成される。但し、この変換は、画像取得部５１の前段部位又は後段部位にて行われても良い。本明細書において、画像信号と映像信号は同義である。
【００３５】
画像取得部５１は、複数の撮影条件にて撮像素子３３に撮影を行わせる。複数の撮影条件には、高速撮影条件と通常撮影条件とが含まれる。高速撮影条件では、露光タイミング差Δｔが比較的短いΔｔSに設定され、通常撮影条件では、露光タイミング差Δｔが比較的長いΔｔLに設定される。また、高速撮影条件では、各受光画素の露光時間が比較的短い露光時間ＴSであって、通常撮影条件では、各受光画素の露光時間が比較的長い露光時間ＴLであるとする。従って、不等式「０＜ΔｔS＜ΔｔL」且つ「０＜ＴS＜ＴL」が成立する。受光画素の露光時間とは、受光画素が信号電荷を蓄積するための時間を指す。尚、上述の想定とは異なるが、露光時間ＴSと露光時間ＴLは同じであっても構わない。
【００３６】
高速撮影条件の下で撮像素子３３により撮影された画像を高速撮影画像と呼び、通常撮影条件の下で撮像素子３３により撮影された画像を通常撮影画像と呼ぶ。高速撮影画像の画像信号と通常撮影画像の画像信号が、順次、画像取得部５１に入力されるように、画像取得部５１は撮影フレームレート等を制御する。
【００３７】
図６に、動画像撮影時に撮影される画像列と該画像列の撮影タイミングを示す。本例では、外部メモリ１８に記録される動画像のフレームレート（以下、記録フレームレートという）が３０ｆｐｓ（frame per second）に設定されていることを想定する。
【００３８】
図１の録画ボタン２６ａの押下操作によって動画像の撮影及び記録が開始されると、画像取得部５１は、高速撮影画像と通常撮影画像の撮影が交互に行われるように撮像素子３３を制御する。次々と撮影される高速撮影画像の内、第ｉ番目に撮影される高速撮影画像をＩS［ｉ］によって表し、次々と撮影される通常撮影画像の内、第ｉ番目に撮影される通常撮影画像をＩL［ｉ］によって表す。そうすると、ＩS［１］、ＩL［１］、ＩS［２］、ＩL［２］、・・・、の順番で撮影が行われる。尚、本明細書では、記述の簡略化上、記号を記載することによって該記号に対応する画像等の名称を略記することがある。例えば、高速撮影画像ＩS［ｉ］を単に画像ＩS［ｉ］と略記することがあり、通常撮影画像ＩL［ｉ］を単に画像ＩL［ｉ］と略記することがある。
【００３９】
３００ｆｐｓにて動画像撮影を行う時における、撮像素子３３の駆動条件を３００ｆｐｓ駆動条件と呼び、３３ｆｐｓにて動画像撮影を行う時における、撮像素子３３の駆動条件を３３ｆｐｓ駆動条件と呼ぶ。
【００４０】
高速撮影画像の次に通常撮影画像が撮影されるため、高速撮影画像列ＩS［１］、ＩS［２］、ＩS［３］・・・から成る動画像の撮影フレームレートは実際には３００ｆｐｓではないが、１枚１枚の高速撮影画像は、３００ｆｐｓ駆動条件にて撮影される。従って、１枚の高速撮影画像の取得に必要な時間は、３００ｆｐｓ相当のそれ、即ち約３．３ｍｓ（ミリ秒）である。
【００４１】
通常撮影画像の次に高速撮影画像が撮影されるため、通常撮影画像列ＩL［１］、ＩL［２］、ＩL［３］・・・から成る動画像の撮影フレームレートは実際には３３ｆｐｓではないが、１枚１枚の通常撮影画像は、３３ｆｐｓ駆動条件にて撮影される。従って、１枚の通常撮影画像の取得に必要な時間は、３３ｆｐｓ相当のそれ、即ち約３０ｍｓである。
【００４２】
このように、１枚の高速撮影画像の取得に必要な時間と１枚の通常撮影画像の取得に必要な時間との合計時間は、記録フレームレートの逆数（約３３．３ｍｓ）以下に設定される。本例では、該合計時間が記録フレームレートの逆数と略同じとなっているが、該合計時間を記録フレームレートの逆数よりも随分小さくすることも可能ではある。
【００４３】
図６は、直立した人物を被写体とする動画像の撮影中において、撮像素子３３が横方向に位置変化したことを想定しており、この結果、露光タイミング差Δｔが大きい各通常撮影画像に大きなＦＰ歪みが発生している。一方で、高速撮影画像に対する露光タイミング差Δｔは十分に小さいため、各高速撮影画像に含まれるＦＰ歪みは無視できる程度に小さい。
【００４４】
時間的に隣接する画像ＩS［ｉ］及びＩL［ｉ］は、共通の被写体を撮影したものである。高速撮影画像ＩS［ｉ］の画角と通常撮影画像ＩL［ｉ］の画角は等しく、図７に示すように、撮像面の有効画素領域に属する共通エリア２１０内の受光画素の出力信号から画像ＩS［ｉ］及びＩL［ｉ］が生成される。従って、共通エリア２１０の左上隅、右上隅、左下隅及び右下隅に配置された受光画素の出力信号から、夫々、高速撮影画像ＩS［ｉ］の左上隅、右上隅、左下隅及び右下隅に配置された画素の画像信号が形成されると共に、通常撮影画像ＩL［ｉ］の左上隅、右上隅、左下隅及び右下隅に配置された画素の画像信号が形成される。
【００４５】
但し、共通エリア２１０内の全受光画素の出力信号を個別に読み出すことで通常撮影画像ＩL［ｉ］が得られるのに対し、高速撮影画像用の読み出し時間が短いことに起因して、高速撮影画像ＩS［ｉ］の生成の際には、共通エリア２１０内の一部の受光画素が間引かれる（即ち、所謂間引き読出しが行われる）、或いは、共通エリア２１０内の複数の受光画素の出力信号の加算信号を１つの受光画素の出力信号とみなした上で受光画素の出力信号の読み出しが成される（即ち、所謂加算読み出しが行われる）。このため、高速撮影画像ＩS［ｉ］の画像サイズは、通常撮影画像ＩL［ｉ］の画像サイズよりも小さい。本例では、図７に示す如く、任意の整数ｉに対して、高速撮影画像ＩS［ｉ］の水平及び垂直方向の画素数が夫々４４８及び３３６であって、通常撮影画像ＩL［ｉ］の水平及び垂直方向の画素数が夫々１２８０及び７２０であるものとする。以下、或る画像の水平及び垂直方向の画素数が夫々ＮX及びＮYであることを、画像サイズが（ＮX×ＮY）であると表現する。尚、上述の想定とは異なるが、高速撮影画像ＩS［ｉ］の画像サイズと通常撮影画像ＩL［ｉ］の画像サイズが同じであっても構わない。
【００４６】
また、高速撮影画像ＩS［ｉ］の明るさと通常撮影画像ＩL［ｉ］の明るさが同程度となるように、両画像の露光時間の比（ＴS：ＴL）に基づき、高速撮影画像ＩS［ｉ］の画像信号の生成時におけるＡＦＥ１２の信号増幅度は、通常撮影画像ＩL［ｉ］のそれのよりも大きくされる。但し、ＡＦＥ１２の信号増幅度を画像ＩS［ｉ］及びＩL［ｉ］間で同じとしておき、歪み検出部５２において高速撮影画像ＩS［ｉ］の各画素の輝度レベルを増大させることで、高速撮影画像ＩS［ｉ］と通常撮影画像ＩL［ｉ］の明るさを合わせるようにしても良い。
【００４７】
画像処理部５１に与えられた各高速撮影画像の画像信号及び各通常撮影画像の画像信号は、歪み検出部５２及び動き検出部５４に与えられる。歪み検出部５２又は動き検出部５４は、まず、高速撮影画像の画像サイズと通常撮影画像の画像サイズを同じにするためのサイズ正規化を実行する。通常撮影画像の画像サイズを低減することによってサイズ正規化を実現しても良いが、本例では、高速撮影画像の画像サイズを増大させる画像サイズ拡大処理をサイズ正規化として実行する。即ち、サイズ正規化としての画像サイズ拡大処理では、サイズ正規化後の高速撮影画像の画像サイズが（１２８０×７２０）になるように、画像処理部５１から与えられた高速撮影画像の画像サイズを増大させる。サイズ正規化後の高速撮影画像ＩS［ｉ］を、ＩS’［ｉ］にて表す。画像サイズ拡大処理は、画素の補間等を利用した公知の幾何学的変換によって実現される。
【００４８】
歪み検出部５２又は動き検出部５４は、サイズ正規化後の高速撮影画像を複数の検出用ブロックにて分割すると共に、それと同じ分割条件にて、通常撮影画像を複数の検出用ブロックにて分割する。図８（ａ）の画像２２０はサイズ正規化後の高速撮影画像を表し、図８（ｂ）の画像２３０は通常撮影画像を表している。画像２２０に対して、画像２２０の水平方向に平行な境界線を（ｎ−１）本設定することで画像２２０をｎ個の検出用ブロックに切り分ける（ｎは２以上の整数）。同様に、画像２３０に対して、画像２３０の水平方向に平行な境界線を（ｎ−１）本設定することで画像２３０をｎ個の検出用ブロックに切り分ける。画像２２０に設けられたｎ個の検出用ブロックをＢＬ［１］〜ＢＬ［ｎ］にて表し、画像２３０に設けられたｎ個の検出用ブロックもＢＬ［１］〜ＢＬ［ｎ］にて表す。各検出用ブロックは、複数の画素から形成されている。
【００４９】
画像２２０上の検出用ブロックＢＬ［ｊ］と画像２３０上の検出用ブロックＢＬ［ｊ］には、共通の水平ラインが属している（ｊは整数）。従って、被写体及び撮像素子３３の位置が固定されていると仮定したならば、理想的には、画像２２０上の検出用ブロックＢＬ［ｊ］内の画像と画像２３０上の検出用ブロックＢＬ［ｊ］内の画像は同じとなる。各検出用ブロックに属する水平ラインの本数は１本でもいいし、複数本でも良い。仮に例えば、３本の水平ラインごとに検出用ブロックを設定する場合には、画像２２０及び２３０上の各検出用ブロックＢＬ［１］は画像２２０及び２３０上の第１〜第３水平ラインを内包し、画像２２０及び２３０上の各検出用ブロックＢＬ［２］は画像２２０及び２３０上の第４〜第６水平ラインを内包することになる。
【００５０】
動き検出部５４は、公知のブロックマッチング、代表点マッチング又は勾配法等を用い、画像２２０及び２３０の画像信号に基づいて画像２２０及び２３０間のオプティカルフローを導出する。オプティカルフローは動きベクトルの束である。検出用ブロックごとに１つの動きベクトルが求められるように画像２２０及び２３０間のオプティカルフローは導出される。検出用ブロックＢＬ［ｊ］についての画像２２０及び２３０間の動きベクトルは、検出用ブロックＢＬ［ｊ］内の被写体の、画像２２０及び２３０間の動きの向き及び大きさを表すベクトルである。ここで、被写体の動きを、画像２２０を基準にして考える。従って例えば、画像２２０の検出用ブロックＢＬ［ｊ］内の注目被写体の位置に対して、画像２３０の検出用ブロックＢＬ［ｊ］内の該注目被写体の位置が右側に位置している時、検出用ブロックＢＬ［ｊ］の動きベクトルの向きは右向きになる。
【００５１】
図９に、高速撮影画像ＩS’［１］及び通常撮影画像ＩL［１］に対して求められたオプティカルフローを示す。このようなオプティカルフローは、高速撮影画像ＩS’［２］及び通常撮影画像ＩL［２］に対して、高速撮影画像ＩS’［３］及び通常撮影画像ＩL［３］に対して、・・・、次々と導出される。
【００５２】
歪み検出部５２は、高速撮影画像ＩS’［ｉ］及び通常撮影画像ＩL［ｉ］に対して求められた、検出用ブロックＢＬ［ｊ］についての動きベクトルを、通常撮影画像ＩL［ｉ］の検出用ブロックＢＬ［ｊ］におけるＦＰ歪み量として取り扱う。ＦＰ歪み量とは、通常撮影画像に存在しているＦＰ歪みを表す量である。ＦＰ歪み量は、動きベクトルと同様、向きと大きさを持つ量である。
【００５３】
歪み補正部５３は、歪み検出部５２にて求められたＦＰ歪み量に基づいて、画像取得部５１からの各通常撮影画像の画像信号を補正することにより、各通常撮影画像のＦＰ歪みを除去する。このＦＰ歪みの除去を介して、歪み補正部５３にて生成される画像を補正画像といい、通常撮影画像ＩL［ｉ］に基づく補正画像をＩC［ｉ］にて表す。尚、ここにおける除去とは、ＦＰ歪みの完全なる除去又は一部の除去を意味し、低減とも読み替えられる。
【００５４】
歪み補正部５３は、通常撮影画像ＩL［ｉ］の各画素の位置を通常撮影画像ＩL［ｉ］のＦＰ歪み量の向きと反対向きにＦＰ歪み量の大きさだけ平行移動させる幾何学的変換を実行する。この幾何学的変換は、検出用ブロックごとに行われる。これにより、通常撮影画像ＩL［ｉ］に含まれるＦＰ歪みが除去される。そして、この幾何学的変換の結果画像（即ち、この幾何学的変換後の通常撮影画像ＩL［ｉ］）から補正画像ＩC［ｉ］を生成する。図１０は、この幾何学的変換の様子を含む、補正画像の生成概念図である。
【００５５】
例えば、通常撮影画像ＩL［ｉ］の検出用ブロックＢＬ［ｊ］について、ＦＰ歪み量の向きが右向きであって且つＦＰ歪み量の大きさが５画素分である場合、通常撮影画像ＩL［ｉ］の検出用ブロックＢＬ［ｊ］内の画像は、ＦＰ歪みによって右向きに５画素分だけ理想的な位置からずれている。従って、この場合、歪み補正部５３は、通常撮影画像ＩL［ｉ］の検出用ブロックＢＬ［ｊ］に属する各画素の位置を、左向きに５画素分だけ平行移動させる幾何学的変換を行う。図１０において、通常撮影画像ＩL［ｉ］内の矢印は、この幾何学的変換の様子を示している。このような幾何学的変換を通常撮影画像ＩL［ｉ］の全検出用ブロックに対して行うことで、ＦＰ歪みが除去された変換画像ＩCA［ｉ］を得る。
【００５６】
歪み補正部５３は、変換画像ＩCA［ｉ］に所定の画像サイズを有する矩形領域を設定して、変換画像ＩCA［ｉ］から該矩形領域内の画像を抽出し、抽出画像を補正画像ＩC［ｉ］として生成する。補正画像ＩC［ｉ］の画像サイズが（１２８０×７２０）であるべきならば、上記抽出画像の画像サイズを（１２８０×７２０）に増大させる画像サイズ拡大処理を行い、該画像サイズ拡大処理後の抽出画像を補正画像ＩC［ｉ］として生成する。
【００５７】
補正画像の生成は、高速撮影画像と通常撮影画像の組ごとに次々と実行される。即ち、画像ＩS［１］及びＩL［１］に基づくＦＰ歪み量を用いて画像ＩL［１］から補正画像ＩC［１］が生成され、画像ＩS［２］及びＩL［２］に基づくＦＰ歪み量を用いて画像ＩL［２］から補正画像ＩC［２］が生成される。補正画像ＩC［３］等についても同様である。各補正画像は、記録フレームレート３０ｆｐｓの動画像の各フレームとして、外部メモリ１８に記録される。
【００５８】
上述したように、高速撮影画像に対する露光タイミング差Δｔは十分に小さいため、各高速撮影画像に含まれるＦＰ歪みは無視できる程度に小さい。しかしながら、通常撮影画像と同じ画像サイズの画像を高速撮影条件にて得ようとすると消費電力が大きくなる、或いは、消費電力を抑制しつつ高速撮影しようとすると撮像素子３３から読み出すことのできる画像の画像サイズは通常よりも小さくなる（図７参照）。従って、高速撮影条件のみにて動画像撮影を行うことは望ましくない。これらを考慮し、上述の如く、高速撮影画像と通常撮影画像を交互に取得し、高速撮影画像を基準にして高速撮影画像と通常撮影画像の差異を評価することで通常撮影画像のＦＰ歪み量を検出する。これにより、通常撮影画像のＦＰ歪みが正確に検出され、検出されたＦＰ歪み量を用いて通常撮影画像を補正することによりＦＰ歪みを高精度に除去することが可能となる。
【００５９】
尚、上述の例では、通常撮影画像ＩL［ｉ］の画像サイズが（１２８０×７２０）であることを想定したため、補正画像ＩC［ｉ］の画像サイズが（１２８０×７２０）であるべきならば変換画像ＩCA［ｉ］から抽出した画像に対して画像サイズ拡大処理が必要となるが（図１０参照）、この画像サイズ拡大処理が不要となるように、通常撮影画像の画像サイズを元々（１２８０×７２０）よりも大きくしておいても良い。即ち例えば、補正画像ＩC［ｉ］の画像サイズが（１２８０×７２０）と定められている場合、撮像素子３３の画素数が十分に大きいという条件の下で、（１６００×１２００）の画像サイズを有する通常撮影画像を取得するようにしておく。そうすれば、異常に大きなＦＰ歪みが発生しない限り、通常撮影画像に基づく変換画像から、（１２８０×７２０）の画像サイズを有する補正画像を直接抽出することができる。
【００６０】
また、画像ＩS［１］及びＩL［１］に基づくＦＰ歪み量を、通常撮影画像ＩL［１］以外の通常撮影画像（例えば、ＩL［２］）に含まれているＦＰ歪みの量であるとみなし、画像ＩS［１］及びＩL［１］に基づくＦＰ歪み量を用いて、通常撮影画像ＩL［１］以外の通常撮影画像（例えば、ＩL［２］）のＦＰ歪みを除去することも可能である。
【００６１】
上述の動作を基本動作と呼ぶ。以下、基本動作を元にした複数の実施例を説明する。後述の各実施例において、特に述べない事項に関しては、矛盾が生じない限り、上述の基本動作の説明が適用される。また、矛盾なき限り、或る実施例に記載した事項と他の実施例に記載した事項を組み合わせて実施することも可能である。
【００６２】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、上述の動画像の撮影及び記録の動作の流れを説明する。図１１は、この動作の流れを示すフローチャートである。
【００６３】
図１の録画ボタン２６ａの押下操作によって動画像の撮影及び記録の開始が指示されると、まず、ステップＳ１１の処理が実行される。ステップＳ１１において、図５の画像取得部５１は、３００ｆｐｓ駆動条件にて撮像素子３３を駆動させることにより１フレーム分の高速撮影画像の画像信号を取得する。得られた高速撮影画像の画像信号は、内部メモリ１７に一時的に保存される。続くステップＳ１２において、図５の画像取得部５１は、３３ｆｐｓ駆動条件にて撮像素子３３を駆動させることにより１フレーム分の通常撮影画像の画像信号を取得する。得られた通常撮影画像の画像信号は、内部メモリ１７に一時的に保存される。
【００６４】
その後、ステップＳ１３において、歪み検出部５２又は動き検出部５４は、ステップＳ１１にて得られた高速撮影画像の画像サイズをステップＳ１２にて得られた通常撮影画像の画像サイズに合わせるためのサイズ正規化を実行し、更にステップＳ１４において、歪み検出部５２は、動き検出部５４を用いて、サイズ正規化後の高速撮影画像と通常撮影画像からＦＰ歪み量を算出する。上述したように、ＦＰ歪み量は検出用ブロックごとに算出される。続くステップＳ１５において、歪み補正部５３は、ステップＳ１４にて算出されたＦＰ歪み量に基づき通常撮影画像を補正することによりＦＰ歪みが除去された補正画像を生成する。ステップＳ１６において、ＣＰＵ２３の制御の下、生成された補正画像の画像信号は外部メモリ１８に記録される。
【００６５】
上述のステップＳ１１〜Ｓ１６の処理が順次行われた後、ステップＳ１７に至る。ステップＳ１７において、画像取得部５１は、ＴＧ２２から垂直同期信号Ｖｓｙｎｃが出力されたか否かを確認し、垂直同期信号Ｖｓｙｎｃの出力が確認されるまで撮像素子３３の駆動を待機する。ここにおける垂直同期信号Ｖｓｙｎｃは、１／３０秒の周期にて発生する、３０ｆｐｓ用の垂直同期信号Ｖｓｙｎｃである。垂直同期信号Ｖｓｙｎｃの出力が確認されたならば、ステップＳ１７からステップＳ１８に移行し、画像取得部５１は、録画ボタン２６ａに対する再度の押下操作によって動画像の撮影及び記録の終了が指示されているか否かを確認する。その終了が指示されている場合には、図１１の動作を終了するが、その終了が指示されていない場合にはステップＳ１１に戻り、ステップＳ１１以降の各処理が再び実行される。
【００６６】
＜＜第２実施例＞＞
第２実施例を説明する。上述してきたＦＰ歪みの除去方法は、静止画像の撮影にも適用できる。即ち、図１のシャッタボタン２６ｂの押下操作による静止画像の撮影指示が成されたとき、画像取得部５１は、高速撮影条件による撮像素子３３の駆動と通常撮影条件による撮像素子３３の駆動を連続的に１回だけ実行すると良い。これにより、図１２に示す如く、連続撮影された１枚の高速撮影画像３１１と１枚の通常撮影画像３１２が得られる。ここで得られた高速撮影画像３１１と通常撮影画像３１２は、図６の高速撮影画像ＩS［１］と通常撮影画像ＩL［１］に相当する。従って、高速撮影画像３１１及び通常撮影画像３１２を高速撮影画像ＩS［１］及び通常撮影画像ＩL［１］として取り扱って歪み検出部５２及び歪み補正部５３を用いることにより、通常撮影画像３１２のＦＰ歪みが除去された補正画像を得ることができる。
【００６７】
更に、上述してきたＦＰ歪みの除去方法は、静止画像の連続撮影にも適用できる。ユーザは、操作部２６に対して所定の連写操作を行うことで、静止画像の連続撮影を指示することができる。
【００６８】
例えば、上記連写操作により３枚の静止画像を連続撮影することが指示された場合、画像取得部５１は、高速撮影条件による撮像素子３３の駆動を１回実行した後、通常撮影条件による撮像素子３３の駆動を連続的に３回実行すると良い。これにより、図１３に示す如く、連続撮影された１枚の高速撮影画像３２１と３枚の通常撮影画像３２２〜３２４が得られる。
【００６９】
歪み検出部５２は、高速撮影画像ＩS［ｉ］及び通常撮影画像ＩL［ｉ］から通常撮影画像ＩL［ｉ］に対するＦＰ歪み量を検出用ブロックごとに導出する方法と同様の方法にて、画像３２１及び３２２から画像３２２に対するＦＰ歪み量を検出用ブロックごとに導出し、画像３２１及び３２３から画像３２３に対するＦＰ歪み量を検出用ブロックごとに導出し、画像３２１及び３２４から画像３２４に対するＦＰ歪み量を検出用ブロックごとに導出することができる。そして、歪み補正部５３は、通常撮影画像ＩL［ｉ］に対する検出用ブロックごとのＦＰ歪み量に基づき通常撮影画像ＩL［ｉ］から補正画像ＩC［ｉ］を生成する方法と同様の方法にて、画像３２２に対する検出用ブロックごとのＦＰ歪み量に基づき画像３２２からＦＰ歪みを除去した補正画像を生成し、画像３２３に対する検出用ブロックごとのＦＰ歪み量に基づき画像３２３からＦＰ歪みを除去した補正画像を生成し、画像３２４に対する検出用ブロックごとのＦＰ歪み量に基づき画像３２４からＦＰ歪みを除去した補正画像を生成することができる。
【００７０】
また例えば、上記連写操作により３枚の静止画像を連続撮影することが指示された場合、画像取得部５１は、高速撮影条件による撮像素子３３の駆動と通常撮影条件による撮像素子３３の駆動を１回ずつ実行する処理を、連続的に３回繰り返すようにしても良い。これにより、図１４に示す如く、高速撮影画像３３１、通常撮影画像３３２、高速撮影画像３３３、通常撮影画像３３４、高速撮影画像３３５及び通常撮影画像３３６が、この順番で連続的に撮影されることになる。ここで得られた画像３３１、３３２、３３３、３３４、３３５及び３３６を、夫々、画像ＩS［１］、ＩL［１］、ＩS［２］、ＩL［２］、ＩS［３］及びＩL［３］として取り扱って歪み検出部５２及び歪み補正部５３を用いることにより、通常撮影画像３３２、３３４及び３３６のＦＰ歪みが除去された３枚の補正画像を得ることができる。
【００７１】
尚、図６及び図１２〜図１４を参照して説明した例を含む上述の各動作例では、通常撮影画像のＦＰ歪み量の導出用に取得される高速撮影画像が、当該通常撮影画像の前に撮影されているが、高速撮影画像と通常撮影画像の撮影順序は不問である。即ち例えば、図６の例において、画像ＩL［１］、ＩS［１］、ＩL［２］、ＩS［２］、・・・の順番で撮影を行うようにしてもよいし、図１２の例において、画像３１２の次に画像３１１を撮影するようにしても良い。
【００７２】
＜＜第３実施例＞＞
第３実施例を説明する。上述の各動作例では、動画像又は静止画像の撮影時にリアルタイムで補正画像を生成することを想定しているが、補正画像の生成タイミングは任意である。即ち例えば、図６に示す例の場合、撮影した画像ＩS［１］、ＩL［１］、ＩS［２］、ＩL［２］、・・・、ＩS［ｍ］及びＩL［ｍ］の画像信号を、一旦外部メモリ１８に記録しておき（ｍは２以上の整数）、その後、必要に応じ、任意のタイミングにおいて、画像ＩS［１］、ＩL［１］、ＩS［２］、ＩL［２］、・・・、ＩS［ｍ］及びＩL［ｍ］から補正画像ＩC［１］〜ＩL［ｍ］を生成するようにしても良い。
【００７３】
撮像装置１と異なる電子機器（不図示）に、歪み検出部５２及び歪み補正部５３を設けておくようにしても良い。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。撮像装置１の画像取得部５１を用いて得られた高速撮影画像及び通常撮影画像の画像信号を、外部メモリ１８を介して又は通信によって上記電子機器に伝達するようにすれば、当該電子機器内の歪み検出部５２及び歪み補正部５３において、高速撮影画像及び通常撮影画像から補正画像を生成することが可能である。
【００７４】
＜＜第４実施例＞＞
第４実施例を説明する。上述の例では、画像２２０を水平方向のみに沿って分割することで複数の検出用ブロックを設定しているが（図８（ａ））、画像２２０を水平及び垂直方向に沿って分割することで複数の検出用ブロックを設定するようにしても良い（画像２３０についても同様）。
【００７５】
即ち例えば、図１５に示す如く、画像２２０の全画像領域を水平及び垂直方向に沿って切り分けることで、画像２２０を（ｎA×ｎB）個の検出用ブロックに分割するようにしても良い（ｎA及びｎBは２以上の整数）。画像２３０に対する検出用ブロックも、画像２２０と同様に設定される。この場合においても、上述してきたように、動き検出部５４及び歪み検出部５２において検出用ブロックごとに高速撮影画像及び通常撮影画像間の動きベクトル及びＦＰ歪み量が算出され、歪み補正部５３においてＦＰ歪み量に基づく通常撮影画像の補正が検出用ブロックごとに行われることに変わりはない。
【００７６】
＜＜第５実施例＞＞
第５実施例を説明する。上述の基本動作では、直立した人物を被写体とする動画像の撮影中において、撮像素子３３が画像の水平方向に対応する横方向に位置変化したことが想定されており、この結果として発生した水平方向のＦＰ歪みを除去しているが、第５実施例及び後述の第６実施例では、直立した人物を被写体とする動画像の撮影中において、撮像素子３３が画像の垂直方向に対応する縦方向に位置変化したことを想定する。
【００７７】
縦方向の位置変化には、上方向の位置変化と下方向の位置変化が存在するが、第５実施例では、直立した人物を被写体とする動画像の撮影中において、撮像素子３３が上方向に位置変化した場合を考える。図１６は、第５実施例に係る高速撮影画像列及び通常撮影画像列と、それらの撮影タイミングを示す図である。画像４１０及び４３０は、夫々、第５実施例における高速撮影画像ＩS［１］及びＩS［２］であり、画像４２０及び４４０は、夫々、第５実施例における通常撮影画像ＩL［１］及びＩL［２］である。第５実施例に係る高速撮影画像及び通常撮影画像の生成方法は、基本動作のそれと同じである。従って、高速撮影画像４１０及び４３０の夫々の画像サイズは（４４８×３３６）であって、通常撮影画像４２０及び４４０の夫々の画像サイズは（１２８０×７２０）である。
【００７８】
基本動作と同様、歪み検出部５２又は動き検出部５４は、高速撮影画像４１０及び４３０の夫々の画像サイズを通常撮影画像４２０及び４４０の夫々の画像サイズと同じにするためのサイズ正規化を実行する。通常撮影画像の画像サイズを低減することによってサイズ正規化を実現しても良いが、基本動作と同様、高速撮影画像の画像サイズを増大させる画像サイズ拡大処理をサイズ正規化として実行することを想定する。即ち、サイズ正規化としての画像サイズ拡大処理では、サイズ正規化後の高速撮影画像の画像サイズが（１２８０×７２０）になるように、画像処理部５１から与えられた高速撮影画像４１０及び４３０の画像サイズを増大させる。サイズ正規化後の高速撮影画像４１０及び４３０を、夫々、４１０’及び４３０’にて表す。図１７に、サイズ正規化後の高速撮影画像４１０’を、通常撮影画像４２０と共に示す。
【００７９】
動き検出部５４は、画像４１０’及び４２０の画像信号に基づき、画像４１０’及び４２０間のオプティカルフローを導出する。具体的には例えば、以下のように処理すれば良い。
【００８０】
画像４１０’から第１〜第Ｎの特徴点を抽出して、画像４１０’と画像４２０との間で画像マッチング（例えばブロックマッチング）を行うことにより、画像４１０’上の第１〜第Ｎの特徴点に対応する、画像４２０上におけるＮ個の特徴点を検出する（Ｎは２以上の整数）。但し、画像４１０’上において、第１〜第Ｎの特徴点は、互いに垂直位置が異なるものとする。即ち、第１〜第Ｎの特徴点が属する水平ラインは互いに異なる。図８（ａ）の画像２２０に対してｎ個の検出用ブロックＢＬ［１］〜ＢＬ［ｎ］を設定したのと同様に、画像４１０’に対しても検出用ブロックＢＬ［１］〜ＢＬ［ｎ］を設定し、画像４１０’上の各検出用ブロックから１つずつ特徴点を抽出するようにしてもよい（この場合、ｎ＝Ｎとなる）。
【００８１】
特徴点は、周囲の点と区別できる、追跡の容易な点であることが望ましい。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。そして、画像４１０’上の特徴点ごとに、画像４１０’上の特徴点の位置から画像４２０上の対応特徴点の位置へと向かうベクトルを特徴点動きベクトルとして求める。
【００８２】
図１８には、画像４１０’から抽出された３つの特徴点４１１〜４１３が示されていると共に、特徴点４１１〜４１３に対応する画像４２０上の特徴点４２１〜４２３が示されている。理想的には、画像４１０’上の特徴点４１１〜４１３に位置する画素の画像信号は、夫々、画像４２０上の特徴点４２１〜４２３に位置する画素の画像信号と一致する。ベクトルＶＥＣ1は、画像４１０’上の特徴点４１１の位置から画像４２０上の対応特徴点４２１の位置へと向かう特徴点動きベクトルであり、ベクトルＶＥＣ2は、画像４１０’上の特徴点４１２の位置から画像４２０上の対応特徴点４２２の位置へと向かう特徴点動きベクトルであり、ベクトルＶＥＣ3は、画像４１０’上の特徴点４１３の位置から画像４２０上の対応特徴点４２３の位置へと向かう特徴点動きベクトルである。動き検出部５４によって、Ｎ個の特徴点の夫々に対する特徴点動きベクトルが求められる。第５実施例において求められるオプティカルフローは、動きベクトルの一種である特徴点動きベクトルの束である。第５実施例及び後述する第６実施例では、撮像素子３３が上方向に位置変化したことを想定しているため、各特徴点動きベクトルの向きは、通常撮影画像の垂直方向及び高速撮影画像の垂直方向と平行である。
【００８３】
尚、上述の例では、画像４１０’から特徴点を抽出した後、画像４１０’上の特徴点に対応する特徴点を画像４２０から検出するようにしているが、逆に、画像４２０から特徴点を抽出した後、画像４２０上の特徴点に対応する特徴点を画像画像４１０’から検出し、これによって特徴点動きベクトルを求めるようにしても良い。また、基本動作におけるオプティカルフロー導出を、上述の同様の特徴点探索によって実現することもできる。
【００８４】
動き検出部５４は、複数の特徴点動きベクトルから形成されるオプティカルフローを、画像４３０’及び４４０に対しても求め、画像４４０の撮影以後に得られる高速撮影画像及び通常撮影画像の組に対しても順次求めてゆく。
【００８５】
歪み検出部５２は、高速撮影画像４１０’及び通常撮影画像４２０に対して求められた特徴点動きベクトルを、通常撮影画像４２０に対するＦＰ歪み量として取り扱う。高速撮影画像４３０’及び通常撮影画像４４０についても同様である。ＦＰ歪み量とは、通常撮影画像に存在しているＦＰ歪みを表す量である。ＦＰ歪み量は、動きベクトル及び特徴点動きベクトルと同様、向きと大きさを持つ量である。
【００８６】
歪み補正部５３は、歪み検出部５２にて求められたＦＰ歪み量に基づいて、画像取得部５１からの各通常撮影画像の画像信号を補正することにより、各通常撮影画像のＦＰ歪みを除去する。通常撮影画像４２０及び４４０のＦＰ歪みを除去して得られる画像を夫々補正画像４２０C及び４４０Cと呼ぶ。
【００８７】
ＦＰ歪み量に基づき通常撮影画像４２０から補正画像４２０Cを生成する方法例を説明する。
【００８８】
歪み補正部５３は、ＦＰ歪み量としての特徴点動きベクトルの逆ベクトルを歪み補正ベクトルとして設定する。特徴点動きベクトルの逆ベクトルとは、特徴点動きベクトルと向きが反対であって且つ特徴点動きベクトルと大きさが同じベクトルを指す。歪み補正ベクトルは、まず、特徴点が属する水平ラインごとに設定される。即ち、図１９に示す如く、特徴点４２１、４２２及び４２３が属する、通常撮影画像４２０上の水平ライン４５１、４５２及び４５３に対して、夫々、特徴点動きベクトルＶＥＣ1、ＶＥＣ2及びＶＥＣ3の逆ベクトルである歪み補正ベクトルＶＥＣ1’、ＶＥＣ2’及びＶＥＣ3’が設定される。特徴点４２１〜４２３以外の他の特徴点が属する水平ラインに対しても歪み補正ベクトルが設定される。
【００８９】
図１９の通常撮影画像４２０内に示される水平ライン４５０は、撮像素子３３の第１水平ラインに対応する、通常撮影画像４２０上の水平ラインであり、通常撮影画像４２０において最も上方側に位置する水平ラインである。水平ライン４５０についての歪み補正ベクトルＶＥＣTOP’の大きさはゼロとされる。今、説明の便宜上、通常撮影画像４２０上において、第ｕの特徴点は第（ｕ＋１）の特徴点よりも上方側に位置するものとし（ｕは整数）、特徴点４２１〜４２３が夫々第１〜第３の特徴点であることを想定する。
【００９０】
歪み補正部５３は、第１〜第Ｎの特徴点に対する特徴点動きベクトルに基づき、第１〜第Ｎの特徴点が属する各水平ラインに対して歪み補正ベクトルを設定した後、補間を用いて水平ラインごとの歪み補正ベクトルを導出する。補間の方法として、線形補間に代表される任意の補間の方法を用いることができる。ここでは、線形補間を用いることを想定する。そうすると、水平ライン４５０及び４５１間の中間に位置する水平ラインに対する歪み補正ベクトルは、歪み補正ベクトルＶＥＣTOP’ 及びＶＥＣ1’の平均ベクトルとされ、水平ライン４５１及び４５２間の中間に位置する水平ラインに対する歪み補正ベクトルは、歪み補正ベクトルＶＥＣ1’ 及びＶＥＣ2’の平均ベクトルとされる。同様に、第３の特徴点４２３の属する水平ライン４５３及び第４の特徴点の属する水平ライン間の中間に位置する水平ラインについての歪み補正ベクトルは、歪み補正ベクトルＶＥＣ3’と、第４の特徴点の属する水平ラインについての歪み補正ベクトルとの平均ベクトルとされる。このように、第ｕの特徴点の属する水平ラインと第（ｕ＋１）の特徴点の属する水平ラインとの間に位置する水平ラインの歪み補正ベクトルは、第ｕの特徴点の属する水平ラインについての歪み補正ベクトルと、第（ｕ＋１）の特徴点の属する水平ラインについての歪み補正ベクトルとを用いた線形補間によって導出される。
【００９１】
通常撮影画像４２０の各水平ラインについての歪み補正ベクトルを導出した後、歪み補正部５３は、通常撮影画像４２０の水平ライン及び水平ライン上の各画素を、水平ラインごとに、歪み補正ベクトルの向きに沿って歪み補正ベクトルの大きさだけ平行移動させる幾何学的変換を実行する。図１９の右側に、上記幾何学的変換を水平ライン４５１〜４５３に施すことによって得られた水平ライン４５１’〜 ４５３’を、水平ライン４５１〜４５３と共に共通の画像空間上に示す。
【００９２】
歪み補正ベクトルに従う上記幾何学的変換を通常撮影画像４２０に施して得られる画像が、補正画像４２０Cである。図２０に、得られた補正画像４２０Cを示す。第５実施例の想定化における上記幾何学的変換は、画像サイズを垂直方向に拡大させるスケール変換に相当する。例えば、通常撮影画像４２０上の水平ライン４５１及び４５２間に存在する水平ラインが５本である場合において、水平ライン４５１及び４５２間の距離が上記幾何学的変換によって２倍に拡大されたならば、補正画像４２０C上の水平ライン４５１’及び ４５２’間には１０本の水平ラインが挿入され、その１０本の水平ライン上の各画素の画像信号が補正画像４２０Cの画像信号として、通常撮影画像４２０の画像信号に基づく補間（必要に応じて画像信号の再標本化）を介して導出される。
【００９３】
通常撮影画像４２０に対する補正動作を説明したが、補正画像の生成は、高速撮影画像と通常撮影画像の組ごとに次々と実行される。即ち、画像４１０及び４２０に基づくＦＰ歪み量を用いて画像４２０から補正画像４２０Cが生成され、画像４３０及び４４０に基づくＦＰ歪み量を用いて画像４４０から補正画像４４０Cが生成される。画像４４０の撮影以後に得られる高速撮影画像及び通常撮影画像の組に対しても同様である。各補正画像は、記録フレームレート３０ｆｐｓの動画像の各フレームとして、外部メモリ１８に記録される。
【００９４】
第５実施例によれば、垂直方向における通常撮影画像のＦＰ歪みが正確に検出され、検出されたＦＰ歪み量を用いて通常撮影画像を補正することにより垂直方向のＦＰ歪みを高精度に除去することが可能となる。
【００９５】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、第５実施例の想定とは逆に、直立した人物を被写体とする動画像の撮影中において、撮像素子３３が下方向に位置変化した場合を考える。通常撮影画像から補正画像を生成する際に用いるスケール変換の内容が異なるだけで、第６実施例の動作は第５実施例のそれと同様である。
【００９６】
図２１は、第６実施例に係る高速撮影画像列及び通常撮影画像列と、それらの撮影タイミングを示す図である。画像５１０及び５３０は、夫々、第６実施例における高速撮影画像ＩS［１］及びＩS［２］であり、画像５２０及び５４０は、夫々、第６実施例における通常撮影画像ＩL［１］及びＩL［２］である。第６実施例に係る高速撮影画像及び通常撮影画像の生成方法は、基本動作のそれと同じである。従って、高速撮影画像５１０及び５３０の夫々の画像サイズは（４４８×３３６）であって、通常撮影画像５２０及び５４０の夫々の画像サイズは（１２８０×７２０）である。
【００９７】
基本動作と同様、歪み検出部５２又は動き検出部５４は、高速撮影画像５１０及び５３０の夫々の画像サイズを通常撮影画像５２０及び５４０の夫々の画像サイズと同じにするためのサイズ正規化を実行する。通常撮影画像の画像サイズを低減することによってサイズ正規化を実現しても良いが、基本動作と同様、高速撮影画像の画像サイズを増大させる画像サイズ拡大処理をサイズ正規化として実行することを想定する。即ち、サイズ正規化としての画像サイズ拡大処理では、サイズ正規化後の高速撮影画像の画像サイズが（１２８０×７２０）になるように、画像処理部５１から与えられた高速撮影画像５１０及び５３０の画像サイズを増大させる。サイズ正規化後の高速撮影画像５１０及び５３０を、夫々、５１０’及び５３０’にて表す。図２２に、サイズ正規化後の高速撮影画像５１０’を、通常撮影画像５２０と共に示す。
【００９８】
動き検出部５４は、画像５１０’及び５２０の画像信号に基づき、複数の特徴点動きベクトルから成る、画像５１０’及び５２０間のオプティカルフローを導出する。ここにおけるオプティカルフローの導出方法は、第５実施例に示したものと同じである。動き検出部５４は、複数の特徴点動きベクトルから形成されるオプティカルフローを、画像５３０’及び５４０に対しても求め、画像５４０の撮影以後に得られる高速撮影画像及び通常撮影画像の組に対しても順次求めてゆく。
【００９９】
歪み検出部５２は、高速撮影画像５１０’及び通常撮影画像５２０に対して求められた特徴点動きベクトルを、通常撮影画像５２０に対するＦＰ歪み量として取り扱う。高速撮影画像５３０’及び通常撮影画像５４０についても同様である。
【０１００】
歪み補正部５３は、歪み検出部５２にて求められたＦＰ歪み量に基づいて、画像取得部５１からの各通常撮影画像の画像信号を補正することにより、各通常撮影画像のＦＰ歪みを除去する。通常撮影画像５２０及び５４０のＦＰ歪みを除去して得られる画像を夫々補正画像５２０C及び５４０Cと呼ぶ。
【０１０１】
歪み補正部５３は、第５実施例で述べた方法と同様の方法にて、通常撮影画像５２０のＦＰ歪み量（特徴点動きベクトル）から通常撮影画像５２０の水平ラインごとの歪み補正ベクトルを導出し、通常撮影画像５２０の水平ライン及び水平ライン上の各画素を、水平ラインごとに、歪み補正ベクトルの向きに沿って歪み補正ベクトルの大きさだけ平行移動させる幾何学的変換を実行することで補正画像５２０Cを生成する。
【０１０２】
図２３に、得られた補正画像５２０Cを示す。第６実施例の想定化における上記幾何学的変換は、画像サイズを垂直方向に縮小させるスケール変換に相当する。例えば、通常撮影画像５２０上の第１及び第２注目水平ライン間に存在する水平ラインが１０本である場合において、第１及び第２注目水平ライン間の距離が上記幾何学的変換によって１／２倍に縮小されたならば、第１及び第２注目水平ラインに対応する、補正画像５２０C上の２本の水平ライン間には５本の水平ラインのみが挿入される。つまり、上記１０本の水平ラインの内の半分が、スケール変換の過程で間引かれる。
【０１０３】
通常撮影画像５２０に対する補正動作を説明したが、補正画像の生成は、高速撮影画像と通常撮影画像の組ごとに次々と実行される。即ち、画像５１０及び５２０に基づくＦＰ歪み量を用いて画像５２０から補正画像５２０Cが生成され、画像５３０及び５４０に基づくＦＰ歪み量を用いて画像５４０から補正画像５４０Cが生成される。画像５４０の撮影以後に得られる高速撮影画像及び通常撮影画像の組に対しても同様である。各補正画像は、記録フレームレート３０ｆｐｓの動画像の各フレームとして、外部メモリ１８に記録される。
【０１０４】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０５】
［注釈１］
水平方向のＦＰ歪みの除去方法と垂直方向のＦＰ歪みの除去方法を別個に説明したが、通常撮影画像に水平及び垂直方向のＦＰ歪みが含まれているなら、両者を同時に除去することも可能である。即ち、基本動作と上述の第５及び第６実施例を組み合わせて実施することで、通常撮影画像に含まれうる水平及び垂直方向のＦＰ歪みを同時に除去するようにしても良い。
【０１０６】
［注釈２］
高速撮影画像の生成時には、図７の共通エリア２１０内の一部の受光画素が間引かれる一方で、通常撮影画像の生成時には、共通エリア２１０内の全受光画素の出力信号が個別に読み出されると上述したが、通常撮影画像の生成時においても受光画素の間引きが行われても構わない。従って例えば、撮像素子３３の共通エリア２１０に属する幾つかの水平ライン上の受光画素は、高速撮影画像の生成時だけでなく通常撮影画像の生成時においても間引かれることがある。但し、間引きの対象となる水平ラインは、通常撮影画像の生成時と高速撮影画像の生成時との間で異なりうる。
【０１０７】
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい
【符号の説明】
【０１０８】
１  撮像装置
１１  撮像部
３３  撮像素子
５１  画像取得部
５２  歪み検出部
５３  歪み補正部
５４  動き検出部
【図１】
2011087203.tif 000003
【図２】
2011087203.tif 000004
【図３】
2011087203.tif 000005
【図４】
2011087203.tif 000006
【図５】
2011087203.tif 000007
【図６】
2011087203.tif 000008
【図７】
2011087203.tif 000009
【図８】
2011087203.tif 000010
【図９】
2011087203.tif 000011
【図１０】
2011087203.tif 000012
【図１１】
2011087203.tif 000013
【図１２】
2011087203.tif 000014
【図１３】
2011087203.tif 000015
【図１４】
2011087203.tif 000016
【図１５】
2011087203.tif 000017
【図１６】
2011087203.tif 000018
【図１７】
2011087203.tif 000019
【図１８】
2011087203.tif 000020
【図１９】
2011087203.tif 000021
【図２０】
2011087203.tif 000022
【図２１】
2011087203.tif 000023
【図２２】
2011087203.tif 000024
【図２３】
2011087203.tif 000025