(57)【要約】【課題】撮像動作時における撮像情報を適切に取得する。【解決手段】画像処理装置は、動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定部を具備する画像処理装置である。また、この画像処理装置が具備する判定部は、動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて、その動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定するものである。【選択図】図１
2015033108.tif 000002
【特許請求の範囲】
【請求項１】
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定部を具備する画像処理装置。
【請求項２】
前記判定部は、前記取り込み方式として前記撮像動作時における前記撮像素子の撮像方向および前記撮像素子のシャッター方式のうちの少なくとも１つを判定する請求項１記載の画像処理装置。
【請求項３】
前記判定部は、前記特徴量として前記複数の領域毎の局所的な動きベクトルを取得し、前記動画コンテンツを構成するフレームのうちの時系列で隣接するフレーム間における前記局所的な動きベクトルの連続性に基づいて前記判定を行う請求項１記載の画像処理装置。
【請求項４】
前記判定部は、前記特徴量として前記複数の領域毎の局所的な動きベクトルを取得し、前記動画コンテンツを構成するフレームのうちの時系列で隣接するフレームを第１フレームおよび第２フレームとし、前記第１フレームの特定方向における一方の端部側の領域から取得された前記局所的な動きベクトルと、前記第２フレームの前記特定方向における他方の端部側の領域から取得された前記局所的な動きベクトルとの比較結果に基づいて前記判定を行う請求項１記載の画像処理装置。
【請求項５】
前記判定部は、前記第１フレームの前記一方の端部側の領域から取得された前記局所的な動きベクトルである第１動きベクトルと、前記第１フレームの前記他方の端部側の領域から取得された前記局所的な動きベクトルである第２動きベクトルと、前記第２フレームの前記一方の端部側の領域から取得された前記局所的な動きベクトルである第３動きベクトルと、前記第２フレームの前記他方の端部側の領域から取得された前記局所的な動きベクトルである第４動きベクトルとについて、前記第１動きベクトルと前記第４動きベクトルとの比較結果と、前記第２動きベクトルと前記第３動きベクトルとの比較結果とに基づいて算出される値を用いて前記判定を行う請求項４記載の画像処理装置。
【請求項６】
前記判定された取り込み方式に基づいて前記動画コンテンツについてフォーカルプレーン歪み補正を行う補正部をさらに具備する請求項１記載の画像処理装置。
【請求項７】
前記判定部は、前記取り込み方式として前記撮像動作時における前記撮像素子の撮像方向および前記撮像素子のシャッター方式のうちの少なくとも１つを判定し、
前記補正部は、前記判定部により前記シャッター方式がフォーカルプレーンシャッター方式であると判定された場合には、前記判定された撮像方向に基づいて前記動画コンテンツについてフォーカルプレーン歪み補正を行い、前記判定部により前記シャッター方式がグローバルシャッター方式であると判定された場合には、前記動画コンテンツについてフォーカルプレーン歪み補正を行わない
請求項６記載の画像処理装置。
【請求項８】
前記判定部は、前記動画コンテンツを構成する対象フレームにおける複数の領域と他のフレームとの比較結果に基づいて前記複数の領域毎の特徴量を取得する請求項１記載の画像処理装置。
【請求項９】
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する画像処理方法。
【請求項１０】
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定手順をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、イメージセンサにより人物等の被写体を撮像して画像（画像データ）を生成する撮像装置等の画像処理装置が普及している。なお、イメージセンサは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサである。また、そのように生成された画像を再生する再生装置等の画像処理装置が普及している。
【０００３】
例えば、ＣＭＯＳイメージセンサ等で生じるフォーカルプレーン現象による撮像画像の歪み（フォーカルプレーン歪み）を補正する歪み補正装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０８５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、撮像装置等の装置内での補正を対象とし、ＣＭＯＳイメージセンサの垂直撮像方向がその装置内で既知であるため、この垂直撮像方向に基づいて撮像画像のフォーカルプレーン歪みを適切に補正することができる。
【０００６】
ここで、例えば、撮像装置によりフォーカルプレーン歪み補正が行われずに記録された動画コンテンツを他の再生装置に移動して、その再生装置においてその動画コンテンツを再生する場合を想定する。この場合には、その再生装置がその動画コンテンツについてフォーカルプレーン歪み補正を行い、このフォーカルプレーン歪み補正を行った動画コンテンツを再生することが想定される。
【０００７】
しかしながら、その動画コンテンツの撮像動作時におけるＣＭＯＳイメージセンサの垂直撮像方向が異なることも想定される。この場合に、その再生装置がその動画コンテンツについて誤った垂直撮像方向に基づいてフォーカルプレーン歪み補正を行うと、フォーカルプレーン歪みを適切に補正することができない。
【０００８】
また、例えば、グローバルシャッター方式のイメージセンサ（例えば、ＣＣＤイメージセンサ）により撮像された動画コンテンツは、原理的にフォーカルプレーン歪みを含まない。このため、グローバルシャッター方式のイメージセンサにより撮像された動画コンテンツについては、フォーカルプレーン歪み補正を行う必要がない。
【０００９】
すなわち、動画コンテンツを扱う場合には、その撮像動作時における垂直撮像方向、シャッター方式等の撮像情報を適切に取得してこれを用いることが重要である。
【００１０】
本技術はこのような状況に鑑みて生み出されたものであり、撮像動作時における撮像情報を適切に取得することを目的とする。
【課題を解決するための手段】
【００１１】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて上記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定部を具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて、その動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記判定部は、上記取り込み方式として上記撮像動作時における上記撮像素子の撮像方向および上記撮像素子のシャッター方式のうちの少なくとも１つを判定するようにしてもよい。これにより、取り込み方式として、撮像動作時における撮像素子の撮像方向および撮像素子のシャッター方式のうちの少なくとも１つを判定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記判定部は、上記特徴量として上記複数の領域毎の局所的な動きベクトルを取得し、上記動画コンテンツを構成するフレームのうちの時系列で隣接するフレーム間における上記局所的な動きベクトルの連続性に基づいて上記判定を行うようにしてもよい。これにより、動画コンテンツを構成するフレームのうちの時系列で隣接するフレーム間における局所的な動きベクトルの連続性に基づいて、その動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定するという作用をもたらす。
【００１４】
また、この第１の側面において、上記判定部は、上記特徴量として上記複数の領域毎の局所的な動きベクトルを取得し、上記動画コンテンツを構成するフレームのうちの時系列で隣接するフレームを第１フレームおよび第２フレームとし、上記第１フレームの特定方向における一方の端部側の領域から取得された上記局所的な動きベクトルと、上記第２フレームの上記特定方向における他方の端部側の領域から取得された上記局所的な動きベクトルとの比較結果に基づいて上記判定を行うようにしてもよい。これにより、第１フレームの特定方向における一方の端部側の領域から取得された局所的な動きベクトルと、第２フレームの特定方向における他方の端部側の領域から取得された局所的な動きベクトルとの比較結果に基づいて、その動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定するという作用をもたらす。
【００１５】
また、この第１の側面において、上記判定部は、上記第１フレームの上記一方の端部側の領域から取得された上記局所的な動きベクトルである第１動きベクトルと、上記第１フレームの上記他方の端部側の領域から取得された上記局所的な動きベクトルである第２動きベクトルと、上記第２フレームの上記一方の端部側の領域から取得された上記局所的な動きベクトルである第３動きベクトルと、上記第２フレームの上記他方の端部側の領域から取得された上記局所的な動きベクトルである第４動きベクトルとについて、上記第１動きベクトルと上記第４動きベクトルとの比較結果と、上記第２動きベクトルと上記第３動きベクトルとの比較結果とに基づいて算出される値を用いて上記判定を行うようにしてもよい。これにより、第１動きベクトルと第４動きベクトルとの比較結果と、第２動きベクトルと第３動きベクトルとの比較結果とに基づいて算出される値を用いて、その動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記判定された取り込み方式に基づいて上記動画コンテンツについてフォーカルプレーン歪み補正を行う補正部をさらに具備するようにしてもよい。これにより、判定された取り込み方式に基づいて、動画コンテンツについてフォーカルプレーン歪み補正を行うという作用をもたらす。
【００１７】
また、この第１の側面において、上記判定部は、上記取り込み方式として上記撮像動作時における上記撮像素子の撮像方向および上記撮像素子のシャッター方式のうちの少なくとも１つを判定し、上記補正部は、上記判定部により上記シャッター方式がフォーカルプレーンシャッター方式であると判定された場合には、上記判定された撮像方向に基づいて上記動画コンテンツについてフォーカルプレーン歪み補正を行い、上記判定部により上記シャッター方式がグローバルシャッター方式であると判定された場合には、上記動画コンテンツについてフォーカルプレーン歪み補正を行わないようにしてもよい。これにより、シャッター方式がフォーカルプレーンシャッター方式であると判定された場合には、判定された撮像方向に基づいて、動画コンテンツについてフォーカルプレーン歪み補正を行い、シャッター方式がグローバルシャッター方式であると判定された場合には、動画コンテンツについてフォーカルプレーン歪み補正を行わないという作用をもたらす。
【００１８】
また、この第１の側面において、上記判定部は、上記動画コンテンツを構成する対象フレームにおける複数の領域と他のフレームとの比較結果に基づいて上記複数の領域毎の特徴量を取得するようにしてもよい。これにより、動画コンテンツを構成する対象フレームにおける複数の領域と他のフレームとの比較結果に基づいて、複数の領域毎の特徴量を取得するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、撮像動作時における撮像情報を適切に取得することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図２】本技術の基礎となるＣＭＯＳイメージセンサ２００の構成例を示す図である。
【図３】本技術の基礎となるＣＭＯＳイメージセンサ２００における各ラインと、各ラインの露光期間との関係を模式的に示す図である。
【図４】本技術の基礎となるＣＭＯＳイメージセンサ２００を備える撮像装置を用いて生成された画像およびその補正例を示す図である。
【図５】本技術の基礎となるＣＭＯＳイメージセンサ２００の撮像方向を示す図である。
【図６】本技術の基礎となるＣＭＯＳイメージセンサ２００の動きと、ＣＭＯＳイメージセンサ２００の撮像方向と、フォーカルプレーン歪みの発生形態との関係を示す図である。
【図７】本技術の基礎となるＣＭＯＳイメージセンサ２００により生成される画像に発生するフォーカルプレーン歪みの形態の例を示す図である。
【図８】本技術の第１の実施の形態における判定部１２０による判定対象となる動画コンテンツ３００を構成するフレームを模式的に示す図である。
【図９】本技術の第１の実施の形態における判定部１２０により検出される局所的な動きベクトルに対応する動き量とフレームにおける領域との関係を示す図である。
【図１０】本技術の第１の実施の形態における判定部１２０により検出される局所的な動きベクトルに対応する動き量とフレームにおける領域との関係を示す図である。
【図１１】本技術の第１の実施の形態における補正部１３０の機能構成例を示すブロック図である。
【図１２】本技術の第１の実施の形態における補正部１３０による補正処理の対象となる画像および補正後の画像と、その補正処理に用いられる各情報との関係を示す図である。
【図１３】本技術の第１の実施の形態における補正部１３０による補正処理の対象となる画像と、その補正処理に用いられる各情報との関係を示す図である。
【図１４】本技術の第１の実施の形態における補正部１３０による補正処理の対象となる画像と、その補正処理に用いられる各情報との関係を示す図である。
【図１５】本技術の第１の実施の形態における画像処理装置１００による補正処理の処理手順の一例を示すフローチャートである。
【図１６】本技術の実施の形態の変形例における画像処理装置４００の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（フレームにおける複数の領域から取得された局所的な動きベクトルを用いて動画コンテンツの撮像動作時における撮像情報を判定する例）
２．変形例
【００２２】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００２３】
画像処理装置１００は、動画コンテンツ記録部１１０と、判定部１２０と、補正部１３０と、出力部１４０とを備える。画像処理装置１００は、例えば、被写体を撮像して動画コンテンツを生成する撮像装置や動画コンテンツを再生する再生装置等の画像処理装置である。この再生装置は、例えば、テレビジョン、デジタルビデオレコーダ、ＨＤＤ（Hard Disk Drive）レコーダ、パーソナルコンピュータ、ゲーム機、プロジェクタ、携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。また、撮像装置は、例えば、被写体を撮像して動画コンテンツを生成することが可能なデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）である。
【００２４】
動画コンテンツ記録部１１０は、動画コンテンツ（動画ファイル）を記録するものであり、記録されている動画コンテンツを判定部１２０および補正部１３０に供給する。例えば、画像処理装置１００が撮像装置である場合には、撮像部（図示せず）により生成された画像データ（動画データ）が動画コンテンツ（動画ファイル）として動画コンテンツ記録部１１０に記録される。なお、撮像部は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。また、画像処理装置１００が撮像機能を備えていない再生装置である場合には、他の撮像装置により生成された画像データ（動画データ）が動画コンテンツ（動画ファイル）として動画コンテンツ記録部１１０に記録される。また、画像処理装置１００が撮像機能を備えていない変換装置（または、編集装置）である場合も同様に、他の撮像装置により生成された画像データ（動画データ）が動画コンテンツ（動画ファイル）として動画コンテンツ記録部１１０に記録される。なお、変換装置（または、編集装置）は、例えば、動画編集ソフトウェアまたは動画再生ソフトウェア等により、撮像動作時における撮像情報が分からない動画コンテンツに対して、フォーカルプレーン歪み補正等の補正処理を行う装置である。また、クラウド環境等において、撮像動作時における撮像情報が分からない動画コンテンツに対して、フォーカルプレーン歪み補正等の補正処理を行う装置を変換装置（または、編集装置）として用いるようにしてもよい。
【００２５】
判定部１２０は、動画コンテンツ記録部１１０に記録されている動画コンテンツについて、その撮像動作時における撮像情報を判定するものであり、その判定結果（撮像情報）を補正部１３０に出力する。ここで、動画コンテンツの撮像動作時における撮像情報は、例えば、その動画コンテンツの撮像動作時におけるイメージセンサ（撮像素子）の画素値の取り込み方式である。この取り込み方式は、例えば、その撮像動作時におけるイメージセンサの撮像方向、および、イメージセンサのシャッター方式のうちの少なくとも１つである。
【００２６】
例えば、判定部１２０は、動画コンテンツ記録部１１０に記録されている動画コンテンツを構成するフレームにおける複数の領域から特徴量（例えば、局所的な動きベクトル）を取得する。そして、判定部１２０は、その取得された特徴量を用いてその取り込み方式を判定する。なお、動画コンテンツを構成するフレームにおける複数の領域およびこれから取得される局所的な動きベクトルについては、図８を参照して詳細に説明する。また、判定部１２０による判定方法については、図８乃至図１０を参照して詳細に説明する。
【００２７】
補正部１３０は、判定部１２０から出力された判定結果（撮像情報）に基づいて、動画コンテンツ記録部１１０に記録されている動画コンテンツについてフォーカルプレーン歪み補正を行うものである。そして、補正部１３０は、その補正処理が施された画像（補正画像）を出力部１４０に出力する。
【００２８】
出力部１４０は、補正部１３０により補正処理が施された動画コンテンツを出力するものである。出力部１４０は、例えば、動画コンテンツを表示する表示部や、動画コンテンツを他の装置に出力する出力部とすることができる。
【００２９】
［フォーカルプレーン歪みの発生原理について］
ここで、ＣＭＯＳイメージセンサのフォーカルプレーンシャッター動作と歪みの発生原理とについて説明する。ＣＭＯＳイメージセンサは、撮像装置（例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））のイメージセンサ（撮像素子）として一般に使われているイメージセンサである。
【００３０】
［ＣＭＯＳイメージセンサの構成例］
図２は、本技術の基礎となるＣＭＯＳイメージセンサ２００の構成例を示す図である。なお、ＣＭＯＳイメージセンサ２００は、一般的なＣＭＯＳイメージセンサの一例である。
【００３１】
ＣＭＯＳイメージセンサ２００は、画素２１１乃至２１９と、アナログ信号線（垂直信号線）２２１乃至２２３と、Ａ／Ｄ変換器２３１乃至２３３と、デジタル信号線２４０とを備える。なお、図２では、フォトダイオード、増幅器等により構成される画素２１１乃至２１９を矩形で模式的に示す。また、図２では、説明の容易のため、９の画素２１１乃至２１９のみを示し、他の画素の図示を省略する。また、アナログ信号線２２１乃至２２３およびＡ／Ｄ変換器２３１乃至２３３についても、画素２１１乃至２１９に対応するもののみを示し、他の図示を省略する。
【００３２】
画素２１１乃至２１９は、ＣＭＯＳイメージセンサ２００の画素領域２０１に格子状に配置される。また、画素２１１乃至２１３は、垂直方向のアナログ信号線２２１を介してＡ／Ｄ変換器２３１に接続される。同様に、画素２１４乃至２１６は、垂直方向のアナログ信号線２２２を介してＡ／Ｄ変換器２３２に接続され、画素２１１乃至２１９は、垂直方向のアナログ信号線２２３を介してＡ／Ｄ変換器２３３に接続される。
【００３３】
また、画素２１１乃至２１９において、フォトダイオード（受光部）が光を受光し、その光が電荷に変換されて蓄積される。そして、その蓄積された電荷を増幅器が電圧に変換して増幅する。このように増幅された電圧は、画素選択スイッチのオン／オフによりラインごと（行ごと）にアナログ信号線２２１乃至２２３に転送される。
【００３４】
Ａ／Ｄ変換器２３１乃至２３３は、アナログ信号線２２１乃至２２３を介して入力された各画素のアナログ信号を変換してデジタル信号とするＡ／Ｄ変換器であり、変換後のデジタル信号をデジタル信号線２４０に出力する。
【００３５】
このように、ＣＭＯＳイメージセンサ２００は、水平方向の画素の数と同じ数のＡ／Ｄ変換器２３１乃至２３３を備える。このため、Ａ／Ｄ変換器２３１乃至２３３を垂直方向の画素で共有して使用することができる。これにより、回路面積を削減し、製造コストを削減することができる。ただし、水平方向の画素はＡ／Ｄ変換を同時に行うことが可能であるが、垂直方向の画素はＡ／Ｄ変換を同時に行うことができない。このため、垂直方向の画素については、少なくともＡ／Ｄ変換を行う期間だけ、露光期間の開始タイミングをずらす必要がある。この露光期間については、図３を参照して詳細に説明する。
【００３６】
［ＣＭＯＳイメージセンサの露光期間例］
図３は、本技術の基礎となるＣＭＯＳイメージセンサ２００における各ラインと、各ラインの露光期間との関係を模式的に示す図である。図３では、横軸を時間軸とし、縦軸を各ラインにおける画素（受光部）に対する露光期間を示す軸とするグラフを示す。例えば、縦軸に付すライン１は、図２に示す画素２１１、２１４、２１７を含むライン（水平方向のライン）に対応するものとする。同様に、縦軸に付すライン２は、図２に示す画素２１２、２１５、２１８を含むラインに対応し、縦軸に付すラインＮは、図２に示す画素２１３、２１６、２１９を含むラインに対応するものとする。
【００３７】
また、図３では、露光方法として電子的なシャッター方式（以下、フォーカルプレーンシャッター方式と称する。）によりシャッターを切る場合における露光期間の例を示す。なお、フォーカルプレーンシャッター方式は、ローリングシャッター方式とも称される。
【００３８】
上述したように、垂直方向の画素についてはＡ／Ｄ変換器を共有するため、図３に示すライン毎にＡ／Ｄ変換期間（Ａ／Ｄ変換器がＡ／Ｄ変換に要する期間）ＣＰの処理タイミングを少なくとも同期間分だけずらす必要がある。また、一般的な撮像モードにおいては、露光期間ＥＰは各ライン（ライン１乃至Ｎ）で一定であるため、垂直方向の各ライン（ライン１乃至Ｎ）の露光タイミングに時間的な差分ｄｔ（Ａ／Ｄ変換期間ＣＰ）が生じる。
【００３９】
従って、図３に示すように、ライン１の露光開始タイミングＴ１とライン２の露光開始タイミングＴ２とはｄｔだけずらす必要がある。
【００４０】
また、以降の各ライン２乃至Ｎについても同様に、１つ上のラインの露光開始タイミングと、次のラインの露光開始タイミングとは、ｄｔだけずらす必要がある。
【００４１】
このように、フォーカルプレーンシャッター方式は、ライン毎に順次シャッターを切る方式であるため、１フレームにおける上部領域および下部領域でライン毎に露光タイミングが異なる。このため、動いている被写体に対して歪みが生じるおそれがある。例えば、ＣＭＯＳイメージセンサ２００を備える撮像装置の姿勢が露光期間内に変化した場合、または、被写体が動いた場合には、ＣＭＯＳイメージセンサ２００からの出力画像に歪みが生じる。この出力画像の歪みの例を図４に示す。
【００４２】
［フォーカルプレーン歪み例］
図４は、本技術の基礎となるＣＭＯＳイメージセンサ２００を備える撮像装置を用いて生成された画像およびその補正例を示す図である。なお、図４のａおよびｂには、同一の被写体を撮像対象とし、撮像装置の状態を変化させた場合における画像の例を示す。
【００４３】
図４のａには、撮像装置を静止させた状態で撮影された場合における画像２５０を示す。
【００４４】
図４のｂには、撮像装置を水平方向に移動させながら撮影された場合における画像２５１を示す。このように、撮像装置を水平方向に移動させながら撮影された画像２５１には、フォーカルプレーンシャッター方式により歪み（フォーカルプレーン歪みと称する。）が生じる。
【００４５】
ここで、このようにして発生したフォーカルプレーン歪みを補正してフォーカルプレーン歪みを含まない画像を生成することができる。この補正をフォーカルプレーン歪み補正と称する。例えば、フォーカルプレーン歪みを含む画像２５１から、フォーカルプレーン歪みを含まない画像（すなわち、画像２５０と略同一の画像）を生成することができる。
【００４６】
ただし、ＣＭＯＳイメージセンサ２００には複数の撮像方向が存在するため、撮像方向を考慮してフォーカルプレーン歪み補正を行う必要がある。この撮像方向については、図５に示す。また、図４のｃには、誤った撮像方向に基づいて補正された画像の一例（画像２５２）を示す。
【００４７】
［ＣＭＯＳイメージセンサの撮像方向例］
図５は、本技術の基礎となるＣＭＯＳイメージセンサ２００の撮像方向を示す図である。図５では、ＣＭＯＳイメージセンサ２００の撮像方向として、４通りの撮像方向１乃至４を示す。また、図５では、対応する色を示す符号（Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青））を付した矩形により各画素を表す。なお、ＣＭＯＳイメージセンサ２００の画素領域２０１内には、一部の画素のみを示し、他の画素の図示を省略する。
【００４８】
撮像方向１は、図５に示すＣＭＯＳイメージセンサ２００の左上隅を読み出し開始位置とし、その読み出し開始後には、点線の矢印２６１に示すように、上側から下側に進むように、１行ごとに各ラインの読み出しが順次行われる撮像方向である。
【００４９】
撮像方向２は、図５に示すＣＭＯＳイメージセンサ２００の右上隅を読み出し開始位置とし、その読み出し開始後には、点線の矢印２６２に示すように、上側から下側に進むように、１行ごとに各ラインの読み出しが順次行われる撮像方向である。
【００５０】
撮像方向３は、図５に示すＣＭＯＳイメージセンサ２００の左下隅を読み出し開始位置とし、その読み出し開始後には、点線の矢印２６３に示すように、下側から上側に進むように、１行ごとに各ラインの読み出しが順次行われる撮像方向である。
【００５１】
撮像方向４は、図５に示すＣＭＯＳイメージセンサ２００の右下隅を読み出し開始位置とし、その読み出し開始後には、点線の矢印２６４に示すように、下側から上側に進むように、１行ごとに各ラインの読み出しが順次行われる撮像方向である。
【００５２】
ここで、一般的なイメージセンサ（例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ）は、固定カメラの取り付け位置に柔軟に対応すること、または、手持ちカメラの姿勢に対応すること等が要求される。このため、一般的なイメージセンサは、水平方向の画素の読出し方向（以下、水平撮像方向と称する。）と、垂直方向の画素の読出し方向（以下、垂直撮像方向と称する。）とが可変となるように設計される。すなわち、一般的なイメージセンサの撮像方向は、図５に示す撮像方向１乃至４の４通りとなる。
【００５３】
ここで、一般的なＣＭＯＳイメージセンサでは、撮像方向のうち垂直撮像方向が、フォーカルプレーン歪みの発生形態に影響を与える。水平撮像方向については、上述したように、水平方向の画素で同時に撮像することが可能であるため、どちらから撮像した場合でもフォーカルプレーン歪みの発生形態に影響を与えない。このフォーカルプレーン歪みの発生形態については、図６および図７を参照して詳細に説明する。
【００５４】
［フォーカルプレーン歪みの発生形態について］
図６は、本技術の基礎となるＣＭＯＳイメージセンサ２００の動きと、ＣＭＯＳイメージセンサ２００の撮像方向と、フォーカルプレーン歪みの発生形態との関係を示す図である。
【００５５】
図７は、本技術の基礎となるＣＭＯＳイメージセンサ２００により生成される画像に発生するフォーカルプレーン歪みの形態の例を示す図である。なお、図７のａ乃至ｅは、図６に示す撮像画像２７３の符号に対応する。
【００５６】
ここで、図６に示す垂直撮像方向２７２が「順方向」である場合は、ＣＭＯＳイメージセンサ２００において垂直撮像方向が上から下となる場合（例えば、図５に示す撮像方向１および撮像方向２の場合）を意味するものとする。また、図６に示す垂直撮像方向２７２が「逆方向」である場合は、ＣＭＯＳイメージセンサ２００において垂直撮像方向が下から上となる場合（例えば、図５に示す撮像方向３および撮像方向４の場合）を意味するものとする。
【００５７】
図６および図７に示すように、ＣＭＯＳイメージセンサ２００の動きと、ＣＭＯＳイメージセンサ２００の撮像方向との組み合わせに応じて、フォーカルプレーン歪みの発生形態が異なる。
【００５８】
具体的には、図７のａには、ＣＭＯＳイメージセンサ２００の動きがない場合（すなわち、撮像装置を静止させた状態で撮像動作が行われた場合）の画像例を示す。すなわち、ＣＭＯＳイメージセンサ２００の撮像方向が何れの方向であっても、ＣＭＯＳイメージセンサ２００の動きがない場合には、フォーカルプレーン歪みが生じない。
【００５９】
また、図７のｂおよびｃには、ＣＭＯＳイメージセンサ２００に水平方向の動きがあった場合（すなわち、撮像装置をパンニングして撮像動作が行われた場合）の画像例を示す。図７のｂおよびｃに示すように、ＣＭＯＳイメージセンサ２００に水平方向の動きがあった場合には、ライン毎の撮像位置が水平方向にずれることにより、フォーカルプレーン歪みが生じる。
【００６０】
ここで、ＣＭＯＳイメージセンサ２００に水平方向の動きがあった場合には、ＣＭＯＳイメージセンサ２００の動きの方向に応じて、フォーカルプレーン歪みが異なる。具体的には、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において左から右への動きである場合を想定する。このように、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において左から右への動きであり、ＣＭＯＳイメージセンサ２００の垂直撮像方向が順方向である場合には、図７のｂに示すフォーカルプレーン歪みが生じる。一方、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において左から右への動きであり、ＣＭＯＳイメージセンサ２００の垂直撮像方向が逆方向である場合には、図７のｃに示すフォーカルプレーン歪みが生じる。
【００６１】
また、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において右から左への動きである場合を想定する。このように、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において右から左への動きであり、ＣＭＯＳイメージセンサ２００の垂直撮像方向が順方向である場合には、図７のｃに示すフォーカルプレーン歪みが生じる。一方、ＣＭＯＳイメージセンサ２００の水平方向の動きが、水平方向において右から左への動きであり、ＣＭＯＳイメージセンサ２００の垂直撮像方向が逆方向である場合には、図７のｂに示すフォーカルプレーン歪みが生じる。
【００６２】
このように、ＣＭＯＳイメージセンサ２００の動きとフォーカルプレーン歪みとの関係は、垂直撮像方向が順方向であるか逆方向であるかに応じて反転する。
【００６３】
また、図７のｄおよびｅには、ＣＭＯＳイメージセンサ２００に垂直方向の動きがあった場合（すなわち、撮像装置をチルチングして撮像動作が行われた場合）の画像例を示す。図７のｄおよびｅに示すように、ＣＭＯＳイメージセンサ２００に垂直方向の動きがあった場合には、ライン毎の撮像位置が垂直方向にずれることにより、フォーカルプレーン歪みが生じる。
【００６４】
また、ＣＭＯＳイメージセンサ２００に垂直方向の動きがあった場合についても同様に、ＣＭＯＳイメージセンサ２００の動きとフォーカルプレーン歪みとの関係は、図６に示すように、垂直撮像方向が順方向であるか逆方向であるかに応じて反転する。
【００６５】
ここで、ＣＭＯＳイメージセンサにより生成された動画コンテンツが撮像装置において記録される場合には、その撮像動作時におけるＣＭＯＳイメージセンサの垂直撮像方向がメタ情報としてその動画コンテンツに関連付けて記録されることはない。このため、その動画コンテンツを、他の再生装置において再生させる場合には、その再生装置は、再生対象となる動画コンテンツの撮像動作時におけるＣＭＯＳイメージセンサの垂直撮像方向を把握することができない。
【００６６】
このように、撮像動作時におけるＣＭＯＳイメージセンサの垂直撮像方向が分からない動画コンテンツについてフォーカルプレーン歪み補正を行う場合に、垂直撮像方向を誤って補正処理を行うと、逆補正となり歪みが悪化する。
【００６７】
例えば、図４のｂに示す画像２５１（フォーカルプレーン歪みを含む画像）についてフォーカルプレーン歪み補正を行う場合を想定する。この場合に、垂直撮像方向を誤ってフォーカルプレーン歪み補正を行うと、図４のｃに示す画像２５２のように、歪み量がさらに大きくなり、フォーカルプレーン歪み補正が破たんするおそれがある。
【００６８】
そこで、本技術の実施の形態では、撮像動作時における撮像情報が分からない動画コンテンツについて、撮像動作時における撮像情報を適切に取得する例を示す。そして、その取得された撮像情報（例えば、垂直撮像方向、シャッター方式）を用いて、適切な方向でフォーカルプレーン歪み補正を行う。これにより、フォーカルプレーン歪み補正を適切に行うことができる。
【００６９】
［撮像情報の判定例］
図８は、本技術の第１の実施の形態における判定部１２０による判定対象となる動画コンテンツ３００を構成するフレームを模式的に示す図である。
【００７０】
図８のａには、動画コンテンツ記録部１１０に記録されている動画コンテンツ３００を構成する各フレームを時系列で模式的に示す。ここで、図８のａでは、各フレームを白抜きの矩形で模式的に示し、各矩形内にフレームを識別するための符号（通し番号）を付して示す。例えば、フレーム１は、動画コンテンツ３００を構成する各フレームのうちの先頭フレームであり、フレーム２乃至Ｎは、フレーム１から連続するフレームであるものとする。
【００７１】
図８のｂおよびｃには、動画コンテンツ３００を構成するフレームのうち、連続する２つのフレームを示す。具体的には、図８のｂには、動画コンテンツ３００を構成するフレームｎ−１（３１０）を示し、図８のｃには、動画コンテンツ３００を構成するフレームｎ（３２０）を示す。なお、図８のｂに示すフレームｎ−１（３１０）は、動画コンテンツ３００を構成するフレーム１乃至フレームＮ−１に相当する。また、図８のｃに示すフレームｎ（３２０）は、動画コンテンツ３００を構成するフレーム２乃至フレームＮに相当する。
【００７２】
また、図８のｂおよびｃでは、各フレーム（フレームｎ−１（３１０）、フレームｎ（３２０））を８つの領域（第０領域乃至第７領域）に分割し、これらの各領域（第０領域乃至第７領域）から動きベクトルを検出する例を示す。また、図８のｂおよびｃでは、分割方法として垂直方向において８つの領域（第０領域乃至第７領域）に分割する例を示す。
【００７３】
ここで、各フレームにおける複数の領域（第０領域乃至第７領域）から検出される動きベクトルは、各フレームにおける局所的な動きベクトル（ローカル動きベクトル）であり、ＬＭＶ（Local Motion Vector）とも称される。このため、以降では、各フレームにおける複数の領域（第０領域乃至第７領域）から検出される動きベクトルを、局所的な動きベクトルまたはＬＭＶと称して説明する。
【００７４】
また、局所的な動きベクトルを検出する検出方法として、例えば、局所的な動きベクトルの検出対象となる対象領域について、直前のフレームの探索領域のうちから、相関の強い位置を探索することにより、局所的な動きベクトルを得る方法を用いることができる。この検出方法として、例えば、ブロックマッチング法を用いることができる（例えば、特開２００７−２０８５８０号公報参照。）。このブロックマッチング法は、局所的な動きベクトルの検出対象となる対象領域に含まれる画像と似ている画像が、比較対象となる直前のフレームのどこにあるかを探索し、この探索結果に基づいて対象領域の局所的な動きベクトルを検出する方法である。具体的には、対象画像における複数の領域（ブロック）について、想定される最大の動き量の大きさにサーチ範囲を設定し、この設定されたサーチ範囲内で探索を行うことにより局所的な動きベクトルを検出する。
【００７５】
また、他の検出方法を用いるようにしてもよい。例えば、オプティカルフローのような方法で数値計算により局所的な動きベクトルを検出する検出方法を用いることができる。
【００７６】
また、フレームｎ−１（３１０）において、上側の領域（第０領域乃至第３領域）を上部領域３１１として矩形の点線で囲んで示し、下側の領域（第４領域乃至第７領域）を下部領域３１２として矩形の点線で囲んで示す。同様に、フレームｎ（３２０）において、上側の領域（第０領域乃至第３領域）を上部領域３２１として矩形の点線で囲んで示し、下側の領域（第４領域乃至第７領域）を下部領域３２２として矩形の点線で囲んで示す。なお、上部領域３１１、下部領域３１２、上部領域３２１、下部領域３２２については、図９を参照して詳細に説明する。
【００７７】
このように、判定部１２０は、動画コンテンツを構成する対象フレーム（現フレーム）における複数の領域と、他のフレーム（現フレームの直前のフレーム）との比較結果に基づいて、複数の領域毎の特徴量（局所的な動きベクトル）を取得する。
【００７８】
なお、本技術の第１の実施の形態では、１フレームを８つの領域に分割して局所的な動きベクトルを検出する例を示したが、他の分割方法により分割された領域について検出された動きベクトルを用いてもよい。
【００７９】
図９は、本技術の第１の実施の形態における判定部１２０により検出される局所的な動きベクトルに対応する動き量とフレームにおける領域との関係を示す図である。なお、図９では、フレーム内に動体が含まれていない場合の例を示す。
【００８０】
図９のａおよびｂにおいて、横軸には、各フレーム（例えば、フレームｎ−１乃至ｎ＋２）のそれぞれの領域（局所的な動きベクトルを検出するための８つの領域）をフレーム単位で並べて示す。また、縦軸には、各領域において検出された局所的な動きベクトルに対応する値（動き量）を示す。なお、フレームｎ−１乃至ｎ＋２は、図８のａに示すフレームｎ−１乃至ｎ＋２に対応するものとする。
【００８１】
例えば、動画コンテンツ記録部１１０に記録されている動画コンテンツを生成する撮像装置を用いて撮像動作が行われている場合を想定する。ここでは、その撮像装置を水平方向に移動させながら撮像動作が行われているものとする。この場合に、その水平方向への移動速度が異なる場合には、垂直方向で露光タイミングが異なるため、同一フレームにおける各領域の動きベクトルについても異なることが想定される。
【００８２】
例えば、図９のａには、移動速度を変更しながら撮像装置を水平方向に移動させて撮像動作が行われている場合の各フレームにおける領域と、各領域から検出される局所的な動きベクトルに対応する動き量との関係を示す。
【００８３】
上述したように、垂直方向の露光タイミングがずれるため、各領域から検出される動きベクトルに対応する動き量は、移動速度の変化に応じて変化する。また、フレーム間の境界に相当する領域から検出される動きベクトルに対応する動き量の変化は、ＣＭＯＳイメージセンサにおける垂直撮像方向によって異なる。
【００８４】
例えば、ＣＭＯＳイメージセンサにおける垂直撮像方向が順方向である場合を想定する。この場合に、各領域から検出された局所的な動きベクトルに対応する動き量（速度、前のフレームとの差分）を領域毎に配置すると、図９のａに示すように、動き量の変化が滑らかになる。また、各フレーム間の境界の動き量の変化についても滑らかになる。すなわち、動き量の変化を曲線３３０で表すことができる。
【００８５】
一方、ＣＭＯＳイメージセンサにおける垂直撮像方向が逆方向である場合を想定する。この場合に、各領域から検出された局所的な動きベクトルに対応する動き量（速度、前のフレームとの差分）を領域毎に配置すると、図９のｂに示すように、各フレーム内における動き量の変化は滑らかになるが、各フレーム間の境界の動き量は急激に変化する。また、図９のｂに示すように、各フレーム間における動き量の変化は、図９のａに示す例と逆となる。
【００８６】
このように、垂直撮像方向が順方向である場合と逆方向である場合とでは、各フレーム内における動き量の変化が逆となり、各フレーム間の境界の動き量の変化についても、異なることになる。そこで、本技術の第１の実施の形態では、これらの特性を活かして、垂直撮像方向が順方向であるか、逆方向であるかを判定する例を示す。
【００８７】
［局所的な動きベクトルの算出例］
最初に、判定部１２０は、動画コンテンツ３００を構成するフレームのうち、１つのフレームを現フレーム（対象フレーム）とする。続いて、判定部１２０は、現フレームを８つの領域に分割し、これらの各領域において局所的な動きベクトルを検出する。例えば、動画コンテンツ３００を構成するフレームのうち、ｎ番目のフレームｎ（図８のｃに示すフレームｎ（３２０））を現フレーム（対象フレーム）とする場合を想定する。この場合には、判定部１２０は、フレームｎ（３２０）における領域０乃至７について局所的な動きベクトルを検出する。
【００８８】
［順方向フレーム境界動き量および逆方向フレーム境界動き量の算出例］
続いて、判定部１２０は、フレームｎ（３２０）について、順方向フレーム境界動き量および逆方向フレーム境界動き量を算出する。例えば、判定部１２０は、次の式１を用いて順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）を算出し、次の式２を用いて逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）を算出する。なお、添え字ｎは、各フレームを識別するための通し番号である。
【数１】
2015033108.tif 000003
【００８９】
ここで、式１の第１項は、現フレーム（フレームｎ）の画像における上部領域３２１のＬＭＶの動き量の総和を意味する。すなわち、図８のｃに示す領域０乃至３（矩形（上部領域３２１）で囲まれている領域）のそれぞれのＬＭＶの動き量の総和を意味する。また、式１の第２項は、現フレームの直前のフレーム（フレームｎ−１）の画像における下部領域３１２のＬＭＶの動き量の総和を意味する。すなわち、図８のｂに示す領域４乃至７（矩形（下部領域３１２）で囲まれている領域）のそれぞれのＬＭＶの動き量の総和を意味する。
【００９０】
また、式１を用いて算出される順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）は、垂直撮像方向が順方向である場合のフレーム境界部分の動きベクトルの変化量を意味する。
【００９１】
また、式２の第１項は、現フレーム（フレームｎ）の画像における下部領域３２２のＬＭＶの動き量の総和を意味する。すなわち、図８のｃに示す領域４乃至７（矩形（下部領域３２２）で囲まれている領域）のそれぞれのＬＭＶの動き量の総和を意味する。また、式２の第２項は、現フレームの直前のフレーム（フレームｎ−１）の画像における上部領域３１１のＬＭＶの動き量の総和を意味する。すなわち、図８のｂに示す領域０乃至３（矩形（上部領域３１１）で囲まれている領域）のそれぞれのＬＭＶの動き量の総和を意味する。
【００９２】
また、式２を用いて算出される逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）は、垂直撮像方向が逆方向である場合のフレーム境界部分の動きベクトルの変化量を意味する。
【００９３】
続いて、判定部１２０は、ｎ＋１番目のフレームｎ＋１以降の各フレームについても、同様に、順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）および逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）を算出する。
【００９４】
なお、この例では、各フレームの画像における上部の各領域のＬＭＶと下部の各領域のＬＭＶとを全て使用して順方向フレーム境界動き量および逆方向フレーム境界動き量を算出する例を示す。ただし、各フレームの画像における上部の各領域のＬＭＶと下部の各領域のＬＭＶとのうちの一部のみを使用して順方向フレーム境界動き量および逆方向フレーム境界動き量を算出するようにしてもよい。例えば、各フレームの画像における上部の一部の領域（例えば、領域０、１）のＬＭＶと、下部の一部の領域（例えば、領域６、７）のＬＭＶとを使用して順方向フレーム境界動き量および逆方向フレーム境界動き量を算出するようにしてもよい。また、各フレームの画像における上部の１つの領域（例えば、領域０）のＬＭＶと、下部の１つの領域（例えば、領域７）のＬＭＶとを使用して順方向フレーム境界動き量および逆方向フレーム境界動き量を算出するようにしてもよい。
【００９５】
また、以上では、説明の容易のため、フレームの垂直方向（ｙ方向）における８つの領域（第０領域乃至第７領域）から検出された動きベクトルを用いる例を示した。ただし、上述したブロックマッチング法などでは、フレームをマトリクス状に分割し、２次元の分割領域から局所的な動きベクトルを取得するのが一般的である。このため、これらの２次元の動きベクトルを用いるようにしてもよい。例えば、１つのフレームを水平方向（ｘ方向）に８つの領域とし、垂直方向（ｙ方向）に８つの領域として、６４の領域に分割し、これらの各領域から検出された動きベクトルを用いる場合を想定する。この場合には、例えば、式１の第１項では、現フレーム（フレームｎ）の画像における上部領域に相当する３２（８（ｘ方向）×４（ｙ方向））の領域のＬＭＶの動き量の総和を求めることになる。また、他の各項（式１の第２項、式２の第１項および第２項）についても同様に、３２（８（ｘ方向）×４（ｙ方向））の領域のＬＭＶの動き量の総和を求める。そして、これらの各値を用いて、順方向フレーム境界動き量および逆方向フレーム境界動き量を算出する。
【００９６】
なお、式１の第１項を、有効なＬＭＶに限定して算出するようにしてもよい。すなわち、計算対象となるＬＭＶの数（有効ＬＭＶ数）で除算してＬＭＶの平均値を求め、このＬＭＶの平均値を、式１の第１項の値の代わりに用いるようにしてもよい。例えば、１つのフレームが６４（８（ｘ方向）×８（ｙ方向））の領域に分割される場合には、式１の第１項により求められる値を、有効ＬＭＶ数（最大３２（８（ｘ方向ＬＭＶ数）×４（ｙ方向ＬＭＶ数））））で除算してＬＭＶの平均値を求める。そして、そのＬＭＶの平均値を、式１の第１項の値の代わりに用いるようにする。ここで、無効なＬＭＶについては、値が０であることを前提としている。また、対象の領域に、有効なＬＭＶが１つも存在しない場合には、式１の第１項の値は０とする。そして、他の各項（式１の第２項、式２の第１項および第２項）についても同様に、有効なＬＭＶに限定して算出するようにする。このように、順方向フレーム境界動き量、逆方向フレーム境界動き量を算出する場合には、有効なＬＭＶに限定して算出することもできる。
【００９７】
このように、有効なＬＭＶに限定して順方向フレーム境界動き量、逆方向フレーム境界動き量を算出することで、撮像情報の判定精度を向上させることができる。
【００９８】
また、この例では、１フレーム期間に８つの動きベクトルを取得して用いる例を示すが、上述したように、１フレーム期間に２つ以上の動きベクトル（例えば、２乃至７、９以上の動きベクトル）を取得して用いるようにしてもよい。
【００９９】
［順方向フレーム境界動き量積算値および逆方向フレーム境界動き量積算値の算出例］
ここで、一般的なＣＭＯＳイメージセンサによる撮像動作時において、手振れがあった場合を想定する。例えば、この撮像動作で、ＣＭＯＳイメージセンサの垂直撮像方向が順方向の撮像動作である場合には、図９のａに示す曲線３３０となるようなＬＭＶ（ＬＭＶ  Ｉｎｄｅｘ＝０乃至７）が各フレームで得られる。一方、その撮像動作で、ＣＭＯＳイメージセンサの垂直撮像方向が逆方向の撮像動作である場合には、図９のｂに示すようなＬＭＶ（ＬＭＶ  Ｉｎｄｅｘ＝０乃至７）が各フレームで得られる。
【０１００】
そこで、垂直撮像方向が順方向である場合と垂直撮像方向が逆方向である場合とを判定するため、フレーム境界部分の動きベクトルの変化量を計算する。
【０１０１】
すなわち、判定部１２０は、算出された順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）および逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）のそれぞれを積算（加算）する。具体的には、判定部１２０は、次の式３を用いて順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）を積算（加算）して順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）を算出する。また、判定部１２０は、次の式４を用いて逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）を積算（加算）して逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を算出する。
【数２】
2015033108.tif 000004
【０１０２】
ここで、Ｎは、動画コンテンツを構成するフレーム数を示す値（１以上の整数）である。
【０１０３】
［順方向フレーム境界動き量積算値、逆方向フレーム境界動き量積算値の他の算出例］
式３および式４は、動画コンテンツを構成する全てのフレーム（先頭フレーム乃至最後フレーム）を積算値の計算に用いる式である。ただし、動画コンテンツを構成するフレームのうち、先頭フレームについては、直前のフレームが存在しないため、局所的な動きベクトルを検出できないことも想定される。このように、先頭フレームについて局所的な動きベクトルが検出されない場合には、式１および式２のそれぞれにおける第２項の計算を行うことができない。そこで、次の式５を用いて順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）を算出し、次の式６を用いて逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を算出するようにしてもよい。ただし、式５および式６において、Ｎは２以上の整数であるものとする。
【数３】
2015033108.tif 000005
【０１０４】
［垂直撮像方向の判定例］
続いて、判定部１２０は、算出された順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）および逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を比較して垂直撮像方向を判定する。
【０１０５】
上述したように、フレーム境界部分の局所的な動きベクトルの変化量が滑らかにつながる方向が実際の撮像方向であると考えられる。そこで、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）および逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を比較し、滑らかにつながる方向が実際の撮像方向であると判定することができる。
【０１０６】
具体的には、判定部１２０は、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）が逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）よりも小さいか否かを判断する。そして、判定部１２０は、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）が逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）よりも小さい場合には、垂直撮像方向が順方向であると判定する。一方、判定部１２０は、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）が逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）以上である場合には、垂直撮像方向が逆方向であると判定する。
【０１０７】
すなわち、判定部１２０は、次の判定条件（式７）を用いて判定を行い、撮像情報として垂直撮像方向を得ることができる。
【数４】
2015033108.tif 000006
【０１０８】
このように、垂直撮像方向が順方向である場合と逆方向である場合とのフレームの境界部分の動きベクトルの変化量を積算し、比較することにより垂直撮像方向を判定することができる。
【０１０９】
［グローバルシャッター方式の動画コンテンツの判定例］
上述した判定方法により、フォーカルプレーン歪みが発生していることが既知である動画コンテンツについては、撮像動作時におけるイメージセンサの垂直撮像方向を判定することができる。そして、その判定結果（垂直撮像方向）に基づいて、フォーカルプレーン歪み補正を適切に行うことができる。
【０１１０】
しかしながら、例えば、グローバルシャッター方式のイメージセンサ（例えば、ＣＣＤイメージセンサ）により撮像された動画コンテンツは、原理的にフォーカルプレーン歪みを含まない。このため、グローバルシャッター方式のイメージセンサにより撮像された動画コンテンツについては、フォーカルプレーン歪み補正を行う必要がない。
【０１１１】
このように、イメージセンサのシャッター方式に応じて、フォーカルプレーン歪み補正が必要となる場合とフォーカルプレーン歪み補正が不要な場合とが存在する。そこで、グローバルシャッター方式のイメージセンサ（例えば、ＣＣＤイメージセンサ）により生成された動画コンテンツにも対応するため、グローバルシャッター方式であるかフォーカルプレーンシャッター方式であるかを判定することが好ましい。
【０１１２】
そこで、動画コンテンツの撮像動作時における撮像情報が分からない場合には、垂直撮像方向（順方向、逆方向）の判定とともに、シャッター方式（グローバルシャッター方式、フォーカルプレーンシャッター方式）の判定を行う。そして、この判定結果に基づいて補正処理を行うようにする。
【０１１３】
図１０は、本技術の第１の実施の形態における判定部１２０により検出される局所的な動きベクトルに対応する動き量とフレームにおける領域との関係を示す図である。なお、図１０に示すグラフは、図９のａおよびｂに示すグラフに対応する。また、図１０では、グローバルシャッター方式のイメージセンサ（例えば、ＣＣＤイメージセンサ）により生成された動画コンテンツについて検出された局所的な動きベクトルに対応する動き量とフレームにおける領域との関係例を示す。また、図１０では、図９と同様に、フレーム内に動体が含まれていない場合の例を示す。
【０１１４】
図９のａおよびｂに示すように、一般的なＣＭＯＳイメージセンサによる撮像動作では、垂直撮像方向に依存して、フレームにおける各領域において検出された局所的な動きベクトル（ＬＭＶ  Ｉｎｄｅｘ＝０乃至７）は、同一フレーム内で反転する。これに対し、グローバルシャッター方式のイメージセンサによる撮像動作では、フレーム内に動体が含まれない場合には、図１０に示すように、同一フレーム内で局所的な動きベクトルがほぼ一定となる。
【０１１５】
このため、グローバルシャッター方式のイメージセンサにより生成された動画コンテンツは、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）と、逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）との差分は小さくなる。例えば、その差分が閾値以下となる。そこで、判定部１２０は、次の条件式（式８）を用いて、グローバルシャッター方式であるか、フォーカルプレーンシャッター方式（ローリングシャッター方式）であるかの判定を行う。
【数５】
2015033108.tif 000007
【０１１６】
ここで、ｔｈｒｅｓｈは閾値である。この閾値として、例えば、グローバルシャッター方式であるかフォーカルプレーンシャッター方式であるかの判定に適した値を設定するようにする。また、この閾値は、動画コンテンツの撮像情報の判定期間に応じて変更される。
【０１１７】
なお、動画コンテンツの撮像情報の判定期間にかかわらず、上述した閾値を不変とするため、動画コンテンツの撮像情報の判定期間で正規化した値に基づいて判定を行うようにしてもよい。すなわち、次の条件式（式９）を用いて、グローバルシャッター方式であるか、フォーカルプレーンシャッター方式であるかの判定を行うようにしてもよい。
【数６】
2015033108.tif 000008
【０１１８】
ここで、ＮｏｒｍａｌＤｉｆｆＡｖｅは、順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）を撮像情報の判定期間で正規化した値である。また、ＩｎｖｅｒｓｅＤｉｆｆＡｖｅは、逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を撮像情報の判定期間で正規化した値である。
【０１１９】
なお、これらの正規化した値（ＮｏｒｍａｌＤｉｆｆＡｖｅ、ＩｎｖｅｒｓｅＤｉｆｆＡｖｅ）は、各積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ、ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）の加算回数で、各積算値を平均化することにより求めることができる。すなわち、各積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ、ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を更新した回数で、各積算値を平均化（例えば、その回数で各積算値を除算）することにより求めることができる。
【０１２０】
ここで、シャッター方式を判定した結果、グローバルシャッター方式で撮像されたと判定された場合には、補正部１３０は、動画コンテンツについて補正処理を行わずに、その動画コンテンツを補正画像として出力するようにする。
【０１２１】
このように、撮像動作時における撮像情報が分からない動画コンテンツのシャッター方式を正確に判定することができる。すなわち、撮像動作時における撮像情報が分からない動画コンテンツが、グローバルシャッター方式のイメージセンサで撮像された動画コンテンツであることを判定することができる。これにより、グローバルシャッター方式のイメージセンサで撮像された動画コンテンツ（フォーカルプレーン歪を原理的に含まない環境で撮像動作が行われた動画コンテンツ）について、無用なフォーカルプレーン歪み補正を行うことを防止することができる。すなわち、シャッター方式の判定を行い、この判定結果に基づいて動画コンテンツの補正の有無を確認することができる。
【０１２２】
このように、判定部１２０は、動画コンテンツを構成するフレームのうちの時系列で隣接するフレーム間における局所的な動きベクトルの連続性に基づいて、その動画コンテンツの撮像動作時における撮像情報の判定を行うことができる。
【０１２３】
また、例えば、動画コンテンツを構成するフレームのうちの時系列で隣接するフレームを第１フレームおよび第２フレームとする。この場合に、判定部１２０は、第１フレームの特定方向における一方の端部側の領域から取得された局所的な動きベクトルと、第２フレームの特定方向における他方の端部側の領域から取得された局所的な動きベクトルとの比較結果に基づいて判定を行う。ここで、各フレームの特定方向は、例えば、各フレームの垂直方向とすることができる。
【０１２４】
また、例えば、第１フレームの一方の端部側の領域から取得された局所的な動きベクトルを第１動きベクトルとし、第１フレームの他方の端部側の領域から取得された局所的な動きベクトルを第２動きベクトルとする。また、第２フレームの一方の端部側の領域から取得された局所的な動きベクトルを第３動きベクトルとし、第２フレームの他方の端部側の領域から取得された局所的な動きベクトルを第４動きベクトルとする。この場合に、判定部１２０は、第１動きベクトルと第４動きベクトルとの比較結果と、第２動きベクトルと第３動きベクトルとの比較結果とに基づいて算出される値（例えば、式３および式４、または、式５および式６を用いて算出される値）を用いて判定を行う。
【０１２５】
なお、本技術の実施の形態では、動画コンテンツから切り出した画像をフレーム画像とする例について説明したが、動画コンテンツから切り出した画像をフィールド画像とする場合についても本技術の実施の形態を適用することができる。
【０１２６】
［フォーカルプレーン歪補正例］
図１１は、本技術の第１の実施の形態における補正部１３０の機能構成例を示すブロック図である。
【０１２７】
補正部１３０は、判定部１２０により判定された撮像情報を用いて、適切なフォーカルプレーン歪み補正処理を行うものである。具体的には、補正部１３０は、移動量推定部１３１と、補正量導出部１３２と、補正処理部１３３とを備える。
【０１２８】
移動量推定部１３１は、動画コンテンツ記録部１１０に記録されている動画コンテンツについて移動量を推定するものであり、推定された移動量（推定移動量）を補正量導出部１３２に出力する。なお、移動量の推定方法については、図１２および図１３を参照して詳細に説明する。
【０１２９】
補正量導出部１３２は、移動量推定部１３１により推定された移動量（推定移動量）と、判定部１２０による判定結果（撮像情報）とに基づいて、動画コンテンツ記録部１１０に記録されている動画コンテンツを補正するための補正量を導出するものである。そして、補正量導出部１３２は、その導出された補正量を補正処理部１３３に出力する。なお、補正量の導出方法については、図１４を参照して詳細に説明する。
【０１３０】
補正処理部１３３は、補正量導出部１３２により導出された補正量に基づいて、動画コンテンツ記録部１１０に記録されている動画コンテンツを補正するものであり、補正後の動画コンテンツを出力部１４０に出力する。なお、この補正方法については、図１２乃至図１４を参照して詳細に説明する。
【０１３１】
図１２乃至図１４は、本技術の第１の実施の形態における補正部１３０による補正処理の対象となる画像および補正後の画像と、その補正処理に用いられる各情報との関係を示す図である。
【０１３２】
図１２および図１３には、縦軸を各フレームを時系列で表す軸とし、横軸を各フレームに関する各情報を表す軸とするグラフを示す。なお、図１２および図１３のそれぞれの左側には、フレームを特定するための符号（ｎ−２乃至ｎ＋３）を示す。
【０１３３】
図１２のａには、イメージセンサの水平方向の手振れ量を時系列で表すグラフを示す。図１２のｂには、図１２のａに示す手振れ量があった場合に生成される画像の一例を示す。
【０１３４】
図１２のｃには、図１２のｂに示す画像について推定された移動量（撮像動作時におけるイメージセンサの移動量）の一例を示す。
【０１３５】
図１２のｄには、図１２のｃに示す移動量（撮像動作時におけるイメージセンサの移動量）と、判定部１２０による判定結果とに基づいて導出される補正量の一例を示す。
【０１３６】
図１２のｅには、図１２のｄに示す補正量に基づいて、図１２のｂに示す画像が補正された場合の補正画像の一例を示す。
【０１３７】
例えば、撮像期間に、図１２のａに示す手振れ量の手振れ（水平方向における手振れ）があり、図１２のｂに示す撮像画像が生成された場合を想定する。なお、ＣＭＯＳイメージセンサの動きと、垂直撮像方向と、撮像画像との関係については、図６に示す関係と同様である。
【０１３８】
ここで、図１２のａに示す手振れは、非線形な動きである。このように、手振れが非線形な動きである場合には、図１２のｂに示すように、撮像画像にも非線形な歪みが生じる。
【０１３９】
［移動量の推定例］
ここで、図１２のａでは、イメージセンサの水平方向の手振れ量を時系列で表すが、実際のシステムにおいては、一般的に、動画コンテンツからライン毎の手振れ量の情報を取得することは困難である。このため、撮像画像に基づいて、その撮像画像の撮像動作時におけるイメージセンサの移動量を推定する必要がある。
【０１４０】
例えば、移動量推定部１３１は、図１２のｂに示す撮像画像に基づいて、図１２のｃに示す推定移動量（撮像動作時におけるイメージセンサの推定移動量）を導出する。この推定移動量は、１フレーム期間にイメージセンサがどの程度動いたかの推定に基づいて算出される値である。なお、図１２のｃでは、１フレーム期間に１つの推定移動量を導出する例を示すが、１フレーム期間に複数の推定移動量を導出するようにしてもよい。
【０１４１】
ここで、移動量推定部１３１による撮像動作時におけるイメージセンサの移動量の推定方法について、図１３を参照して説明する。なお、図１３に示す例では、説明の容易のため、各フレームについて４の領域からＬＭＶを算出し、このＬＭＶに基づいて推定移動量を導出する例を示す。
【０１４２】
図１３のａに示す撮像画像は、図１２のｂに示す撮像画像に対応する。また、図１３のａに示す撮像画像に対して、図１３のｂに示すＬＭＶ（ＬＭＶ  Ｉｎｄｅｘ＝０乃至３）が各フレームで得られるものとする。
【０１４３】
ここで、イメージセンサの移動量を推定する推定方法として、例えば、ＬＭＶに基づいて計算されたグローバル動きベクトル（ＧＭＶ:Global Motion Vector）を推定量とする方法を用いることができる。この推定方法は、最も単純な方法であり、次の式１０に示すように推定移動量（ＥＤＨ（Estimated Displacement in Horizontal direction））を求めることができる。なお、添え字ｎは、各フレームを識別するための通し番号である。
【数７】
2015033108.tif 000009
【０１４４】
図１３のｃには、式１０を用いて求められる推定移動量の一例を示す。
【０１４５】
ここで、ＬＭＶは、あるリファレンス画像について、現フレーム（例えば、ｎ番目のフレーム）の位置座標と、その直前のフレーム（例えば、ｎ−１番目のフレーム）の位置座標との差分に基づいて算出される。このため、現フレームのＬＭＶは、その直前のフレームから現フレームまでの期間における移動量である。これに対して、現フレームの撮像画像の歪みは、現フレームの移動量に基づいて生じるものである。
【０１４６】
このため、上述したように、ＧＭＶをイメージセンサの推定移動量とする場合に、ＬＭＶと手振れ波形との位相のずれが生じることがある。
【０１４７】
例えば、図１３のａに示すｎ番目のフレームの撮像画像と、ｎ−１番目のフレームの撮像画像とは、左上から右下にかけて同じような角度で歪みが生じている。しかしながら、図１３のｃに示すように、ｎ番目のフレームと、ｎ−１番目のフレームとについて、ＧＭＶに基づいて求められるイメージセンサの推定移動量では、両者に大きな差がみられる。
【０１４８】
そこで、このような位相のずれを緩和するため、次の式１１を用いて推定移動量（ＥＤＨ）を求めるようにしてもよい。
【数８】
2015033108.tif 000010
【０１４９】
すなわち、現フレームの次のフレーム（例えば、ｎ＋１番目のフレーム）の全てのＬＭＶと、現フレーム（例えば、ｎ番目のフレーム）の全てのＬＭＶとに基づいて、現フレームの推定移動量を得ることができる。これにより、位相のずれを緩和することができる。
【０１５０】
図１３のｄには、式１１を用いて求められる推定移動量の一例を示す。
【０１５１】
また、差分の中心が、対象となるフレーム期間に含まれるＬＭＶのみを使用して推定量を求めるようにしてもよい。例えば、次の式１２を用いて推定移動量（ＥＤＨ）を求めるようにしてもよい。
【数９】
2015033108.tif 000011
【０１５２】
［補正量の導出例］
補正量導出部１３２は、図１２のｃに示すイメージセンサの推定移動量と、判定部１２０から出力された撮像情報とに基づいて、図１２のｄに示す各フレーム期間のライン毎の補正量を導出する。
【０１５３】
ここで、補正量導出部１３２による補正量の導出方法について詳細に説明する。
【０１５４】
なお、補正方法として、例えば、補正対象のフレーム期間で、各ラインを一定の補正量で補正する線形補正と、各ラインを一定でない補正量で補正する非線形補正とが存在する。ここでは、線形補正により補正を行う場合における補正量の算出方法について、図１４を参照して詳細に説明する。
【０１５５】
図１４のａに示すように、一般的なイメージセンサによる撮像では、各フレーム間に所定の時間間隔（図１４のａでは、ＶＢＩ（Vertical Blanking Interval）で示す）が存在する。そこで、この時間間隔（ＶＢＩ）を考慮して、あるフレーム（例えば、ｎ番目のフレーム）のあるライン（例えば、ｋ番目のライン）の水平方向の位置補正量（ＣＶＨＤ（Correction Value for Horizontal Displacement））を次の式１３を用いて求めることができる。
【数１０】
2015033108.tif 000012
【０１５６】
ここで、ＬｉｎｅＮｕｍは、１フレームにおける撮像ライン数を示す値である。また、ＦｒａｍｅＲａｔｉｏは１秒当たりの撮像枚数を示す値である。また、ＣＦＳＰ（Correction Factor for Sensor Properties）は、撮像情報に対する補正係数であり、次の条件式（式１４）に基づいて決定される値（補正係数）である。すなわち、ＣＦＳＰは、上述した条件式（式９）に対応する撮像情報に基づいて決定される。
【数１１】
2015033108.tif 000013
【０１５７】
また、Ａは、補正中心の調整係数である。例えば、Ａ＝０．５とすると、撮像領域の中央ラインを中心とした補正量となる。
【０１５８】
例えば、移動量推定部１３１により導出された推定移動量を、図１４のｂに示す推定移動量とする場合を想定する。この場合には、補正量導出部１３２は、図１４のｃに示すように、式１３を用いて補正量を算出する。
【０１５９】
また、補正処理部１３３は、補正量導出部１３２により導出された補正量に基づいて、撮像画像に補正を施して補正画像を作成する。例えば、補正処理部１３３は、図１２のｂに示す撮像画像について、図１２のｄに示すライン毎の補正量に基づいて、図１２のｅに示す補正画像を作成する。
【０１６０】
このように、補正部１３０は、判定部１２０によりシャッター方式がフォーカルプレーンシャッター方式であると判定された場合には、判定部１２０により判定された撮像方向に基づいて動画コンテンツについてフォーカルプレーン歪み補正を行う。一方、補正部１３０は、判定部１２０によりシャッター方式がグローバルシャッター方式であると判定された場合には、動画コンテンツについてフォーカルプレーン歪み補正を行わない。
【０１６１】
なお、図１２、図１４に示す例では、１フレーム期間内で線形の補正量を算出して補正を行う例を示すが、非線形の補正量を算出して補正を行うようにしてもよい。
【０１６２】
また、以上では、水平方向の補正に関して説明したが、垂直方向についても同様の手法で補正を行うことができる。すなわち、水平方向の補正では、水平方向の変位をライン毎に補正したが、垂直方向の補正では、垂直方向の変位（伸縮）をライン毎に補正することとなる。
【０１６３】
このように、動画コンテンツについて適切な補正処理を行うことができ、安定的な補正を行うことが可能となる。
【０１６４】
［画像処理装置の動作例］
図１５は、本技術の第１の実施の形態における画像処理装置１００による補正処理の処理手順の一例を示すフローチャートである。なお、図１５では、撮像情報として垂直撮像方向を判定する例を示す。
【０１６５】
最初に、判定部１２０は、参照フレームインデックス、順方向フレーム境界動き量積算値、逆方向フレーム境界動き量積算値を初期化する（ステップＳ９０１）。ここで、参照フレームインデックスは、例えば、処理対象となるフレームを特定するためのものである。例えば、判定部１２０は、動画コンテンツ記録部１１０に記録されている動画コンテンツを構成する先頭フレームを指し示すように、参照フレームインデックスを初期化する。また、例えば、判定部１２０は、順方向フレーム境界動き量積算値および逆方向フレーム境界動き量積算値のそれぞれをゼロで初期化する。
【０１６６】
続いて、判定部１２０は、動画コンテンツ記録部１１０に記録されている動画コンテンツから、参照フレームインデックスが指し示すフレームを取得し、このフレームにおける各領域から局所的な動きベクトルを取得する（ステップＳ９０２）。例えば、図８のｂおよびｃに示すように、フレームにおける８つの領域から局所的な動きベクトルが取得される。
【０１６７】
続いて、判定部１２０は、取得された局所的な動きベクトルを用いて順方向フレーム境界動き量および逆方向フレーム境界動き量を算出する（ステップＳ９０３）。すなわち、判定部１２０は、上述した式１を用いて順方向フレーム境界動き量（ＮｏｒｍａｌＦｒａｍｅＤｉｆｆｎ）を算出し、上述した式２を用いて逆方向フレーム境界動き量（ＩｎｖｅｒｓｅＦｒａｍｅＤｉｆｆｎ）を算出する。
【０１６８】
続いて、判定部１２０は、順方向フレーム境界動き量および逆方向フレーム境界動き量のそれぞれを各積算値に加算して順方向フレーム境界動き量積算値および逆方向フレーム境界動き量積算値を算出する（ステップＳ９０４）。すなわち、判定部１２０は、上述した式３を用いて順方向フレーム境界動き量積算値（ＮｏｒｍａｌＤｉｆｆＳｕｍ）を算出し、上述した式４を用いて逆方向フレーム境界動き量積算値（ＩｎｖｅｒｓｅＤｉｆｆＳｕｍ）を算出する。なお、上述したように、先頭フレームについて局所的な動きベクトルが検出されない場合には、上述した式５および式６を用いて各積算値を算出するようにしてもよい。
【０１６９】
続いて、判定部１２０は、参照フレームインデックスを規定量だけ進めて更新する（ステップＳ９０５）。例えば、参照フレームインデックスの値がインクリメントされ、１が加算される。
【０１７０】
続いて、判定部１２０は、参照フレームインデックスをチェックし、参照フレーム期間が終了したか否かを判断する（ステップＳ９０６）。例えば、判定部１２０は、参照フレームインデックスが指し示すフレームが、動画コンテンツ記録部１１０に記録されている動画コンテンツの後端フレームであるか否かを判断する。そして、参照フレームインデックスが指し示すフレームが後端フレームである場合には、判定部１２０は、参照フレーム期間が終了したと判断する。
【０１７１】
参照フレーム期間が終了していない場合には（ステップＳ９０６）、ステップＳ９０２に戻る。一方、参照フレーム期間が終了した場合には（ステップＳ９０６）、判定部１２０は、順方向フレーム境界動き量積算値および逆方向フレーム境界動き量積算値を用いて撮像情報の判定を行う（ステップＳ９０７）。すなわち、判定部１２０は、上述した判定条件（式７）を用いて判定を行い、撮像情報として垂直撮像方向を得る。なお、ステップＳ９０７は、特許請求の範囲に記載の判定手順の一例である。
【０１７２】
続いて、補正部１３０は、判定部１２０による判定結果に基づいて、動画コンテンツ記録部１１０に記録されている動画コンテンツについて、フォーカルプレーン歪み補正処理を行う（ステップＳ９０８）。
【０１７３】
なお、撮像情報として、イメージセンサのシャッター方式（グローバルシャッター方式、フォーカルプレーンシャッター方式）を判定する場合には、ステップＳ９０７において垂直撮像方向とともにその判定を行うようにする。この場合に、イメージセンサのシャッター方式がグローバルシャッター方式であると判定された場合には、ステップＳ９０８におけるフォーカルプレーン歪み補正処理を省略する。
【０１７４】
＜２．変形例＞
本技術の第１の実施の形態では、移動量推定部１３１により撮像動作時におけるイメージセンサの移動量を推定する例を示した。ここで、装置の姿勢を検出するためのセンサ（例えば、ジャイロセンサ）を搭載する撮像装置が存在する。この撮像装置を用いて撮像動作を行う場合には、例えば、そのセンサを利用してその撮像動作時におけるライン毎の手振れ量を取得し、この取得された手振れ量に関する情報を動画コンテンツのメタ情報に含めて記録することが考えられる。このように、撮像動作時におけるライン毎の手振れ量に関する情報を、動画コンテンツのメタ情報に記録することにより、その手振れ量に関する情報を画像処理時に用いることができる。この場合には、移動量推定部１３１を省略することができる。
【０１７５】
そこで、本技術の実施の形態の変形例では、動画コンテンツのメタ情報（撮像動作時におけるライン毎の手振れ量に関する情報）を用いて補正量を導出する例を示す。
【０１７６】
［補正部の構成例］
図１６は、本技術の実施の形態の変形例における画像処理装置４００の機能構成例を示すブロック図である。なお、画像処理装置４００は、図１に示す画像処理装置１００の一部を変形したものであり、図１に示す補正部１３０のみが異なる。このため、図１６では、画像処理装置４００の構成のうち一部（図１１に対応する構成）のみを示し、他の構成の図示を省略する。また、画像処理装置１００と共通する部分には、同一の符号を付してこれらの一部の説明を省略する。
【０１７７】
画像処理装置４００は、動画コンテンツ記録部１１０と、判定部１２０と、補正部４１０と、出力部１４０とを備える。また、補正部４１０は、補正量導出部４１１および補正処理部１３３を備える。すなわち、補正部４１０は、図１１に示す補正部１３０における移動量推定部１３１を省略したものである。
【０１７８】
また、動画コンテンツ記録部１１０に記録されている動画コンテンツには、その撮像動作時におけるライン毎の手振れ量に関する情報がメタ情報として関連付けて記録されているものとする。
【０１７９】
補正量導出部４１１は、動画コンテンツ記録部１１０に記録されている動画コンテンツのメタ情報（撮像動作時におけるライン毎の手振れ量に関する情報）と判定部１２０による判定結果（撮像情報）とに基づいて、各フレーム期間のライン毎の補正量を導出する。この補正量の導出例については、推定移動量の代わりに、撮像動作時におけるライン毎の手振れ量を用いる点以外は、本技術の第１の実施の形態と同様である。
【０１８０】
［まとめ］
このように、本技術の実施の形態では、撮像動作時における撮像情報が分からない動画コンテンツであっても、撮像動作時におけるイメージセンサの撮像情報（垂直撮像方向）を適切に判定して取得することができる。このように取得された撮像情報（垂直撮像方向）を用いてフォーカルプレーン歪み補正を行うことにより、撮像方向が誤った補正によるフォーカルプレーン歪み補正の破たんを防止することができる。これにより、安定性を高くすることができ、高い精度のフォーカルプレーン歪み補正を行うことができる。すなわち、撮像動作時における撮像情報を適切に反映した適切なフォーカルプレーン歪み補正を行うことができる。
【０１８１】
すなわち、本技術の実施の形態によれば、手振れおよびＣＭＯＳイメージセンサ等で生じるフォーカルプレーン現象による撮像画像の歪みを軽減するロバストな補正（フォーカルプレーン歪み補正）を実現することができる。また、その補正に必要となる撮像動作時におけるイメージセンサの撮像方向を適切に判定することができる。
【０１８２】
また、本技術の実施の形態では、撮像動作時における撮像情報が分からない動画コンテンツであっても、撮像動作時におけるイメージセンサの撮像情報（イメージセンサのシャッター方式）を適切に判定して取得することができる。これにより、撮像動作時における撮像情報が分からない動画コンテンツが、フォーカルプレーン歪みを原理的に発生しないＣＣＤイメージセンサ等によって撮像されたものであっても、誤って補正してしまうことを防止することができる。
【０１８３】
このように、本技術の実施の形態では、例えば、クラウド環境等において、撮像動作時における撮像情報が分からない動画コンテンツに対して、フォーカルプレーン歪み補正等の補正処理を適切に行うことができる。また、例えば、動画編集ソフトウェア、または、動画再生ソフトウェア等において、撮像動作時における撮像情報が分からない動画コンテンツに対して、フォーカルプレーン歪み補正等の補正処理を適切に行うことができる。
【０１８４】
なお、本技術の実施の形態では、一体として構成される画像処理装置１００、４００を例にして説明した。ただし、画像処理装置１００、４００における各機能を複数の装置により実現する画像処理システムについても本技術の実施の形態を適用することができる。例えば、動画コンテンツ記録部１１０、判定部１２０、補正部１３０、４１０および出力部１４０のそれぞれに相当する複数の装置がネットワークで接続されている画像処理システムに本技術の実施の形態を適用することができる。なお、ネットワークは、例えば、電話網、インターネット等のネットワーク（例えば、公衆回線網）、または、有線ネットワークや同軸ケーブルである。
【０１８５】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８６】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記録する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１８７】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１８８】
なお、本技術は以下のような構成もとることができる。
（１）
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定部を具備する画像処理装置。
（２）
前記判定部は、前記取り込み方式として前記撮像動作時における前記撮像素子の撮像方向および前記撮像素子のシャッター方式のうちの少なくとも１つを判定する前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記特徴量として前記複数の領域毎の局所的な動きベクトルを取得し、前記動画コンテンツを構成するフレームのうちの時系列で隣接するフレーム間における前記局所的な動きベクトルの連続性に基づいて前記判定を行う前記（１）または（２）に記載の画像処理装置。
（４）
前記判定部は、前記特徴量として前記複数の領域毎の局所的な動きベクトルを取得し、前記動画コンテンツを構成するフレームのうちの時系列で隣接するフレームを第１フレームおよび第２フレームとし、前記第１フレームの特定方向における一方の端部側の領域から取得された前記局所的な動きベクトルと、前記第２フレームの前記特定方向における他方の端部側の領域から取得された前記局所的な動きベクトルとの比較結果に基づいて前記判定を行う前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記判定部は、前記第１フレームの前記一方の端部側の領域から取得された前記局所的な動きベクトルである第１動きベクトルと、前記第１フレームの前記他方の端部側の領域から取得された前記局所的な動きベクトルである第２動きベクトルと、前記第２フレームの前記一方の端部側の領域から取得された前記局所的な動きベクトルである第３動きベクトルと、前記第２フレームの前記他方の端部側の領域から取得された前記局所的な動きベクトルである第４動きベクトルとについて、前記第１動きベクトルと前記第４動きベクトルとの比較結果と、前記第２動きベクトルと前記第３動きベクトルとの比較結果とに基づいて算出される値を用いて前記判定を行う前記（４）に記載の画像処理装置。
（６）
前記判定された取り込み方式に基づいて前記動画コンテンツについてフォーカルプレーン歪み補正を行う補正部をさらに具備する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記判定部は、前記取り込み方式として前記撮像動作時における前記撮像素子の撮像方向および前記撮像素子のシャッター方式のうちの少なくとも１つを判定し、
前記補正部は、前記判定部により前記シャッター方式がフォーカルプレーンシャッター方式であると判定された場合には、前記判定された撮像方向に基づいて前記動画コンテンツについてフォーカルプレーン歪み補正を行い、前記判定部により前記シャッター方式がグローバルシャッター方式であると判定された場合には、前記動画コンテンツについてフォーカルプレーン歪み補正を行わない
前記（６）に記載の画像処理装置。
（８）
前記判定部は、前記動画コンテンツを構成する対象フレームにおける複数の領域と他のフレームとの比較結果に基づいて前記複数の領域毎の特徴量を取得する前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する画像処理方法。
（１０）
動画コンテンツを構成するフレームにおける複数の領域から取得された特徴量を用いて前記動画コンテンツの撮像動作時における撮像素子の画素値の取り込み方式を判定する判定手順をコンピュータに実行させるプログラム。
【符号の説明】
【０１８９】
１００、４００  画像処理装置
１１０  動画コンテンツ記録部
１２０  判定部
１３０、４１０  補正部
１３１  移動量推定部
１３２、４１１  補正量導出部
１３３  補正処理部
１４０  出力部
２００  イメージセンサ
２０１  画素領域
２１１〜〜２１９  画素
２２１〜２２３  アナログ信号線
２３１〜２３３  変換器
２４０  デジタル信号線
【図１】
2015033108.tif 000014
【図２】
2015033108.tif 000015
【図３】
2015033108.tif 000016
【図４】
2015033108.tif 000017
【図５】
2015033108.tif 000018
【図６】
2015033108.tif 000019
【図７】
2015033108.tif 000020
【図８】
2015033108.tif 000021
【図９】
2015033108.tif 000022
【図１０】
2015033108.tif 000023
【図１１】
2015033108.tif 000024
【図１２】
2015033108.tif 000025
【図１３】
2015033108.tif 000026
【図１４】
2015033108.tif 000027
【図１５】
2015033108.tif 000028
【図１６】
2015033108.tif 000029