(57)【要約】【課題】動画像を示す画像信号に基づいて、動画像を撮像した撮像素子の走査パターンを判定することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】フレーム画像からなる動画像を示す画像信号に基づいて、フレーム画像全体に対応する第１領域、フレーム画像が分割された一の領域に対応する第２領域、およびフレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出する歪成分算出部と、第２領域と第１領域とにおける歪の相関と、第２領域と第３領域とにおける歪の相関との組合せに基づいて、画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する判定部とを備える画像処理装置が提供される。【選択図】図６
2013031060.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出する歪成分算出部と、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する判定部と、
を備える画像処理装置。
【請求項２】
前記判定部は、判定精度をユーザに選択させる選択画面に対するユーザ操作に基づいて、選択された判定精度に応じた判定を行う、請求項１に記載の画像処理装置。
【請求項３】
前記歪成分算出部は、前記動画像の全体または前記動画像の一部の連続するフレーム画像に基づいて、前記歪成分を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記歪成分算出部は、前記フレーム画像の一部の領域が除かれた領域を、前記第１領域とする、請求項１に記載の画像処理装置。
【請求項５】
前記歪成分算出部は、前記動画像の奇数フレームのフレーム画像、または、前記動画像の偶数フレームのフレーム画像のいずれか一方に基づいて、前記歪成分を算出する、請求項１に記載の画像処理装置。
【請求項６】
前記歪成分算出部は、前記動画像の奇数フレームのフレーム画像、または、前記動画像の偶数フレームのフレーム画像のいずれか一方を反転させて、前記歪成分を算出する、請求項１に記載の画像処理装置。
【請求項７】
前記歪成分算出部は、前記フレーム画像が分割された一の分割領域全体に対応する第４領域、前記分割領域が分割された一の領域に対応する第５領域、および前記分割領域が分割された他の領域に対応する第６領域それぞれにおける歪成分を算出し、
前記判定部は、前記第５領域と前記第４領域とにおける歪の相関、および前記第５領域と前記第６領域とにおける歪の相関の組合せに基づいて判定される、分割領域ごとの走査パターンの判定結果に基づいて、前記動画像を撮像した撮像素子の走査パターンを判定する、請求項１に記載の画像処理装置。
【請求項８】
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれに相異なる中心座標を設定して、前記歪成分を算出する、請求項１に記載の画像処理装置。
【請求項９】
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれに同一の中心座標を設定して、前記歪成分を算出する、請求項１に記載の画像処理装置。
【請求項１０】
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれにおける動き成分を、時系列的にさらに算出し、
前記判定部は、算出された動き成分に基づいて算出された歪成分を選択的に補正して、判定を行う、請求項１に記載の画像処理装置。
【請求項１１】
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップと、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップと、
を有する、画像処理方法。
【請求項１２】
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップ、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップ、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えば、デジタルスチルカメラや、携帯電話などの通信装置など、様々な機器に動画像を撮像可能な撮像機能が搭載されており、ユーザが動画像を撮像する機会は増えている。ここで、撮像素子として例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）が用いられる場合には、例えばローリングシャッター方式（ライン露光順次読み出し方式）が採用されることが多い。例えばローリングシャッター方式によって上記撮像機能が実現される場合、すなわち、ラインごとに順次撮像を行う撮像素子によって撮像が行われる場合には、例えばフォーカルプレーン歪みとよばれる歪みが動画像に発生しうる。
【０００３】
このような中、動画像に生じうる歪みを低減する技術が開発されている。動画像に生じうる歪みを低減する技術としては、例えば、特許文献１に記載の技術や、非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１９３３０２号公報
【非特許文献】
【０００５】
【非特許文献１】Barbara  Zitova,  Jan  Flusser,  “Image  registration  methods:  a  survey”,  Image  and  Vision  Computing  21  (2003)  977-1000,  (http://library.utia.cas.cz/prace/20030125.pdf).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像に生じうる歪みを低減する方法としては、例えば下記の（１）〜（４）に示す方法が挙げられる。
【０００７】
（１）一次式による行列変換を用いる方法（例えば、特許文献１に記載されている技術）
１フレームの画像（以下、「フレーム画像」と示す。）全体を１つの行列を用いてアフィン変換し、補正する。
【０００８】
（２）分割領域に対する一次式による行列変換を用いる方法
フレーム画像を複数の領域に分割し、分割領域ごとに上記（１）の処理を行う。
【０００９】
（３）二次式による行列変換を用いる方法
例えば下記の数式１に示すように、上記（１）の処理を二次式に拡張して処理を行う。
【００１０】
【数１】
2013031060.tif 000003
【００１１】
（４）メッシュ構造を用いたレジストレーションを用いる方法
フレーム画像を縦横に格子状に区切り、それぞれの格子（矩形）において異なる変形を行う。変形を行う方法としては、例えば、非特許文献１に記載されているように、特徴点抽出を行って変形させるための変換式を算出する方法が挙げられる。
【００１２】
図１、図２は、（１）〜（４）に示す歪みを低減する方法の特徴を示す説明図である。図１は、上記（１）〜（４）に示す歪みを低減する方法のメリット、デメリットを示しており、図２は、上記（１）〜（４）に示す歪みを低減する方法を、計算量、歪対応、ベクトル信頼度という３つの評価項目で整理した結果を示している。ここで、図２は、上記３つの評価項目それぞれについて、上記（１）〜（４）に示す歪みを低減する方法を「“◎”、“○”、“△”、“×”（良い⇔悪い）」の４段階で評価した例を示している。図１、図２に示すように、歪みを低減する方法には、一長一短があることが分かる。
【００１３】
図３は、解像度とデータ量（ＹＵＶ４２２換算）との対応関係の一例を示す説明図である。近年、画像の解像度は、ＳＤ（Standard  Definition）解像度からＨＤ（High  Definition）解像度、そして４Ｋなどへと向上しており、図３に示すように解像度の向上に伴い画像のデータ量も飛躍的に増加している。そのため、動画像を撮像する撮像装置が撮像可能な画像の解像度が向上すればする程、撮像装置内部のバス（bus）における通信速度に対する要求は高くなることから、ＣＭＯＳなどの撮像素子側において対応を行うことも必要となっている。
【００１４】
図４は、撮像素子側における対応の一例を示す説明図である。図４に示すＡは、マトリクス状に配置された撮像素子を１行ずつ一定方向に読み出す従来の走査パターンを示しており、図４に示すＢは、マトリクス状に配置された撮像素子を２つの方向からそれぞれ１行ずつ読み出す新たな走査パターンの一例を示している。例えば図４のＢに示す走査パターンを用いることによって、図４のＡに示す従来の走査パターンを用いる場合よりも半分の時間で走査を完了することが可能となる。そのため、撮像装置が撮像可能な画像の解像度が向上するにつれて、例えば図４に示すように、動画像を撮像する撮像装置によって、異なる読み出し方法（走査パターン）が採用されることが想定される。
【００１５】
ここで、走査パターンが変われば、撮像された動画像に生じうる歪みの型も変わる。そのため、例えば上記（１）〜（４）に示す歪みを低減する方法と歪対応との関係も、図２に示す対応関係とは変わることとなる。図５は、図４のＢに示す走査パターンが用いられた場合において、計算量、歪対応、ベクトル信頼度という３つの評価項目で上記（１）〜（４）に示す歪みを低減する方法を整理した結果の一例を示している。図５は、上記３つの評価項目それぞれについて、上記（１）〜（４）に示す歪みを低減する方法を「“◎”、“○”、“△”、“×”（良い⇔悪い）」の４段階で評価した例を示している。
【００１６】
図５のＡに示すように、図４のＢに示す走査パターンが用いられた場合には、上記（１）に示す一次式による行列変換を用いる方法では歪みを補正することができない。そのため、ポスト処理によって動画像に生じうる歪みを低減するためには、当該動画像を撮像した撮像素子の走査パターンを判別した上で、当該走査パターンによる歪みに対応する補正を行うことが望ましい。よって、動画像を撮像した撮像素子の走査パターンを判定する方法が望まれていた。
【００１７】
本開示では、動画像を示す画像信号に基づいて、当該動画像を撮像した撮像素子の走査パターンを判定することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【００１８】
本開示によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記フレーム画像全体に対応する第１領域、上記フレーム画像が分割された一の領域に対応する第２領域、および上記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出する歪成分算出部と、上記第２領域と上記第１領域とにおける歪の相関と、上記第２領域と上記第３領域とにおける歪の相関との組合せに基づいて、上記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する判定部と、を備える画像処理装置が提供される。
【００１９】
また、本開示によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記フレーム画像全体に対応する第１領域、上記フレーム画像が分割された一の領域に対応する第２領域、および上記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップと、上記第２領域と上記第１領域とにおける歪の相関と、上記第２領域と上記第３領域とにおける歪の相関との組合せに基づいて、上記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップと、を有する、画像処理方法が提供される。
【００２０】
また、本開示によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記フレーム画像全体に対応する第１領域、上記フレーム画像が分割された一の領域に対応する第２領域、および上記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップ、上記第２領域と上記第１領域とにおける歪の相関と、上記第２領域と上記第３領域とにおける歪の相関との組合せに基づいて、上記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００２１】
本開示によれば、動画像を示す画像信号に基づいて、当該動画像を撮像した撮像素子の走査パターンを判定することができる。
【図面の簡単な説明】
【００２２】
【図１】（１）〜（４）に示す歪みを低減する方法の特徴を示す説明図である。
【図２】（１）〜（４）に示す歪みを低減する方法の特徴を示す説明図である。
【図３】解像度とデータ量（ＹＵＶ４２２換算）との対応関係の一例を示す説明図である。
【図４】撮像素子側における対応の一例を示す説明図である。
【図５】図４のＢに示す走査パターンが用いられた場合において、計算量、歪対応、ベクトル信頼度という３つの評価項目で上記（１）〜（４）に示す歪みを低減する方法を整理した結果の一例を示している。
【図６】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図７】第１の実施形態に係る画像処理装置の動き検出部における動き検出処理の基本的な処理の一例を説明するための説明図である。
【図８】第１の実施形態に係る画像処理装置の動き検出部における動き検出処理の一例を説明するための説明図である。
【図９】座標系の一例を示す説明図である。
【図１０】第１の実施形態に係る画像処理装置の動き成分分離処理部が、図９に示す座標系を用いる場合の処理の一例を示す説明図である。
【図１１】第１の実施形態に係る画像処理装置の動き成分分離処理部における動き成分分離処理において用いる座標系の一例を示す説明図である。
【図１２】座標系の原点Ｏ（中心座標）をフレーム画像の中心に移動させる処理を説明するための説明図である。
【図１３】撮像者の肘を中心に回転させた場合の行列式を説明するための説明図である。
【図１４】第１の実施形態に係る画像処理装置における動き成分分離処理の一例を説明するための説明図である。
【図１５】フォーカルプレーン歪みの一例を示す説明図である。
【図１６】第１の実施形態に係る画像処理装置の判定部における処理の一例を示す説明図である。
【図１７】第１の実施形態に係る画像処理装置の判定部における正負相関判定処理の一例を示す流れ図である。
【図１８】第１の実施形態に係る画像処理装置の判定部における正相関の有無の決定方法の一例を説明するための説明図である。
【図１９】第１の実施形態に係る画像処理装置の判定部における総合評価処理を説明するための説明図である。
【図２０Ａ】第１の実施形態に係る画像処理装置の判定部における処理の一例を説明するための説明図である。
【図２０Ｂ】第１の実施形態に係る画像処理装置の判定部における処理の一例を説明するための説明図である。
【図２１】第１の実施形態に係る画像処理装置の判定部における処理の一例を説明するための説明図である。
【図２２】第２の実施形態に係る画像処理装置が設定する第１領域の一例を示す説明図である。
【図２３】第４の実施形態に係る画像処理装置における処理の一例を説明するための説明図である。
【図２４】数式３に示す成分分離式を用いる場合における中心点を示す説明図である。
【図２５】第５の実施形態に係る画像処理装置の歪成分算出部が設定する中心点（中心座標）の一例を示す説明図である。
【図２６】第６の実施形態に係る画像処理装置の判定部における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．第１の実施形態に係る画像処理装置
３．第２の実施形態に係る画像処理装置
４．第３の実施形態に係る画像処理装置
５．第４の実施形態に係る画像処理装置
６．第５の実施形態に係る画像処理装置
７．第６の実施形態に係る画像処理装置
８．第７の実施形態に係る画像処理装置
９．本実施形態に係るプログラム
【００２５】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２６】
また、以下では、本実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像であり、画像処理装置１００は、時間順に１フレームずつ入力される画像信号を処理するものとする。また、本実施形態に係るフレーム画像は、画像サイズやカラーフォーマットは問わないが、以下では、本実施形態に係るフレーム画像が、例えば非圧縮の画像信号であるとして説明する。なお、本実施形態に係る画像信号には、例えば、画像サイズやカラーフォーマット、タイムスタンプ、画像を撮像した撮像装置の情報などを示す付属情報が含まれていてもよい。
【００２７】
また、以下では、本実施形態に係る画像処理装置が、画像シーケンス全体に対して撮像素子の走査パターンの判定を行う場合を例に挙げて説明する。上記の場合において画像処理装置が判定後に歪みの補正を行うときには、画像処理装置における処理は、いわゆる２パス処理となる。なお、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、例えば固定長のフレーム（例えば、１秒分に相当する３０フレーム）のフレーム画像に基づいて、撮像素子の走査パターンの判定を行ってもよい。上記の場合において画像処理装置が判定後に歪みの補正を行うときには、画像処理装置は、いわゆる１パス処理を実現することが可能となる。
【００２８】
ここで、本実施形態に係る画像信号としては、例えば撮像者が撮像装置を用いて撮像することにより得られた動画像を示す信号（アナログ信号／デジタル信号）が挙げられるが、本実施形態に係る画像信号は、上記に限られない。例えば、本実施形態に係る画像信号は、乗り物などに搭載された撮像装置によって撮像された動画像や、いわゆる防犯カメラなどのように固定の場所に設置された撮像装置によって撮像された動画像を示す信号であってもよい。
【００２９】
また、本実施形態に係る画像信号としては、例えば、本実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、本実施形態に係る画像処理装置は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を処理することも可能である。また、本実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本実施形態に係る画像処理装置が動画像を撮像することが可能な撮像部（上記撮像装置に対応するデバイス。後述する）を備えている場合、すなわち、本実施形態に係る画像処理装置が撮像装置として機能する場合には、本実施形態に係る画像処理装置は、例えば、当該撮像部により撮像された動画像に対応する画像信号を処理してもよい。
【００３０】
本実施形態に係る画像処理装置は、フレーム画像からなる動画像を示す画像信号に基づいて、当該動画像を撮像した撮像素子の走査パターンを判定する。より具体的には、本実施形態に係る画像処理装置は、例えば下記の（Ｉ）の処理、および（ＩＩ）の処理を行う。
【００３１】
（Ｉ）歪成分算出処理
本実施形態に係る画像処理装置は、画像信号に基づいて、フレーム画像全体に対応する第１領域、フレーム画像が分割された一の領域に対応する第２領域、およびフレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出する。また、本実施形態に係る画像処理装置は、画像信号に基づいて動き成分を時系列的に算出することも可能である。歪成分、動き成分の算出方法の一例については、後述する。
【００３２】
以下では、第２領域がフレーム画像を水平方向に２等分したときの上半分の領域であり、また、第３領域がフレーム画像を水平方向に２等分したときの下半分の領域である場合を例に挙げて説明する。なお、第２領域と第３領域との関係は上記に限られず、例えば、第２領域がフレーム画像を水平方向に２等分したときの下半分の領域であり、第３領域がフレーム画像を水平方向に２等分したときの上半分の領域であってもよい。
【００３３】
また、本実施形態に係る歪成分としては、例えば、水平方向の歪成分と、垂直方向の歪成分とが挙げられる。以下では、第１領域の水平方向の歪成分を“Ｂ［］”（ここで、“［］”は、ｎ個の成分をもつ１次元配列を示す。以下、同様とする。）、第１領域の垂直方向の歪成分を“Ｅ［］”と示す。また、以下では、第２領域の水平方向の歪成分を“Ｂｕ［］”、第２領域の垂直方向の歪成分を“Ｅｕ［］”と示し、第３領域の水平方向の歪成分を“Ｂｌ［］”、第３領域の垂直方向の歪成分を“Ｅｌ［］”と示す。
【００３４】
（ＩＩ）判定処理
本実施形態に係る画像処理装置は、算出された歪成分に基づく相関の結果に基づいて、画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する。ここで、本実施形態に係る画像処理装置は、例えば、第２領域と第１領域とにおける歪の相関の結果と、第２領域と第３領域とにおける歪の相関の結果との組合せに基づいて、撮像素子の走査パターンを判定する。また、本実施形態に係る画像処理装置は、例えば、第３領域と第１領域とにおける歪の相関の結果と、第３領域と第２領域とにおける歪の相関の結果との組合せに基づいて、撮像素子の走査パターンを判定してもよい。以下では、本実施形態に係る画像処理装置が、第２領域と第１領域とにおける歪の相関の結果と、第２領域と第３領域とにおける歪の相関の結果との組合せに基づいて、撮像素子の走査パターンを判定する場合を例に挙げて説明する。
【００３５】
より具体的には、本実施形態に係る画像処理装置は、例えば、既知の撮像素子の走査パターンそれぞれにおける歪の相関の結果を示すデータ（例えば、テーブル）と、算出された歪成分に基づく相関の結果の組合せとの突き合わせることによって、撮像素子の走査パターンを判定する。本実施形態に係る画像処理装置における判定方法の具体例については、後述する。
【００３６】
本実施形態に係る画像処理装置は、例えば、上記（Ｉ）の処理（歪成分算出処理）と（ＩＩ）の処理（判定処理）とを行うことによって、画像信号に基づいて、当該画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する。ここで、本実施形態に係る画像処理装置は、例えば、既知の撮像素子の走査パターンそれぞれにおける歪の相関の結果のデータと、算出された歪成分に基づく相関の結果とを比較することによって、撮像素子の走査パターンを判定する。よって、本実施形態に係る画像処理装置は、画像信号に基づく撮像素子の走査パターンの判定を、より正確に行うことができる。
【００３７】
以下、本実施形態に係る本実施形態に係る画像処理装置の構成の一例について説明をすると共に、本実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３８】
（第１の実施形態に係る画像処理装置）
図６は、第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、歪成分算出部１０２と、判定部１０４とを備える。
【００３９】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read  Only  Memory；図示せず）、ＲＡＭ（Random  Access  Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００４０】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro  Processing  Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、歪成分算出部１０２（または、歪成分算出部１０２の構成の一部）と、判定部１０４との役目を果たしてもよい。また、制御部（図示せず）は、例えば、判定部１０４の判定結果に基づいて画像信号を補正する補正部（図示せず）の役目を果たすことも可能である。さらに、制御部（図示せず）は、例えば、補正処理を行った画像信号をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、補正処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００４１】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００４２】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００４３】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００４４】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display；ＬＣＤ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００４５】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４６】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００４７】
ここで、本実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳなどの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００４８】
以下、図６に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００４９】
歪成分算出部１０２は、例えば、バッファ１０６と、動き検出部１０８と、動き成分分離処理部１１０と、バッファ１１２とを備え、上記（Ｉ）の処理（歪成分算出処理）を主導的に行う役目を果たす。以下、歪成分算出部１０２を構成するバッファ１０６、動き検出部１０８、動き成分分離処理部１１０、およびバッファ１１２それぞれについて、より具体的に説明する。
【００５０】
［バッファ１０６］
バッファ１０６は、一定数のフレーム画像を蓄積する役目を果たし、入力されたフレーム画像（以下、「入力フレーム画像」、または単に「入力フレーム」と示す場合がある。）を蓄積する。ここで、バッファ１０６は、例えばＦＩＦＯ（First-In  First-Out）のキューのような役目を果たす。すなわち、バッファ１０６は、一定数のフレームのフレーム画像が蓄積されると、次に新たなフレームのフレーム画像が入力されたときに最も古いフレームのフレーム画像が破棄する。ここで、バッファ１０６に蓄積されるフレーム数は、例えば動き検出部１０８において処理に用いられるフレーム数によって定まる。以下では、バッファ１０６に蓄積されたフレーム画像を「参照フレーム画像」、または単に「参照フレーム」と示す場合がある。
【００５１】
［動き検出部１０８］
動き検出部１０８は、入力フレーム画像と、参照フレーム画像とを用いて入力フレーム画像における動き検出を行う。
【００５２】
まず、動き検出部１０８における基本的な動き検出処理について説明する。図７は、第１の実施形態に係る画像処理装置１００の動き検出部１０８における動き検出処理の基本的な処理の一例を説明するための説明図である。ここで、参照フレーム画像は複数であってもよいが、最も単純な動き検出処理としては、入力フレーム画像の１つ前のフレームに対応する参照フレーム画像を処理に使用する。上記の場合、入力フレーム画像から参照フレーム画像への動きを動きベクトルとし、動きベクトルは、例えば下記の数式２に示すように、６つのアフィンパラメータ（３行目を００１で固定したという意味）で表される。ここで、アフィンパラメータは、各フレームに１つ定まるものであり、以下では、アフィンパラメータを「ＧＭＶ」（Global  Motion  Vector）とよぶ。
【００５３】
【数２】
2013031060.tif 000004
【００５４】
動きベクトルは１フレームに対して１つであるので、動き検出部１０８は、動きベクトルを求めることによって、入力フレーム画像における動きを検出する。以下では、動きベクトルを「グローバルモーション」とよぶ場合がある。
【００５５】
ここで、グローバルモーションを求める方法としては、例えば、１フレームをいくつかの矩形ブロックに区切り、各ブロックの動きベクトル（グローバルモーションに対してローカルモーションとよばれる。）を求め、各ブロックの動きベクトルをフィルタリングする方法が挙げられる。より具体的には、例えば、本件出願人の出願に係る特開２００９−０６５３３２号公報に記載の技術や特開２００９−０６５３３３号公報に記載の技術を用いて、グローバルモーションを求めることが可能である。
【００５６】
動き検出部１０８は、フレーム画像全体に対応する第１領域、フレーム画像が分割された一の領域に対応する第２領域、およびフレーム画像が分割された他の領域に対応する第３領域それぞれに対して、上記動き検出処理を行う。
【００５７】
図８は、第１の実施形態に係る画像処理装置１００の動き検出部１０８における動き検出処理の一例を説明するための説明図である。図８に示すＡは、第１領域に対する動き検出処理の一例を示している。また、図８に示すＢは、第２領域に対する動き検出処理の一例を示しており、図８に示すＣは、第３領域に対する動き検出処理の一例を示している。
【００５８】
動き検出部１０８は、第１領域、第２領域、および第３領域それぞれに対して上述した基本的な動き検出処理を行い、第１領域、第２領域、および第３領域それぞれに対応する動きベクトルを求める。
【００５９】
［動き成分分離処理部１１０］
動き成分分離処理部１１０は、入力されたアフィンパラメータの動きベクトルを、下記の数式３に示すモデル（以下、「成分分離式」と示す。）を用いて動き成分と歪成分に分離する。ここで、動き成分分離処理部１１０における成分分離は、第１領域（全体フレーム）、第２領域（例えば上半分のフレーム）、および第３領域（例えば下半分のフレーム）それぞれに対応する動きベクトルに対して行われる。
【００６０】
【数３】
2013031060.tif 000005
【００６１】
動き成分分離処理部１１０が動き検出部１０８から伝達されるアフィンパラメータは、例えば下記の数式４に示すように、６つのパラメータから構成される。
【００６２】
【数４】
2013031060.tif 000006
【００６３】
動き成分分離処理部１１０は、数式４に示すアフィンパラメータを、数式３に示すように複数の行列に分解する。
【００６４】
まず、数式３に示すそれぞれの行列について説明する。
【００６５】
（Ａ）原点補正行列
数式３に示す成分分離式の両端にある下記の数式５、数式６に示す行列は、原点補正行列である。ここで、数式５に示す行列は、原点をフレーム左上からフレーム中央へと移動する行列を示しており、また、数式６に示す行列は、原点をフレーム中央からフレーム左上へと戻す行列を示している。なお、数式５、数式６に示す“ｈｃ”はフレーム画像の水平方向の幅の２分の１の値とし、数式５、数式６に示す“ｖｃ”はフレーム画像の垂直方向の幅の２分の１の値とする。
【００６６】
【数５】
2013031060.tif 000007
【数６】
2013031060.tif 000008
【００６７】
ここで、動き検出によって検出した動きを成分分離する場合、画像中のどこを中心座標とするべきかが問題となる。図９は、座標系の一例を示す説明図である。例えば、ソフトウェアで処理する場合は、通常、図９に示すようにフレームの左上を原点Ｏとする座標系を用いる。画像処理装置１００が図９に示す座標系を用いる場合には、動き検出部１０８で生成されたアフィンパラメータも図９に示す座標系に則った行列となる。
【００６８】
図１０は、第１の実施形態に係る画像処理装置１００の動き成分分離処理部１１０が、図９に示す座標系を用いる場合の処理の一例を示す説明図である。動き成分分離処理部１１０が、例えば、図９に示す座標系のまま成分分離を行って回転成分を取得し、当該回転成分に基づいて動画像におけるぶれ成分を取り除いて動画像を安定化させた場合には、図１０に示すように、フレーム画像の左上を中心とした回転が安定化されることとなる。そのため、回転をより安定化させる場合の中心座標は、例えば、図９に示すようなフレームの左上よりも、フレーム画像の中心とすることが望ましい。
【００６９】
図１１は、第１の実施形態に係る画像処理装置１００の動き成分分離処理部１１０における動き成分分離処理において用いる座標系の一例を示す説明図である。中心座標をフレーム画像の中心とするために、動き成分分離処理部１１０は、例えば図９に示す座標系から図１１に示す座標系への変換を行う。上記変換に用いる行列が、数式５、数式６に示す原点補正行列である。数式５に示す行列は、原点を左上から中心に移動させる行列に該当し、数式６に示す行列は、原点を中心から左上に戻す行列に該当する。
【００７０】
ここで、座標系の原点Ｏ（中心座標）をフレーム画像の中心に移動させることについて、補足する。図１２は、座標系の原点Ｏ（中心座標）をフレーム画像の中心に移動させる処理を説明するための説明図である。
【００７１】
画像処理装置１００が処理する対象の画像信号が、例えば図１２に示すように撮像者によって撮像された動画像を示す場合、実際には、図１２のＡに示すように画像の中心を回転軸として回転しているのではなく、図１２のＢに示すように撮像者の肘や手首を軸として回転していることがほとんどである。そのため、例えば、図１１に示すように中心座標をフレーム画像の中心とすることが最適であるのかという問題がある。
【００７２】
しかしながら、仮に肘などを中心に回転させたとしても、結局は、下記の数式７に示すように、並進（縦横）と回転の組み合わせとなる。ここで、数式７は、肘を中心に回転が生じた場合におけるカメラワークを表す行列の一例を示している。よって、並進も同時に安定化させるのであれば、図１１に示すように中心座標をフレーム画像の中心として安定化させることによって、動画像におけるぶれ成分を取り除いて動画像を安定化させること（いわゆる、手振れ補正効果を得ること）が可能となる。図１３は、撮像者の肘を中心に回転させた場合の行列式を説明するための説明図である。ここで、数式７、図１３に示す“ｈ”は、回転軸から肘までの距離を示している。
【００７３】
【数７】
2013031060.tif 000009
・・・（数式７）
【００７４】
数式７は、例えば下記の数式８のように変形することが可能である。よって、肘などを中心に回転させた場合の動きは、原点から見た回転と並進の動きの組み合わせとして表される。
【００７５】
【数８】
2013031060.tif 000010
【００７６】
（Ｂ）アスペクト比変換
数式３に示す成分分離式中の下記の数式９、数式１０に示す行列は、アスペクト比変換行列である。ピクセルアスペクト比が１:ｐ（ｐは、少数値）の場合、数式１０に示す行列は、ピクセルアスペクト比を１：１へと変換する行列であり、また、数式９に示す行列は、数式１０により変換された後に再度ピクセルアスペクト比を１:ｐへと変換する行列である。
【００７７】
【数９】
2013031060.tif 000011
【数１０】
2013031060.tif 000012
【００７８】
図１４は、第１の実施形態に係る画像処理装置１００における動き成分分離処理の一例を説明するための説明図である。動画像では、通常、ピクセルアスペクト比は１：１の正方ピクセルではない。そのため、ｘ軸とＹ軸とではスケールが異なるので、例えば図１４のＡに示すように、実際の画像においてカメラが回転しても、回転後の画像は回転行列によって変換したものとは異なるものとなる。つまり、正方ピクセルでない画像に対しては回転補正は回転行列によってはモデル化できない。
【００７９】
よって、動き成分分離処理部１１０は、アスペクト比変換行列を用いることによって、例えば下記の数式１１に示すように、一度正方ピクセルに変換した上で回転行列を適用し、その後、ピクセルアスペクト比を１:ｐへと変換する。
【００８０】
【数１１】
2013031060.tif 000013
【００８１】
（Ｃ）フォーカルプレーン歪成分
数式３に示す成分分離式中の下記の数式１２に示す行列は、フォーカルプレーン歪成分を示す。ここで、数式１２に示す“ｅ”を含む行列は、垂直方向の拡大・縮小を表す行列であり、数式１２に示す“ｂ”を含む行列は、平行四辺形の歪を表す行列である。
【００８２】
【数１２】
2013031060.tif 000014
【００８３】
図１５は、フォーカルプレーン歪みの一例を示す説明図である。図１５に示すＡは、直線が歪む様子の一例を示しており、図１５に示すＢは、矩形が歪む様子の一例を示している。図１５に示すように、フォーカルプレーン歪は、例えば撮像者の撮像時の手振れなどによる動き方向によって発生の仕方が変わる。そのため、動き成分分離処理部１１０は、数式１１に示すような２つの行列を組み合わせた行列を、フォーカルプレーン歪成分を表す行列として用いる。
【００８４】
（Ｄ）回転・並進成分
数式３に示す成分分離式中の下記の数式１３に示す行列は、回転・並進成分を示す。ここで、数式１３では、“θ”が回転角を示し、“ｈ”が水平方向の移動量、“ｖ”が垂直方向の移動量をそれぞれ示す。
【００８５】
【数１３】
2013031060.tif 000015
【００８６】
（Ｅ）拡縮成分
数式３に示す成分分離式中の下記の数式１４に示す行列は、拡縮成分を示す。ここで、数式１４は、例えば動画像の撮像時においてズームや撮像位置の変化によって、画像が拡大または縮小したときの変化を示す。
【００８７】
【数１４】
2013031060.tif 000016
【００８８】
数式３に示す成分分離式は、上記（Ａ）〜（Ｅ）に示す行列を有する。次に、動き成分分離処理部１１０における処理（分離パラメータの解法の一例）について、説明する。
【００８９】
動き成分分離処理部１１０は、数式３に示す成分分離式を、例えば下記の数式１５に示すように変形させる。
【００９０】
【数１５】
2013031060.tif 000017
【００９１】
そして、動き成分分離処理部１１０は、数式１５から“ｓｉｎθ”、“ｂ”、“ｅ”、“ｓ”、“ｈ”、“ｖ”を求める。なお、数式１５に示す“ｐ”はアスペクト比を示し、数式１５に示す“ｈｃ”、“ｖｃ”は中心座標を示すので、動き成分分離処理部１１０は、“ｐ”、“ｈｃ”、“ｖｃ”の値を既知の値とすることが可能である。
【００９２】
下記の数式１６〜数式１９は、数式１５を解いた結果を示している。ここで、数式１６は、θ＝０（ｂ１＝０）の場合における解を示しており、数式１７は、θ＝π／２（ｂ2＝０，ｂ１＞０）の場合における解、数式１８は、θ＝−π／２（ｂ2＝０，ｂ１＜０）の場合における解をそれぞれ示している。また、数式１９は、−π／２＜θ＜π／２の場合における解を示している。ここで、数式１９に示す“ｓｉｎθ”、“ｃｏｓθ”は、ｔａｎθを“ｔａｎθ＝ｂ１／（ｂ２．ｐ）”とおくと、下記の数式２０、数式２１で表される。ここで、数式２０は、“ｂ１＞０，ｔａｎθ＞０、または、ｂ１＜０，ｔａｎθ＜０”の場合における“ｓｉｎθ”、“ｃｏｓθ”を示している。また、数式２１は、“ｂ１＜０，ｔａｎθ＞０、または、ｂ１＞０，ｔａｎθ＜０”の場合における“ｓｉｎθ”、“ｃｏｓθ”を示している。
【００９３】
【数１６】
2013031060.tif 000018
【００９４】
【数１７】
2013031060.tif 000019
【００９５】
【数１８】
2013031060.tif 000020
【００９６】
【数１９】
2013031060.tif 000021
【００９７】
【数２０】
2013031060.tif 000022
【数２１】
2013031060.tif 000023
【００９８】
動き成分分離処理部１１０は、例えば数式１６〜数式１９に示すように、“ｓｉｎθ”、“ｂ”、“ｅ”、“ｓ”、“ｈ”、“ｖ”、“θ”を求めることによって、動き検出部１０８から伝達される動きベクトルを、各変換行列に分解する。そして、動き成分分離処理部１１０は、分離した成分（例えば、歪成分を示すデータと、動き成分を示すデータ）とをバッファ１１２へ伝達する。
【００９９】
［バッファ１１２］
バッファ１１２は、動き成分分離処理部１１０から伝達される成分を蓄積する。ここで、バッファ１１２は、バッファ１０６と同様に、例えばＦＩＦＯ（First-In  First-Out）のキューのような役目を果たす。ここで、バッファ１１２は、例えば少なくとも判定部１０４において処理に用いられる成分の分、動き成分分離処理部１１０から伝達される成分を蓄積する。
【０１００】
歪成分算出部１０２は、例えば、上記のようなバッファ１０６、動き検出部１０８、動き成分分離処理部１１０、およびバッファ１１２を備え、入力される画像信号に基づいて、歪成分を算出することができる。なお、歪成分算出部１０２の構成が、図６に示す構成に限られないことは、言うまでもない。
【０１０１】
次に、判定部１０４について説明する。なお、以下では、第２領域がフレーム画像を水平方向に２等分したときの上半分の領域（上半分のフレーム）であり、また、第３領域がフレーム画像を水平方向に２等分したときの下半分の領域（下半分のフレーム）である場合を例に挙げて説明する。
【０１０２】
判定部１０４は、上記（ＩＩ）に示す処理（判定処理）を主導的に行う役目を果たし、歪成分算出部１０２において算出された歪成分に基づく相関の結果に基づいて、画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する。
【０１０３】
図１６は、第１の実施形態に係る画像処理装置１００の判定部１０４における処理の一例を示す説明図である。判定部１０４は、第１領域（全体フレーム）、第２領域（例えば上半分のフレーム）、および第３領域（例えば下半分のフレーム）それぞれに対応する歪成分の時系列データをそれぞれ処理する。
【０１０４】
（ｉ）各歪成分のプレ処理（Ｓ１００）
判定部１０４は、ＧＭＶの信頼度（１フレームに対応する信頼度）が予め定めた閾値以下の歪成分を、歪成分基準値に設定する。ここで、上記歪成分基準値としては、例えば、Ｂは“０”、Ｅは“１”が挙げられる。
【０１０５】
（ｉｉ）各歪成分の差分抽出処理（Ｓ１０２）
判定部１０４は、第１領域、第２領域、および第３領域それぞれの歪成分時系列データの各要素から歪成分基準値を減算し、新たな歪成分時系列データを生成する。以下では、第１領域に対応する新たな歪成分時系列データを“Ｂ’［]”、“Ｅ’［]”と示す。また、第２領域に対応する新たな歪成分時系列データを“Ｂｕ’［]”、“Ｅｕ’［]”と示し、第３領域に対応する新たな歪成分時系列データを“Ｂｌ’［]”、“Ｅｌ’［]”と示す。
【０１０６】
（ｉｉｉ）各歪成分の相関データの生成処理（Ｓ１０４）
判定部１０４は、例えば、水平方向の歪成分であるＢｕ’［]を基準として、下記の数式２２、数式２３に示すように、正相関判定データおよび負相関判定データを生成する。
【０１０７】
ここで、数式２２、数式２３では、判定部１０４が水平方向の歪成分であるＢｕ’［]を基準として相関判定データを生成している例を示しているが、第１の実施形態に係る判定部１０４における処理は、上記に限られない。例えば、判定部１０４は、垂直方向の歪成分であるＥｕ’［]を基準として相関判定データを生成してもよい。また、判定部１０４は、水平方向の歪成分であるＢｕ’［]を基準とする相関判定データと、垂直方向の歪成分であるＥｕ’［]を基準とする相関判定データとの双方を生成することも可能である。なお、一般的に、歪値の検出精度は、水平方向の歪成分を用いる方が垂直方向の歪成分を用いる場合よりも高い。そのため、以下では、判定部１０４が水平方向の歪成分であるＢｕ’［]を基準として相関判定データを生成する場合を例に挙げて説明する。
【０１０８】
【数２２】
2013031060.tif 000024
【数２３】
2013031060.tif 000025
【０１０９】
（ｉｖ）正負相関判定処理（Ｓ１０６）
判定部１０４は、第２領域（上半分のフレーム）と第３領域（下半分のフレーム）との相関結果、および第２領域（上半分のフレーム）と第１領域（全体フレーム）との相関結果それぞれを判定する。
【０１１０】
図１７は、第１の実施形態に係る画像処理装置１００の判定部１０４における正負相関判定処理の一例を示す流れ図である。
【０１１１】
判定部１０４は、上記（ｉｉｉ）の処理（各歪成分の相関データの生成処理）において生成された正相関判定データに基づいて、正相関の有無を決定する（Ｓ２００）。
【０１１２】
図１８は、第１の実施形態に係る画像処理装置１００の判定部１０４における正相関の有無の決定方法の一例を説明するための説明図である。ここで、図１８は、正相関判定データのヒストグラムを示している。
【０１１３】
判定部１０４は、例えば図１８に示すような生成された正相関判定データのヒストグラム、予め定められた閾値“−ＴＨｎ”、および閾値“ＴＨｎ”に基づいて、“−ＴＨｎ”から“ＴＨｎ”の間における、図１８に示すヒストグラムと、とに基づいて、度数の総和の全度数和における比率（０〜１．０）を算出する。そして、判定部１０４は、算出された比率が、予め定められた閾値“ＴＨｒ”（０≦ＴＨｒ≦１．０）以上の場合（または、閾値“ＴＨｒ”より大きい場合）に、正の相関があると決定する。また、判定部１０４は、算出された比率が、予め定められた閾値“ＴＨｒ”未満の場合（または、閾値“ＴＨｒ”以下の場合）に、正の相関がないと決定する。なお、第１の実施形態に係る判定部１０４における正の相関の決定方法が、上記に限られないことは、言うまでもない。
【０１１４】
再度図１７を参照して、判定部１０４における正負相関判定処理の一例について説明する。ステップＳ２００において正相関の有無が決定されると、判定部１０４は、正の相関があるか否かを判定する（Ｓ２０２）。
【０１１５】
ステップＳ２０２において正の相関があると判定された場合には、判定部１０４は、正の相関があると確定して（Ｓ２０４）、正負相関判定処理を終了する。
【０１１６】
また、ステップＳ２０２において正の相関があると判定されない場合には、判定部１０４は、上記（ｉｉｉ）の処理（各歪成分の相関データの生成処理）において生成された負相関判定データに基づいて、負相関の有無を決定する（Ｓ２０６）。ここで、判定部１０４は、例えばステップＳ２００の処理と同様の処理を行うことによって、負相関の有無を決定する。
【０１１７】
ステップＳ２０６において負相関の有無が決定されると、判定部１０４は、負の相関があるか否かを判定する（Ｓ２０８）。
【０１１８】
ステップＳ２０８において負の相関があると判定された場合には、判定部１０４は、負の相関があると確定して（Ｓ２１０）、正負相関判定処理を終了する。また、ステップＳ２０８において負の相関があると判定されない場合には、判定部１０４は、無相関であると確定して（Ｓ２１２）、正負相関判定処理を終了する。
【０１１９】
判定部１０４は、例えば図１７に示す処理を行うことによって、第２領域（上半分のフレーム）と第３領域（下半分のフレーム）との相関結果、および第２領域（上半分のフレーム）と第１領域（全体フレーム）との相関結果それぞれを判定する。なお、第１の実施形態に係る画像処理装置１００の判定部１０４における正負相関判定処理が、図１７に示す処理に限られないことは、言うまでもない。
【０１２０】
再度図１６を参照して、判定部１０４における処理の一例について説明する。
【０１２１】
（ｖ）総合評価処理（Ｓ１０８）
判定部１０４は、上記（ｉｖ）の処理（正負相関判定処理）の結果に基づいて、動画像を撮像した撮像素子の走査パターンを判定する。より具体的には、判定部１０４は、例えば、既知の撮像素子の走査パターンそれぞれにおける歪の相関の結果を示すデータと、算出された歪成分に基づく相関の結果の組合せとの突き合わせることによって、撮像素子の走査パターンを判定する。
【０１２２】
図１９は、第１の実施形態に係る画像処理装置１００の判定部１０４における総合評価処理を説明するための説明図である。ここで、図１９は、既知の撮像素子の走査パターンそれぞれにおける歪の相関の結果を示すデータの一例である、テーブルを示している。図１９に示す“＋”は正の相関がある場合、図１９に示す“−”は負の相関がある場合、そして図１９に示す“無”は無相関の場合をそれぞれ示している。また、図１９に示す“従”は、例えば図４のＡに示す従来の走査パターンを示しており、図１９に示す“１”、“２”は、それぞれ走査パターンを示している。また、図１９に示す“不”は、走査パターンが不明である場合を示している。なお、図１９に示すテーブルが用いられる場合において、走査パターンが不明であるときには、例えば、走査パターンの可能性が示唆される。ここで、示唆される走査パターンとしては、例えば図１９に示すテーブルを作成する作成者の経験によって定められる走査パターンが挙げられる。
【０１２３】
判定部１０４は、例えば、上記（ｉｖ）の処理（正負相関判定処理）の処理の結果を、図１９に示すテーブルに当てはめることによって、撮像素子の走査パターンを判定する。
【０１２４】
なお、第１の実施形態に係る画像処理装置１００の判定部１０４における総合評価処理は、上記に限られない。例えば、図１９に示すテーブルを用いた判定を行った結果、走査パターンが不明であるという判定結果が得られた場合には、判定部１０４は、さらに処理を行うことによって、走査パターンを特定してもよい。ここで、判定部１０４がさらに行う処理としては、例えば、“ＢだけでなくＥを用いて再度処理を行うこと”や、“これまで行った判定の履歴を示す履歴情報を用いて判定を行うこと”、“画像信号に含まれる撮像装置の情報、または、サーバなどの外部装置から取得した撮像装置の情報を用いて、判定を行うこと”などが挙げられる。
【０１２５】
また、判定部１０４は、判定精度をユーザに選択させる選択画面に対するユーザ操作に基づいて、選択された判定精度に応じた判定を行うことも可能である。
【０１２６】
図２０Ａ、図２０Ｂ、図２１は、第１の実施形態に係る画像処理装置１００の判定部１０４における処理の一例を説明するための説明図である。ここで、図２０Ａは、動画像をオーサリングするソフトウェアのタイムラインビューの一例を示しており、図２０Ｂは、判定精度をユーザに選択させる選択画面の一例を示している。また、図２１は、図２０Ｂに示す選択画面の選択に応じて行われる判定部１０４における処理の一例を示している。
【０１２７】
例えば、ユーザが図２０Ａに示すタイムラインビューにおいてトラックと判定区間を設定すると、図２０Ｂに示す選択画面が表示される。ここで、図２０Ａ、図２０Ｂに示す画面は、画像処理装置１００が備える表示部（図示せず）に表示されてもよいし、外部表示装置に表示されてもよい。
【０１２８】
判定部１０４は、例えば図２０ＢのＡ、Ｂに示す設定に応じて処理を行う。以下、図２１を参照しつつ、判定部１０４における図２０ＢのＡ、Ｂに示す設定に応じた処理の一例について説明する。
【０１２９】
判定部１０４は、処理を行うか否かを判定する（Ｓ３００）。ここで、判定部１０４は、例えば図２０ＢのＡに示す設定に応じて判定を行う。例えば図２０ＢのＡに示す設定が“ＯＮ”である場合には、判定部１０４は、処理を行うと判定する。また、例えば図２０ＢのＡに示す設定が“ＯＦＦ”である場合には、判定部１０４は、処理を行わないと判定する。
【０１３０】
ステップＳ３００において処理を行うと判定されない場合には、判定部１０４は、例えば図１６に示す処理を行わない。上記の場合には、画像処理装置１００は、画像信号に基づく撮像素子の走査パターンの判定を行わないこととなる。
【０１３１】
また、ステップＳ３００において処理を行うと判定された場合には、判定部１０４は、弱モードであるか否かを判定する（Ｓ３０２）。例えば図２０ＢのＢに示す設定が“弱モード”である場合には、判定部１０４は、弱モードであると判定する。また、例えば図２０ＢのＢに示す設定が“強モード”である場合には、判定部１０４は、弱モードであると判定しない。
【０１３２】
ステップＳ３０２において弱モードであると判定された場合には、判定部１０４は、弱モードに対応する処理を行う（Ｓ３０４）。ここで、判定部１０４における弱モードに対応する処理としては、例えば、Ｂのみを用いて図１６に示す処理を行うことや、図１９のテーブルに示す可能性示唆の指標を用いずに図１６に示す処理を行うことなどが挙げられる。
【０１３３】
また、ステップＳ３０２において弱モードであると判定されない場合には、判定部１０４は、強モードに対応する処理を行う（Ｓ３０６）。ここで、判定部１０４における強モードに対応する処理としては、例えば、ＢおよびＥを用いて図１６に示す処理を行うことや、図１９のテーブルに示す可能性示唆の指標を用いて図１６に示す処理を行うことなどが挙げられる。
【０１３４】
判定部１０４は、例えば図２１に示すように、判定精度をユーザに選択させる選択画面に対するユーザ操作に基づいて、選択された判定精度に応じた判定を行うことができる。
【０１３５】
第１の実施形態に係る画像処理装置１００は、例えば図６に示すように、歪成分算出部１０２と、判定部１０４とを備えることによって、本実施形態に係る画像処理方法に係る、上記（Ｉ）の処理（歪成分算出処理）と（ＩＩ）の処理（判定処理）とを行う。よって、画像処理装置１００は、画像信号に基づいて、当該画像信号が示す動画像を撮像した撮像素子の走査パターンを判定することができる。なお、第１の実施形態に係る画像処理装置１００の構成は、図６に示す構成に限られないことは、言うまでもない。
【０１３６】
（第２の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置１００に限られない。例えば、第１の実施形態に係る画像処理装置１００の歪成分算出部１０２は、フレーム画像全体を第１領域として処理を行ったが、本実施形態に係る歪成分算出部は、フレーム画像の一部の領域が除かれた領域を、第１領域として処理を行うことも可能である。
【０１３７】
図２２は、第２の実施形態に係る画像処理装置が設定する第１領域の一例を示す説明図である。ここで、図２２に示すＡは、フレーム画像全体を第１領域とする場合を示しており、また、図２２に示すＢは、フレーム画像の一部の領域が除かれた領域を第１領域とする場合を示している。
【０１３８】
第２の実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、例えば図２２のＢに示すように、フレーム画像の一部の領域が除かれた領域を第１領域として処理を行う。ここで、フレーム画像から除く領域としては、例えば、走査パターンの判定を行う場合における信頼度が低い領域（例えば、オブジェクトが存在する可能性が高い領域）が挙げられる。
【０１３９】
第２の実施形態に係る画像処理装置は、例えば図２２のＢに示すように一部が除かれた第１領域を設定して処理を行うことによって、使用領域が減少することにより第１領域から検出されるＧＭＶの検出精度は下がる可能性があるものの、被写体ぶれなどによって生じるノイズの影響を低減することができる。
【０１４０】
（第３の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置１００、第２の実施形態に係る画像処理装置に限られない。例えば、第１の実施形態および第２の実施形態に係る画像処理装置は、入力される各フレーム画像を同様に処理する例を示したが、本実施形態に係る画像処理装置は、入力される各フレーム画像が奇数フレームのフレーム画像であるか、偶数フレームのフレーム画像であるかに基づいて、処理を行ってもよい。
【０１４１】
より具体的には、第３の実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、例えば、奇数フレームのフレーム画像、または、偶数フレームのフレーム画像のいずれか一方に基づいて、歪成分を算出してもよい。上記の場合には、判定部は、奇数フレームのフレーム画像、または、偶数フレームのフレーム画像のいずれか一方に基づく歪成分に基づいて、撮像素子の走査パターンを判定することとなる。
【０１４２】
また、第３の実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、例えば、奇数フレームのフレーム画像、または、偶数フレームのフレーム画像のいずれか一方を反転させて、歪成分を算出してもよい。上記の場合には、判定部は、奇数フレームのフレーム画像、または、偶数フレームのフレーム画像のいずれか一方を反転させた結果得られる歪成分に基づいて、撮像素子の走査パターンを判定することとなる。
【０１４３】
第３の実施形態に係る画像処理装置は、例えば上記のように、入力される各フレーム画像が奇数フレームのフレーム画像であるか、偶数フレームのフレーム画像であるかに基づいて、処理を行うことによって、ローリングシャッター方式の撮像素子に対応することが可能となる。なお、第３の実施形態に係る画像処理装置は、例えば、画像信号に含まれる撮像装置の情報が示す、ローリングシャッター方式であるか否かを示す情報に基づいて、選択的に第３の実施形態に係る処理を行ってもよい。
【０１４４】
（第４の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置〜第３の実施形態に係る画像処理装置に限られない。例えば、上述した第１の実施形態に係る画像処理装置〜第３の実施形態に係る画像処理装置は、第２領域および第３領域という２つの分割領域を設定して処理を行う例を示したが、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を再帰的に行うことによって、４つの分割領域、８つの分割領域、…などを設定して処理を行うことも可能である。
【０１４５】
図２３は、第４の実施形態に係る画像処理装置における処理の一例を説明するための説明図である。例えば図２３に示すように、図２３のＡに示す分割領域と、図２３のＢに示す分割領域がある場合、第４の実施形態に係る画像処理装置は、各分割領域に対して、第１の実施形態に係る画像処理装置１００における処理と同様の処理を行う。
【０１４６】
より具体的には、例えば図２３のＡに示す領域を例に挙げると、第４の実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、図２３のＡに示す分割領域全体に対応する第４領域、図２３のＡに示す分割領域が分割された一の領域に対応する第５領域、および図２３のＡに示す分割領域が分割された他の領域に対応する第６領域それぞれにおける歪成分を算出する。ここで、上記第４領域は、第１の実施形態に係る第１領域に相当する。また、上記第５領域は、例えば第１の実施形態に係る第２領域に相当し、上記第６領域は、例えば第１の実施形態に係る第３領域に相当する。つまり、第４の実施形態に係る歪成分算出部における図２３のＡに示す領域に対する処理は、第１の実施形態に係る歪成分算出部１０２におけるフレーム画像に対する処理と同様である。
【０１４７】
また、第４の実施形態に係る画像処理装置（より具体的には、判定部）は、第５領域と第４領域とにおける歪の相関、および第５領域と第６領域とにおける歪の相関に基づいて判定される走査パターンの判定結果に基づいて、動画像を撮像した撮像素子の走査パターンを判定する。よって、第４の実施形態に係る判定部は、図２３に示すように、図２３のＡに示す領域を対象としたときにおける撮像素子の走査パターンを判定することができる。
【０１４８】
第４の実施形態に係る画像処理装置は、上記図２３のＡに示す領域を例に挙げたときの処理を、例えば、図２３のＢに示す領域、図２３のＡ、Ｂに示す領域をさらに分割したときの各領域、…に対して行う。そして、第４の実施形態に係る画像処理装置（より具体的には、判定部）は、例えば、各分割領域に対する撮像素子の走査パターンの判定結果を集計することによって、動画像全体に対応する撮像素子の走査パターンを判定する。ここで、各分割領域に対する撮像素子の走査パターンの判定結果に基づく撮像素子の走査パターンの判定方法としては、例えば、各分割領域に対する撮像素子の走査パターンの判定結果のうち、最も頻度が高い撮像素子の走査パターンを、動画像全体に対応する撮像素子の走査パターンと判定することが挙げられる。
【０１４９】
なお、第４の実施形態に係る画像処理装置（より具体的には、判定部）は、各分割領域に対する撮像素子の走査パターンの判定結果を集計することによって、動画像全体に対応する撮像素子の走査パターンを判定することに限られない。例えば、第４の実施形態に係る画像処理装置は、各分割領域に対する撮像素子の走査パターンそれぞれを、分割領域ごとの撮像素子の走査パターンの判定結果とすることも可能である。ここで、第４の実施形態に係る画像処理装置が備える補正部（図示せず）が、上記分割領域ごとの撮像素子の走査パターンの判定結果を用いて歪補正を行う場合、補正部（図示せず）は、さらに境界部分の補正を行ってもよい。補正部（図示せず）は、例えば、隣接する分割領域それぞれの中心と境界との距離に応じて輝度値などをブレンドすることによって、境界部分の補正を行う。
【０１５０】
（第５の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置〜第４の実施形態に係る画像処理装置に限られない。例えば、上述した第１の実施形態に係る画像処理装置〜第４の実施形態に係る画像処理装置（より具体的には、歪成分算出部）では、上記数式３に示す成分分離式を用いて歪成分などを算出する例を示した。ここで、数式３に示すθは、各フレームの中心点を基準としたパラメータとなる。図２４は、数式３に示す成分分離式を用いる場合における中心点を示す説明図である。図２４に示すように、数式３に示す成分分離式を用いる場合における、第１領域（図２４に示すＡ）、第２領域（例えば図２４に示すＢ）、および第３領域（例えば図２４に示すＣ）の中心点（中心座標）は、それぞれ相異なる。つまり、上述した第１の実施形態に係る画像処理装置〜第４の実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、第１領域、第２領域、および第３領域それぞれに相異なる中心点（中心座標）を設定して、歪成分を算出している。
【０１５１】
しかしながら、本実施形態に係る画像処理装置（より具体的には、歪成分算出部）は、第１領域、第２領域、および第３領域それぞれに同一の中心点（中心座標）を設定して、歪成分を算出することも可能である。
【０１５２】
図２５は、第５の実施形態に係る画像処理装置の歪成分算出部が設定する中心点（中心座標）の一例を示す説明図である。図２５に示すように、第５の実施形態に係る画像処理装置の歪成分算出部は、第１領域（図２５に示すＡ）、第２領域（例えば図２５に示すＢ）、および第３領域（例えば図２５に示すＣ）の中心点（中心座標）を、同一に設定する。
【０１５３】
ここで、第１領域、第２領域、および第３領域それぞれに同一の中心点（中心座標）を設定したとしても、画像信号に基づき検出される歪成分Ｂ、Ｅは、同一である。そのため、第５の実施形態に係る画像処理装置の歪成分算出部における処理は、上述した第１の実施形態に係る歪成分算出部１０２と基本的に同様となる。ただし、第５の実施形態に係る画像処理装置の歪成分算出部は、上フレームに対応する領域（例えば第２領域）に対しては、下記の数式２４に示す成分分離式を用いて処理を行い、また、下フレームに対応する領域（例えば第３領域）に対しては、下記の数式２５に示す成分分離式を用いて処理を行う。
【０１５４】
【数２４】
2013031060.tif 000026
【０１５５】
【数２５】
2013031060.tif 000027
・・・（数式２５）
【０１５６】
また、第５の実施形態に係る画像処理装置は、例えば図２０ＢのＢに示すようなモードの設定に応じて、“第１領域、第２領域、および第３領域それぞれに相異なる中心点（中心座標）を設定するか”、または、“第１領域、第２領域、および第３領域それぞれに同一の中心点（中心座標）を設定するか”を切り替えてもよい。例えば、第５の実施形態に係る画像処理装置は、設定が“強モード”である場合には、第１領域、第２領域、および第３領域それぞれに同一の中心点（中心座標）を設定する。また、第５の実施形態に係る画像処理装置は、設定が“弱モード”である場合には、例えば、第１領域、第２領域、および第３領域それぞれに相異なる中心点（中心座標）を設定する。
【０１５７】
（第６の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置〜第５の実施形態に係る画像処理装置に限られない。例えば、上述した第１の実施形態に係る画像処理装置〜第５の実施形態に係る画像処理装置の判定部では、歪成分算出部において算出された歪成分のみを用いて判定を行う例を示したが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置の判定部は、歪成分算出部において算出された動き成分に基づいて、歪成分算出部において算出された歪成分を選択的に補正して、判定を行ってもよい。
【０１５８】
図２６は、第６の実施形態に係る画像処理装置の判定部における処理の一例を示す流れ図である。ここで、図２６は、判定部における、選択的な歪成分の補正処理の一例を示している。また、図２６に示す処理は、１フレームごとに行われる。
【０１５９】
判定部は、第１領域、第２領域、第３領域それぞれに対応する回転成分（動き成分のうちの１つ）を比較する（Ｓ４００）。より具体的には、判定部は、例えば、第１領域、第２領域、第３領域それぞれに対応する回転成分の最大値と最小値とを特定し、特定された最大値から最小値を減算する。以下では、ステップＳ４００における減算により算出された値を、「第１減算値」と示す。
【０１６０】
ステップＳ４００の処理が行われると、判定部は、回転成分に相関があるか否かを判定する（Ｓ４０２）。ここで、判定部は、例えば、予め定められた回転成分に係る閾値と、ステップＳ４００において算出された第１減算値とを比較し、第１減算値が当該閾値以上の場合（または、当該閾値より大きい場合）に、回転成分に相関があると判定する。
【０１６１】
ステップＳ４０２において相関があると判定されない場合には、判定部は、歪成分を基準値に補正する（Ｓ４０４）。そして、判定部は、図１６に示す処理を行う。ここで、歪成分の基準値としては、例えば、Ｂは“０”、Ｅは“１”が挙げられる。
【０１６２】
また、ステップＳ４０２において相関があると判定された場合には、判定部は、拡縮成分（拡大・縮小成分。動き成分のうちの１つ）を比較する（Ｓ４０６）。より具体的には、判定部は、例えば、第１領域、第２領域、第３領域それぞれに対応する拡縮成分の最大値と最小値とを特定し、特定された最大値から最小値を減算する。以下では、ステップＳ４０６における減算により算出された値を、「第２減算値」と示す。
【０１６３】
ステップＳ４０６の処理が行われると、判定部は、拡縮成分に相関があるか否かを判定する（Ｓ４０８）。ここで、判定部は、例えばステップＳ４０２と同様に、予め定められた拡縮成分に係る閾値と、ステップＳ４０６において算出された第２減算値とを比較し、第２減算値が当該閾値以上の場合（または、当該閾値より大きい場合）に、拡縮成分に相関があると判定する。
【０１６４】
ステップＳ４０８において相関があると判定されない場合には、判定部は、歪成分を基準値に補正する（Ｓ４０４）。そして、判定部は、図１６に示す処理を行う。
【０１６５】
また、ステップＳ４０８において相関があると判定された場合には、判定部は、水平・垂直成分（動き成分のうちの１つ）を比較する（Ｓ４１０）。より具体的には、判定部は、例えば、第１領域、第２領域、第３領域それぞれに対応する水平・垂直成分の最大値と最小値とを特定し、特定された最大値から最小値を減算する。以下では、ステップＳ４１０における減算により算出された値を、「第３減算値」と示す。
【０１６６】
ステップＳ４１０の処理が行われると、判定部は、水平・垂直成分に相関があるか否かを判定する（Ｓ４１２）。ここで、判定部は、例えばステップＳ４０２と同様に、予め定められた水平・垂直成分に係る閾値と、ステップＳ４１０において算出された第３減算値とを比較し、第３減算値が当該閾値以上の場合（または、当該閾値より大きい場合）に、水平・垂直成分に相関があると判定する。
【０１６７】
ステップＳ４１２において相関があると判定されない場合には、判定部は、歪成分を基準値に補正する（Ｓ４０４）。そして、判定部は、図１６に示す処理を行う。
【０１６８】
また、ステップＳ４１２において相関があると判定されない場合には、判定部は、歪成分の補正は行わず（Ｓ４１４）、図１６に示す処理を行う。
【０１６９】
第６の実施形態に係る画像処理装置の判定部は、例えば図２６に示す処理を行うことによって、歪成分の補正を選択的に行う。ここで、第６の実施形態に係る判定部が、各動き成分に相関がない場合に、歪成分を基準値に補正するのは、動き成分に相関がない場合は、算出された歪成分に誤りがある恐れがあるためである。
【０１７０】
よって、第６の実施形態に係る判定部は、例えば図２６に示す処理を行うことによって、第６の実施形態に係る画像処理装置は、画像信号に基づく撮像素子の走査パターンの判定を、より正確に行うことができる。なお、第６の実施形態に係る判定部における選択的な歪成分の補正処理が、図２６に示す処理に限られないことは、言うまでもない。
【０１７１】
（第７の実施形態に係る画像処理装置）
本実施形態に係る画像処理装置は、上述した第１の実施形態に係る画像処理装置〜第６の実施形態に係る画像処理装置のうちの任意の形態を組み合わせた構成をとることができる。
【０１７２】
以上のように、本実施形態に係る画像処理装置は、例えば、上記（Ｉ）の処理（歪成分算出処理）と（ＩＩ）の処理（判定処理）とを行う。ここで、本実施形態に係る画像処理装置は、例えば、既知の撮像素子の走査パターンそれぞれにおける歪の相関の結果のデータ（例えば図１９に示すテーブル）と、画像信号に基づき算出された歪成分に基づく相関の結果との突き合わせることによって、撮像素子の走査パターンを判定する。よって、本実施形態に係る画像処理装置は、画像信号に基づいて撮像素子の走査パターンの判定を、より正確に行うことができる。
【０１７３】
また、上記では、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１７４】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（Ｉ）の処理（歪成分算出処理）、（ＩＩ）の処理（判定処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、動画像を示す画像信号に基づいて、当該動画像を撮像した撮像素子の走査パターンを判定することができる。
【０１７５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７６】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１７７】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出する歪成分算出部と、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定する判定部と、
を備える画像処理装置。
（２）
前記判定部は、判定精度をユーザに選択させる選択画面に対するユーザ操作に基づいて、選択された判定精度に応じた判定を行う、（１）に記載の画像処理装置。
（３）
前記歪成分算出部は、前記動画像の全体または前記動画像の一部の連続するフレーム画像に基づいて、前記歪成分を算出する、（１）または（２）に記載の画像処理装置。
（４）
前記歪成分算出部は、前記フレーム画像の一部の領域が除かれた領域を、前記第１領域とする、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記歪成分算出部は、前記動画像の奇数フレームのフレーム画像、または、前記動画像の偶数フレームのフレーム画像のいずれか一方に基づいて、前記歪成分を算出する、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記歪成分算出部は、前記動画像の奇数フレームのフレーム画像、または、前記動画像の偶数フレームのフレーム画像のいずれか一方を反転させて、前記歪成分を算出する、（１）〜（４）のいずれか１つに記載の画像処理装置。
（７）
前記歪成分算出部は、前記フレーム画像が分割された一の分割領域全体に対応する第４領域、前記分割領域が分割された一の領域に対応する第５領域、および前記分割領域が分割された他の領域に対応する第６領域それぞれにおける歪成分を算出し、
前記判定部は、前記第５領域と前記第４領域とにおける歪の相関、および前記第５領域と前記第６領域とにおける歪の相関の組合せに基づいて判定される、分割領域ごとの走査パターンの判定結果に基づいて、前記動画像を撮像した撮像素子の走査パターンを判定する、（１）〜（６）のいずれか１つに記載の画像処理装置。
（８）
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれに相異なる中心座標を設定して、前記歪成分を算出する、（１）〜（６）のいずれか１つに記載の画像処理装置。
（９）
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれに同一の中心座標を設定して、前記歪成分を算出する、（１）〜（６）のいずれか１つに記載の画像処理装置。
（１０）
前記歪成分算出部は、前記第１領域、前記第２領域、および前記第３領域それぞれにおける動き成分を、時系列的にさらに算出し、
前記判定部は、算出された動き成分に基づいて算出された歪成分を選択的に補正して、判定を行う、（１）〜（６）のいずれか１つに記載の画像処理装置。
（１１）
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップと、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップと、
を有する、画像処理方法。
（１２）
フレーム画像からなる動画像を示す画像信号に基づいて、前記フレーム画像全体に対応する第１領域、前記フレーム画像が分割された一の領域に対応する第２領域、および前記フレーム画像が分割された他の領域に対応する第３領域それぞれにおける歪成分を、時系列的に算出するステップ、
前記第２領域と前記第１領域とにおける歪の相関と、前記第２領域と前記第３領域とにおける歪の相関との組合せに基づいて、前記画像信号が示す動画像を撮像した撮像素子の走査パターンを判定するステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１７９】
１００    画像処理装置
１０２    歪成分算出部
１０４    判定部
１０６、１１２    バッファ
１０８    動き検出部
１１０    動き成分分離処理部
【図１】
2013031060.tif 000028
【図２】
2013031060.tif 000029
【図３】
2013031060.tif 000030
【図４】
2013031060.tif 000031
【図５】
2013031060.tif 000032
【図６】
2013031060.tif 000033
【図７】
2013031060.tif 000034
【図８】
2013031060.tif 000035
【図９】
2013031060.tif 000036
【図１０】
2013031060.tif 000037
【図１１】
2013031060.tif 000038
【図１２】
2013031060.tif 000039
【図１３】
2013031060.tif 000040
【図１４】
2013031060.tif 000041
【図１５】
2013031060.tif 000042
【図１６】
2013031060.tif 000043
【図１７】
2013031060.tif 000044
【図１８】
2013031060.tif 000045
【図１９】
2013031060.tif 000046
【図２０Ａ】
2013031060.tif 000047
【図２０Ｂ】
2013031060.tif 000048
【図２１】
2013031060.tif 000049
【図２２】
2013031060.tif 000050
【図２３】
2013031060.tif 000051
【図２４】
2013031060.tif 000052
【図２５】
2013031060.tif 000053
【図２６】
2013031060.tif 000054