(57)【要約】【課題】撮像装置の複雑な姿勢変化をも良好に推定し、適切な画像防振処理を行う。【解決手段】画像防振装置１０９は、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段１０９１と、動きベクトルを用いて２つの画像間での画像変化量を推定する推定手段１０９２と、該推定された画像変化量が撮像装置の特定の姿勢変化による画像変化量か否かを判定する判定手段１０９３と、判定手段による判定結果及び推定された画像変化量に基づいて動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段１０９４と、防振パラメータを用いて画像防振処理を行う処理手段１０９５とを有する。【選択図】図１
2010109876.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって取得された動画像中の振れを低減する画像防振処理を行う画像防振装置であって、
前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルを用いて前記２つの画像間での画像変化量を推定する推定手段と、
該推定された画像変化量が前記撮像装置の特定の姿勢変化による画像変化量か否かを判定する判定手段と、
前記判定手段による判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、
前記防振パラメータを用いて前記画像防振処理を行う処理手段とを有することを特徴とする画像防振装置。
【請求項２】
前記判定手段は、前記推定された画像変化量の少なくとも１つの要素の時間変化量又は累積変化量を用いて、該推定された画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像防振装置。
【請求項３】
前記判定手段は、前記画像変化量の複数の要素のそれぞれについて前記特定の姿勢変化に対応する条件を満足するか否かを判定し、該判定結果の多数決によって、前記画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像防振装置。
【請求項４】
前記判定手段は、前記画像変化量の複数の要素間の関係に基づいて前記画像変化量が前記特定の姿勢変化による画像変化量か否かを判定することを特徴とする請求項１に記載の画像防振装置。
【請求項５】
撮像装置によって取得された動画像中の振れを低減する画像防振処理を行う画像防振装置であって、
前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルを用いて前記撮像装置の回転及び並進からなる姿勢変化を推定する推定手段と、
該推定された姿勢変化が前記撮像装置の特定の姿勢変化に相当するか否かを判定する判定手段と、
前記判定手段による判定結果及び前記推定された姿勢変化に基づいて前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、
前記防振パラメータを用いて前記画像防振処理を行う処理手段とを有することを特徴とする画像防振装置。
【請求項６】
前記判定手段は、前記推定された姿勢変化の少なくとも１つの要素の時間変化量又は累積変化量を用いて、前記推定された姿勢変化が前記特定の姿勢変化に相当するか否かを判定することを特徴とする請求項５に記載の画像防振装置。
【請求項７】
前記判定手段は、前記推定された姿勢変化の複数の要素のそれぞれについて前記特定の姿勢変化に対応する条件を満足するか否かを判定し、該判定結果の多数決によって、前記推定された姿勢変化が前記特定の姿勢変化に相当するか否かを判定することを特徴とする請求項５に記載の画像防振装置。
【請求項８】
前記判定手段は、前記推定された姿勢変化の複数の要素間の関係に基づいて該推定された姿勢変化が前記特定の姿勢変化に相当するか否かを判定することを特徴とする請求項５に記載の画像防振装置。
【請求項９】
光学系を用いて被写体像を撮像する撮像部と、
請求項１から８のいずれか１つに記載の画像防振装置とを有することを特徴とする撮像装置。
【請求項１０】
撮像装置によって取得された動画像中の振れを低減する画像防振処理を行う画像防振方法であって、
前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、
前記動きベクトルを用いて前記２つの画像間での画像変化量を推定する推定ステップと、
該推定された画像変化量が前記撮像装置の特定の姿勢変化による画像変化量か否かを判定する判定ステップと、
前記判定ステップによる判定結果及び前記推定された画像変化量に基づいて前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出ステップと、
前記防振パラメータを用いて前記画像防振処理を行う処理ステップとを有することを特徴とする画像防振方法。
【請求項１１】
撮像装置によって取得された動画像中の振れを低減する画像防振処理を行う画像防振方法であって、
前記動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、
前記動きベクトルを用いて前記撮像装置の回転及び並進からなる姿勢変化を推定する推定ステップと、
該推定された姿勢変化が前記撮像装置の特定の姿勢変化に相当するか否かを判定する判定ステップと、
前記判定ステップによる判定結果及び前記推定された姿勢変化に基づいて前記動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出ステップと、
前記防振パラメータを用いて前記画像防振処理を行う処理ステップとを有することを特徴とする画像防振方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により取得された動画像中の不要な振れを低減する画像防振技術に関する。
【背景技術】
【０００２】
動画像を取得可能なビデオカメラ等の撮像装置には、手振れ等に起因する動画像中の振れを低減する画像防振装置が搭載されているものが多い。従来の画像防振装置は、撮影者が立ち止まって手持ち撮像を行い、かつ撮像光学系が望遠側に設定されている場合に、手振れによる撮像装置の動き（姿勢変化）が顕著に動画像中に現れることを抑えることを主目的とするものである。
【０００３】
撮像装置の姿勢変化を検出する方式には、撮像装置に角速度センサや加速度センサ等の振れ検出センサを搭載し、撮像装置の回転を検出する方式がある。また、振れ検出センサを用いず、動画像を構成する２つの画像（フレーム画像）から動きベクトルを算出し、撮像装置の姿勢変化を推定する方式もある（特許文献１参照）。これらいずれの方式も、手振れのような微小な回転運動による撮像装置の姿勢変化に起因して動画像中に現れる振れを低減する場合に好適である。
【０００４】
画像防振処理では、撮像光学系が望遠側に設定されているために撮像装置の回転運動による動画像の振れを上下左右の動きに近似できることを利用して、姿勢変化の検出結果に応じて撮像素子からの読み出し領域を変更することで動画像中の振れを低減する
上記のよう姿勢変化の検出方式を用いる場合、一般に、振れ検出センサの出力や動きベクトルの算出値に上限を設け、姿勢変化の検出結果に対して例外処理を設けることで、画像防振処理のエラーを削減する。
【０００５】
一方、撮像装置を持って歩行しながら撮像を行う場合も多い。この場合、撮像光学系は広角側に設定されることが多いため、手振れに起因して動画像に現れる振れはそれほど大きくはない。
【０００６】
ただし、歩行に伴う撮像装置の姿勢変化（着地時の振動や体の揺れに起因する姿勢変化）は、手振れに比べて大きく、かつ複雑である。そして、歩行に伴って発生する動画像中の振れは手振れに起因する動画像中の振れとは振れの種類が異なり、また、撮像光学系も広角側に設定されているため、手振れを想定した防振方法では、歩行に伴って発生する動画像中の振れを良好に低減することはできない。
【０００７】
歩行に伴って発生する動画像中の振れを低減する方法としては、非特許文献１にて開示されたものがある。この方法では、動画像中の隣接するフレーム画像間で算出した動きベクトルから、撮像装置のパン、チルト及び光軸周り回転の３軸の回転情報を推定し、その回転情報を利用して画像防振処理を行う。
【特許文献１】特許第２５８６６８６号公報
【非特許文献１】M.Irani, et al,“Recovery of Ego-Motion Using Image Stabilization”,IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1994
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述のように動きベクトルを用いて、撮像装置の複雑な姿勢変化を推定して動画像中の振れを低減するためには、シーンや被写体の配置や動き、動きベクトルの推定誤差等によって誤った推定値を算出する場合が多くなる。例えば、撮像装置又は被写体の運動速度が想定した速さより速い場合やシーンに特徴のない場合等では、動きベクトルが正しく算出されないことが多い。
【０００９】
また、動きベクトルが正しく算出されている場合でも、シーン中の被写体の配置や複数の被写体の動き等により、撮像装置の姿勢変化が誤って推定される。
【００１０】
この例を図７（ａ）及び図７（ｂ）に示す。これらの図において、横軸は時刻を、縦軸は推定した撮像装置の姿勢変化に関連する要素１〜８の時間変化を示している。図７（ａ）は、姿勢変化の推定結果を表している。図７（ｂ）は、図７（ａ）に示した姿勢変化による動画像の振れを抑制するための補正量である。
【００１１】
要素１〜要素４において、７０１で誤った推定値が算出されている。このため、これらの誤った推定結果に基づいて補正量を算出すると、７０２に示すように、誤推定値がそれ以降の時刻での補正量に影響してしまう。そして、誤推定結果の影響により不適切な画像防振処理が行われた動画像が出力されてしまう。
【００１２】
本発明は、撮像装置の複雑な姿勢変化をも良好に推定し、適切な画像防振処理を行えるようにした画像防振装置、撮像装置及び画像防振方法を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての画像防振装置は、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、動きベクトルを用いて２つの画像間での画像変化量を推定する推定手段と、該推定された画像変化量が撮像装置の特定の姿勢変化による画像変化量か否かを判定する判定手段と、判定手段による判定結果及び推定された画像変化量に基づいて動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、防振パラメータを用いて画像防振処理を行う処理手段とを有することを特徴とする。
【００１４】
本発明の他の一側面としての画像防振装置は、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出手段と、動きベクトルを用いて撮像装置の回転及び並進からなる姿勢変化を推定する推定手段と、該推定された姿勢変化が撮像装置の特定の姿勢変化に相当するか否かを判定する判定手段と、判定手段による判定結果及び推定された姿勢変化に基づいて動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出手段と、防振パラメータを用いて画像防振処理を行う処理手段とを有することを特徴とする。
【００１５】
なお、光学系を用いて被写体像を撮像する撮像部と、上記画像防振装置とを有する撮像装置も本発明の他の一側面を構成する。
【００１６】
本発明の他の一側面としての画像防振方法は、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、動きベクトルを用いて２つの画像間での画像変化量を推定する推定ステップと、該推定された画像変化量が撮像装置の特定の姿勢変化による画像変化量か否かを判定する判定ステップと、判定ステップによる判定結果及び推定された画像変化量に基づいて動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出ステップと、防振パラメータを用いて画像防振処理を行う処理ステップとを有することを特徴とする。
【００１７】
撮像装置によって取得された動画像中の振れを低減する画像防振方法であって、動画像を構成する２つの画像間での動きベクトルを算出する動きベクトル算出ステップと、動きベクトルを用いて撮像装置の回転及び並進からなる姿勢変化を推定する推定ステップと、該推定された姿勢変化が撮像装置の特定の姿勢変化に相当するか否かを判定する判定ステップと、判定ステップによる判定結果及び推定された姿勢変化に基づいて動画像中の振れを低減するための防振パラメータを算出する防振パラメータ算出ステップと、防振パラメータを用いて画像防振処理を行う処理ステップとを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、推定された画像変化量又は姿勢変化の特定の姿勢変化に対する妥当性を判定するので、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な防振処理を行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００２０】
図１には、本発明の実施例１である画像防振装置を搭載した撮像装置の構成を示している。
【００２１】
１００は撮像光学系であり、被写体からの光を撮像素子１０２上に結像させる。１０１は絞りやシャッタ等を含む露光制御部材であり、撮像素子１０２の露光量を制御する。
【００２２】
１０２は被写体像（光学像）を電気信号に変換して出力する撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサにより構成される。
【００２３】
１０３は画像形成回路であり、撮像素子１０２からのアナログ出力信号をデジタル信号に変換し、該デジタル信号に各種処理を行って所定の周期で画像（フレーム画像）を順次生成する。画像形成回路１０３は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理等回路等を含む。撮像素子１０２及び画像形成回路１０３により撮像部が構成される。
【００２４】
１０４は露光制御部材１０１を制御する露光制御部であり、１０５は撮像光学系１００のフォーカシングを制御するフォーカス制御部である。露光制御部１０４及びフォーカス制御部１０５は、ＴＴＬ方式等を用いて制御される。
【００２５】
１０６は撮像装置１の全体の動作の制御を司るシステム制御回路である。１０７はシステム制御回路１０６での動作制御用のデータ及び処理プログラム等を記憶したＦＬＡＳＨ  ＲＯＭ等を用いたメモリである。
【００２６】
１０８は各種調整値等の情報を記憶する電気的に消去及び記録が可能なＥＥＰＲＯＭ等の不揮発性メモリである。
【００２７】
１０９は画像防振装置としての防振処理回路であり、画像形成回路１０３にて所定の周期で連続して生成される複数のフレーム画像により構成される動画像中の振れを低減するための画像防振処理を行う。
【００２８】
１１０は画像形成回路１０３で生成されたフレーム画像を数フレーム分、記憶保持する第１のフレームメモリである。１１１は防振処理回路１０９で画像防振処理されたフレーム画像（以下、防振フレーム画像という）を一時的に記憶保持する第２のフレームメモリである。
【００２９】
１１２は第１及び第２のフレームメモリ１１０，１１１に対するフレーム画像の入出力を制御するメモリ制御回路である。１１３は防振処理回路１０９から出力される防振フレーム画像（つまりは振れが低減された動画像）を、不図示の画像出力装置に表示又は記録する画像出力部である。
【００３０】
次に、防振処理回路１０９の構成について説明する。１０９１は、画像形成回路１０３で順次生成される２つのフレーム画像から動きベクトルを検出する動きベクトル検出回路（動きベクトル算出手段）である。
【００３１】
１０９２は、動きベクトル検出回路１０９１で検出された動きベクトルから、撮像装置１の姿勢変化（動き）に関連した画像変化量を推定する画像変化量推定回路（推定手段）である。
【００３２】
１０９３は妥当性判定回路（判定手段）である。妥当性判定回路１０９３は、画像変化量推定回路１０９２で推定された画像変化量の時間的な変化（時間変化）から、推定された画像変化量が撮像装置１の特定の姿勢変化による画像変化量か否かを判定する。言い換えれば、推定された画像変化量が撮像装置１の特定の姿勢変化による値として「妥当性」を有するか否かを判定する。
【００３３】
ここにいう「特定の姿勢変化」とは、速度が所定の低速範囲内である撮像装置１の動きや、シーン中の被写体の配置や複数の被写体の動き等の影響によらない純粋な撮像装置の動きを意味し、基本的には、時間的に滑らか（緩やか）な動きに相当する。
【００３４】
１０９４は妥当性判定回路１０９３での判定結果及び画像変化量推定回路１０９２で推定された画像変化量に基づいて、画像防振処理のための防振パラメータを算出する防振パラメータ算出回路（防振パラメータ算出手段）である。
【００３５】
１０９５は防振パラメータ算出回路１０９４で算出された防振パラメータを用いてフレーム画像に対して幾何変換処理を行い、防振フレーム画像を生成する防振映像生成回路（幾何変換手段）である。
【００３６】
１０９６は一時記憶用メモリ回路であり、１０９７は電気的に消去及び記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。１０９８は防振処理回路１０９内の各回路を制御する防振制御回路であり、ＭＰＵ等で構成されている。
【００３７】
次に、撮像装置１の動作について、図２のフローチャートを用いて説明する。図２は、撮像装置１により動画像を取得し、該動画像中の振れを低減する画像防振処理（画像防振方法）を実行し、画像出力装置に表示又は記録するまでの処理を示す。これらの処理は、システム制御回路１０６及び防振処理回路１０９が、メモリ１０７及び防振制御回路１０９８内に格納されたコンピュータプログラムに従って行われる。
【００３８】
ステップＳ２０１では、システム制御回路１０６は、不図示の撮像開始スイッチが投入されると、露光制御部１０４やフォーカス制御部１０５に、露光条件の決定や撮像光学系１００のフォーカス制御を行わせる。そして、撮像素子１０２は、撮像光学系１００により形成された被写体像を光電変換し、被写体輝度に応じたアナログ信号を出力する。
【００３９】
ステップＳ２０２では、システム制御回路１０６は、画像形成回路１０３に、撮像素子１０２からの出力信号からフレーム画像を順次生成させ、フレームメモリ１１０に記録保持させる。
【００４０】
ステップＳ２０３では、システム制御回路１０６は、動画像に対して画像防振処理を行う防振モードが設定されているか否かを判定する。防振モードが設定されていない場合は、システム制御回路１０６は、ステップＳ２０６にて、画像形成回路１０３で生成された画像防振処理されていないフレーム画像を画像出力装置に送る。防振モードが設定されている場合は、ステップＳ２０４に進む。
【００４１】
ステップＳ２０４では、システム制御回路１０６は、１時刻前のフレーム画像（以下、前フレーム画像という）が第１のフレームメモリ１１０に保持されているか否かを確認する。前フレーム画像が保持されていない場合は、システム制御回路１０６は、ステップＳ２０６にて、その前フレーム画像を画像出力装置に送る。前フレーム画像が保持されている場合は、ステップＳ２０５に進む。
【００４２】
ステップＳ２０５では、防振処理回路１０９は画像防振処理を行う。画像防振処理を図３のフローチャートを用いて説明する。
【００４３】
ステップＳ３０１において、防振制御回路１０９８は、動きベクトル検出回路１０９１に、前フレーム画像と前フレーム画像よりも１時刻後のフレーム画像（以下、現フレーム画像という）の２つのフレーム画像間での動きベクトルを算出させる。本実施例にいう「２つのフレーム画像」は、時間的に連続した２つのフレーム画像であるが、本発明にいう「２つのフレーム画像」は必ずしも時間的に連続している必要はない。
【００４４】
動きベクトルの算出には、テンプレートマッチングや勾配法等によるマッチング方法を用いる。また、動きベクトルは、フレーム画像を複数の領域に分割して得られる分割領域ごとに算出してもよいし、動きベクトルを算出しやすい特徴的な領域を事前に抽出しておき、その領域で算出してもよい。ただし、動きベクトルの算出方法はこれらに限られない。
【００４５】
次に、ステップＳ３０２では、防振制御回路１０９８は、防振パラメータの算出処理を行う。このステップでの処理を、図４のフローチャートを用いて説明する。
【００４６】
まずステップＳ４０１では、防振制御回路１０９８は、画像変化量推定回路１０９２に、ステップＳ３０１で算出された動きベクトルから画像変化量を推定（算出）させる。
【００４７】
ここでは、画像変化量として射影ホモグラフィを用いる。前フレーム画像における座標を（ｕｉ，ｖｉ）とし、現フレーム画像における座標を（ｕｉ′，ｖｉ′）とする（ｉ＝１，２，…，ｍ：ｍは動きベクトルを算出する前フレーム画像と現フレーム画像での対応点の数を表す）。この場合、式１のような線形式が得られる。
【００４８】
【数１】
2010109876.tif 000003
【００４９】
（式１）
式１の線形式は、対応点数ｍが８つあれば算出可能であり、８つ以上ある場合は、最小二乗式として解くことにより、ｈ１，…ｈ９が求められる。
【００５０】
これを３ｘ３の行列式に整形することにより、式２に示すような行列Ｈを得る。この行列Ｈが画像変化量を表す射影ホモグラフィである。
【００５１】
【数２】
2010109876.tif 000004
【００５２】
（式２）
射影ホモグラフィＨは、撮像装置１の投影中心（光軸と撮像面との交点）から３次元空間中の基準となる平面（以下、基準面という）までの距離ｄと撮像装置１の回転行列Ｒと並進ベクトル
2010109876.tif 000005
【００５３】
の情報から構成され、式３のようにも表現できる。
【００５４】
【数３】
2010109876.tif 000006
【００５５】
（式３）
2010109876.tif 000007
【００５６】
は基準面の法線ベクトルであり、λは任意の定数である。
【００５７】
ただし、射影ホモグラフィは式１のように時刻ごとに算出された動きベクトルから算出されるため、基準面の法線ベクトル
2010109876.tif 000008
【００５８】
は時刻ごとに異なる。このため、各時刻に求まる射影ホモグラフィをそのまま用いても良好な画像防振処理を行うことができない。
【００５９】
そこで、画像変化量推定回路１０９２は、各時刻において求められる射影ホモグラフィの基準面を、撮像装置１（撮像光学系１００）の光軸に対して直交するように再計算する。具体的には、射影ホモグラフィを撮像装置１の回転行列Ｒと、基準面の法線ベクトル
2010109876.tif 000009
【００６０】
と、並進ベクトル
2010109876.tif 000010
【００６１】
及び深度ｄの積
2010109876.tif 000011
【００６２】
に分解する。そして、画像変化量を分解して得られた
2010109876.tif 000012
【００６３】
のうち、基準面の法線ベクトル
2010109876.tif 000013
【００６４】
を光軸に直交する法線
2010109876.tif 000014
【００６５】
に置き換え、式４のように画像変化量を再計算する。
【００６６】
【数４】
2010109876.tif 000015
【００６７】
（式４）
これにより、基準面を撮像装置１の光軸に直交する方向に整列し直した射影ホモグラフィＨ′を得る。
【００６８】
次に、ステップＳ４０２において、防振制御回路１０９８は、妥当性判定回路１０９３に、連続する２つのフレーム画像間において再計算した射影ホモグラフィＨ′が撮像装置１の特定の姿勢変化による値として妥当か否か（妥当性を有するか否か）を判定させる。
【００６９】
式２に示したように、射影ホモグラフィは９つの要素からなる行列式である。また、式３に示したように、撮像装置の姿勢変化の結果として画像中に現れる全ての変形を表す行列である。
【００７０】
これらの関係から、式２に表される行列（射影ホモグラフィ）Ｈの要素として、ｈ１，ｈ２，ｈ４，ｈ５は画像の回転および拡大縮小が混合している要素、ｈ３，ｈ４は画像の上下左右の並進を表す要素である。ｈ７，ｈ８は上下左右のあおりを表している要素であることが分かる。
【００７１】
これらの値を、時間的に滑らかであるという「特定の姿勢変化」に対応する制約条件を満足するか否かを判定することで、射影ホモグラフィ（画像変化量）の推定結果が妥当性を有するか否かを判定する。すなわち、ここでは、画像変化量を表す各要素の時間変化量を用いて上記判定を行う。
【００７２】
今、時刻ｔにおいて推定した射影ホモグラフィをＨ（ｔ）とし、その時刻における妥当性をＶ（ｔ）（∈［０，１］）とすると、Ｖ（ｔ）は式５のように表される。
【００７３】
【数５】
2010109876.tif 000016
【００７４】
（式５）
ただし、ΔＨ＝｛Δｈｉ｝（ｉ＝１，…，９）であり、ΔＨは射影ホモグラフィの各要素の滑らかさを表す値である。ΔＨが所定の閾値より小さい場合は「妥当性」を有すると判定し、ΔＨが所定の閾値より大きい場合は「妥当性」がないと判定する。
【００７５】
このように、射影ホモグラフィの妥当性を検証することで、例えば図７（ａ）に示すように、突発的に要素の値が大きく変化する場合を検出することが可能となる。
【００７６】
なお、ここでは射影ホモグラフィの全ての要素の時間変化量に基づいて「妥当性」を判定する場合について説明したが、「妥当性」の判定は少なくとも１つの要素の時間変化量に基づいて行うことが可能である。また、「妥当性」の判定手法として、各要素の所定時間での累積変化量が所定の閾値より小さいか否かにより判定したり、値が所定の閾値を超えた要素の数と超えない要素の数との多数決によって判定したりしてもよい。
【００７７】
さらに、「妥当性」の判定に、撮像装置１の姿勢変化の時間的滑らかさとは別の判定基準を用いることも可能である。例えば、射影ホモグラフィにおける特定の要素のみに着目し、その時間変化が単調増加又は単調減少であるかをカウントし、そのカウント値が所定の閾値以上か否かで「妥当性」を判定してもよい。
【００７８】
このような基準を付加することで、例えば、あおり成分を表すｈ７，ｈ８が時間的に単調に増加／減少しているような、現実の撮像装置の姿勢変化としてはあり得ない画像変化量を「妥当性」がないと判断することが可能となる。
【００７９】
また、回転やあおり等の複数の要素間の関係から「妥当性」を判定するようにしてもよい。例えば、回転運動がないのにあおり成分が出現するような場合等は、「妥当性」がない又は低いと考えられる。
【００８０】
以上のような１つ又は複数のルールを用いて、画像変化量の「妥当性」を判定する。
【００８１】
次にステップＳ４０３では、防振制御回路１０９８は、ステップＳ４０２で画像変化量の「妥当性」Ｖがない（低い）と判定した場合（Ｖ＝０）は、ステップＳ４０４に進む。一方、ステップＳ４０２で画像変化量の「妥当性」Ｖがあると判定された場合（Ｖ＝１）は、ステップＳ４０５に進む。
【００８２】
ステップＳ４０４では、防振制御回路１０９８は、現時刻までの間に推定された画像変化量を用いて現在の画像変化量を修正する。ここでは、単純に、１時刻前の画像変化量を用いる。
【００８３】
なお、１時刻前の画像変化量を用いる以外に、画像変化をしない（すなわち、単位行列を画像変化量とする）としたり、現時刻より前の複数の時刻での画像変化量から公知の時系列線形予測方法を用いて予測する等したりして、画像変化量を修正可能である。
【００８４】
次に、ステップＳ４０５では、防振制御回路１０９８は、防振パラメータ算出回路１０９４に、ステップＳ４０２で推定された画像変化量又はステップＳ４０４で修正された画像変化量を用いて、画像補正量としての防振パラメータを算出させる。ここでは、防振パラメータ算出回路１０９４に入力される画像変化量をＨ′と表現する。
【００８５】
防振パラメータ算出回路１０９４は、式（６）を用いて、２つのフレーム画像間の画像変化量Ｈ′を、撮像装置１の姿勢変化に直接対応するように、
並進（上下左右）：
2010109876.tif 000017
【００８６】
拡大縮小：ｓ
回転：
2010109876.tif 000018
【００８７】
あおり（上下左右）：
2010109876.tif 000019
【００８８】
せん断：
2010109876.tif 000020
【００８９】
に分解する。
【００９０】
【数６】
2010109876.tif 000021
【００９１】
（式６）
ただし、
2010109876.tif 000022
【００９２】
である。
【００９３】
ここでは、まず
2010109876.tif 000023
【００９４】
なる関係からＲＫを求め、上三角行列であるＫの性質を利用して、ＱＲ分解によりＲとＫを分離する。
【００９５】
以上のように分解した８つのパラメータ（ｔｘ，ｔｙ，ｓ，θ，νｘ，νｙ，α，φ）に対してフィルタリングを行う。ただし、せん断成分α，φは、ステップＳ４０１において射影ホモグラフィの基準面を撮像装置１の光軸に直交するよう補正しているためフィルタリングする必要はない。
このため、
2010109876.tif 000024
【００９６】
(ｉ＝１，…，ｋ)の各成分に対してフィルタリングを行う。ただし、拡大縮小成分ｓについては、変化を線形とするため、式７のように対数変換をした後にデジタルフィルタリングを適用する。
【００９７】
【数７】
2010109876.tif 000025
【００９８】
（式７）
また、あおり成分
2010109876.tif 000026
【００９９】
については、撮像装置１の姿勢変化に対応するよう分解する際の演算順から、拡大縮小成分の影響が含まれた値となる。この影響を除去するため、画像上の見えを改善するためにデジタルフィルタリングを適用する。このため、式８のように、あおり成分を拡大縮小成分ｓを乗じた画像の見えに変換してフィルタリングを適用する。
【０１００】
【数８】
2010109876.tif 000027
【０１０１】
2010109876.tif 000028
【０１０２】
（式８）
以上のように、拡大縮小及びあおりのフィルタリング結果は、それぞれ式７及び式８の逆変換を施すことでフィルタリング結果とする。
【０１０３】
フィルタリング結果をそれぞれ「′」で表現すると、防振パラメータは、式９のように射影ホモグラフィの形式に復元される。
【０１０４】
【数９】
2010109876.tif 000029
【０１０５】
（式９）
ただし、
2010109876.tif 000030
【０１０６】
、
2010109876.tif 000031
【０１０７】
、
2010109876.tif 000032
【０１０８】
、
2010109876.tif 000033
【０１０９】
である。
【０１１０】
以上のようにして、防振パラメータ算出回路１０９４は、振れを低減するための防振パラメータとしての射影ホモグラフィＨfilを算出する。次に、図３のフローチャートのステップＳ３０３に進む。
【０１１１】
ステップＳ３０３では、防振制御回路１０９８は、防振映像生成回路１０９５に、ステップＳ３０２で算出された防振パラメータである射影ホモグラフィＨfilを用いて、現フレーム画像に対して幾何変換処理を行い、防振フレーム画像を生成する。
【０１１２】
以上説明したように、本実施例では、画像変化量として算出した射影ホモグラフィの妥当性を判定することで、動きベクトル又は画像変化量を誤推定した場合でも、適切に対処することが可能となる。つまり、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な画像防振処理を行うことができる。
【０１１３】
また、この妥当性の判定を行うことで、動きベクトルの検出結果に対して複雑な規則を適用して画像変化量の誤推定を削減するような処理を行わなくてもよく、処理全体の並列化やハードウェア規模を削減することができる。
【０１１４】
なお、本実施例では、ステップＳ４０２において、妥当性Ｖを０と１の２値表現としたが、必ずしもそのようにする必要はない。例えば、０，１の間で連続値をとるようにし、その値に応じて、ステップＳ４０４で前時刻の画像変化量と現時刻の推定値の結合比率を変えて画像変化量を修正するといった手法も採用可能である。
【０１１５】
また、本実施例では、画像変化量として射影ホモグラフィを用いた場合について説明したが、必ずしもこれに限定される必要はなく、アフィン変換やヘルマート変換等、自由度を削減した２次元の画像変化量を用いることも可能である。
【実施例２】
【０１１６】
次に、本発明の実施例２について説明する。本実施例では、画像変化量として、時間的に連続する２つのフレーム画像間から推定される撮像装置の姿勢変化そのものを利用する。本実施例は、時間的に連続する２つのフレーム画像間の変化が少ない場合に適用可能であり、撮像装置の動作速度が遅い場合、被写体の動きが少ない場合、及び高速度撮像を行う場合等に利用できる。撮像装置の姿勢変化を直接推定することで、抑制したい振れやその例外値の判定がより行いやすい。
【０１１７】
図５には、本実施例の撮像装置２の構成を示す。撮像装置２において、実施例１（図１）の撮像装置１と同じ又は同様の機能を有する構成要素には実施例１と同符号を付して説明に代える。
【０１１８】
防振処理回路５０９のうち姿勢変化推定回路（推定手段）５０９２は、動きベクトル検出回路１０９１で算出された動きベクトルを用いて、撮像装置２の回転及び並進からなる姿勢変化を推定（算出）する。
【０１１９】
妥当性判定回路５０９３は、姿勢変化推定回路５０９２で推定された姿勢変化の時間変動から、該推定結果が撮像装置２の特定の姿勢変化に相当するか否か、つまりは特定の姿勢変化を表す推定結果として「妥当性」を有するか否かを判定する。「特定の姿勢変化」の意味は、実施例１と同じである。
【０１２０】
防振パラメータ算出回路５０９４は、姿勢変化妥当性判定回路５０９３での判定結果及び姿勢変化推定回路５０９２で推定された姿勢変化に基づいて、防振パラメータを算出する。
【０１２１】
次に、撮像装置２の動作について、図６のフローチャートを用いて説明する。図６は、防振処理回路５０９での防振パラメータの算出処理を示している。この処理は、防振制御回路１０９８内に格納されたコンピュータプログラムに従って行われる。防振パラメータの算出処理以外の撮像装置２の動作は、実施例１（図２及び図３）で説明した動作と同様である。
【０１２２】
ステップＳ６０１において、防振制御回路１０９８は、姿勢変化推定回路５０９２に、図３のステップ３０１で算出された動きベクトルから撮像装置２の姿勢変化、すなわちｘ，ｙ，ｚ軸回りでの回転量
2010109876.tif 000034
【０１２３】
とｘ，ｙ，ｚ軸方向での並進量
2010109876.tif 000035
【０１２４】
とを算出させる。この算出には、「金谷健一、“画像理解−３次元認識の数理−”、ｐｐ．１２９−１３５、森北出版（１９９０）」に記載された手法を用いる。
【０１２５】
次にステップＳ６０２では、防振制御回路１０９８は、姿勢変化妥当性判定回路５０９３に、ステップＳ６０１で推定された撮像装置２の姿勢変化が、特定の姿勢変化を表す推定結果として「妥当性」を有するか否かを判定する。ここでは、姿勢変化の時間変化量が所定の閾値より小さいか否か、各要素の累積変化量が所定の閾値より小さいか否か、複数の要素間の関係等、実施例１と同様の判定基準を用いることができる。
【０１２６】
次に、ステップＳ６０３では、防振制御回路１０９８は、ステップＳ６０２で「妥当性」がないと判定された場合はステップＳ６０４にて、実施例１と同様の手法により姿勢変化量を修正する。
【０１２７】
一方、「妥当性」があると判定された場合は、ステップＳ６０５にて、防振制御回路１０９８は、防振パラメータ算出回路５０９４に防振パラメータを算出させる。防振パラメータ算出回路５０９４は、推定された撮像装置２の姿勢変化を用いて、防振パラメータとしての射影ホモグラフィを式１１のように算出する。
【０１２８】
【数１１】
2010109876.tif 000036
【０１２９】
（式１１）
ただし、
2010109876.tif 000037
【０１３０】
であり、
2010109876.tif 000038
【０１３１】
は、
2010109876.tif 000039
【０１３２】
の微小回転を表す。また、
2010109876.tif 000040
【０１３３】
とする。
【０１３４】
このように、本実施例では、撮像装置２の姿勢変化の推定結果の妥当性を判定するので、動きベクトル又は撮像装置の姿勢変化を誤って推定した場合でも、適切に対処することが可能となる。このため、撮像装置の複雑な姿勢変化をも良好に推定することができ、適切な画像防振処理を行うことができる。
【０１３５】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【０１３６】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作を示すフローチャート。
【図３】実施例１の撮像装置における画像防振処理を示すフローチャート。
【図４】実施例１の撮像装置における防振パラメータ算出処理を示すフローチャート。
【図５】本発明の実施例２である撮像装置の構成を示すブロック図。
【図６】実施例２の撮像装置における防振パラメータ算出処理を示すフローチャート。
【図７】推定した画像変化量の時間変化の例を表したグラフ。
【符号の説明】
【０１３７】
１，２  撮像装置
１００  撮像光学系
１０１  露光制御部材
１０２  撮像素子
１０３  画像形成回路
１０４  露光制御部
１０５  フォーカス制御部
１０６  システム制御回路
１０７  メモリ
１０８  不揮発メモリ
１０９  防振処理回路
１１０，１１１  フレームメモリ
１１２  メモリ制御回路
１１３  画像出力部
【図１】
2010109876.tif 000041
【図２】
2010109876.tif 000042
【図３】
2010109876.tif 000043
【図４】
2010109876.tif 000044
【図５】
2010109876.tif 000045
【図６】
2010109876.tif 000046
【図７】
2010109876.tif 000047