(57)【特許請求の範囲】
【請求項１】
時間的に連続する画像間の動きを検出する動き検出部と、
前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正部と、を有し、
前記動き検出部および前記動き補正部は、
画像の水平軸方向、当該水平軸についての回転方向、垂直軸方向、当該垂直軸についての回転方向、画像が撮像される光軸方向、当該光軸についての回転方向の６方向を第１グループと第２グループの２グループに分割して、当該分割グループ毎に動きの検出および補正を行う機能を有し、
前記第１グループは、水平軸方向、垂直軸方向、光軸方向、および当該光軸についての回転方向の４方向を含み、
前記第２グループは、前記水平軸についての回転方向、および垂直軸についての回転方向の２方向を含み、
前記第１グループの各方向についての動きの検出および補正を行った後、前記第２グループの各方向についての動きの検出および補正を行う
動き補正装置。
【請求項２】
前記動き検出部および前記動き補正部は、
前記第１グループにおける動きの検出および補正を行うに際し、
光軸方向、および当該光軸についての回転方向の動きの検出および補正を行った後、
水平軸方向および垂直軸方向についての動きの検出および補正を行う
請求項１に記載の動き補正装置。
【請求項３】
前記動き検出部および前記動き補正部は、
前記第１グループの動きの検出および補正を行う方向の順番は非固定である
請求項１に記載の動き補正装置。
【請求項４】
前記動き検出部は、
前記光軸について回転方向と光軸方向の動き検出を空間周波数情報に基づいて行う
請求項１から３のいずれか一に記載の動き補正装置。
【請求項５】
前記動き検出部は、
前記水平軸について回転方向および垂直軸についての回転方向の動き検出において、複数の動き情報を求めたうえでばらつき量の大きい値の情報は除外し、
前記動き補正部は、
前記動き検出部において除外した後の残りの動き情報にて動き補正を行う
請求項１から４のいずれか一に記載の動き補正装置。
【請求項６】
時間的に連続する画像間の動きを検出する動き検出ステップと、
前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正ステップと、を有し、
前記動き検出ステップおよび前記動き補正ステップでは、
画像の水平軸方向、当該水平軸についての回転方向、垂直軸方向、当該垂直軸についての回転方向、画像が撮像された光軸方向、当該光軸についての回転方向の６方向を第１グループと第２グループの２グループに分割して、当該分割グループ毎に動きの検出および補正を行い、
前記第１グループは、水平軸方向、垂直軸方向、光軸方向、および当該光軸についての回転方向の４方向を含み、
前記第２グループは、前記水平軸についての回転方向、および垂直軸についての回転方向の２方向を含み、
前記動き検出ステップおよび前記動き補正ステップでは、
前記第１グループの各方向についての動きの検出および補正を行った後、前記第２グループの各方向についての動きの検出および補正を行う
動き補正方法。
【請求項７】
前記動き検出ステップおよび前記動き補正ステップでは、
前記第１グループにおける動きの検出および補正を行うに際し、
光軸方向、および当該光軸についての回転方向の動きの検出および補正を行った後、
水平軸方向および垂直軸方向についての動きの検出および補正を行う
請求項６に記載の動き補正方法。
【請求項８】
前記動き検出ステップおよび前記動き補正ステップでは、
前記第１グループの動きの検出および補正を行う方向の順番は非固定である
請求項６に記載の動き補正方法。
【請求項９】
前記動き検出ステップでは、
前記光軸についての回転方向と光軸方向の動き検出を空間周波数情報に基づいて行う
請求項６から８のいずれか一に記載の動き補正方法。
【請求項１０】
前記動き検出ステップでは、
前記水平軸についての回転方向および垂直軸についての回転方向の動き検出において、複数の動き情報を求めたうえでばらつき量の大きい値の情報は除外し、
前記動き補正ステップでは、
前記動き検出ステップにおいて除外した後の残りの動き情報にて動き補正を行う
請求項６から９のいずれか一に記載の動き補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる複数の画像情報から、画像間の動きを求め、その動き情報から画像の表示位置の補正をする動き補正装置およびその方法に関するものである。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラのように、機器を手に持って撮影する場合、図１に示すような方向にブレが発生する可能性がある。
【０００３】
ここでは、カメラ１が水平方向に平行移動する場合をＸ軸、垂直方向に平行移動する場合をＹ軸、前後方向に平行移動する場合をＺ軸とする。
また、Ｘ軸を中心に回転運動する場合をθｘ軸、Ｙ軸を中心に回転運動する場合をθｙ軸、Ｚ軸を回転運動する場合をθｚ軸とする。
【０００４】
従来、異なる画像間の移動量を求め、その移動量と逆の方向に画像の表示エリアを移動することによる、電子式の画像ブレ補正方式としては、画像のＸ軸とＹ軸の２軸を補正するものが一般的である。
【０００５】
図２（Ａ）〜（Ｄ）は、Ｘ軸およびＹ軸の２軸、Ｚ軸、θｚ軸、θｘ軸およびθｙ軸の２軸の動きによる画像の変化の例を示す図である。
【０００６】
図２（Ａ）は、Ｘ軸とＹ軸の補正のイメージを示している。
実際にカメラがブレた場合、移動方向として最も大きく発生しやすいのがこのＸ軸とＹ軸のため、この軸の補正だけで済ませている、ブレ補正装置や方式が一番多い。
【０００７】
近年では、さらに精度のよい補正を行うため、その他の軸についても補正する方式が提案されてくるようになってきている。
図２（Ｂ）に示しているのが、Ｚ軸（ズーム）方向にズレが生じた場合である。
Ｚ軸は、カメラの光軸の方向に対するズレのため、この軸が動くと、被写体の大きさが変化する。
【０００８】
図２（Ｃ）に示すのが、θｚ軸（回転）方向にズレが生じた場合である。
図では、画面の中心が回転の中心となっているが、回転の中心が画面範囲外にあるパターンもある。
Ｚ軸とθｚ軸も補正する方式としては、特許文献１などに開示された技術が提案されている。
【０００９】
そして、図２（Ｄ）に示しているのが、θｘ軸（Ｘ軸の回転）、θｙ軸（Ｙ軸の回転）方向のブレが生じた場合である。
この軸のブレについても、図では、画面の中心がθｘ軸、θｙ軸の回転の中心となっているが、ブレの中心が画面範囲外にあるパターンもある。
θｘ軸、θｙ軸に対しても補正する方式としては、特許文献２などに開示された技術が提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第３７７０２７１号
【特許文献２】特開２００６−２２２９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
このように、自然界では、６軸のブレが発生する可能性があり、これまで、それぞれの軸において、どのように移動量を検出し、補正するかという提案は個別にされてきた。
ある軸の移動量検出と補正をする場合、一番精度が良くなるのは、他の軸の移動が無い場合であるが、実際の自然界で発生するブレは、複数のブレが混合したものになる。
そのため、軸ごとにブレ補正する場合に、どのような順番で移動量検出して補正するかによって、精度が変わってしまう。場合によっては誤検出や移動する被写体の影響を受け、高い精度の補正を行うことが困難である。
【００１２】
しかし、６軸のブレについて、それぞれの軸を順番に移動量を検出し補正するときに、どのような順番で補正を行うべきかについては、これまで提案されてきていない。
【００１３】
本発明は、６軸のブレを補正するにあたり、誤検出の除去や、移動する被写体の影響を除去し、高精度な補正を実現することが可能な動き補正装置およびその方法を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の第１の観点の動き補正装置は、時間的に連続する画像間の動きを検出する動き検出部と、前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正部と、を有し、前記動き検出部および前記動き補正部は、画像の水平軸方向、当該水平軸についての回転方向、垂直軸方向、当該垂直軸についての回転方向、画像が撮像される光軸方向、当該光軸についての回転方向の６方向を第１グループと第２グループの２グループに分割して、当該分割グループ毎に動きの検出および補正を行う機能を有し、前記第１グループは、水平軸方向、垂直軸方向、光軸方向、および当該光軸についての回転方向の４方向を含み、前記第２グループは、前記水平軸についての回転方向、および垂直軸についての回転方向の２方向を含み、前記第１グループの各方向についての動きの検出および補正を行った後、前記第２グループの各方向についての動きの検出および補正を行う。
【００１５】
好適には、前記動き検出部および前記動き補正部は、前記第１グループにおける動きの検出および補正を行うに際し、光軸方向、および当該光軸についての回転方向の動きの検出および補正を行った後、水平軸方向および垂直軸方向についての動きの検出および補正を行う。
【００１６】
好適には、前記動き検出部および前記動き補正部は、前記第１グループの動きの検出および補正を行う方向の順番は非固定である。
【００１７】
好適には、前記動き検出部は、前記光軸についての回転方向と光軸方向の動き検出を空間周波数情報に基づいて行う。
【００１８】
好適には、前記動き検出部は、前記水平軸についての回転方向および垂直軸についての回転方向の動き検出において、複数の動き情報を求めたうえでばらつき量の大きい値の情報は除外し、前記動き補正部は、前記動き検出部において除外した後の残りの動き情報にて動き補正を行う。
【００１９】
本発明の第２の観点の動き補正方法は、時間的に連続する画像間の動きを検出する動き検出ステップと、前記動き検出部で検出した動きを相殺するように画像の位置およびもしくは大きさを補正する機能を含む動き補正ステップと、を有し、前記動き検出ステップおよび前記動き補正ステップでは、画像の水平軸方向、当該水平軸についての回転方向、垂直軸方向、当該垂直軸についての回転方向、画像が撮像される光軸方向、当該光軸についての回転方向の６方向を第１グループと第２グループの２グループに分割して、当該分割グループ毎に動きの検出および補正を行い、前記第１グループは、水平軸方向、垂直軸方向、光軸方向、および当該光軸についての回転方向の４方向を含み、前記第２グループは、前記水平軸について回転方向、および垂直軸について回転方向の２方向を含み、前記動き検出ステップおよび前記動き補正ステップでは、前記第１グループの各方向についての動きの検出および補正を行った後、前記第２グループの各方向についての動きの検出および補正を行う。
【発明の効果】
【００２０】
本発明によれば、６軸のブレを補正するにあたり、誤検出の除去や、移動する被写体の影響を除去し、高精度な補正を実現することができる。
【図面の簡単な説明】
【００２１】
【図１】手ブレの方向軸について説明するための図である。
【図２】Ｘ軸、Ｙ軸およびそれ以外の軸の動きによる画像の変化の例を示す図である。
【図３】本発明の第１の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【図４】実画像をフーリエ変換して周波数空間に配置した場合、振幅と位相情報がどのような位置関係になるかを示す第１図である。
【図５】実画像をフーリエ変換して周波数空間に配置した場合、振幅と位相情報がどのような位置関係になるかを示す第２図である。
【図６】θｚ軸およびＺ軸の水平周波数と垂直周波数に対する移動量を模式的に示す図である。
【図７】θｘ軸が動いた場合について説明するための図である。
【図８】他の４軸を補正後、画像中央を移動の中心として動くという特性を利用して、θｘ軸およびθｙ軸の移動量検出および補正を行う処理を説明するための図である。
【図９】本第１の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【図１１】４軸補正後に、θｘの移動量だけが残った場合のイメージを示す図である。
【図１２】想定されるθｚ軸とθｙ軸の移動量よりも大きい値は、誤検出、または、移動する被写体であると判断し、補正用データの対象外として扱って移動量検出および補正を行う場合の処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２３】
［第１の実施形態］
図３は、本発明の第１の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【００２４】
本画像処理装置１００は、図３に示すように、画像入力部１１０、θｚ軸およびＺ軸移動量算出部１２０、θｚ軸およびＺ軸補正部１３０、Ｘ軸およびＹ軸移動量算出部１４０、並びにＸ軸およびＹ軸補正部１５０を有する。
画像処理装置１００は、θｘ軸およびθｙ軸移動量算出部１６０、異常値判定および移動量算出部１７０、θｘ軸およびθｙ軸補正部１８０、並びに画像出力部１９０を有する。
【００２５】
本画像処理装置１００は、自然界に存在する画像のブレをほとんど全て補正することを可能に構成されている。
本画像処理装置１００は、画像の水平軸方向（Ｘ軸方向）、水平軸（Ｘ軸）についての回転方向（θｘ軸方向）、垂直軸方向（Ｙ軸方向）、垂直軸（Ｙ軸）についての回転方向（θｙ軸方向）、画像が撮像された光軸方向（Ｚ軸）、光軸（Ｚ軸）についての回転方向（θｚ軸方向）の６軸方向を第１グループＧＲＰ１と第２グループＧＲＰ２の２グループに分割して、分割グループ毎に動きの検出および補正を行う機能を有する。
画像処理装置１００においては、第１グループＧＲＰ１は、水平軸方向（Ｘ軸方向）、垂直軸方向（Ｙ軸方向）、光軸方向（Ｚ軸方向）、および光軸についての回転方向（θｚ軸方向の４方向を含む。
第２グループＧＲＰ２は、水平軸についての回転方向（θｘ軸方向）、および垂直軸についての回転方向（θｙ軸方向）の２方向を含む。
そして、本画像処理装置１００は、第１グループＧＲＰ１の各方向についての動きの検出および補正を行った後、第２グループＧＲＰ２の各方向についての動きの検出および補正を行う機能を有している。
【００２６】
そして、本第１の実施形態に係る画像処理装置１００は、第１グループＧＲＰ１における動きの検出および補正を行うに際し、光軸方向（Ｚ軸方向）、および光軸についての回転方向（θｚ軸方向）の動きおよび補正を行った後、水平軸方向（Ｘ軸方向）および垂直軸方向（Ｙ軸方向）について動きの検出および補正を行う。
画像処理装置１００は、光軸についての回転方向（θｚ軸）および光軸方向（Ｚ軸）の動き検出を空間周波数情報に基づいて行う機能を有する。
また、本画像処理装置１００は、異なる連続した画像間の情報から、画像の四隅における物体の移動量を求め、求めた移動量を基に、画像を投影変換することにより、全ての移動方向に対する補正を可能に構成されている。
【００２７】
画像入力部１１０は、撮像された画像（映像）に基づく入力信号を受け取り、入力した未だ補正していない補正なし画像ＩＭ１として、θｚ軸およびＺ軸移動量算出部１２０、並びにθｚ軸およびＺ軸補正部１３０に供給する。
【００２８】
θｚ軸およびＺ軸移動量算出部１２０は、補正なし画像ＩＭ１のθｚ軸およびＺ軸の移動量を空間周波数情報に基づいて（用いて）求め、その結果をθｚ軸およびＺ軸補正部１３０に供給する。
【００２９】
θｚ軸およびＺ軸補正部１３０は、θｚ軸およびＺ軸移動量算出部１２０で得られたθｚ軸およびＺ軸の移動量に応じて、その動きを相殺するように画像の位置およびもしくは大きさを補正する。
θｚ軸およびＺ軸補正部１３０は、補正した画像を２軸補正画像ＩＭ２として、Ｘ軸およびＹ軸移動量算出部１４０、並びにＸ軸およびＹ軸補正部１５０に供給する。
【００３０】
Ｘ軸およびＹ軸移動量算出部１４０は、２軸補正画像ＩＭ２のＸ軸およびＹ軸の移動量を空間周波数情報に基づいて（用いて）求め、その結果をＸ軸およびＹ軸補正部１５０に供給する。
【００３１】
Ｘ軸およびＹ軸補正部１５０は、Ｘ軸およびＹ軸移動量算出部１４０で得られたＸ軸およびＹ軸の移動量に応じて、その動きを相殺するように画像の位置を補正する。
Ｘ軸およびＹ軸補正部１５０は、補正した画像を４軸補正画像ＩＭ４として、θｘ軸およびθｙ軸移動量算出部１６０、並びにθｘ軸およびθｙ軸補正部１８０に供給する。
【００３２】
θｘ軸およびθｙ軸移動量算出部１６０は、４軸補正画像ＩＭ４のθｘ軸およびθｙ軸の移動量を求め、θｘ軸方向およびθｙ軸方向の動き検出において、複数の動き情報を求めたうえでその結果を異常値判定および移動量算出部１７０に供給する。
【００３３】
異常値判定および移動量算出部１７０は、θｘ軸およびθｙ軸移動量算出部１６０で求めた情報を受けて、ばらつき量の大きい異常値の情報は除外した移動量情報を、θｘ軸およびθｙ軸補正部１８０に供給する。
【００３４】
θｘ軸およびθｙ軸補正部１８０は、異常値判定および移動量算出部１７０で異常値の情報が除外されたθｘ軸およびθｙ軸の移動量の情報に応じて、その動きを相殺するように画像の位置およびもしくは大きさを補正する。
θｘ軸およびθｙ軸補正部１８０は、補正した画像を６軸補正画像ＩＭ６として、画像出力部１９０に供給する。
【００３５】
以下に、本第１の実施形態における６軸におけるブレ補正について、図４〜図１０に関連付けて具体的に説明する。
【００３６】
まず、６軸の補正を行う場合、Ｘ軸とＹ軸については、縦横の違いのみのため、移動量検出・補正のアルゴリズムについては同じ処理を実施することとなる。
また、同様の理由で、θｘ軸とθｙ軸の補正についても、アルゴリズムについては同じ処理を実施することとなる。
そのため、補正処理の順番を考える場合、Ｘ軸およびＹ軸、Ｚ軸、θｚ軸、θｘ軸およびθｙ軸の４つの処理の順番を考えればよいことになる。
【００３７】
一般的に、各軸を補正する場合、他の軸のズレがある状況で移動量を検出するより、他の軸のズレが無い状況で移動量を検出するほうが、精度的に有利である。
しかし、θｚ軸とＺ軸については、空間周波数情報を使用して移動量を求めることにより、Ｘ軸、Ｙ軸の移動量を無視することができるので、正確な移動量を算出することができる。
そのため、本第１の実施形態においては、θｚ軸とＺ軸の移動量検出・補正を一番先に実行する。
図４および図５は、実画像をフーリエ変換して周波数空間に配置した場合、振幅と位相情報がどのような位置関係になるかを示す図である。
また、図６は、θｚ軸およびＺ軸の水平周波数と垂直周波数に対する移動量を模式的に示す図である。
【００３８】
画像の直流成分を座標の原点とし、水平周波数ｆＨと垂直周波数ｆＶの成分をどのように持っているかが、原点からの角度位置となる。そのため、図６に示すように、その角度の変化量が、θｚ軸の移動量となる。
また、原点からの距離が近くから遠くになるにつれ、低周波から高周波成分を示すこととなり、図６に示すように、この成分の原点からの距離差情報からＺ軸の移動量を求めることができる。
【００３９】
このように画像データを、周波数空間に変換することにより、Ｘ軸とＹ軸の移動量情報を排除して正確なθｚ軸、Z軸の情報を求めることができる。
【００４０】
次に、本第１の実施形態においては、Ｘ軸とＹ軸の補正を行う。
θｚ軸およびＺ軸を補正すると、残りのブレ軸はＸ軸およびＹ軸、並びにθｘ軸およびθｙ軸の４軸となる。
この２つを比べた場合、Ｘ軸およびＹ軸の移動による変化量に対し、θｘ軸およびθｙ軸の変化量は小さいものとなる。
【００４１】
図７は、θｘ軸が動いた場合について説明するための図である。
ここでは、例として、図７に示すように、θｘ軸が動いた場合について説明する。
図７において、カメラ２００がθｘ軸の上から下にブレが発生した場合、画角は、実線Ａの三角の部分から、破線Ｂの三角部分に移動する。
その場合に、撮像される画像位置は、図右のようなエリアになる。画面上部においては、被写体の位置が相対的に近くなり、画面下部においては、被写体の位置が相対的に遠くなるため、画像ＩＭは、下に移動するとともに、画面上部は小さく、画面下部は大きな台形の形になる。
【００４２】
換言すれば、たとえば、垂直方向に図７に示すようなブレが発生した場合、カメラ２００としては、θｘ軸のみが動くのであるが、撮像される画像としては、Ｙ軸の動きの方が大きくなる。
一般的な焦点距離３５ｍｍ（３５ｍｍ銀塩フィルムサイズ換算）のレンズを有するカメラにおいて、垂直方向の画角は約３７度となり、θｘ軸において、約３．５度の移動量が発生した場合は、Ｙ軸の移動量は画角比１０％になり、ズーム倍率としては、１．８％の変化となる。
ブレは望遠のレンズの場合に出やすいが、望遠の場合は、θｘ軸の移動量に対するＹ軸の移動量はさらに大きくなる。
そのため、θｘ軸およびθｙ軸の変化量が、θｚ軸、Z軸を補正精度に影響する程度はＸ軸およびＹ軸のそれよりも小さい。
また、θｘ軸およびθｙ軸よりも変化量の多いＸ軸およびＹ軸を先に補正する方が誤差を少なくするという意味でも有利である。
そのため、Ｘ軸とＹ軸の移動量検出および補正を精度よく実行することができる。
【００４３】
そこで、本実施形態においては、６軸のうち最後にθｘ軸およびθｙ軸の移動量検出および補正を行う。
この場合、他の４軸は補正済みであることから、画像中央を移動の中心として動くことになる。ここでは、この特性を利用して、θｘ軸およびθｙ軸の移動量検出および補正を行う。
【００４４】
図８は、他の４軸を補正後、画像中央を移動の中心として動くという特性を利用して、θｘ軸およびθｙ軸の移動量検出および補正を行う処理を説明するための図である。
【００４５】
まず、画像四隅の移動量を求めるための画像移動量検出領域を設定する。
次に、それぞれの領域で、複数の移動量検出から、その座標における移動量を算出する。
そして、各領域で求めた各移動量を、四隅における移動量に換算する。
たとえば、図８に示すように、画像中心の座標を（０，０）、画像四隅の一つの角の座標を（ｘ，ｙ）、移動量を求める座標（ｍ，ｎ）において求めた移動量（Ｘｍ，Ｙｎ）とし、前記の方法で求めた画像中心部の移動量を（Ｘｃ，Ｙｃ）とする場合、画像四隅の角における移動量（ＸＭ，ＹＮ）は以下のように求められる。
【００４６】
【数１】
0005415975.tif 000002
【００４７】
その後、求めた複数の特徴点の移動量から、異常な移動量情報を排除する処理を行い、平均値を求めるなどして、画像四隅における移動量を算出する。
より具体的には、その後、求めた複数の特徴点の移動量から、想定されるθｚ軸とθｙ軸の移動量よりも大きい値は、誤検出、または、移動する被写体であると判断し、異常値として移動量情報を排除する。この具体的な処理については、後で詳述する。
その後、残った値に対し、平均値を求めるなどして、画像四隅における移動量を算出する。
【００４８】
その後、求めた移動量を元に、移動量の逆方向に座標を戻すように投影変換することにより、全ての移動方向に対する補正が可能になる。
投影変換は、変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ’，ｙ’）とすると、以下の式で表される。
【００４９】
【数２】
0005415975.tif 000003
【００５０】
図９は、本第１の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。
【００５１】
まず、画像入力部１１０を通して、時間的に連続する撮像された画像（映像）が取得され（ＳＴ１，ＳＴ２）、出力した画像が未だ補正していない補正なし画像ＩＭ１として、θｚ軸およびＺ軸移動量算出部１２０、並びにθｚ軸およびＺ軸補正部１３０に供給される。
θｚ軸およびＺ軸移動量算出部１２０において、補正なし画像ＩＭ１のθｚ軸およびＺ軸の移動量が空間周波数情報に基づいて求められ（ＳＴ３）、その結果がθｚ軸およびＺ軸補正部１３０に供給される。
θｚ軸およびＺ軸補正部１３０において、θｚ軸およびＺ軸移動量算出部１２０で得られたθｚ軸およびＺ軸の移動量に応じて、その動きを相殺するように画像の位置およびもしくは大きさが補正される。この例では、θｚ軸の補正が行われ（ＳＴ４）、Ｚ軸の補正が行われる（ＳＴ５）。ただし、その順序は、逆であってもよい。
θｚ軸およびＺ軸補正部１３０からは、補正した画像が２軸補正画像ＩＭ２として、Ｘ軸およびＹ軸移動量算出部１４０、並びにＸ軸およびＹ軸補正部１５０に供給される。
【００５２】
Ｘ軸およびＹ軸移動量算出部１４０においては、２軸補正画像ＩＭ２のＸ軸およびＹ軸の移動量が空間周波数情報に基づいて求められ（ＳＴ６）、その結果がＸ軸およびＹ軸補正部１５０に供給される。
Ｘ軸およびＹ軸補正部１５０においては、Ｘ軸およびＹ軸移動量算出部１４０で得られたＸ軸およびＹ軸の移動量に応じて、その動きを相殺するように画像の位置およびもしくは大きさが補正される（ＳＴ７）。
Ｘ軸およびＹ軸補正部１５０からは、補正した画像が４軸補正画像ＩＭ４として、θｘ軸およびθｙ軸移動量算出部１６０、並びにθｘ軸およびθｙ軸補正部１８０に供給される。
【００５３】
θｘ軸およびθｙ軸移動量算出部１６０においては、４軸補正画像ＩＭ４のθｘ軸およびθｙ軸の移動量が求められ（ＳＴ８）、θｘ軸方向およびθｙ軸方向の動き検出において、複数の動き情報を求めたうえでその結果が異常値判定および移動量算出部１７０に供給される。
異常値判定および移動量算出部１７０では、θｘ軸およびθｙ軸移動量算出部１６０で求めた情報を受けて、ばらつき量の大きい異常値の情報は除外され、除外後の移動量情報が、θｘ軸およびθｙ軸補正部１８０に供給される（ＳＴ９）。
θｘ軸およびθｙ軸補正部１８０では、異常値判定および移動量算出部１７０で異常値の情報が除外されたθｘ軸およびθｙ軸の移動量の情報に応じて、その動きを相殺するように画像の位置およびもしくは大きさが補正される（ＳＴ１０）。
θｘ軸およびθｙ軸補正部１８０からは、補正した画像を６軸補正画像ＩＭ６として、画像出力部１９０に供給され、画像出力が行われる（ＳＴ１１）。
そして、ステップＳＴ２〜ＳＴ１１の処理が繰り返される。
【００５４】
以上説明したように、本第１の実施形態によれば、異なる連続した画像間の情報から、画像のブレ（移動量）を検出して補正する、電子式ブレ補正において、光軸についての回転方向（θｚ軸方向）のブレとズーム方向（Ｚ軸方向）のブレを最初に検出して補正し、その後、Ｘ軸方向とＹ軸方向のブレを検出して補正し、最後にＸ軸とＹ軸の回転のブレ、すなわちθｘ軸およびθｙ軸方向のブレを検出して補正するという順番で処理を行う。
これにより、全ての移動方向に対する補正を高精度で行うことが可能となる。
また、θｚ軸方向とＺ軸方向の移動量検出方式として、空間周波数情報を使用して移動量を求めることにより、その他の軸の補正を高精度に行うことが可能となる。
また、Ｘ軸とＹ軸の回転のブレを検出する場合、複数個の移動量情報を求め、その中で求めた値が異常に大きいものを除外して使用することで、高精度のブレ補正を行うことが可能となる。
【００５５】
［第２の実施形態］
図１０は、本発明の第２の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【００５６】
本第２の実施形態に係る画像処理装置１００Ａが第１の実施形態に係る画像処理装置１００と異なる点は、第１グループの動きの検出および補正を行う方向の順番は非固定で任意であることにある。
これに対応して、図１０の画像処理装置１００Ａでは、移動量算出部と補正部を、Ｘ軸、Ｙ軸、θｚ軸およびＺ軸移動量算出部２１０とＸ軸、Ｙ軸、θｚ軸およびＺ軸補正部２２０として示している。
【００５７】
前述したように、まず、６軸の補正を行う場合、Ｘ軸とＹ軸については、縦横の違いのみのため、移動量検出および補正のアルゴリズムについては同じ処理を実施することとなる。
また、同様の理由で、θｘ軸とθｙ軸の補正についても、アルゴリズムについては同じ処理を実施することとなる。
そのため、補正処理の順番を考える場合、Ｘ軸およびＹ軸、Ｚ軸、θｚ軸、θｘ軸およびθｙ軸の４つの処理の順番を考えればよいことになる。
【００５８】
本第２の実施形態では、Ｘ軸およびＹ軸、Ｚ軸、θｚ軸、の４つの軸のブレを検出して補正した後の、θｘ軸＆θｙ軸の補正を行うことから、第１グループＧＲＰ１Ａの前記４軸の補正方法（順番）については限定しない。
【００５９】
Ｘ軸およびＹ軸、Ｚ軸、θｚ軸の４つの軸のブレを検出して補正した後、θｘ軸およびθｙ軸の移動量は小さいものとなる理由は、前述したように以下の通りである。
【００６０】
前述したように、垂直方向に図７に示すようなブレが発生した場合、カメラ２００としては、θｘ軸のみが動くのであるが、撮像される画像としては、Ｙ軸の動きの方が大きくなる。
一般的な焦点距離３５ｍｍのレンズを有するカメラにおいて、垂直方向の画角は約３７度となり、Ｙ軸において、画角比１０％の移動量が発生した場合は、θｘの移動量は約３．５度となる。
ブレは望遠のレンズの場合に出やすいが、望遠の場合は、同じように、Ｙ軸において、画角比１０％の移動量が発生した場合のθｘの移動量は、さらに小さくなる。
【００６１】
図１１は、４軸補正後に、θｘの移動量だけが残った場合のイメージを示す図である。
θｘの移動によって、画面上の移動量は、図１１の実線と点線の交点の位置となる。
図７と同じ条件において、θｘの移動量が３．５度の場合、画面上の移動量は、Ｙ軸の移動量１０％に対して、遠くに移動した場合において、θｘ軸だけの移動量は約２．５％となる。近くに移動した場合においては、さらに小さくなる。
【００６２】
このように、θｚ軸とθｙ軸の移動量は、Ｘ軸とＹ軸の移動量よりも小さく、レンズの焦点距離と、X軸とY軸の移動量情報より、θｚ軸とθｙ軸の移動量はどの程度以下となるべきか、想定が可能となる。
したがって、この、想定されるθｚ軸とθｙ軸の移動量よりも大きい値は、誤検出、または、移動する被写体であると判断し、補正用データの対象外として扱うことにより、移動量検出の精度を向上することができる。
【００６３】
ここで、想定されるθｚ軸とθｙ軸の移動量よりも大きい値は、誤検出、または、移動する被写体であると判断し、補正用データの対象外として扱って移動量検出および補正を行う場合の処理について説明する。
【００６４】
図１２は、想定されるθｚ軸とθｙ軸の移動量よりも大きい値は、誤検出、または、移動する被写体であると判断し、補正用データの対象外として扱って移動量検出および補正を行う場合の処理を説明するためのフローチャートである。
【００６５】
θｘ軸およびθｙ軸移動算出部１６０の処理結果から検出点が取得され（ＳＴ２１）、検出点の移動量が求められる（ＳＴ２２）。
異常値判定および移動量算出部１７０において、想定検出値より検出移動量が大きいか否かが判断される（ＳＴ２３）。
ここで、検出移動量が想定検出値より小さい（あるいは以下である）場合には、異常値ではないと判断され、その検出移動量は移動量データとして登録される（ＳＴ２４）。
検出移動量が想定検出値より大きい場合には、異常値であるとして、その検出移動量は移動量データとして登録されない。
以上の処理が全特徴点の移動量検出が完了するまで、ステップＳＴ２２からの処理が繰り返される（ＳＴ２５）。
そして、画像四隅の特徴点の検出が完了するまで、ステップＳＴ２１からの処理が繰り返される（ＳＴ２６）。
ステップＳＴ２６で画像四隅の特徴点の検出が完了すると、画像四隅の移動量が求められ（ＳＴ２７）、投影変換によりブレ補正が行われる（ＳＴ２８）。
【００６６】
なお、この処理は第１の実施形態においても適用可能である。
【００６７】
以上説明したように、本第２の実施形態によれば、時間的に連続した異なる画像間の情報から、画像のブレ（移動量）を検出して補正する、電子式ブレ補正において、全ての移動方向に対する補正を行う６軸ブレ補正を行う場合、順番を問わず、水平軸方向（Ｘ軸方向）、垂直軸方向（Ｙ軸方向）、光軸方向（Ｚ軸方向）、および光軸についての回転方向（θｚ軸方向の４方向４つの軸のブレを検出して補正した後、Ｘ軸およびＹ軸の回転のブレ（θｘ軸およびθｙ軸方向のブレ）を検出して補正する。
これにより、上記４軸補正後の画像が画面中心部を軸に移動することを利用して、高精度のブレ補正を行うことが可能となる。
また、Ｘ軸とＹ軸の回転のブレを検出する場合、複数個の移動量情報を求め、その中で求めた値が大きいものは無視し、小さいものは使用することで、高精度のブレ補正を行うことが可能となる。
【符号の説明】
【００６８】
１００・・・画像処理装置、１１０・・・画像入力部、１２０・・・θｚ軸およびＺ軸移動量算出部、１３０・・・θｚ軸およびＺ軸補正部、１４０・・・Ｘ軸およびＹ軸移動量算出部、１５０・・・Ｘ軸およびＹ軸補正部、１６０・・・θｘ軸およびθｙ軸移動量算出部、１７０・・・異常値判定および移動量算出部、１８０・・・θｘ軸およびθｙ軸補正部、１９０・・・画像出力部、２１０・・・Ｘ軸、Ｙ軸、θｚ軸およびＺ軸移動量算出部、２２０・・・Ｘ軸、Ｙ軸、θｚ軸およびＺ軸補正部。
【図１】
0005415975.tif 000004
【図２】
0005415975.tif 000005
【図３】
0005415975.tif 000006
【図４】
0005415975.tif 000007
【図５】
0005415975.tif 000008
【図６】
0005415975.tif 000009
【図７】
0005415975.tif 000010
【図８】
0005415975.tif 000011
【図９】
0005415975.tif 000012
【図１０】
0005415975.tif 000013
【図１１】
0005415975.tif 000014
【図１２】
0005415975.tif 000015