(57)【要約】【課題】動画のような連続した動きの検出と補正をする際に、画像位置の不自然な傾きの無い、自然な画像を得ることが可能な動き補正装置およびその方法を提供する。【解決手段】画像動き補正装置を適用した画像処理装置１０は、時間的に連続する画像間の動きを検出する動き検出部１３と、検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出部１４と、回転角度検出部で検出された回転角度を順次記憶する回転角度記憶部としての履歴情報保存部１２ｂと、履歴情報保存部１２ｂに記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、この第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出部１５と、中心回転角度算出部により算出された中心回転角度に基づいて第１の回転角度の際の画像を補正する動き補正部１６と、を有する。【選択図】図１
2010232731.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する画像間の動きを検出する動き検出部と、
前記検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出部と、
前記回転角度検出部で検出された回転角度を順次記憶する回転角度記憶部と、
前記回転角度記憶部に記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、当該第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出部と、
前記中心回転角度算出部により算出された中心回転角度に基づいて前記第１の回転角度の際の画像を補正する動き補正部と、
を有する動き補正装置。
【請求項２】
前記回転角度記憶部は、
第１の回転角度記憶部と第２の回転角度記憶部と、を含み、
前記第１の回転角度記憶部と前記第２の回転角度記憶部は、
前記検出された動きのうち、回転方向が変化する際の回転角度を交互に記憶して、以下の式により前記中心となる回転角度を求める
請求項１に記載の動き補正装置。
【数１】
2010232731.tif 000009
但し、ｍは第１の回転角度憶部または第２の回転角度記憶部に記憶された回転角度の個数、ｆ(ｎ)は第１の回転角度記憶部に記憶された回転角度、ｇ(ｎ)は第２の回転角度記憶部に記憶された回転角度、αは時間的な重み付け指数をそれぞれ示す。
【請求項３】
時間的に連続する画像間の動きを検出する動き検出部と、
前記検出された動きのうち垂直方向または水平方向の動きが当該動き状態にあった方向と逆方向に変化する際の変化位置を検出する変化位置検出部と、
前記変化位置検出部で検出された変化位置を順次記憶する変化位置記憶部と、
前記変化位置記憶部に記憶された動き方向が変化した際の変化位置のうち、第１の変化位置と、当該第１の変化位置の直前に記憶された第２の変化位置と、の中心となる中心位置を算出する中心位置算出部と、
前記中心位置算出部により算出された中心位置に基づいて前記第１の変化位置の際の画像を補正す動き補正部と、
を有する動き補正装置。
【請求項４】
前記変化位置記憶部は、
第１の変化位置記憶部と第２の変化位置記憶部と、を含み、
前記第１の変化位置記憶部と前記第２の変化位置記憶部は、
前記検出された動きのうち、垂直方向または水平方向の動きが当該動き状態にあった方向と逆方向に変化する際の変化位置を交互に記憶して、以下の式により前記中心となる位置を求める
請求項３に記載の動き補正装置。
【数２】
2010232731.tif 000010
但し、ｍは第１の変化位置憶部または第２の変化位置記憶部に記憶された変化位置の個数、ｆ(ｎ)は第１の変化位置記憶部に記憶された変化位置、ｇ(ｎ)は第２の変化位置記憶部に記憶された変化位置、αは時間的な重み付け指数をそれぞれ示す。
【請求項５】
時間的に連続する画像間の動きを検出する動き検出ステップと、
前記検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出ステップと、
前記回転角度検出ステップで検出された回転角度を順次記憶する回転角度記憶ステップと、
前記回転角度記憶ステップで記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、当該第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出ステップと、
前記中心回転角度算出ステップにより算出された中心回転角度に基づいて前記第１の回転角度の際の画像を補正する画像補正ステップと、
を有する動き補正方法。
【請求項６】
時間的に連続する画像間の動きを検出する動き検出ステップと、
前記検出された動きのうち垂直方向または水平方向の動きが当該動き状態にあった方向と逆方向に変化する際の変化位置を検出する変化位置検出ステップと、
前記変化位置検出ステップで検出された変化位置を順次記憶する変化位置記憶ステップと、
前記変化位置記憶ステップで記憶された動き方向が変化した際の変化位置のうち、第１の変化位置と、当該第１の変化位置の直前に記憶された第２の変化位置と、の中心となる中心位置を算出する中心位置算出ステップと、
前記中心位置算出ステップにより算出された中心位置に基づいて前記第１の変化位置の際の画像を補正する画像補正ステップと、
を有する動き補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる複数の画像情報から、画像間の動きを求め、その動き情報から画像の表示位置の補正をする動き補正装置およびその方法に関するものである。
【背景技術】
【０００２】
動画を撮影する際に、たとえば、カメラを持っている手を動かしてしまったりすると、撮影された画像はブレた画像になってしまう。また、屋外等に設置された固定カメラにおいては、風や振動などによってカメラが揺れることにより、ブレた画像となってしまう。
このような画像の動きを検出してブレの少ない画像に補正する方法として、ブロックマッチング法（テンプレートマッチング法）、位相相関法等が知られている。
【０００３】
近年においては、このブロックマッチング法や位相相関法を用いて、縦方向や横方向に対するブレ（動き）補正だけでなく、さらに精度を上げるために回転による動きの補正も行われるようになってきている。
たとえば、ブロックマッチング法を用いて縦方向、横方向だけでなく、回転による動きの補正も行う画像処理装置がある。
【０００４】
このような画像処理装置として、特許文献１には、次のような技術が開示されている。この画像処理装置において、回転による動きの補正を行う場合、まず、画像センサで取り込まれた２枚の画像のそれぞれについて複数個の動き検出領域の選択を行う。
この選択された動き検出領域それぞれに対して、２枚の画像の間の動きベクトルを算出する。
この算出された複数個の動きベクトルを用いて回転成分を算出し、２枚目の画像にこの回転成分と逆の変換を施す。さらに、２枚目の画像をある一定の刻み幅ずつ変化させ、１枚目の画像と相関を取る。
この中から相関が最も高い２枚目の画像を出力画像として補正を行っている。
【０００５】
また、縦方向、横方向の場合は、２枚の画像の間の動きベクトルを算出することにより２枚の画像の間の画素ずれ量を算出する。
２枚目の画像に指定されている手ブレ補正領域から、算出された画素ずれ量だけずらした領域を切り出して、２枚目の画像出力領域の画像として出力している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＷＯ２００４−０６２２７０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のように１枚目の画像と２枚目の画像を比較して動きを検出し、２枚目の補正を行う場合は、１枚目の画像の状態に左右されることになる。
たとえば、カメラが傾いた状態から撮影を行った場合は、この傾いた状態で撮影された画像が１枚目の画像となる。
この傾いた１枚目の画像を基準に２枚目の画像までの動きを検出して補正するため、この傾いた１枚目の画像の影響を受けて出力画像は傾いたものになる可能性が高い。
【０００８】
本発明は、動画のような連続した動きの検出と補正をする際に、画像位置の不自然な傾きの無い、自然な画像を得ることが可能な動き補正装置およびその方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の動き補正装置は、時間的に連続する画像間の動きを検出する動き検出部と、前記検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出部と、前記回転角度検出部で検出された回転角度を順次記憶する回転角度記憶部と、前記回転角度記憶部に記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、当該第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出部と、前記中心回転角度算出部により算出された中心回転角度に基づいて前記第１の回転角度の際の画像を補正する動き補正部と、を有する。
【００１０】
好適には、前記回転角度記憶部は、第１の回転角度記憶部と第２の回転角度記憶部と、を含み、前記第１の回転角度記憶部と前記第２の回転角度記憶部は、前記検出された動きのうち、回転方向が変化する際の回転角度を交互に記憶し、中心回転角度算出部は、以下の式により前記中心となる回転角度を求める。
【００１１】
【数１】
2010232731.tif 000003
但し、ｍは第１の回転角度憶部または第２の回転角度記憶部に記憶された回転角度の個数、ｆ(ｎ)は第１の回転角度記憶部に記憶された回転角度、ｇ(ｎ)は第２の回転角度記憶部に記憶された回転角度、αは時間的な重み付け指数をそれぞれ示す。
【００１２】
本発明の第２の観点の動き補正装置は、時間的に連続する画像間の動きを検出する動き検出部と、前記検出された動きのうち垂直方向または水平方向の動きが当該動き状態にあった方向と逆方向に変化する際の変化位置を検出する変化位置検出部と、前記変化位置検出部で検出された変化位置を順次記憶する変化位置記憶部と、前記変化位置記憶部に記憶された動き方向が変化した際の変化位置のうち、第１の変化位置と、当該第１の変化位置の直前に記憶された第２の変化位置と、の中心となる中心位置を算出する中心位置算出部と、前記中心位置算出部により算出された中心位置に基づいて前記第１の変化位置の際の画像を補正する動き補正部と、を有する。
【００１３】
本発明の第３の観点の動き補正装置は、時間的に連続する画像間の動きを検出する動き検出ステップと、前記検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出ステップと、前記回転角度検出ステップで検出された回転角度を順次記憶する回転角度記憶ステップと、前記回転角度記憶ステップで記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、当該第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出ステップと、前記中心回転角度算出ステップにより算出された中心回転角度に基づいて前記第１の回転角度の際の画像を補正する画像補正ステップと、を有する。
【００１４】
本発明の第４の観点の動き補正装置は、時間的に連続する画像間の動きを検出する動き検出ステップと、前記検出された動きのうち垂直方向または水平方向の動きが当該動き状態にあった方向と逆方向に変化する際の変化位置を検出する変化位置検出ステップと、前記変化位置検出ステップで検出された変化位置を順次記憶する変化位置記憶ステップと、前記変化位置記憶ステップで記憶された動き方向が変化した際の変化位置のうち、第１の変化位置と、当該第１の変化位置の直前に記憶された第２の変化位置と、の中心となる中心位置を算出する中心位置算出ステップと、前記中心位置算出ステップにより算出された中心位置に基づいて前記第１の変化位置の際の画像を補正する画像補正ステップと、を有する。
【発明の効果】
【００１５】
本発明によれば、動画のような連続した動きの検出と補正をする際に、画像位置の不自然な傾きの無い、自然な画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【図２】本第１の実施形態に係る回転角度記憶部として履歴情報保存部の構成例を示すブロック図である。
【図３】基本的なＸ軸、Ｙ軸のブレ補正を説明するための図である。
【図４】回転中心が画面内に有る場合の回転軸のブレ補正を説明するための図である。
【図５】回転中心が画面内に無い場合の回転軸のブレ補正を説明するための図である。
【図６】撮影開始時点がブレの中心であった場合を示す図である。
【図７】画像が傾いた時点で撮影が開始された場合を示す図である。
【図８】撮影したい位置とずれた場所から撮影が開始された場合を示す図である。
【図９】正弦波の角度の遷移に対し、数６で示す式により、回転中心位置（中心角）を求めた場合を示す図である。
【図１０】周波数３，５，７Ｈｚが混在し、しかもその位相がπ／６ずつずれている波形の場合を示す図である。
【図１１】図１０と同じ波形に対し、撮影開始時の角度が回転中心から外れていた場合を示す図である。
【図１２】図１０と同じ波形に対し、カメラのパンニングが一定速度で発生した場合を示す図である。
【図１３】本第１の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。
【図１４】本発明の第２の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【図１５】本第２の実施形態に係る変化位置記憶部として履歴情報保存部の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１８】
図１は、本発明の第１の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【００１９】
本画像処理装置１０は、画像入力部１１、記憶部１２、動き検出部１３、回転角度検出部１４、中心回転角度算出部１５、動き補正部１６、および画像出力部１７を有する。
【００２０】
本画像処理装置１０は、動画のような連続した動きの検出と、この動き検出結果に応じて動き補正を行う機能を有し、表示位置の不自然な傾きの無い、自然な画像表示を行うことを可能に構成されている。
本画像処理装置１０は、異なる連続した画像情報から、その画像間の回転角度を含む動きを求めた後、回転した角度の最大値と最小値を履歴情報として保存する。
そして、画像処理装置１０は、履歴情報として保存された最大値と最小値の回転角度のうち時間的に新しい画像で求めた回転角度情報の反映度をより大きくした、時間的なフィルタをかけることにより、回転角度情報から、画像を止めて表示すべき角度（回転中心角）を求める機能を有する。
【００２１】
画像入力部１１は、撮像された画像（映像）に基づく入力信号を受け取り、入力した画像信号を記憶部１２、および画像出力部１７に供給する。
【００２２】
記憶部１２は、画像保存部１２ａおよび履歴情報保存部１２ｂを有する。
【００２３】
画像保存部１２ａは、画像入力部１１により供給される時間的に連続する画像データを、たとえばフレーム単位で順次に保存する。
画像保存部１２ａに保存される画像データは、動き検出部１３により読み出される。
【００２４】
履歴情報保存部１２ｂは、回転角度記憶部として機能し、回転角度検出部１４で検出される検出された動きのうち回転する方向が変化する際の回転角度を履歴情報として保存する。
履歴情報保存部１２ｂに保存される回転角度情報は、中心回転角度算出部１５により読み出される。
履歴情報保存部１２ｂは、図２に示すように、第１の回転角度記憶部１２１と第２の回転角度記憶部１２２と、を含む。
第１の回転角度記憶部１２１と第２の回転角度記憶部１２２は、回転角度検出部１４で検出された動きのうち、回転方向が変化する際の回転角度を第１の回転角度ｆ（ｎ）および第２の回転角度ｇ（ｎ）として交互に記憶する。
【００２５】
動き検出部１３は、記憶部１２の画像保存部１２ａに保存された現フレームと前フレーム間の回転角度を含む動きを検出し、検出結果を回転角度検出部１４に供給する。
【００２６】
回転角度検出部１４は、動き検出部１３で検出された動きのうち回転する方向が変化する際の回転角度を第１の回転角度および第２の回転角度として検出し、第１の回転角度ｆ（ｎ）および第２の回転角度ｇ（ｎ）として第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に交互に出力し記憶する。
【００２７】
動き検出部１３の回転角度検出の処理の一例を以下に示す。
この移動量および回転角度検出処理においては、たとえば所定の窓関数が設定された画像に対して下記（式２）に従ったフーリエ変換を行い、振幅画像を求める。
【００２８】
【数２】
2010232731.tif 000004
【００２９】
そして、フーリエ変換により得られた、直交座標系で表されていた振幅画像を極座標系に変換（ｌｏｇ−ｐｏｌａｒ）変換する。この極座標に変換するとは、複素対数極座標を行うことである。
さらに、この検出処理部では、極座標系に変換されたθ，ｒに基づいて画像間の変化量を検出する。このとき、変化量を検出するのは、回転、拡大、縮小のいずれかの動作を行った場合である。
【００３０】
ｌｏｇ−ｐｏｌａｒ変換処理において、直交座標上の画素位置Ｙ(x,y)を、極座標θ, rに変換、さらに対数変換し、ｌｏｇ−ｐｏｌａｒ変換後の座標Ｙ（ρ,θ）を求める。
その式を以下に示す。
【００３１】
【数３】
2010232731.tif 000005
【００３２】
そのため、検出処理において比較対象の画像間のθ方向のずれを求めることで、画像の回転角を求めることが可能となる。ちなみに、ｒ方向のずれを求めることで、拡大・縮小を求めることができる。
そして、求めた回転角度のうち、回転する方向が変化する際の回転角度が第１の回転角度および第２の回転角度として求められ、履歴情報保存部１２ｂの第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に交互に記憶する。
【００３３】
中心回転角度算出部１５は、第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、この第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する。
中心回転角度算出部１５は、時間的に新しい時間の画像で求めた角度情報の反映度をより大きくした、時間的なフィルタをかけることにより、回転の移動量データから、画像を止めて表示すべき角度（回転中心角）を求める。
【００３４】
中心回転角度算出部１５は、下の式により中心となる回転角度を求める。
【００３５】
【数４】
2010232731.tif 000006
【００３６】
但し、ｍは第１の回転角度憶部または第２の回転角度記憶部に記憶された回転角度の個数、ｆ(ｎ)は第１の回転角度記憶部に記憶された回転角度、ｇ(ｎ)は第２の回転角度記憶部に記憶された回転角度、αは時間的な重み付け指数をそれぞれ示す。
【００３７】
動き補正部１６は、中心回転角度算出部１５により算出された中心回転角度に基づいて、画像出力部１７における第１の回転角度の際の画像（本実施形態では動画像）のブレ（動き）を補正する。
【００３８】
上記構成を有する画像処理装置１０は、画像の回転角度の動きの履歴情報から回転中心位置を推定する方法を用いている。
以下、この方法についてさらに詳述する。
【００３９】
通常、動画像のブレ補正において、Ｘ方向（水平方向または横方向）とＹ方向（垂直方向または縦方向）の動きの補正の場合は、基本的には、撮影開始時点の位置を中心として補正を開始するだけでよい。
その場合、図３に示すように、補正の基準位置は、補正可能範囲の中心位置とすることでよい。
しかし、回転の移動量の補正を行う場合は、撮影開始時点の位置を中心に回転ブレの補正をしてしまうと、図４および図５に示すように、撮影開始時点が傾いた画像の場合に、そのままの画像を基準として補正してしまうため、不自然な画像を表示してしまうことになる。
なお、図３〜図５において、ＲＩＭは基準画像エリアを示し、図４および図５においてＶＰＳＴは画像の垂直位置を示している。
【００４０】
たとえば、監視カメラにおいて、垂直に立てられたポールにカメラが設置されるような場合、風や周辺の振動によって、カメラが揺れることがある。
この場合、画像外下部を中心に反復回転することになるが、回転の止めるべき位置は、地面に垂直な方向とするべきである。
しかし、撮影開始時点、もしくはブレ補正開始時点で、垂直方向に対して回転した状態で補正を開始すると、ずれた位置を基準として補正してしまうため、不自然な画像になってしまう。
【００４１】
撮影開始時点がブレの中心であった場合、図６に示すように、違和感の無い画像となるが、画像が傾いた時点で撮影開始された場合は、図７に示すように、傾いた画像を基準として補正してしまうことになる。
また、Ｘ方向およびＹ方向の補正においても、撮影したい位置とずれた場所から撮影が開始された場合は、図８に示すように、被写体ＯＢＪの一部が切れたような画像を基準として補正してしまうことなる。
【００４２】
そこで、本第１の実施形態においては、回転角の動きの履歴情報から回転中心位置を推定する方法を用いる。
履歴情報としては、連続的に求めた角度の最大値と最小値を示す部分の情報を保存しておき、そこに時間的なフィルタをかけて回転中心位置を推定する。
【００４３】
求める回転中心位置をＤ、角度情報を保存して置く数をｍ、保存した角度情報を、時間的に最新のものから、ｎ＝１，２，３，…とし、最新のものほど影響度を大きくする。第１の回転角度としての最大検出角度をｆ（ｎ）、第２の回転角度としての最小検出角度をｇ（ｎ）とした場合の、中心回転角度算出部１５におけるフィルタの式を以下に示す。
【００４４】
【数５】
2010232731.tif 000007
【００４５】
ここで、係数αは、時間的なフィルタをかけた係数で、ｍ回合計した値が１になるような係数とする。この係数は、最新の時間の方に重みをおくことが望ましい。ここでは、次式のように、α＝１／２ｎとした場合を例として説明する。
【００４６】
【数６】
2010232731.tif 000008
【００４７】
ここで、最大検出角度ｆ（ｎ）、最小検出角度ｇ(ｎ)を取得する条件は、角度が変化する方向が変わったときとする。
つまり、角度の変化がプラス方向からマイナス方向に変化した瞬間の最大の角度の値と、マイナス方向からプラス方向に変化した瞬間の最小の角度の値を、第１の回転角度としての最大検出角度ｆ（ｎ）と第２の回転角度としての最小検出角度ｇ（ｎ）として、第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に交互に記憶する。
【００４８】
このようなフィルタをかけた場合の例を以下に示す。
図９は、正弦波の角度の遷移に対し、数６で示す式により、回転中心位置（中心角）を求めた場合を示している。
回転中心は、ゼロを指し示しているのがわかる。
図９では、典型的な例として、正弦波を用いたが、実際のブレ波形は、様々な周波数が混在している場合が多い。
【００４９】
例として、図１０では、周波数３，５，７Ｈｚが混在し、しかもその位相がπ／６ずつずれている波形の場合を示したものである。このような波形の場合でも、回転中心は一定の範囲で動くことがわかる。
【００５０】
図１１は、図１０と同じ波形に対し、撮影開始時の角度が回転中心から外れていた場合を示したものである。この場合でも、回転中心となるべき位置に収束しているのがわかる。
【００５１】
次に、図１２は、図１０と同じ波形に対し、カメラのパンニングが一定速度で発生した場合を示している。この場合では、回転中心位置もパンニングに応じて移動していることがわかる。
【００５２】
数５で示す式において、係数αは、最新の時間の方に重みをおくようにしているが、これは、このようなパンニングの場合に特に有効である。
たとえば、係数の重み付け時間にかかわらず均等にした場合、新しい時間と古い時間の検出角度の反映度が同じになってしまうため、このようなパンニングは発生した場合の中心位置の追従が遅れてしまうことになる。
そこで、最新の時間のデータに重みをおくことにより、実際の回転中心位置へのスムーズな追従が可能となる。
【００５３】
図１３は、本第１の実施形態に係る画像処理装置の動作を説明するためのフローチャートである。
【００５４】
画像入力部１１を通して、時間的に連続する撮像された画像（映像）が画像保存部１２ａに、たとえばフレーム単位で順次に保存される（ＳＴ１、ＳＴ２）。比較を行う２枚の画像のうち、１枚目の画像（前フレーム）をステップＳＴ１で保存し、２枚目の画像（現フレーム）をステップＳＴ２で保存する。
画像保存部１２ａに保存される画像データは、動き検出部１３により読み出される。
【００５５】
動き検出部１３では、記憶部１２の画像保存部１２ａに保存された現フレームと前フレーム間の回転角度を含む動きが検出され、検出結果が回転角度検出部１４に供給される。
回転角度検出部１４では、動き検出部１３で検出された動きのうち回転する方向が変化する際の回転角度が第１の回転角度および第２の回転角度として検出される。
そして、角度の変化がプラス方向からマイナス方向に変化した瞬間の最大の角度の値と、マイナス方向からプラス方向に変化した瞬間の最小の角度の値が、第１の回転角度としての最大検出角度ｆ（ｎ）と第２の回転角度としての最小検出角度ｇ（ｎ）として、第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に交互に記憶される（ＳＴ３〜ＳＴ７）。第１の回転角度、第２の回転角度が検出されない限り、ステップＳＴ２へ戻って再び新しい画像（現フレーム）を保存して、ステップＳＴ３〜ＳＴ７の処理を繰り返す。
【００５６】
次に、中心回転角度算出部１５において、第１の回転角度記憶部１２１および第２の回転角度記憶部１２２に記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度としての最大検出角度ｆ（ｎ）と第２の回転角度としての最小検出角度ｇ（ｎ）、の中心となる中心回転角度が算出される（ＳＴ８）。
そして、動き補正部１６において、中心回転角度算出部１５により算出された中心回転角度に基づいて、画像出力部１７における第１の回転角度の際の画像（本実施形態では動画像）のブレが補正される（ＳＴ９）。
【００５７】
以上説明したように、本実施形態によれば、画像動き補正装置を適用した画像処理装置１０は、時間的に連続する画像間の動きを検出する動き検出部１３と、検出された動きのうち回転する方向が変化する際の回転角度を検出する回転角度検出部１４と、を有する。
画像処理装置１０は、回転角度検出部で検出された回転角度を順次記憶する回転角度記憶部としての履歴情報保存部１２ｂと、履歴情報保存部１２ｂに記憶された回転する方向が変化する際の回転角度のうち、第１の回転角度と、この第１の回転角度の直前に記憶された第２の回転角度と、の中心となる中心回転角度を算出する中心回転角度算出部１５と、中心回転角度算出部１５により算出された中心回転角度に基づいて第１の回転角度の際の画像を補正する動き補正部１６と、を有する。
したがって、本実施形態によれば、以下の効果を得ることができる。
【００５８】
すなわち、本実施形態によれば、異なる連続した画像間の情報から、その画像間の回転角度を含む移動量を求めた後、回転の移動量データから、画像を止めて表示すべき角度（回転中心角）を求めることにより、表示位置の不自然な傾きの無い、自然でゆれの無い画像表示を行うことが可能となる。
また、回転した角度の最大値と最小値を履歴情報として保存し、時間的に新しい時間の画像で求めた角度情報の反映度をより大きくした、時間的なフィルタをかけることにより、自然でゆれの無い画像表示を行うことが可能となる。
また、本実施形態の画像移動量検出方式を、回転以外の移動量に適用することにより、より高精度でゆれの無い画像表示を行うことが可能となる。
【００５９】
すなわち、本実施形態においては、画面に対してＺ軸方向の回転移動の移動量検出と補正について示したが、この方法は、Ｚ軸の回転に限らず、Ｘ，Ｙ，Ｚ軸の平行移動や、Ｘ，Ｙ軸の回転移動に対しても当てはめることができる。
【００６０】
図１４は、本発明の第２の実施形態に係る画像の動き補正装置を採用した画像処理装置の構成例を示すブロック図である。
【００６１】
本画像処理装置１０Ａは、画像入力部１１、記憶部１２、動き検出部１３、変化位置検出部１４Ａ、中心位置算出部１５Ａ、動き補正部１６Ａ、および画像出力部１７を有する。
【００６２】
本第２の実施形態の画像処理装置１０Ａが、第１の実施形態の画像処理装置１０と異なる点は、回転角度ではなく、検出された動きのうちＹ方向（垂直方向）またはＸ方向（水平方向）の動きが、その動き状態にあった方向と逆方向に変化する際の変化位置を検出する。
そして、画像処理装置１０Ａにおいては、変化位置記憶部としての履歴情報保存部１２ｂに検出された変化位置を順次記憶する。
履歴情報保存部１２ｂは、第１および第２の回転角度記憶部の代わりに、図１５に示すように、第１の変化位置記憶部１２１Ａおよび第２の変化位置記憶部１２２Ａを含んで構成される。
そして、中心位置算出部１５Ａが、記憶された動き方向が変化した際の変化位置のうち、第１の変化位置と、この第１の変化位置の直前に記憶された第２の変化位置と、の中心となる中心位置を算出する。
この際に、回転角度の場合と同じ数５および数６で示した式が同様に適用可能である。
この場合、ｍは第１の変化位置憶部または第２の変化位置記憶部に記憶された変化位置の個数、ｆ(ｎ)は第１の変化位置記憶部に記憶された変化位置、ｇ(ｎ)は第２の変化位置記憶部に記憶された変化位置、αは時間的な重み付け指数をそれぞれ示す。
最後に、動き補正部１６Ａが、中心位置算出部１５Ａにより算出された中心位置に基づいて第１の変化位置の際の画像を補正する。
【００６３】
本第２の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができる。
【符号の説明】
【００６４】
１０，１０Ａ・・・画像処理装置、１１・・・画像入力部、１２・・・記憶部、１３・・・動き検出部、１４・・・回転角度検出部、１４Ａ・・・変化位置検出部、１５・・・中心回転角度算出部、１５Ａ・・・中心位置算出部、１６，１６Ａ・・・動き補正部、１７・・・画像出力部。
【図１】
2010232731.tif 000011
【図２】
2010232731.tif 000012
【図３】
2010232731.tif 000013
【図４】
2010232731.tif 000014
【図５】
2010232731.tif 000015
【図６】
2010232731.tif 000016
【図７】
2010232731.tif 000017
【図８】
2010232731.tif 000018
【図９】
2010232731.tif 000019
【図１０】
2010232731.tif 000020
【図１１】
2010232731.tif 000021
【図１２】
2010232731.tif 000022
【図１３】
2010232731.tif 000023
【図１４】
2010232731.tif 000024
【図１５】
2010232731.tif 000025