(57)【要約】【課題】簡易な手法で映像の揺れを確実に検出し、低コストで精度の高い補正を行うことのできる映像振れ補正装置を得る。【解決手段】動き量検出部３は、映像フレームの動き量を検出し、その累積を検出動き量１０４とする。動き量保存部４は、検出動き量１０４の経過を保存する。動き量推定部６は、動き量保存部４で保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量１０７を算出する。映像振れ量算出部７は、遅延検出動き量１０６と推定動き量１０７とに基づいて映像振れ量を判定し、この映像振れ量に基づいて映像補正量１０８を算出する。映像フレーム補正部８は、遅延映像信号１０３に対して、映像補正量１０８を適用して補正を行い、補正済み映像信号１０９を出力する。【選択図】図１
2014007579.tif 000002
【特許請求の範囲】
【請求項１】
各映像フレームの画像データを管理する映像フレーム管理部と、
隣接する映像フレームを比較して当該映像フレームの動き量を検出し、その累積を検出動き量とする動き量検出部と、
各映像フレームの検出動き量の経過を保存する動き量保存部と、
前記保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出する動き量推定部と、
前記動き量保存部で保存した検出動き量と、前記動き量推定部の推定動き量とから映像振れ量を判定し、当該判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出する映像振れ量算出部と、
前記映像フレーム管理部で管理する映像フレームの画像データに対し、前記映像補正量を適用して補正を行う映像フレーム補正部とを備えたことを特徴とする映像振れ補正装置。
【請求項２】
動き量検出部は、映像フレームにおける水平方向、垂直方向、回転方向の３軸の検出動き量をそれぞれ求め、
動き量推定部は、それぞれ３軸方向の推定動き量を求め、映像振れ量算出部は、それぞれの推定動き量に基づいて、３軸方向の映像補正量を出力することを特徴とする請求項１記載の映像振れ補正装置。
【請求項３】
動き量推定部は、各映像フレームから算出した検出動き量の時間平均を算出した推定動き量に対して、一定の範囲から外れた動き量を除外し、当該一定の範囲に含まれる動き量だけを適用して再度時間平均を算出して求めた推定動き量を映像振れ量算出部への出力とすることを特徴とする請求項１または請求項２記載の映像振れ補正装置。
【請求項４】
各映像フレームから算出した検出動き量に対して、動き量の変動のピークからピークまでの周期を検出し、ピーク周期に応じて時間平均を算出する期間を適応的に変化させて前記検出動き量の時間平均を算出する平均動き量検出部を備え、
動き量推定部は、動き量保存部で保存した検出動き量の経過に代えて、前記平均動き量検出部の平均動き量に基づいて推定動き量を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像振れ補正装置。
【請求項５】
動き量検出部は、現映像フレームをブロックに分割して、各ブロックが過去の映像フレームと一致する箇所を探索し、最も頻度が高い方向と動き量とを有するブロックを当該映像フレームの動きを代表するブロックと判定し、当該ブロックの動き量を当該映像フレームの動き量とすることを特徴とする請求項１から請求項４のうちのいずれか１項記載の映像振れ補正装置。
【請求項６】
動き量検出部は、映像フレーム中の左側半分の領域で算出した検出動き量と、映像フレーム中の右側半分の領域で算出した検出動き量との差異から当該映像フレームの傾きを算出し、回転方向の検出動き量を求めることを特徴とする請求項２記載の映像振れ補正装置。
【請求項７】
動き量検出部は、映像フレーム中の左側半分に含まれる左側小領域と、左側小領域と映像フレーム中央で線対称な位置にあたる映像フレーム中の右側半分に含まれる右側小領域において、前記左側小領域で算出した検出動き量と、前記右側小領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めることを特徴とする請求項２記載の映像振れ補正装置。
【請求項８】
動き量検出部は、映像フレーム中の上側半分の領域で算出した検出動き量と、映像フレーム中の下側半分の領域で算出した検出動き量との差異から当該映像フレームの傾きを算出し、回転方向の検出動き量を求めることを特徴とする請求項２記載の映像振れ補正装置。
【請求項９】
動き量検出部は、映像フレーム中の上側半分に含まれる上側小領域と、当該上側小領域と映像フレーム中央で線対称な位置にあたる映像フレーム中の下側半分に含まれる下側小領域において、前記上側小領域で算出した検出動き量と、前記下側小領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めることを特徴とする請求項２記載の映像振れ補正装置。
【請求項１０】
動き量推定部は、各映像フレームから算出した検出動き量の時間平均を算出した推定動き量に対して、一定の範囲から外れた動き量を除外し、当該一定の範囲に含まれる動き量だけを適用して再度時間平均を算出して推定動き量を算出するとき、再度の算出対象に含まれる映像フレームの時間的な間隔を重み付けして当該推定動き量を算出することを特徴とする請求項３記載の映像振れ補正装置。
【請求項１１】
動き量推定部は、各映像フレームから算出した検出動き量に対して、前記各映像フレームの時間的な間隔を重み付けして推定動き量を求めることを特徴とする請求項１から請求項１０のうちのいずれか１項記載の映像振れ補正装置。
【請求項１２】
各映像フレームから算出した検出動き量を時間平均した平均動き量を算出する平均動き量検出部を備え、
動き量推定部は、動き量保存部で保存した検出動き量の経過に代えて、前記平均動き量検出部で算出された平均動き量の経過に対して時間平均を算出して推定動き量を算出することを特徴とする請求項１から請求項１１のうちのいずれか１項記載の映像振れ補正装置。
【請求項１３】
平均動き量検出部は、各映像フレームから算出した検出動き量に対して、動き量の変動において、次の上限へのピークに向けた上昇段階、あるいは次の下限へのピークに向けた下降段階の初期段階の変化量から、動き量の変動のピークの大きさを推定して、次のピークまでの周期を推定することを特徴とする請求項４記載の映像振れ補正装置。
【請求項１４】
隣接する映像フレーム間で相関が低いシーンチェンジを検出したとき、動き量検出部は、シーンチェンジ前まではシーンチェンジ直前までの映像フレームに対する検出動き量を出力し、シーンチェン後からはシーンチェンジ直後の映像フレームからの映像フレームに対する検出動き量を出力することを特徴とする請求項１から請求項１３のうちのいずれか１項記載の映像振れ補正装置。
【請求項１５】
隣接する映像フレーム間の同一位置のブロックの動き量の変化の偏りを算出し、一定の偏りを満さないとき、隣接する映像フレーム間で相関が低いと見なしてシーンチェンジと判断することを特徴とする請求項１４記載の映像振れ補正装置。
【請求項１６】
請求項１から請求項１５のうちのいずれか１項記載の映像振れ補正装置を用い、
動き検出部が、隣接する映像フレームを比較して当該映像フレームの動き量を検出し、その累積を検出動き量とする動き量検出ステップと、
動き量保存部が、各映像フレームの検出動き量の経過を保存する動き量保存ステップと、
動き量推定部が、前記保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出する動き量推定ステップと、
映像振れ量算出部が、前記動き量保存ステップで保存した検出動き量と、前記動き量推定ステップの推定動き量とから映像振れ量を判定し、当該判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出する映像振れ量算出ステップと、
映像フレーム補正部が、前記映像フレームの画像データに対し、前記映像補正量を適用して補正を行う映像フレーム補正ステップとを備えた映像振れ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、記録された映像コンテンツを記録媒体あるいは伝送路を経由して取り込み、映像コンテンツ中の符号化映像メディア情報を抽出して映像復号する際に、記録された映像に手振れのような閲覧を困難する映像の揺れがあった場合、その映像揺れを補正して閲覧を容易にする映像振れ補正装置及び映像振れ補正方法に関するものである。
【背景技術】
【０００２】
歩きながら動画を撮影した場合では、撮影者が被写体を狙った意図した構図での画像の動きだけでなく、撮影中の歩行によって生じたカメラの揺れで撮影者が意図しない画像の揺れを含む、いわゆる手振れのある映像が撮影されてしまうことがある。そこで、従来より、映像の動きが滑らかになるように画像処理で補正を加えて閲覧を容易にする手法が提案されている。
【０００３】
画面の動きを検出する方法として、画面そのものの動きを検出する手法や物体の動きを検出する方法が提案されている。まず、画面そのものの動きを検出する手法として、動画を構成する連続する映像フレーム間でブロックマッチングと呼ばれる、当該映像フレーム中のある領域が隣の映像フレーム中のどの領域に類似しているかを探索して移動量を算出する手法がある。そして、各領域の移動量から画面全体の動きを判断することとなる。
【０００４】
次に、物体の動きを検出する手法として、画像の特徴量と呼ばれる指標を画像から抽出し、その指標が示す箇所を追跡する手法、例えばＳＩＦＴ法（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれる手法を適用して画像中の色や境界部分などの成分から「特徴を持つ物体」と見なされる特徴点を検出し、その特徴点を次のフレームでも探索して、その動きを追跡していく手法がある。この画像の特徴点の追跡することで画面全体の動きを判断することとなる。
【０００５】
このようにして得た画面全体の動きが滑らかでなく鋭角な変化である場合、撮影者が意図したカメラの動きとは異なる揺れ、つまり手振れがあると推定して、映像を補正することが開示されている。実際に撮影された映像では、被写体が動いているケース、静止していても移動しながら撮影した場合など、近くにある被写体と遠くにある被写体では動きが異なるケース、流し撮りのような撮影者が意図的にカメラを動かしているケースなど、画面の動きと言っても、その動きは一様でなく正確に動きを検出することは難しい。そのため、従来、手振れ補正の質を向上させるための種々の技術があった。
【０００６】
例えば、特許文献１では、撮影映像の背景、被写体などによって動きの量が違って検出されるため、動き量のヒストグラムでそれらを識別した後、知識モデルによって評価してカメラワークを推定し、撮影者の意図を汲んだ動きでの補正に精度を向上させるとしていることが開示されている。また、特許文献２では、過去の映像フレームの結果と平均を取って補正すること、閾値を超えた他よりも掛け離れた結果を除外することが開示されている。また、特許文献３では、動きの変化量（移動速度）に応じて、フィルタの係数を変更して大きな動きに追従させたカメラワークを決定し、この期間では補正を抑制することが開示されている。また、特許文献４では、ブロックに分割した最小の動きのブロックを背景の動きと見なすことが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３３６２３５号公報
【特許文献２】特開平６−４６３１５号公報
【特許文献３】特開２０１１−１１４４０７号公報
【特許文献４】特開平５−３２８２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の特許文献に記載されているように、特徴量で動きを検出する場合、特徴量の算出は膨大な計算が必要となる他、背景と被写体の判別やその処理に知識モデルを適用する場合、判別の精度や知識モデルの質に結果が左右される課題があった。また、手振れ補正においては、当該映像フレームの動きを正確に算出して手振れ量を判定するだけでなく、撮影者の意図した撮影の構図による映像の動きを残す必要があるが、動き量の平滑化を撮影者の構図と見なすだけでは、歩きながらの撮影のような歩幅に応じた大きな周期の揺れが吸収できず補正が不十分になる課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、簡易な手法で映像の揺れを確実に検出し、低コストで精度の高い補正を行うことのできる映像振れ補正装置及び映像振れ補正方法を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る映像振れ補正装置は、各映像フレームの画像データを管理する映像フレーム管理部と、隣接する映像フレームを比較して映像フレームの動き量を検出し、その累積を検出動き量とする動き量検出部と、各映像フレームの検出動き量の経過を保存する動き量保存部と、保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出する動き量推定部と、動き量保存部で保存した検出動き量と、動き量推定部の推定動き量とから映像振れ量を判定し、判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出する映像振れ量算出部と、映像フレーム管理部で管理する映像フレームの画像データに対し、映像補正量を適用して補正を行う映像フレーム補正部とを備えたものである。
【発明の効果】
【００１１】
この発明の映像振れ補正装置は、映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出し、この推定動き量と、動き量保存部で保存した検出動き量とから映像振れ量を判定し、判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出するようにしたので、簡易な手法で映像の揺れを確実に検出することができ、従って、低コストで精度の高い補正を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による映像振れ補正装置を示す構成図である。
【図２】ｎ番目の映像フレームと隣接するｎ―１番目の映像フレームでの一致するブロックの位置関係を示す説明図である。
【図３】ｎ番目の映像フレーム上で見た、隣接するｎ−１番目の映像フレームの一致するブロックの位置関係を示す説明図である。
【図４】隣接する映像フレーム間で映像フレームにおける各ブロックの対応関係を示す説明図である。
【図５】各ブロックの動き量の発生頻度を示すヒストグラムの説明図である。
【図６】この発明の実施の形態１による映像振れ補正装置の検出動き量の遷移と推定動き量の遷移との関係を示す説明図である。
【図７】この発明の実施の形態１による映像振れ補正装置の動作を示すフローチャートである。
【図８】この発明の実施の形態２による映像振れ補正装置の映像フレームの回転方向の動きを算出する方法を示す説明図である。
【図９】この発明の実施の形態２による映像振れ補正装置の画面左側領域の動き量、画面右側領域の動き量を算出する際の領域設定の一例を示す説明図である。
【図１０】この発明の実施の形態２による映像振れ補正装置の画面左側領域の動き量、画面右側領域の動き量を算出する際の領域設定の一例を示す説明図である。
【図１１】この発明の実施の形態３による映像振れ補正装置の映像フレームの動き量の遷移において平均の動き量から外れた動き量を除外して再計算した場合の推定動き量の遷移を示す説明図である。
【図１２】この発明の実施の形態４による映像振れ補正装置を示す構成図である。
【図１３】この発明の実施の形態４による映像振れ補正装置の映像フレームから算出した検出動き量の遷移と、その平均の動き量に対してさらに平滑化を実施した場合の推定動き量の遷移を示す説明図である。
【図１４】この発明の実施の形態５による映像振れ補正装置の平均動き量検出部を示す構成図である。
【図１５】この発明の実施の形態５による映像振れ補正装置の映像フレームから算出した検出動き量の遷移と、その平均の動き量を算出する範囲の違いによる推定動き量への影響を示す説明図である。
【図１６】この発明の実施の形態５による映像振れ補正装置の映像フレームの動き量の遷移が変動しているケースを示す説明図である。
【図１７】この発明の実施の形態６による映像振れ補正装置を示す構成図である。
【図１８】シーンチェンジが発生したとき、隣接する映像フレーム間に相関のない映像となることを示す説明図である。
【図１９】この発明の実施の形態７による映像振れ補正装置を示す構成図である。
【図２０】映像フレームの各ブロックにおける動き量がバラバラで一定の方向性を持たないケースを示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、この発明の実施の形態１による映像振れ補正装置を示す構成図である。
図１に示す映像振れ補正装置は、映像フレーム管理部１、映像フレームバッファ２、動き量検出部３、動き量保存部４、動き量管理テーブル５、動き量推定部６、映像振れ量算出部７、映像フレーム補正部８を備えている。
【００１４】
映像フレーム管理部１は、補正処理前の映像信号１０１を保持し、映像フレームの補正量の算出に掛かる処理遅延とその映像フレームを補正する処理タイミングに合わせて保持した映像信号の出力を管理する処理部である。また、映像フレーム管理部１が入力する映像信号１０１は、図示していないが映像コンテンツ中の符号化映像データ情報を復号して生成した映像信号である。さらに、映像フレーム管理部１が出力する評価対象映像信号１０２は、映像フレームの動き量を算出するために参照することが必要となる映像信号に相当する評価対象映像信号であり、遅延映像信号１０３は、当該映像フレームの補正量算出の処理遅延に合わせて映像フレーム管理部１の制御で映像フレームバッファ２に保持されていた映像フレームを取り出して出力された遅延映像信号である。
【００１５】
映像フレームバッファ２は、映像フレーム管理部１の制御で補正処理タイミングまで映像信号を保持する映像フレームバッファである。動き量検出部３は、評価対象映像信号１０２から各映像フレームの代表動き量を検出する処理部であり、出力される検出動き量１０４は、動き量検出部３で検出した映像フレームの代表動き量である検出動き量である。動き量保存部４は、動き量検出部３で検出した検出動き量１０４を保持し、当該映像フレームの理想の動き量を推定、および当該フレームの補正量を判定する処理タイミングに合わせて保持した動き量を出力する処理部である。動き量管理テーブル５は、動き量保存部４の制御で動き量の推定または映像フレームの補正処理タイミングまで映像フレームの動き量を保持する動き量管理テーブルである。また、動き量保存部４から出力される評価対象動き量１０５は、動き量保存部４を介して動き量管理テーブル５に保持されていた各映像フレームの動き量について当該映像フレームに対する理想の動き量を算出するのに適用する動き量となる評価対象動き量であり、遅延検出動き量１０６は、映像振れ補正量の処理遅延に合わせて、動き量管理テーブル５に保持されていた当該映像フレームに対する動き量を取り出して出力された遅延検出動き量である。
【００１６】
動き量推定部６は、評価対象動き量１０５を用いて当該映像フレームの理想の動き量を推定する処理部であり、出力される推定動き量１０７は、動き量推定部６で推定された当該映像フレームの理想の動き量である推定動き量である。映像振れ量算出部７は、当該映像フレームから抽出した実際の動き量である遅延検出動き量１０６と当該映像フレームの推定動き量１０７から手振れに相当する不要な動きである映像揺れ量を算出する処理部であり、出力される映像補正量１０８は、映像振れ量算出部７で算出された当該映像フレームに対する映像触れを補正する指標となる映像補正量である。映像フレーム補正部８は、当該映像フレームにあたる遅延映像信号１０３に当該映像フレームの補正量である映像補正量１０８を適用して映像信号中の映像振れを補正する処理部である。また、映像フレーム補正部８より出力される補正済み映像信号１０９は、映像フレーム補正部８によって映像振れを補正された補正済み映像信号で、図示していないが映像振れ補正装置で表示などに使用される映像信号となる。
【００１７】
次に、実施の形態１の動作について説明する。
映像振れ補正装置は、図示していないが映像コンテンツを取り込み、映像コンテンツから符号化映像データを取り出して符号化映像データ情報を復号して生成された映像信号１０１を映像フレーム管理部１が取り込んで、映像フレームバッファ２にて保持する。動き量検出部３は、映像フレーム管理部１が管理する映像フレームバッファ２に保持された映像信号から動き量の評価に必要な映像信号となる評価対象映像信号１０２を順次取り込んで、隣接する映像フレームでの画像データの関連性から各映像フレームの動き量を算出する。
【００１８】
動き量を算出する手法の一例としては、一般的にブロックマッチングと呼ばれる手法を用いて動き量を算出することができる。ブロックマッチングの探索方法は本発明の範囲ではないので詳細な説明を省略するが、映像フレームを小さなブロックに分割して、各ブロックが過去の映像フレームと一致する箇所を探索して一致度の高い箇所を特定することとなる。
例えば、図２は隣接する映像フレーム間で映像フレームのブロックがどの部分と一致しているのかを探索した結果を示している。動き量の抽出対象であるｎ番目の映像フレームのブロックが、隣接するｎ−１番目映像フレームにおいて、どこに位置するかを探索して、全く移動がなければ点線のブロックの位置となるが、動きがあれば矢印で示される実線のブロックが検出されることになる。
【００１９】
このようにして当該映像フレームの各ブロックが過去の映像フレームに一致する箇所との位置関係から、当該映像フレームが過去の映像フレームに比べて、どの方向にどの程度の距離を移動したのかが検出される。図２で示したケースであれば、図３のようにｎ番目の映像フレーム上で考えれば、隣接するｎ―１番目の映像フレーム上では点線で示す位置にあったブロックが次のｎ番目の映像フレーム上では実線で示す位置へ動いたと判断されて、さらに動き量は水平方向と垂直方向の２つの動きに分解することができる。そして、図４のように映像フレーム中の各ブロックについて、それぞれ動きを探索することで水平方向、垂直方向の動きが検出されて、それらを平均することで映像フレーム全体の水平方向、垂直方向の動きとなる検出動き量１０４を算出することができる。
【００２０】
このとき、当該映像フレームの動きを算出するために、適用するブロックの全動き量に対して平均を算出した場合、図５で示すように各ブロックの動き量に差異があってバラ付いていると、平均の動き量がＶａとなって必ずしも映像フレームの動きを反映しているとは言えない状況が発生する。そのため、各ブロックの動き量の発生頻度を表すヒストグラムを算出し、もっとも発生頻度のは高い動き量Ｖｍを当該映像フレームの動きを代表する動き量として検出動き量１０４を決定することもできる。なお、図５では説明を簡略化するための一次元の動き量を記載しており、例えば垂直方向の動きを示している。
【００２１】
動き量保存部４は、動き量検出部３にて当該映像フレームに対する動き量を検出した結果である検出動き量１０４を取り込んで、動き量管理テーブル５にて保持する。動き量推定部６は、動き量保存部４が管理する動き量管理テーブル５に保持された各映像フレームに対する動き量から撮影者が本来意図したであろう理想の動きを推定に必要な動き量となる評価対象動き量１０５を順次取り込んで、動き量の平均的な遷移を推定動き量１０７として算出する。
【００２２】
映像振れ量算出部７は、動き量推定部６で推定した当該映像フレームの理想の動き量である推定動き量１０７と、動き量検出部３が算出して動き量保存部４が動き量管理テーブル５に保持している当該映像フレームの動き量を動き量推定部６での推定に要する時間分だけ遅延させて取り出した遅延検出動き量１０６とを比較して、当該映像フレームの理想の動き量から外れた不要な動きを算出する。当該映像フレームに対する不要な動きを取り除くための指標となる映像補正量１０８を算出する。
【００２３】
図６は各映像フレームから算出した検出動き量１０４の遷移と推定動き量１０７の遷移を示している。図に記載できるように一例として便宜上、垂直方向の一方向の動きを示しており、菱形（図中で◆）で示す線が検出動き量１０４で、四角（図中で■）で示す線が推定動き量１０７を意味している。推定動き量１０７は当該映像フレームの前後の映像フレームの動き量を適用して、その時間方向の移動平均値でも良いし、近似計算で算出した値であっても良い。そして、図中で矢印で示される検出動き量１０４と推定動き量１０７の差（■と◆の位置の差）が映像補正量１０８となる。
【００２４】
このとき、推定動き量１０７を当該映像フレームから見て過去の映像フレームの動き量だけを適用して理想の動き量を算出すると、この後に発生するであろう映像振れが考慮されずに推定動き量１０７の誤差が大きくなってしまう。そこで、当該映像フレームから見て、過去の映像フレームの動き量だけでなく未来の映像フレームの動き量を適用して理想の動き量を推定することで、推定動き量１０７の精度を高めることができる。一方で、推定動き量１０７の算出に、未来の映像フレームの動き量を勘案するためには各映像フレームの動き量および各映像フレームの映像信号を保持しておき、未来の映像フレーム分となるように映像振れ補正処理を遅延させて、当該映像フレームの前後の映像フレーム分を評価対象として取り出して処理することとなる。処理遅延が発生するため、処理遅延の抑制を優先する場合は、過去の映像フレームに対する動き量だけで推定動き量１０７を算出しても良い。
【００２５】
映像フレーム補正部８では、映像振れ量算出部７で算出した当該映像フレームに対する映像補正量１０８をもとに、映像フレーム管理部１が映像フレームバッファ２に保持している当該映像フレームを動き量検出部３、動き量推定部６、および映像振れ量算出部７の各処理部に要する時間分だけ遅延させて取り出した遅延映像信号１０３を補正して補正済み映像信号１０９を生成する。このとき、映像フレームの揺れ補正処理には、映像補正量１０８に従った距離分だけ映像フレームを構成する画像データを上下や左右に移動させて位置合わせをすることによって本来あるべき映像信号として補正済み映像信号１０９が生成される。
【００２６】
図７は、以上の動き量の検出から映像フレームの補正までの動作を示すフローチャートである。
先ず、動き量検出部３は、評価対象映像信号１０２に基づいて、隣接する映像フレームを比較して映像フレームの動き量を検出し、その累積を検出動き量とする（ステップＳＴ１：動き量検出ステップ）。そして、動き量保存部４は、動き量検出部３で検出された検出動き量を順次保存する（ステップＳＴ２：動き量保存ステップ）。次に、動き量推定部６は、動き量保存部４で保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量１０７を算出する（ステップＳＴ３：動き量推定ステップ）。これにより、映像振れ量算出部７は、動き量保存部４から出力される遅延検出動き量１０６と推定動き量１０７から出力される推定動き量１０７とに基づいて映像振れ量を求め、この映像振れ量に基づいて映像補正量１０８を算出する（ステップＳＴ４：映像補正量算出ステップ）。次に、映像フレーム補正部８は映像フレーム管理部１から出力される遅延映像信号１０３に対して、映像補正量１０８を適用して補正を行う（ステップＳＴ５：映像フレーム補正ステップ）。
【００２７】
以上のようにして、各映像フレームから算出した動き量から撮影者が意図したであろう理想の動きを推定して映像信号に含まれる水平方向、垂直方向の不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００２８】
なお、補正対象となる映像信号について、映像コンテンツから取り出した符号化映像データ情報を復号した映像信号を用いて説明したが、本願発明補正処理は補正対象として入力された映像信号を逐次処理することが可能な構成となっていることから、符号化された映像信号を事後的に処理することに限定されるものではない。カメラで撮像された映像信号を直接補正対象の映像信号としても適用しても同様の結果が得られる。
【００２９】
以上説明したように、実施の形態１の映像振れ補正装置によれば、各映像フレームの画像データを管理する映像フレーム管理部と、隣接する映像フレームを比較して映像フレームの動き量を検出し、その累積を検出動き量とする動き量検出部と、各映像フレームの検出動き量の経過を保存する動き量保存部と、保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出する動き量推定部と、動き量保存部で保存した検出動き量と、動き量推定部の推定動き量とから映像振れ量を判定し、判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出する映像振れ量算出部と、映像フレーム管理部で管理する映像フレームの画像データに対し、映像補正量を適用して補正を行う映像フレーム補正部とを備えたので、映像の揺れを簡易な方法で確実に検出でき、その結果、低コストで精度の高い補正を行うことができる。
【００３０】
また、実施の形態１の映像振れ補正装置によれば、動き量検出部は、現映像フレームをブロックに分割して、各ブロックが過去の映像フレームと一致する箇所を探索し、最も頻度が高い方向と動き量とを有するブロックを映像フレームの動きを代表するブロックと判定し、このブロックの動き量を映像フレームの動き量とするようにしたので、正確な検出動き量を求めることができる。
【００３１】
また、実施の形態１の映像振れ補正方法によれば、映像振れ補正装置を用い、動き検出部が、隣接する映像フレームを比較して映像フレームの動き量を検出し、その累積を検出動き量とする動き量検出ステップと、動き量保存部が、各映像フレームの検出動き量の経過を保存する動き量保存ステップと、動き量推定部が、保存した映像フレームの検出動き量の経過に対して時間平均を算出して推定動き量を算出する動き量推定ステップと、映像振れ量算出部が、動き量保存ステップで保存した検出動き量と、動き量推定ステップの推定動き量とから映像振れ量を判定し、判定した映像振れ量に基づいて映像フレームの振れを補正するための映像補正量を算出する映像振れ量算出ステップと、映像フレーム補正部が、映像フレームの画像データに対し、映像補正量を適用して補正を行う映像フレーム補正ステップとを備えたので、映像の揺れを簡易な方法で確実に検出でき、その結果、低コストで精度の高い補正を行うことができる。
【００３２】
実施の形態２．
実施の形態２による映像振れ補正装置の図面上の構成は、実施の形態１の図１と同様であるため、図１を用いて説明する。実施の形態２の動き量検出部３は、水平方向、垂直方向、回転方向の３軸を独立に演算する。また、動き量推定部６は、それぞれ３軸方向の推定動き量を求め、映像振れ量算出部７は、それぞれの推定動き量１０７に基づいて、３軸方向の映像補正量１０８を出力する。その他の構成は実施の形態１と同様であるため、ここでの説明を省略する。
【００３３】
図８は当該映像フレームの回転方向の動きを算出する方法を示している。動き量検出部３で当該映像フレームの動き量を算出する際に、映像フレームの左側と右側でそれぞれ動き量を算出して、その差異から回転方向の動きである傾きを算出する。
画面左側領域で算出した動き量の垂直方向の動きをＭＬ、
画面右側領域で算出した動き量の垂直方向の動きをＭＲ
としたとき、
垂直方向の動き量の差異  Ｄｙ
は式１で算出される。
垂直方向の動き量の差異
Ｄｙ＝ＭＲ−ＭＬ          …（式１）
そして、
当該映像フレームの動きを探索した画面左側領域と画面右側領域の距離をＤｔ
としたとき、
傾き  Ｒ
は式２で算出される。
傾きの角度
2014007579.tif 000003
これにより当該映像フレームの回転方向の動きを算出することができる。
【００３４】
図９は画面左側領域の動き量、画面右側領域の動き量を算出する際の領域設定の一例である。動き量を探索する当該映像フレームの画面を左右の半分に分割し、画面の左側半分の領域をＡＬ１、画面の右側半分の領域をＡＲ１とした場合、ＡＬ１とＡＲ１のそれぞれの領域において独立に動き量を算出して、先に述べた垂直方向の動き量ＭＬ、ＭＲを算出しても良い。この場合、図９に記載のように領域ＡＬ１の中心線と、領域ＡＲ１の中心線との距離を領域間の距離Ｄｔと見なして、回転方向の動きの算出に適用する。
領域をＡＬ１、ＡＲ２のように画面半分にすることで、領域内に含まるブロック数を多く確保できることになって、移動する物体など映像フレーム内で動きの異なる部分があったとしても平均化されて誤差を抑制できる効果が得られる。
【００３５】
図１０は画面左側領域の動き量、画面右側領域の動き量を算出する際の領域設定の一例である。動き量を探索する当該映像フレームの画面において、画面の縦方向の中心あたり、横方向の両端あたりに、画面左側の動きを探索する小領域をＡＬ２、画面右側の動きを探索する小領域をＡＲ２とした場合、ＡＬ２とＡＲ２のそれぞれの領域において独立に動き量を算出して、先に述べた垂直方向の動き量ＭＬ、ＭＲを算出しても良い。この場合、図１０に記載のように領域ＡＬ２の中心線と、領域ＡＲ２の中心線との距離を領域間の距離Ｄｔと見なして、回転方向の動きの算出に適用する。
領域をＡＬ２、ＡＲ２のように小さくすることで、小領域に含まれるブロックでＭＬまたはＭＲを算出が近接するブロックの動き量だけとなって、比較的に特性の近い動き量から小領域の代表動き量の算出精度を向上させる効果が得られる。また、小領域にすることで、領域間の距離Ｄｔが長くなって、傾き  Ｒの算出精度を向上させる効果が得られる。
【００３６】
図９、図１０を用いた回転方向の動きの算出では、画面の左側、右側の領域で算出した動き量を適用しているが、画面を上側、下側の領域に対して、同様の方法で領域を設定して動きを算出しても良い。このようにして当該映像フレームに対する映像補正量１０８において、垂直方向、水平方向に加えて回転方向の補正値が求まる。なお、動き量保存部４〜動き量推定部６〜映像振れ量算出部７の動作については、水平方向、垂直方向および回転方向のそれぞれに対して実施の形態１と同様の動作が行われる。
【００３７】
そして、映像フレーム補正部８での映像フレームの映像揺れ補正処理には、映像補正量１０８に従った距離分だけ映像フレームを構成する画像データを上下や左右に移動させて位置合わせをした後、さらに映像補正量１０８に従った角度分だけ映像フレームを構成する画像データを回転変換させることによって本来あるべき映像信号として補正済み映像信号１０９が生成される。画像データの回転変換の手法は本発明の範囲外であるが、アフィン変換等を適用することができる。
【００３８】
以上のようにして、各映像フレームから算出した動き量から撮影者が意図したであろう理想の動きを推定して映像信号に含まれる水平方向、垂直方向、回転方向の３軸に関して不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００３９】
以上説明したように、実施の形態２の映像振れ補正装置によれば、動き量検出部は、映像フレームにおける水平方向、垂直方向、回転方向の３軸の検出動き量をそれぞれ求め、動き量推定部は、それぞれ３軸方向の推定動き量を求め、映像振れ量算出部は、それぞれの推定動き量に基づいて、３軸方向の映像補正量を出力するようにしたので、さらに精度の高い補正を行うことができる。
【００４０】
また、実施の形態２の映像振れ補正装置によれば、動き量検出部は、映像フレーム中の左側半分の領域で算出した検出動き量と、映像フレーム中の右側半分の領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めるようにしたので、映像フレーム内で動きの異なる部分があった場合でも検出動き量の誤差を抑制することができる。
【００４１】
また、実施の形態２の映像振れ補正装置によれば、動き量検出部は、映像フレーム中の左側半分に含まれる左側小領域と、左側小領域と映像フレーム中央で線対称な位置にあたる映像フレーム中の右側半分に含まれる右側小領域において、左側小領域で算出した検出動き量と、右側小領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めるようにしたので、検出動き量の算出精度を向上させることができる。
【００４２】
また、実施の形態２の映像振れ補正装置によれば、動き量検出部は、映像フレーム中の上側半分の領域で算出した検出動き量と、映像フレーム中の下側半分の領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めるようにしたので、映像フレーム内で動きの異なる部分があった場合でも検出動き量の誤差を抑制することができる。
【００４３】
また、実施の形態２の映像振れ補正装置によれば、動き量検出部は、映像フレーム中の上側半分に含まれる上側小領域と、上側小領域と映像フレーム中央で線対称な位置にあたる映像フレーム中の下側半分に含まれる下側小領域において、上側小領域で算出した検出動き量と、下側小領域で算出した検出動き量との差異から映像フレームの傾きを算出し、回転方向の検出動き量を求めるようにしたので、検出動き量の算出精度を向上させることができる。
【００４４】
実施の形態３．
実施の形態３による映像振れ補正装置の図面上の構成は、実施の形態１の図１と同様であるため、図１を用いて説明する。実施の形態３の動き量推定部６は、各映像フレームから算出した検出動き量の時間平均を算出した推定動き量に対して、一定の範囲から外れた動き量を除外し、一定の範囲に含まれる動き量だけを適用して再度時間平均を算出して求めた推定動き量を映像振れ量算出部７への出力するよう構成されている。その他の構成は実施の形態１と同様であるため、ここでの説明を省略する。
【００４５】
次に、実施の形態３の動作について説明する。
図１１は映像フレームの動き量の遷移において平均の動き量から外れた動き量を除外して再計算した場合の推定動き量１０７を示している。図に記載できるように一例として便宜上、垂直方向の一方向の動きを示しており、黒丸（図中で●）、白丸（図中で○）はそれぞれ動き量検出部３にて各映像フレームから算出した検出動き量１０４である。黒丸（●）は最終的に推定動き量の算出に適用する抽出動き量で、白丸（○）は平均の動きから外れているため推定動き量の算出から除外する抽出動き量である。
【００４６】
動き量推定部６において、各映像フレームの評価対象動き量１０５に対して、最初にすべての動き量を適用して平均の動き量を算出する。図中、実線で表記される動き量が該当する。その平均動き量に一定の値を加算した動き量または減算した動き量を最終的に推定動き量を算出に適用する検出動き量を選別する閾値と見なす。図中で細点線（上側）と細点線（下側）で表記される範囲が閾値に該当する。この範囲に含まれる動き量が推定動き量の算出に適用する動き量（黒丸（●））となり、範囲に含まれない動き量が推定動き量の算出から除外する動き量（白丸（○））となる。そして、次に推定動き量の算出に適用する動き量（黒丸（●））だけを適用して、再度平均の動き量を算出した結果を、映像振れ量算出部７において、映像振れ補正量の算出に適用する推定動き量１０７と見なす。図中で太点線で表記される動き量が該当する。
【００４７】
このとき、推定動き量の算出から除外することによって、実質的な動き量の時間的な間隔が不定期になるため、動き量推定部６では、時間間隔に応じた重み付けを加えて最終的な推定動き量１０７を算出することで、動き量の誤差を抑制することができる。また、映像フレームそのものの間隔、いわゆる映像のフレームレートが一定ではない場合も同様に映像フレームの時間間隔に応じた重み付けを加えて最終的な推定動き量１０７を算出することで、動き量の誤差を抑制できる。
【００４８】
以上のようにして、各映像フレームから算出した動き量から、近接する映像フレームの動き量が一定の範囲から外れた動き量を除外した動き量によって、撮影者が意図したであろう理想の動きをより高い精度で推定することが可能となり、不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００４９】
以上説明したように、実施の形態３の映像振れ補正装置によれば、動き量推定部は、各映像フレームから算出した検出動き量の時間平均を算出した推定動き量に対して、一定の範囲から外れた動き量を除外し、一定の範囲に含まれる動き量だけを適用して再度時間平均を算出して求めた推定動き量を映像振れ量算出部への出力とするようにしたので、推定動き量の誤差を抑制することができ、精度の高い補正を行うことができる。
【００５０】
また、実施の形態３の映像振れ補正装置によれば、動き量推定部は、各映像フレームから算出した検出動き量の時間平均を算出した推定動き量に対して、一定の範囲から外れた動き量を除外し、当該一定の範囲に含まれる動き量だけを適用して再度時間平均を算出して推定動き量を算出するとき、再度の算出対象に含まれる映像フレームの時間的な間隔を重み付けして推定動き量を算出するようにしたので、さらに推定動き量の誤差を抑制することができる。
【００５１】
また、実施の形態３の映像振れ補正装置によれば、動き量推定部は、各映像フレームから算出した検出動き量に対して、各映像フレームの時間的な間隔を重み付けして推定動き量を求めるようにしたので、映像のフレームレートが一定ではないといった場合でも推定動き量の誤差を抑制することができる。
【００５２】
実施の形態４．
図１２は、この発明の実施の形態４による映像振れ補正装置を示す構成図である。
図示の映像振れ補正装置は、映像フレーム管理部１、映像フレームバッファ２、動き量検出部３、動き量保存部４、動き量管理テーブル５、動き量推定部６ａ、映像振れ量算出部７ａ、映像フレーム補正部８、平均動き量検出部９、平均動き量保存部１０、平均動き量管理テーブル１１を備えている。ここで、映像フレーム管理部１〜動き量管理テーブル５、映像フレーム補正部８については図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
【００５３】
平均動き量検出部９は、動き量保存部４から出力される評価対象動き量１０５を用いて当該映像フレームの平均の動き量を検出する処理部であり、平均動き量１１０は、平均動き量検出部９が算出した当該映像フレームに対する平均動き量を示す値である。平均動き量保存部１０は、平均動き量検出部９で検出した平均動き量１１０を保持し、当該映像フレームの最終的な理想の動き量を推定する処理タイミングに合わせて保持した平均動き量である評価対象平均動き量１１１を出力する処理部である。平均動き量管理テーブル１１は、平均動き量保存部１０の制御で理想の動き量の推定タイミングまで映像フレームの平均動き量を保持する平均動き量管理テーブルである。また、動き量推定部６ａは、平均動き量保存部１０から出力された評価対象平均動き量１１１を用いてさらに時間平均を行って推定動き量を算出し、映像振れ量算出部７ａは、動き量推定部６ａから出力された推定動き量１０７ａと、動き量保存部４の遅延検出動き量１０６とに基づいて、映像振れ量を算出するよう構成されている。
【００５４】
次に、実施の形態４の動作について説明する。
映像揺れ補正装置は、実施の形態１と同様にして、当該映像フレームに対する動き量を算出して動き量管理テーブル５に保存する。平均動き量検出部９は、動き量保存部４が管理する動き量管理テーブル５に保持された各映像フレームの動き量から平均の動き量を算出するのに必要な動き量となる評価対象動き量１０５を順次取り込んで、動き量の平均的な遷移を平均動き量１１０として算出する。
【００５５】
動き量推定部６ａは、平均動き量保存部１０が管理する平均動き量管理テーブル１１に保持された各映像フレームに対する平均の動き量から撮影者が本来意図したであろう理想の動きを推定に必要な動き量となる評価対象平均動き量１１１を順次取り込んで、動き量の理想的な遷移を推定動き量１０７ａとして算出する。
【００５６】
図１３は各映像フレームから算出した検出動き量１０４の遷移と、その平均の動き量に対してさらに平滑化を実施した場合の推定動き量１０７ａを示している。図に記載できるように一例として便宜上、垂直方向の一方向の動きを示しており、菱形（図中で◆）で示す線が検出動き量１０４で、四角（図中で■）で示す線が検出動き量の平均の動き量（実施の形態１の推定動き量１０７に相当する）で、白丸（図中で○）で示す線が平均の動き量を平滑した推定動き量１０７ａを意味している。ここで適用する各映像フレームの動き量は先に述べた各映像フレームの平均の動き量に対して一定の範囲から外れて動き量を除外して重み付けた動き量であっても良いし、時間的間隔を考慮して重み付けした動き量であっても良い。そして、図中、矢印で示される検出動き量１０４と推定動き量１０７ａの差（○と◆の位置の差）が映像補正量１０８となる。
【００５７】
そして、実施の形態１と同様にして、映像振れ量算出部７ａは、動き量推定部６ａで推定した当該映像フレームの理想の動き量である推定動き量１０７ａと、動き量検出部３が算出して動き量保存部４が動き量管理テーブル５に保持している当該映像フレームの動き量について平均動き量検出部９、および動き量推定部６ａでの推定に要する時間分だけ遅延させて取り出した遅延検出動き量１０６とを比較して、当該映像フレームの理想の動き量から外れた不要な動きを算出する。当該映像フレームに対する不要な動きを取り除くための指標となる映像補正量１０８を算出する。
【００５８】
映像フレーム補正部８では、映像振れ量算出部７ａで算出した当該映像フレームに対する映像補正量１０８をもとに、映像フレーム管理部１が映像フレームバッファ２に保持している当該映像フレームを動き量検出部３、平均動き量検出部９、動き量推定部６ａ、および映像振れ量算出部７ａの各処理部に要する時間分だけ遅延させて取り出した遅延映像信号１０３を補正して補正済み映像信号１０９を生成する。
【００５９】
以上のようにして、各映像フレームから算出した動き量から算出した平均の動き量に対して、さらに平滑化することによって、撮影者が意図したであろう理想の動きをより高い精度で推定することが可能となり、不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００６０】
以上説明したように、実施の形態４の映像振れ補正装置によれば、各映像フレームから算出した検出動き量を時間平均した平均動き量を算出する平均動き量検出部を備え、動き量推定部は、動き量保存部で保存した検出動き量の経過に代えて、平均動き量検出部で算出された平均動き量の経過に対して時間平均を算出して推定動き量を算出するようにしたので、精度の高い推定動き量が得られ、従って、高精度の補正を行うことができる。
【００６１】
実施の形態５．
実施の形態５による映像振れ補正装置の図面上の全体構成は図１２に示す実施の形態４と同様であるが、平均動き量検出部の内部構成に違いがあり、その平均動き量検出部９０の構成を図１４に示す。
平均動き量検出部９０は、動き量の遷移に応じて平均を算出する期間を調整する機能を有し、動き量変動周期推定部９１、変動周期内平均動き量算出部９２を備えている。動き量変動周期推定部９１は、動き量保存部４が管理する動き量管理テーブル５に保持された各映像フレームの動き量から平均の動き量を算出するのに必要な動き量となる評価対象動き量１０５を順次取り込んで、動き量が変動する周期を推定する処理部である。変動周期内評価対象動き量９１０は、動き量変動周期推定部９１で判断した動き量の変動範囲内に含まれて平均の動き量の算出に適用する動き量である。変動周期内平均動き量算出部９２は、変動周期内評価対象動き量９１０を適用して当該映像フレームの平均の動き量を算出する処理部であり、出力される平均動き量１１０ａは、変動周期内平均動き量算出部９２で算出した当該映像フレームの平均の動き量である。
【００６２】
次に、実施の形態５の動作について説明する。
図１５は各映像フレームから算出した検出動き量１０４の遷移と、その平均の動き量を算出する範囲の違いによる推定動き量への影響を示している。図に記載できるように一例として便宜上、垂直方向の一方向の動きを示しており、菱形（図中で◆）で示す線が検出動き量１０４である。説明のための一例として、図１４で挙げたような映像フレームの動き量であった場合に、四角（図中で■）で示す線が検出動き量を当該映像フレームから前後１５フレーム分を評価対象動き量１０５として算出した平均の動き量で、黒三角（図中で▲）で示す線が同じく前後２２フレーム分を評価対象動き量１０５として算出した平均の動き量で、黒丸（図中で●）で示す線が同じく前後３０フレーム分を評価対象動き量１０５として算出した平均の動き量である。
【００６３】
図１５を見れば明らかなように、映像フレームの平均を算出する期間を長くする方が、平均の動き量の遷移が変化する幅が小さくなっていくが、図中（Ａ）、（Ｂ）、（Ｃ）で示す辺りでは、もともとの映像フレームの動き量とは逆の方向に平均の動き量が変化している。平均を算出する期間の長短にかかわらず発生しており、これは映像フレームの動き量が上下に遷移している振幅している状態に対して平均を算出する期間の中に動き量が上下するピークがどの程度含まれるかに起因する課題である。
【００６４】
そこで平均動き量検出部９０では、動き量変動周期推定部９１において図１６のように、まずは映像フレームの動き量について固定の期間分を取り込んで、その動き量の変動状況を探索し、ピークの位置を特定する。そして、たとえば下限のピークから次の下限のピークまでがその時点での動き量の変動の１周期と判定し、その動き量の変動の１周期に含まれる動き量を変動周期内評価対象動き量９１０として出力する。変動周期内平均動き量算出部９２は変動周期内評価対象動き量９１０に含まれる動き量から当該映像フレームの動きの平均を算出して当該映像フレームの平均動き量１１０ａを出力する。
【００６５】
このとき、動き量の遷移のピークを取り上げて変動の１周期を図示しているが、ピークの途中にあたる動き量を有する映像フレームの場合は、次のピークで定まる期間に入るまで固定の周期の幅で扱っても良いし、当該映像フレームの位置を周期中の０°（中央）とした場合、±１８０°の位相に相当する範囲となるように周期の幅を適応的に決定していっても良い。
【００６６】
さらに、動き量の遷移のピークからピークへの変動幅を推定する際に、下限のピークから次の上限のピークまでの時間、あるいは上限のピークから下限のピークまでの時間が動き量の遷移の変動の半周期に相当することになる。この半周期分の期間幅の判定結果をもって、次に来るであろう逆の遷移にあたる次の半周期分も同一の期間幅であると仮定して、半周期分の推定結果で１周期分の期間を判断しても良い。
また、動き量の遷移のピークからピークへの変動幅を推定する際に、下限のピークから次の上限のピークに向かう上昇曲線、または上限のピークから次の下限のピークへ向かう下降曲線の状況からピークの大きさを推定して、ピークに到達する前に１周期分の期間を判断しても良い。
【００６７】
以上のようにして、各映像フレームから算出した動き量に対して、動き量の変動の周期に応じて平均の動き量を算出することで、撮影者が意図したであろう理想の動きをより高い精度で推定することが可能となり、不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００６８】
以上説明したように、実施の形態５の映像振れ補正装置によれば、各映像フレームから算出した検出動き量に対して、動き量の変動のピークからピークまでの周期を検出し、ピーク周期に応じて時間平均を算出する期間を適応的に変化させて検出動き量の時間平均を算出する平均動き量検出部を備え、動き量推定部は、動き量保存部で保存した検出動き量の経過に代えて、平均動き量検出部の平均動き量に基づいて推定動き量を算出するようにしたので、精度の高い推定動き量が得られ、従って、高精度の補正を行うことができる。
【００６９】
また、実施の形態５の映像振れ補正装置によれば、平均動き量検出部は、各映像フレームから算出した検出動き量に対して、動き量の変動において、次の上限へのピークに向けた上昇段階、あるいは次の下限へのピークに向けた下降段階の初期段階の変化量から、動き量の変動のピークの大きさを推定して、次のピークまでの周期を推定するようにしたので、精度の高い平均動き量が得られ、従って、高精度の補正を行うことができる。
【００７０】
実施の形態６．
図１７は、この発明の実施の形態６による映像振れ補正装置を示す構成図である。
図示の映像振れ補正装置は、映像フレーム管理部１、映像フレームバッファ２、動き量検出部３ａ、動き量保存部４、動き量管理テーブル５、動き量推定部６ａ、映像振れ量算出部７ａ、映像フレーム補正部８、平均動き量検出部９ａ、平均動き量保存部１０、平均動き量管理テーブル１１、シーンチェンジ検出部１２を備えている。ここで、シーンチェンジ検出部１２、動き量検出部３ａ、平均動き量検出部９ａ以外の構成については図１２に示した実施の形態４と同様であるため、ここでの説明は省略する。
【００７１】
シーンチェンジ検出部１２は、映像信号１０１を取り込んで、隣接する映像フレームの画素値の関係からシーンチェンジを検出する処理部であり、検出したことを示すシーンチェンジ検出通知１１２を出力する。動き量検出部３ａは、シーンチェンジ検出部１２からのシーンチェンジ検出通知１１２に基づいて、シーンチェンジ前まではシーンチェンジ直前までの映像フレームに対する検出動き量１０４を出力し、シーンチェン後からはシーンチェンジ直後の映像フレームからの映像フレームに対する検出動き量１０４を出力するよう構成されている。また、平均動き量検出部９ａも同様に、シーンチェンジ検出部１２からのシーンチェンジ検出通知１１２に基づいて、シーンチェンジ前まではシーンチェンジ直前までの映像フレームに対する平均動き量１１０を出力し、シーンチェン後からはシーンチェンジ直後の映像フレームからの映像フレームに対する平均動き量１１０を出力するよう構成されている。
【００７２】
次に、実施の形態６の動作について説明する。
実施の形態６の映像揺れ補正装置は、実施の形態１〜実施の形態５と同様に、映像信号１０１を取り込んで映像フレームの動き量を検出して、以降、映像フレームの理想の動き量を算出する動作を実施していく。その際、関連のない映像に切り替わったとき、シーンチェンジ検出部１２は、一般にシーンチェンジと呼ばれる状態になったことを検出する。
【００７３】
隣接する映像フレーム間において、ブロックマッチングなどの手法によって当該映像フレームの各ブロックが過去の映像フレームのどこに合致するかを算出する際、図１８のようにシーンチェンジが発生したとき、隣接する映像フレーム間に相関のない映像となってブロックマッチングが成立せず、抽出できる動き量にも意味がない結果となる。
シーンチェンジ検出部１２では、このようなシーンチェンジを検出した場合、シーンチェンジ検出通知１１２を動き量検出部３ａおよび平均動き量検出部９ａへ通知して、当該映像フレームの動き量の算出、および平均の動き量の算出において、シーンチェンジを跨ぐように平均を算出するための期間が設定されないように制御する。
【００７４】
これにより、動き量検出部３ａや平均動き量検出部９ａでは、シーンチェンジ前まではシーンチェンジ直前までの映像フレームに対する検出動き量１０４や平均動き量１１０を出力し、シーンチェン後からはシーンチェンジ直後の映像フレームからの映像フレームに対する検出動き量１０４や平均動き量１１０を出力する。これ以外の動作は実施の形態４や実施の形態５と同様である。
【００７５】
以上のようにして、隣接する映像フレーム間の相違からシーンチェンジを検出して、各映像フレームから算出した動き量に対して、関連のない映像フレームの動きを含まないように平均の動きを算出することで、撮影者が意図したであろう理想の動きをより高い精度で推定することが可能となり、不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００７６】
以上説明したように、実施の形態６の映像振れ補正装置によれば、隣接する映像フレーム間で相関が低いシーンチェンジを検出したとき、動き量検出部は、シーンチェンジ前まではシーンチェンジ直前までの映像フレームに対する検出動き量を出力し、シーンチェン後からはシーンチェンジ直後の映像フレームからの映像フレームに対する検出動き量を出力するようにしたので、シーンチェンジを跨ぐように平均を算出するための期間が設定されるのを防ぐことができ、精度の高い検出動き量が得られ、従って、補正を高精度に行うことができる。
【００７７】
実施の形態７．
図１９は、この発明の実施の形態７による映像振れ補正装置を示す構成図である。
図示の映像振れ補正装置は、映像フレーム管理部１、映像フレームバッファ２、動き量検出部３ｂ、動き量保存部４、動き量管理テーブル５、動き量推定部６ａ、映像振れ量算出部７ａ、映像フレーム補正部８、平均動き量検出部９ａ、平均動き量保存部１０、平均動き量管理テーブル１１、シーンチェンジ検出部１２を備えている。ここで、動き量検出部３ｂ以外の構成については図１７に示した実施の形態６と同様であるため、ここでの説明は省略する。動き量検出部３ｂは、実施の形態１〜５における動き量検出部３の機能に加えて、隣接する映像フレーム間から動き量を検出する際にシーンチェンジ判定を実施するよう構成されており、シーンチェンジを検出した場合は、シーンチェンジ検出通知１１２ａを出力する。
【００７８】
次に、実施の形態７の動作について説明する。
動き量検出部３ｂでは、評価対象映像信号１０２を取り込んで隣接する映像フレーム間から当該映像フレームの動き量を算出する。その際、図２０のように映像フレームの各ブロックにおける動き量がバラバラで一定の方向性を持たない場合、隣接する映像フレーム間に相関がない、つまりシーンチェンジが発生したと判断して、シーンチェンジ検出通知１１２ａを平均動き量検出部９ａへ通知して、当該映像フレームの平均の動き量の算出において、シーンチェンジを跨ぐように平均を算出するための期間が設定されないように制御する。これ以降の動作は実施の形態６と同様である。
【００７９】
以上のようにして、各映像フレームから算出した動き量に対して、その動き量の分布から隣接する映像フレーム間の相違を識別し、画素データの変化を参照せずにシーンチェンジを検出して、関連のない映像フレームの動きを含まないように平均の動きを算出することで、撮影者が意図したであろう理想の動きをより高い精度で推定することが可能となり、不要な映像振れをそれぞれ推定し、その映像振れ分だけ映像信号を補正することで、映像信号中の不要な映像振れが取り除かれた滑らかな動きとなって閲覧しやすい映像信号への補正を実施する映像振れ補正装置を実現することができる。
【００８０】
以上説明したように、実施の形態７の映像振れ補正装置によれば、隣接する映像フレーム間の同一位置のブロックの動き量の変化の偏りを算出し、一定の偏りを満さないとき、隣接する映像フレーム間で相関が低いと見なしてシーンチェンジと判断するようにしたので、関連のない映像フレームの動きを含まないように平均の動きを算出することができ、従って、精度の高い補正を行うことができる。
【００８１】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８２】
１  映像フレーム管理部、２  映像フレームバッファ、３，３ａ，３ｂ  動き量検出部、４  動き量保存部、５  動き量管理テーブル、６，６ａ  動き量推定部、７，７ａ  映像振れ量算出部、８  映像フレーム補正部、９，９ａ，９０  平均動き量検出部、１０  平均動き量保存部、１１  平均動き量管理テーブル、１２  シーンチェンジ検出部、９１  動き量変動周期推定部、９２  変動周期内平均動き量算出部、１０１  映像信号、１０２  評価対象映像信号、１０３  遅延映像信号、１０４  検出動き量、１０５  評価対象動き量、１０６  遅延検出動き量、１０７、１０７ａ  推定動き量、１０８  映像補正量、１０９  補正済み映像信号、１１０，１１０ａ  平均動き量、１１１  評価対象平均動き量、１１２，１１２ａ  シーンチェンジ検出通知、９１０  変動周期内評価対象動き量。
【図１】
2014007579.tif 000004
【図２】
2014007579.tif 000005
【図３】
2014007579.tif 000006
【図４】
2014007579.tif 000007
【図５】
2014007579.tif 000008
【図６】
2014007579.tif 000009
【図７】
2014007579.tif 000010
【図８】
2014007579.tif 000011
【図９】
2014007579.tif 000012
【図１０】
2014007579.tif 000013
【図１１】
2014007579.tif 000014
【図１２】
2014007579.tif 000015
【図１３】
2014007579.tif 000016
【図１４】
2014007579.tif 000017
【図１５】
2014007579.tif 000018
【図１６】
2014007579.tif 000019
【図１７】
2014007579.tif 000020
【図１８】
2014007579.tif 000021
【図１９】
2014007579.tif 000022
【図２０】
2014007579.tif 000023