(57)【要約】【課題】映像シーンの切り替わり時において、再生される映像に不自然な画角変動が起きないようにする映像処理装置を提供する。【解決手段】映像処理装置が、映像データに含まれる複数のフレームをメモリ１０４から先読みし、先読みされたフレーム間の比較処理により、ベクトル振れ量を算出する。また、映像処理装置が、フレーム毎に得られる角速度センサ値に基づいて、Ｇｙｒｏ振れ量を算出する。映像処理装置が、先読みされたフレーム間で映像シーンが変更されている場合に、ベクトル振れ量から算出されるベクトル振れ量より小さい振れ量で映像シーンの変更後のフレームを補正する。【選択図】図１
2015139139.tif 000002
【特許請求の範囲】
【請求項１】
映像データに含まれる複数のフレームを記憶手段から先読みする先読み手段と、
前記先読みされたフレーム間の比較処理により、第１の振れ量を算出する第１の算出手段と、
前記フレーム毎に得られる角速度センサ値に基づいて、第２の振れ量を算出する第２の算出手段と、
前記先読みされたフレーム間で映像シーンが変更されているかを判定する判定手段と、
前記フレーム間で映像シーンが変更されていると判定された場合に、前記第１の振れ量から算出される前記第１の振れ量より小さい振れ量で前記映像シーンの変更後のフレームを補正する制御手段を備える
ことを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記第１の振れ量に１未満の所定の割合を乗じることで、前記第１の振れ量より小さい振れ量を算出する
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記制御手段は、前記フレーム間で映像シーンが変更されていないと判定された場合に、前記第１の振れ量でフレームを補正する
ことを特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項４】
前記制御手段は、前記フレーム間で映像シーンが変更されていると判定された場合に、前記第２の振れ量が規定値以下であるかを判定し、前記第２の振れ量が規定値以下であると判定された場合に、前記第１の振れ量より小さい振れ量で前記映像シーンの変更後のフレームを補正する
ことを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記制御手段は、前記フレーム間で映像シーンが変更されていると判定された場合に、前記第１の振れ量より小さい振れ量に前記第２の振れ量を加算して得られる補正量で前記映像シーンの変更後のフレームを補正する
ことを特徴とする請求項１乃至４に記載の映像処理装置。
【請求項６】
前記第１の算出手段は、前記映像データに付加されている付加情報に含まれる、前記フレームに対応する振れ量に基づいて、前記第１の振れ量を算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
【請求項７】
前記第１の算出手段は、前記フレーム間の動きベクトルに基づいて、前記第１の振れ量を算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
【請求項８】
映像データに含まれる複数のフレームを記憶手段から先読みする工程と、
前記先読みされたフレーム間の比較処理により、第１の振れ量を算出する工程と、
前記フレーム毎に得られる角速度センサ値に基づいて、第２の振れ量を算出する工程と、
前記先読みされたフレーム間で映像シーンが変更されているかを判定する工程と、
前記フレーム間で映像シーンが変更されていると判定された場合に、前記第１の振れ量から算出される前記第１の振れ量より小さい振れ量で前記映像シーンの変更後のフレームを補正する工程とを有する
ことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像記録装置で映像を記録する場合、手振れなどによるビデオカメラの振れが映像に生じて記録されることがある。特許文献１は、映像の拡大表示をすることで、表示されない領域外の映像部分を生じさせて、像振れの補正に利用するビデオ信号記録再生装置を開示している。また、特許文献２は、映像撮像時にビデオカメラの振れをセンサで検出し、振れデータを映像データと共に記録し、映像再生時に振れデータを利用して像振れを補正するビデオ再生装置を開示している。
【０００３】
また、短時間動画や静止画を一定の時間間隔で撮影し、取得した映像を連続で再生するタイムラプス動画が提案されている。タイムラプス動画は、定点撮影によって行われるが、環境によっては振動の影響を受けるものもある。したがって、タイムラプス動画の振れを補正する編集を手作業で行うか、映像処理装置が、映像再生時に振れを補正する再生防振をすることで、視聴者が見やすくなる処理がされる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−４２２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影時における装置の振れデータと、フレーム間の映像差分とを利用して、再生防振を行う映像処理装置が考えられる。しかし、この映像処理装置は、映像シーンの切り替わり時において、背景画像の変化を振れと誤って検出し、フレームを誤補正してしまうことがある。
【０００６】
図２は、フレームの誤補正を説明する図である。図２には、森、山、雲を映した風景映像が示される。映像処理装置が、雲２０１、２０２、２０３が画面中央位置にあるように像振れを補正してしまう場合と、不自然な画角変動が起こる。この場合、風景２００が、時間とともに風景２１０、風景２２０へと移り変わっていく時、山２０４や森２０５が右へ左へ動いてしまう不自然な映像となってしまう。
【０００７】
図３は、映像の正しい再生を説明する図である。
本来であれば、図３に示すように、風景３００が、時間とともに風景３１０、風景３２０と移り変わっていく時、山３０４や森３０５は動かず、雲３０１、３０２、３０３が動いて行く映像となるように再生されることが望ましい。
【０００８】
本発明は、映像シーンの切り替わり時において、再生される映像に不自然な画角変動が起きないようにする映像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態の映像処理装置は、映像データに含まれる複数のフレームを記憶手段から先読みする先読み手段と、前記先読みされたフレーム間の比較処理により、第１の振れ量を算出する第１の算出手段と、前記フレーム毎に得られる角速度センサ値に基づいて、第２の振れ量を算出する第２の算出手段と、前記先読みされたフレーム間で映像シーンが変更されているかを判定する判定手段と、前記フレーム間で映像シーンが変更されていると判定された場合に、前記第１の振れ量から算出される前記第１の振れ量より小さい振れ量で前記映像シーンの変更後のフレームを補正する制御手段を備える。
【発明の効果】
【００１０】
本発明の映像処理装置によれば、定点撮影された動画の連続再生時に、映像シーンの切り替わり時の誤った像振れ補正を防止して、再生される映像に不自然な画角変動が起きないようにすることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の映像処理装置の構成例を示す図である。
【図２】フレームの誤補正を説明する図である。
【図３】映像の正しい再生を説明する図である。
【図４】映像処理装置による像振れ補正処理を説明するフローチャートである。
【図５】映像処理装置による像振れ補正処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、本実施形態の映像処理装置の構成例を示す図である。
本実施形態の映像処理装置は、ビデオ再生部１００を備える。ビデオ再生部１００は、映像データに含まれるフレームを先読みし、補正して再生出力する。ビデオ再生部１００は、映像シーンの切り替わり時に行う再生防振処理における不要な防振制御を行わないことで、再生される映像に不自然な画角変動が起きないようにする。
【００１３】
ビデオ再生部１００は、記録メディア１０１乃至マイクロコンピュータ（マイコン）１１０を備える。マイコン１１０は、フレーム先読み部１１１、シーン切替判定部１１２、Ｇｙｒｏ情報抽出部１１３、ベクトル振れ算出部１１４、Ｇｙｒｏ振れ算出部１１５、振れ補正部１１６を備える。
【００１４】
記録メディア１０１には、映像データが記録されている。この例では、映像データには、手振れの情報及び映像のシーン番号がメタデータとして付加されている。この例では、手振れの情報は、Ｇｙｒｏ情報、すなわち角速度センサ値であるものとする。なお、手振れの情報及び映像のシーン番号が、映像データへの付加ではなく、映像データとは別に記録されていてもよい。
【００１５】
ドライブユニット１０２は、記録メディア１０１から、映像データとメタデータとを取得する。復号化ユニット１０３は、記録制御部１０１が取得した映像データを復号化し、復号化されたデジタルビデオ信号をメタデータと共にメモリ１０４へ出力する。
【００１６】
メモリ１０４は、復号化された映像データを所定時間分（例えば数秒分）記憶しておく。メモリ１０４に数秒分の映像データを記憶しておくことにより、表示装置１０６に出力されている再生画像（再生中の画像）に対して時間的に先となる画像をメモリ１０４から得る（先読みする）ことが可能となる。
【００１７】
画像処理部１０５は、マイコン１１０の処理により決定された切り出し位置及び切り出しサイズに従って映像データを再生する。具体的には、画像処理部１０５は、映像データが表す映像を構成する複数の単位画像（この例では、フレーム）それぞれについて、単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部１０５は、切り出した画像に対して電子ズームを施し、表示装置１０６へ出力する。なお、映像を構成する単位画像が、フィールド画像であってもよい。表示装置１０６は、出力された画像を順次表示することによって、映像を表示する。
【００１８】
フレーム先読み部１１１は、メモリ１０４に記憶されたデジタル画像から、複数のフレームを時系列に抽出する（先読みする）。先読みするフレーム数は、予め決められている。シーン切替判定部１１２は、抽出されたフレームに基づいて、映像シーンが切り替わったかを判定する。具体的には、シーン切替判定部１１２は、フレームに対応するメタデータに記録されているシーン番号に基づいて、映像シーンが切り替わったかを判定する。フレーム先読み部１１１により得られた、時系列に並んだ複数のフレームに、シーン番号が異なるフレームが含まれる場合、シーン切替判定部１１２は、映像シーンが切り替わったと判定する。
【００１９】
ベクトル振れ算出部１１４は、第１の算出手段として機能する。具体的には、ベクトル振れ算出部１１４は、先読みされた複数のフレームのうち、現在出力するフレームの前後のフレーム間での比較処理によって、動きベクトルを検出し、検出した動きベクトルに基づいて、フレームのベクトル振れ量（第１の振れ量）を算出する。当該ベクトル振れ量に係る振れのことを、以下ではベクトル振れと記述する。
【００２０】
Ｇｙｒｏ抽出部１１３は、フレーム先読み部１１１により先読みされたフレーム毎に、Ｇｙｒｏ情報を抽出する。Ｇｙｒｏ振れ算出部１１５は、第２の算出手段として機能する。具体的には、Ｇｙｒｏ振れ算出部１１５は、現在出力するフレームの前後のフレーム間で、Ｇｙｒｏ情報を比較し、比較結果に基づいて、Ｇｙｒｏ振れ量（第２の振れ量）を算出する。
【００２１】
振れ補正部１１６は、ベクトル振れ量とＧｙｒｏ振れ量とに基づいて、像振れの補正を行う。像振れの補正処理は、出力フレームの振れを補正するように、切り出し位置と切り出しサイズを算出し、画像処理部１０５へ通知する処理のことである。振れ補正部１１６が、Ｇｙｒｏ振れ量の大きさに応じて、ベクトル振れ量に１未満の所定の割合を乗じて得られる振れ量で像振れの補正を行ってもよい。この処理については、実施例１で述べる。また、振れ補正部１１６が、ベクトル振れ量に１未満の所定の割合を乗じて得られる振れ量に、Ｇｙｒｏ振れ量を加算することで算出される振れ量で像振れの補正を行ってもよい。この処理については、実施例２で述べる。
【００２２】
（実施例１）
図４は、実施例１の映像処理装置による像振れ補正処理を説明するフローチャートである。
ビデオ再生部１００が映像データの再生を開始すると、本フローチャートの処理が開始する。まず、マイコン１１０が、メモリ１０４から、予め定められたフレーム分を時系列に抽出する（ステップＳ４０１）。
【００２３】
次に、マイコン１１０が、出力フレームが直前のフレームと同一の映像シーンであるかを判定する（ステップＳ４０２）。出力フレームが直前のフレームと同一の映像シーンである場合は、処理がステップＳ４０３に進む。そして、マイコン１１０が、ステップＳ４０３で先読みしたフレームに基づいて、出力フレーム前後のベクトル振れ量を算出する（ステップＳ４０３）。
【００２４】
次に、マイコン１１０が、ステップＳ４０３で算出されたベクトル振れ量を補正対象の振れ量とする（ステップＳ４０９）。続いて、マイコン１１０が、補正対象の振れ量を収束させるための切り出し位置とサイズとを算出する（ステップＳ４１１）。そして、ビデオ再生部１００が、算出された切り出し位置とサイズでフレームを出力し（ステップＳ４１２）、処理がステップＳ４０１に戻る。
【００２５】
ステップＳ４０２の判定処理で、出力フレームが直前のフレームと異なる映像シーンであり、映像シーンが変更されたと判定された場合には、処理がステップＳ４０４に進む。そして、マイコン１１０が、時系列に隣り合う前後の各フレーム間の映像を比較して、ベクトル振れ量を算出する（ステップＳ４０４）。具体的には、マイコン１１０は、フレーム間の動きベクトルに基づいて、ベクトル振れ量を算出する。なお、映像データに、付加情報として各々のフレームに対応する振れ量が付加されている場合には、マイコン１１０が、この付加情報に含まれる振れ量をフレーム間で比較することで、ベクトル振れ量を算出するようにしてもよい。
【００２６】
次に、マイコン１１０が、時系列に隣り合う前後の各フレーム間のＧｙｒｏ情報を比較して、Ｇｙｒｏ振れ量を算出する（ステップＳ４０５）。続いて、マイコン１１０が、算出されたＧｙｒｏ振れ量が予め定められた規定値以下であるかを判定する（ステップＳ４０６）。
【００２７】
Ｇｙｒｏ振れ量が規定値以下であることは、手振れが無いにも関わらず、映像の振れが発生していることを意味し、マイコン１１０が、背景の移動物を認識している可能性がある。したがって、Ｇｙｒｏ振れ量が規定値以下である場合には、マイコン１１０は、ステップＳ４０４で算出したベクトル振れ量を、予め決められた割合「Ａ」で乗算する。この例では、割合「Ａ」は、１未満の値に設定される。これにより、ステップＳ４０４で算出したベクトル振れ量より小さい振れ量が算出される。マイコン１１０が、当該算出された振れ量を補正対象の振れ量とし（ステップＳ４０７）、処理がステップＳ４１１に進む。ステップＳ４０７の処理で算出された振れ量で、映像シーンの変更後のフレームが補正される。なお、割合「Ａ」は０であってもよく、その場合は振れを補正しないことを意味する。
【００２８】
ステップＳ４０６の判定処理で、Ｇｙｒｏ振れ量が規定値以下でない場合は、処理がステップＳ４０８に進む。そして、マイコン１１０が、ステップＳ４０４で算出したベクトル振れ量を、補正対象の振れ量とし（ステップＳ４０８）、処理がステップＳ４１１に進む。
【００２９】
実施例１の映像処理装置によれば、映像シーンが切り替わった場合に、フレーム間の映像差分に基づく補正量（ベクトル振れ補正量）を小さく設定した上で像振れ補正を行う。特に、映像処理装置は、Ｇｙｒｏ振れ量の大きさに応じて、実際に手振れがあったかを確認した上で、手振れがない場合には、ベクトル振れ補正量を小さく設定する（図４のＳ４０６，Ｓ４０７）。すなわち、実施例１の映像処理装置によれば、フレーム間の映像差分を誤って振れと検出することがなくなるので、映像シーンの切り替わり時に、不自然な画角変動が起きることがない。
【００３０】
（実施例２）
図５は、実施例２の映像処理装置による像振れ補正処理を説明するフローチャートである。
ステップＳ５０１乃至Ｓ５０５は、図４のステップＳ４０１乃至Ｓ４０５と同様である。ステップＳ５０４、Ｓ５０５は、それぞれ、図４のステップＳ４０４、Ｓ４０５と同様である。また、ステップＳ５０７、Ｓ５０８、Ｓ５０９は、それぞれ、図４のステップＳ４０９、Ｓ４１１、Ｓ４１２と同様である。
【００３１】
実施例２では、ステップＳ５０６において、マイコン１１０が、ステップＳ５０４で算出したベクトル振れ量を、予め決められた割合「Ａ」で乗算する。この例では、割合「Ａ」は、１未満の値に設定される。これにより、ステップＳ４０４で算出したベクトル振れ量より小さい振れ量が算出される。マイコン１１０が、当該算出された振れ量に、ステップＳ５０５で算出されたＧｙｒｏ振れ量を加算して得られる振れ量を補正対象の振れ量とし、処理がステップＳ５０８に進む。これにより、映像シーンが別の映像シーンに切り替わった直後の出力フレームにおいて、誤った再生防振処理が起きないようにすることができる。
【００３２】
以上、本発明をその好適な実施例に基づいて説明したが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。
【００３３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００３４】
１００  ビデオ再生部
１１０  マイコン
【図１】
2015139139.tif 000003
【図２】
2015139139.tif 000004
【図３】
2015139139.tif 000005
【図４】
2015139139.tif 000006
【図５】
2015139139.tif 000007