(57)【要約】【課題】本発明は、画像処理方法及び画像処理装置に関し、特にスローモーション再生に係るビデオ信号の処理に適用して、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができるようにする。【解決手段】本発明は、スローモーション再生によるビデオ信号から繰り返しのフィールド又はフレームを検出し、動きベクトルＶ（Ｖ１、Ｖ２、Ｖ３）を用いてこれらのフィールド又はフレームに対応するビデオデータを生成して置き換える。【選択図】　　　　図１
2004129098.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータの繰り返しのフィールド又はフレームを検出して検出結果を得、
前記ビデオデータの動きベクトルを検出し、
前記検出結果に基づいて、前記動きベクトルを用いて前記ビデオデータを補正して、前記繰り返しのフィールド又はフレームに対応するビデオデータを生成し、前記検出結果に基づいて、前記検出の処理に供したビデオデータに代えて出力する
ことを特徴とする画像処理方法。
【請求項２】
ビデオデータの繰り返しのフィールド又はフレームを検出して検出結果を出力する動き検出回路と、
前記ビデオデータの動きベクトルを検出する動きベクトル検出回路と、
前記検出結果に基づいて、前記動きベクトルを用いて前記ビデオデータを補正して、前記繰り返しのフィールド又はフレームに対応するビデオデータを生成するビデオデータ生成回路とを備え、
前記検出結果に基づいて、前記検出回路に入力されたビデオデータと、前記ビデオデータ生成回路で生成されたビデオデータとを選択的に出力する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及び画像処理装置に関し、特にスローモーション再生に係るビデオ信号の処理に適用することができる。本発明は、スローモーション再生に係るビデオ信号から繰り返しのフィールド又はフレームを検出し、動きベクトルを用いてこれらのフィールド又はフレームに対応するビデオデータを生成して置き換えることにより、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができるようにする。
【０００２】
【従来の技術】
従来、放送局等においては、ビデオテープレコーダのスローモーション再生により時間軸を伸長したスローモーションによるビデオ信号を出力するようになされている。
【０００３】
このようなビデオテープレコーダにおいては、例えば特開平５−２０７４２０号公報等に提案されているように、同一フィールドのビデオ信号を繰り返し再生して出力することにより、スローモーション再生するようになされている。
【０００４】
【特許文献１】
特開平５−２０７４２０号公報
【０００５】
【発明が解決しようとする課題】
ところでこのようにして得られるスローモーションによるビデオ信号においては、同一フィールドの繰り返しにより時間軸が引き延ばされていることにより、動きがぎくしゃくする問題がある。
【０００６】
この問題を解決する１つの方法として、メモリ等の記録手段にビデオ信号を記録して保持し、再生速度に応じてこの保持したビデオ信号を処理して出力する方法が考えられる。より具体的には、記録手段に記録したビデオ信号のフィールド間で動きベクトルを検出し、この動きベクトルを基準にして再生速度に応じて記録手段に記録したビデオ信号を動き補正して出力する方法である。このような動きベクトルを用いたビデオ信号の処理によれば、動きの滑らかなスローモーション画像を表示できると考えられる。
【０００７】
しかしながらこの方法の場合、スローモーションに係る映像を予め記憶することが必要なことにより、記録手段の容量が膨大になる問題がある。具体的に、例えばＳＤＴＶ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｔｉｏｎ　ＴｅｌｅＶｉｓｉｏｎ　）の１０ビットによるディジタルコンポーネント信号を１０秒分記録する場合、２０ビット×７２０画素×４８０ラン×３０フレーム×１０秒≒２〔Ｇ〕となり、２〔Ｇ〕以上の容量が必要になる。
【０００８】
因みに、記録する容量が少なくなると、その分、予めスローモーションに供する箇所を厳密に決めておく必要があり、操作性が著しく劣化する問題がある。
【０００９】
本発明は以上の点を考慮してなされたもので、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができる画像処理装置及び画像処理方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、画像処理方法に適用して、ビデオデータの繰り返しのフィールド又はフレームを検出して検出結果を得、前記ビデオデータの動きベクトルを検出し、前記検出結果に基づいて、前記動きベクトルを用いて前記ビデオデータを補正して、前記繰り返しのフィールド又はフレームに対応するビデオデータを生成し、前記検出結果に基づいて、前記検出の処理に供したビデオデータに代えて出力する。
【００１１】
また請求項２の発明においては、画像処理装置に適用して、ビデオデータの繰り返しのフィールド又はフレームを検出して検出結果を出力する動き検出回路と、前記ビデオデータの動きベクトルを検出する動きベクトル検出回路と、前記検出結果に基づいて、前記動きベクトルを用いて前記ビデオデータを補正して、前記繰り返しのフィールド又はフレームに対応するビデオデータを生成するビデオデータ生成回路とを備え、前記検出結果に基づいて、前記検出回路に入力されたビデオデータと、前記ビデオデータ生成回路で生成されたビデオデータとを選択的に出力する。
【００１２】
請求項１の構成によれば、画像処理方法に適用して、ビデオデータの繰り返しのフィールド又はフレームを検出して検出結果を得、前記ビデオデータの動きベクトルを検出し、前記検出結果に基づいて、前記動きベクトルを用いて前記ビデオデータを補正して、前記繰り返しのフィールド又はフレームに対応するビデオデータを生成し、前記検出結果に基づいて、前記検出の処理に供したビデオデータに代えて出力することにより、スローモーション再生による繰り返しのフィールド又はフレームに係るビデオデータを、動きベクトルを用いて動き補正したビデオデータで置き換えて出力することができる。これによりビデオテープレコーダ等のスローモーション再生機能を有効に利用して、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができる。
【００１３】
これにより請求項２の構成によれば、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができる画像処理装置を提供することができる。
【００１４】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１５】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る画像処理装置を示すブロック図である。この画像処理装置１は、ビデオテープレコーダ（ＶＴＲ）２からＳＤＩ（Ｓｅｒｉａｌ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）信号によるディジタルビデオ信号Ｓ１を入力し、このディジタルビデオ信号Ｓ１がスローモーション再生によるビデオ信号の場合、動きベクトルにより補正して出力するのに対し、このディジタルビデオ信号Ｓ１がスローモーション再生によるディジタルビデオ信号でない場合、このディジタルビデオ信号Ｓ１を何ら処理することなく出力する。なおこの画像処理装置１においては、図１に示す各回路ブロックにタイミング調整用のメモリ回路が適宜配置されているが、以下の説明においては、このメモリ回路については、説明を省略する。
【００１６】
すなわちこの画像処理装置１において、直並列変換回路３は、ディジタルビデオ信号Ｓ１を順次シリアルパラレル変換処理し、輝度信号、色差信号、同期信号に分離して出力する。
【００１７】
動き検出回路４は、この直並列変換回路３から出力される輝度信号、色差信号によるビデオデータＳ２を順次入力し、このビデオデータＳ２によるフィールドについて、スローモーション再生に係る繰り返しのフィールドかを検出する。具体的に、動き検出回路４は、連続するフィールド間で動きの有無を判定することにより、このような繰り返しのフィールドを検出する。なおこのような動きの有無の検出においては、連続するフィールドの対応する画素間における画素値の差分値を絶対値化した後、フィールド単位で加算して判定する方法、動きベクトル検出単位であるマクロブロック単位で検出される動きベクトルをフィールド単位で集計して判定する方法等、種々の判定方法を広く適用することができる。なおこのような動きベクトルを利用した判定においては、後述する動きベクトル検出回路の処理結果を利用するようにしてもよく、この場合、全体構成を一段と簡略化することができる。
【００１８】
これにより図２に示すように、例えばディジタルビデオ信号Ｓ１が１／４倍速のスローモーション再生によるビデオ信号の場合、動き検出回路４は、直前のフィールドを繰り返してなる繰り返しのフィールドで信号レベルが立ち上がる判定信号ＳＪを出力するようになされている。なおこの図２の例では、ビデオ信号Ｓ１の実時間により連続するフィールドを符号ａ、ｂ、ｃ、ｄ、……により示す。これにより図２（Ａ）の先頭の符号ａ、ａ、ａ、ａの連続は、同一のフィールドが４回、繰り返されていることを示すものである。
【００１９】
動きベクトル検出回路５は、直並列変換回路３から出力される輝度信号、色差信号によるビデオデータＳ２を順次入力し、連続するフィールド間で、動きベクトルを検出する。ここでスローモーション再生によるビデオ信号においては、実時間による再生で連続するフィールド間に、再生速度に応じた枚数の同一フィールドが繰り返されていることになる。これにより動きベクトル検出回路５は、スローモーション再生よる繰り返しのフィールドについては、全てのマクロブロックでほぼ値０の動きベクトルを検出するのに対し、このような繰り返しのフィールドでは無いフィールドにおいては（以下、単に繰り返しでは無いフィールドと呼ぶ）、動きのあったマクロブロックで動きに対応する値の動きベクトルを検出するようなされている。なお動きベクトルの検出方法にあっては、勾配法、ブロックマッチング法等、種々の手法を適用することができる。
【００２０】
動きベクトル計算回路６は、動き検出回路４の判定結果に基づいて、動きベクトル検出回路５で検出された動きベクトルを選択的に取得して処理することにより、繰り返しのフィールドの動きベクトルを計算して出力する。すなわち図２（Ａ）との対比により図３（Ａ）に示すように、スローモーション再生によるビデオ信号においては、実時間による再生で連続するフィールド間に、再生速度に応じた枚数の同一フィールドが繰り返されていることにより、繰り返しでは無いフィールドｂにおいて、有為な動きベクトルＶが検出される。スローモーション再生のビデオ信号においては、これによりこの繰り返しでは無いフィールドで急に画像が変化し、これにより動きがぎくしゃくとする。なお図３において、動きベクトルの検出単位による被写体の一部領域を示し、図２（Ａ）に用いた符号を用いて、各フィールドにおけるこの一部領域の動きを示すものである。
【００２１】
動きベクトル計算回路６は、これにより繰り返しでは無いフィールドで検出された動きベクトルＶを選択的に取得し、この動きベクトルを用いて繰り返しのフィールド数により直線補間することにより、図３（Ｂ）に示すように、各繰り返しのフィールドにおける動きベクトルＶ１、Ｖ２、Ｖ３を計算する。なおこの動きベクトルＶ１、Ｖ２、Ｖ３においては、直線補間に代えて、非線型補間等、種々の補間方法を広く適用することができる。因みに、補間方法によっては、このように繰り返しのフィールドの前後のフィールド間における動きベクトルに加えて、さらに前後の繰り返しでは無いフィールドで検出される動きベクトルを処理に加えることになる。
【００２２】
動き補正回路８は、動き検出回路４の判定結果に基づいて、直並列変換回路３から出力される輝度信号、色差信号によるビデオデータＳ２を順次入力し、このビデオデータＳ２が繰り返しでは無いフィールドの場合、そのまま出力する。これによりこの画像処理装置１では、ビデオテープレコーダ２から出力されるビデオ信号がスローモーション再生によるビデオ信号では無い場合、入力されたビデオ信号Ｓ１を何ら処理することなく、そのまま出力するようになされている。
【００２３】
また動き補正回路８は、このようにして入力したビデオデータをメモリに保持し、動き検出回路４の検出結果に基づいて、動きベクトル計算回路６で計算された動きベクトルＶ１、Ｖ２、Ｖ３により動き補正し、これにより繰り返しのフィールドに対応するビデオデータ（図２（Ｃ）及び図３（Ｂ）において、符号Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３、……により示す）を動き補正により生成する。動き補正回路８は、このようにして生成したビデオデータを、ビデオデータＳ２に代えて出力する。
【００２４】
並直列変換回路９は、このようにして動き補正回路８から出力されるビデオデータに同期信号を付加した後、パラレルシリアル変換して出力する。
【００２５】
（２）実施の形態の動作
以上の構成において、この画像処理装置１では、ビデオテープレコーダ２から出力されるＳＤＩ信号によるディジタルビデオ信号Ｓ１が、直並列変換回路３に入力され、ここで輝度信号及び色差信号によるビデオデータＳ２が分離される。このビデオデータＳ２は、動き検出回路４において、連続するフィールド間で動きが検出され、動きの無いフィールド、すなわちスローモーション再生に係る繰り返しのフィールドが検出される（図１及び図２）。
【００２６】
またこのビデオデータＳ２は、動きベクトル検出回路５において、連続するフィールド間で動きベクトルＶが検出され、この動きベクトルＶが、動きベクトル計算回路６において、動き検出回路４の検出結果ＳＪに基づいて、スローモーション再生に係る繰り返しのフィールドに順次分配されて、この繰り返しのフィールドに係る動きベクトルＶ１、Ｖ２、Ｖ３が順次計算される。さらにこのようにして計算した動きベクトルＶ１、Ｖ２、Ｖ３によりビデオデータＳ２が動き補正されて繰り返しのフィールドに対応するビデオデータが生成され、このビデオデータが繰り返しのフィールドに係るビデオデータと置き換えられて並直列変換回路９から出力される。
【００２７】
これによりこの画像処理装置１においては、ビデオテープレコーダ２におけるスローモーション再生の機能を有効に利用して、大容量の記録手段を設けなくても、ディジタルビデオ信号Ｓ１のタイミングを各回路ブロックで補正して順次処理するだけで、動きベクトルで動き補正した動きの滑らかなディジタルビデオ信号Ｓ３を出力することができ、これにより簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができる。
【００２８】
また何らスローモーション再生していないディジタルビデオ信号Ｓ１については、連続するフィールドで何らかの動きが検出されることにより、何ら処理されることなく、この画像処理装置１より出力される。これによりこの画像処理装置１においては、単に、ビデオテープレコーダ２に接続して、スローモーション再生に係る繰り返しのフィールドだけ動きを補正することができる。これによりオペレータにおいては、この画像処理装置１に関して何ら操作することなく、従来と同様に、単にビデオテープレコーダ２を操作してスローモーション再生するだけで、動きの滑らかなスローモーションによる映像を得ることができ、その分、使い勝手を向上することができる。
【００２９】
（３）実施の形態の効果
以上の構成によれば、スローモーション再生によるビデオ信号から繰り返しのフィールドを検出し、動きベクトルを用いてこれらのフィールドに対応するビデオデータを生成して置き換えることにより、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができるようにする。
【００３０】
（４）他の実施の形態
なお上述の実施の形態においては、ＳＤＩ信号によるディジタルビデオ信号を処理する場合について述べたが、本発明はこれに限らず、アナログ信号によりビデオ信号をアナログディジタル変換処理して処理する場合等、種々のビデオ信号を広く適用することができる。
【００３１】
また上述の実施の形態においては、ビデオテープレコーダから出力されるビデオ信号を処理する場合について述べたが、本発明はこれに限らず、例えばＤＶＤプレイヤー等の各種再生装置から出力されるビデオ信号を処理する場合、さらにはこのような再生装置に内蔵して再生されたビデオ信号を処理する場合等に広く適用することができる。
【００３２】
【発明の効果】
上述のように本発明によれば、スローモーション再生によるビデオ信号から繰り返しのフィールド又はフレームを検出し、動きベクトルを用いてこれらのフィールド又はフレームに対応するビデオデータを生成して置き換えることにより、大容量の記録手段を用いなくても、簡易かつ確実に動きの滑らかなスローモーションによるビデオ信号を出力することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置を示すブロック図である。
【図２】図１の画像処理装置の動作の説明に供するタイムチャートである。
【図３】動きベクトルによる動き補正の説明に供する略線図である。
【符号の説明】
１……画像処理装置、２……ビデオテープレコーダ、４……動き検出回路、５……動きベクトル検出回路、６……動きベクトル計算回路、８……動き補正回路
【図１】
2004129098.tif 000003
【図２】
2004129098.tif 000004
【図３】
2004129098.tif 000005