(57)【要約】【課題】監視カメラシステムなどでは、動画像の動きの激しい区間を詳細に確認できることが重要であるので、動きの激しい区間において動きの滑らかな再生を可能にする。【解決手段】  データ保存部１０４に、インターレース動画像のフレームデータ又はフィールドデータが保存される。動き量推定部１０１は、そのインターレース動画像の動き量を推定する。フレーム編集部１０２は、そのインターレース動画像に対し、動き量推定部１０１により推定された動き量がその基準より大きい区間では、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、また、動き量が基準より大きくない区間では、フレーム間引き処理を行う。【選択図】図１
2005136596.tif 000002
【特許請求の範囲】
【請求項１】
インターレース動画像の動き量を推定する動き量推定手段と、
インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システム。
【請求項２】
インターレース動画像の動き量を推定する動き量推定手段と、
インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、前記動き量推定手段により推定された動き量がその基準より大きくない区間で、連続した２フレーム間に前側フレーム又は後側フレームと同一のフレームを補間する処理を行うフレーム編集手段と、
を有することを特徴とする動画像処理システム。
【請求項３】
インターレース動画像の動き量を推定する動き量推定手段と、
インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、前記推定された動き量がその基準より大きくない区間でフレームの間引き処理を行うフレーム編集手段と、
を有することを特徴とする動画像処理システム。
【請求項４】
インターレース動画像の動き量を推定する動き量推定手段と、
インターレース動画像に対し、指定された出力フレームレートが入力フレームレートより大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、指定された出力フレームレートが入力フレームレートより大きくない場合にフレームの間引き処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システム。
【請求項５】
インターレース動画像を符号化する符号化手段と、
インターレース動画像の符号データを復号する復号手段と、
前記符号化手段により符号化されたインターレース動画像の符号データを通信路を通じて前記復号手段へ転送する転送手段と、
前記転送手段によるフレーム転送時間間隔及び前記復号手段によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測手段と、
前記復号手段により復号されたインターレース動画像の動き量を推定する動き量推定手段と、
前記復号手段により復号されたインターレース動画像に対し、前記時間測定手段により求められたフレーム時間間隔がその基準より大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うフレーム編集手段と、
を有することを特徴とする動画像処理システム。
【請求項６】
インターレース動画像の符号データは階層構造を持つ符号データであり、
前記時間測定手段により求められたフレーム時間間隔がその基準より大きいフレームに関しては、前記復号手段で復号処理が最下位階層まで完了する前であってもフレームのデータを生成させるように前記復号手段を制御する手段をさらに有することを特徴とする請求項５に記載の動画像処理システム。
【請求項７】
前記動き量推定手段は、フレームの櫛形成分を利用して動き量を推定することを特徴とする請求項１乃至６のいずれか１項に記載の動画像処理システム。
【請求項８】
前記動き量推定手段は、インターレース動画像のフレームのデータを２次元離散ウェーブレット変換することにより得られた１ＬＨサブバンド係数の絶対値の和又は符号量の和を用いて動き量を推定することを特徴とする請求項７に記載の動画像処理システム。
【請求項９】
前記動き量推定手段は、インターレース動画像のフレームのデータを２次元離散ウェーブレット変換することにより得られた１ＬＨサブバンド係数及び１ＨＬサブバンド係数の絶対値の和又は符号量の和を用いて動き量を推定することを特徴とする請求項７に記載の動画像処理システム。
【請求項１０】
前記動き量推定手段は、フレームより小さいブロック毎に動き量の推定を行い、全ブロックに関する推定結果を総合してフレーム内の動き量を推定することを特徴とする請求項８又は９に記載の動画像処理システム。
【請求項１１】
インターレース動画像の動き量を推定する動き量推定ステップと、
前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、
インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、
を有することを特徴とする動画像処理方法。
【請求項１２】
インターレース動画像の動き量を推定する動き量推定ステップと、
前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、
インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、
インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きくないと判定された区間で、連続した２フレーム間に前側フレーム又は後側フレームと同一のフレームを補間する処理を行うステップと、
を有することを特徴とする動画像処理方法。
【請求項１３】
インターレース動画像の動き量を推定する動き量推定ステップと、
前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、
インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、
インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きくないと判定された区間でフレームの間引き処理を行うステップと、
を有することを特徴とする動画像処理方法。
【請求項１４】
インターレース動画像の動き量を推定する動き量推定ステップと、
前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、
指定された出力フレームレートが入力フレームレートより大きいか判定するフレームレート判定ステップと、
前記フレームレート判定ステップで出力フレームレートが入力フレームレートより大きいと判定された場合に、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、
前記フレームレート判定ステップで出力フレームレートが入力フレームレートより大きくないと判定された場合に、インターレース動画像に対しフレームの間引き処理を行うステップと、
を有することを特徴とする動画像処理方法。
【請求項１５】
請求項１乃至１０のいずれか１項に記載の画像処理システムの各手段として１以上のコンピュータを機能させるプログラム。
【請求項１６】
請求項１１乃至１４のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。
【請求項１７】
請求項１５又は１６に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース動画像に対し動き量を考慮した処理を行う動画像処理システムに関する。
【背景技術】
【０００２】
店舗などの各種施設や街路などに設置したビデオカメラにより撮影された動画像をディスプレイに表示し、ビデオカメラ設置場所の様子を監視する監視カメラシステムが広く普及している。また、景勝地や街路などに設置したビデオカメラで撮影した動画像をリアルタイムにインターネットなどを通じ配信するようなシステムも普及している。
【０００３】
このような動画像処理システムにおける動画像の符号化方式としてはＭＰＥＧが広く用いられているが、それに代わる符号化方式としてＭｏｔｉｏｎ−ＪＰＥＧ２０００(ISO/IEC  15444-3)が注目されている。ＭＰＥＧの動画像は主フレームと差分フレームとがあり、主フレームにエラーが生じるとその影響が他のフレームへも波及するが、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は各フレームが独立しているため、そのようなエラーの波及という問題がない。また、Ｍｏｔｉｏｎ−ＰＥＧ２０００の動画像は、フレーム単位（あるいはフィールド単位）でＪＰＥＧ２０００(ISO/IEC  15444-1)により符号化される。ＪＰＥＧ２０００は周波数変換に離散ウェーブレット変換を採用した符号化方式であり、高圧縮率でも高い画像品質を維持できるなどの多くの利点を有する。
【０００４】
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００あるいはＪＰＥＧ２０００の応用に関する公知文献としては、例えば特許文献１，２，３がある。
【０００５】
本発明においては、動画像の動き量を考慮するが、特許文献２には離散ウェーブレット変換によって得られるＬＬサブバンド係数を、フレーム間で、フレーム単位又はタイル単位で比較することにより、画像の動きを検出する方法が記載されている。また、画像の動きの検出に関連し、インターレース画像において、動きにより「櫛形」が生じる現象があるが、この現象について特許文献１，３，４，５に記載されている。
【０００６】
また、本発明においては、インターレース動画像に、必要に応じてフレームを合成し補間するフレーム編集処理が行われる。かかるフレーム編集処理と直接関係するものではないが、ＴＶ信号や映画のフレーム周波数などを変換するための映像周波数変換装置において、フィールド信号からフレーム信号を合成する方法が特許文献６に記載されている。
【０００７】
【特許文献１】特開２００１−１９７４９９号公報
【特許文献２】特開２００１−３０９３８１号公報
【特許文献３】特開２００１−３２６９３６号公報
【特許文献４】特開２００２−６４８３０号公報
【特許文献５】特開２００２−２７１７８９号公報
【特許文献６】特開２００２−３００５３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
例えば、監視カメラシステムの場合、動画像の動きのある区間が重要である。すなわち、動きが大きい区間では異常が発生している可能性が高いため、その区間の映像を詳しく確認できることが望ましい。一方、動きの少ない区間では、フレームを省略しても不都合はなく、かえって動きの大きな区間の確認を効率的に行うことができるので望ましいことがある。
【０００９】
また、撮影した動画像をネットワーク経由で転送する構成の監視カメラシステムや、固定カメラで撮影された動画像をリアルタイム配信するようなシステムでは、ネットワークの混雑などにより、動きのある区間のフレームで転送遅滞が起こると、映像の動きが著しく不自然になったり、最悪の場合には動きが一時的に止まってしまうという問題がある。また、転送遅滞などが起こらない場合であっても、受信側の再生フレームレートに比べ素早い動きがある区間では動きが滑らかに再生されない。
【００１０】
本発明は、上に述べたような諸点に鑑み、インターレース動画像を処理するシステムにおいて、動きの大きい区間で滑らかな動きの再生を可能にすること、動きのある区間の効率的な確認を可能にすること、動画像データの転送遅滞もしくは復号処理遅滞による悪影響を軽減することなどを目的とする。
【課題を解決するための手段】
【００１１】
請求項１の発明は、インターレース動画像の動き量を推定する動き量推定手段と、インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システムである。
【００１２】
請求項２の発明は、インターレース動画像の動き量を推定する動き量推定手段と、インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、前記動き量推定手段により推定された動き量がその基準より大きくない区間で、連続した２フレーム間に前側フレーム又は後側フレームと同一のフレームを補間する処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システムである。
【００１３】
請求項３の発明は、インターレース動画像の動き量を推定する動き量推定手段と、インターレース動画像に対し、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行い、前記推定された動き量がその基準より大きくない区間でフレームの間引き処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システムである。
【００１４】
請求項４の発明は、インターレース動画像の動き量を推定する動き量推定手段と、インターレース動画像に対し、指定された出力フレームレートが入力フレームレートより大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドを合成したフレームを補間する処理を行い、指定された出力フレームレートが入力フレームレートより大きくない場合にフレームの間引き処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システムである。
【００１５】
請求項５の発明は、インターレース動画像を符号化する符号化手段と、インターレース動画像の符号データを復号する復号手段と、前記符号化手段により符号化されたインターレース動画像の符号データを通信路を通じて前記復号手段へ転送する転送手段と、前記転送手段によるフレーム転送時間間隔及び前記復号手段によるフレーム復号完了時間間隔からフレーム時間間隔を求める時間計測手段と、前記復号手段により復号されたインターレース動画像の動き量を推定する動き量推定手段と、前記復号手段により復号されたインターレース動画像に対し、前記時間測定手段により求められたフレーム時間間隔がその基準より大きい場合に、前記動き量推定手段により推定された動き量がその基準より大きい区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うフレーム編集手段と、を有することを特徴とする動画像処理システムである。
【００１６】
請求項６の発明は、インターレース動画像の符号データは階層構造を持つ符号データであり、前記時間測定手段により求められたフレーム時間間隔がその基準より大きいフレームに関しては、前記復号手段で復号処理が最下位階層まで完了する前であってもフレームのデータを生成させるように前記復号手段を制御する手段をさらに有することを特徴とする請求項５の発明による動画像処理システムである。
【００１７】
請求項７の発明は、前記動き量推定手段はフレームの櫛形成分を利用して動き量を推定することを特徴とする請求項１乃至６のいずれか１項の発明による動画像処理システムである。
【００１８】
請求項８の発明は、前記動き量推定手段は、インターレース動画像のフレームのデータを２次元離散ウェーブレット変換することにより得られた１ＬＨサブバンド係数の絶対値の和又は符号量の和を用いて動き量を推定することを特徴とする請求項７の発明による動画像処理システムである。
【００１９】
請求項９の発明は、前記動き量推定手段は、インターレース動画像のフレームのデータを２次元離散ウェーブレット変換することにより得られた１ＬＨサブバンド係数及び１ＨＬサブバンド係数の絶対値の和間又は符号量の和を用いて動き量を推定することを特徴とする請求項７の発明による動画像処理システムである。
【００２０】
請求項１０の発明は、前記動き量推定手段は、フレームより小さいブロック毎に動き量の推定を行い、全ブロックに関する推定結果を総合してフレーム内の動き量を推定することを特徴とする請求項８又は９の発明による動画像処理システムである。
【００２１】
請求項１１の発明は、インターレース動画像の動き量を推定する動き量推定ステップと、前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、を有することを特徴とする動画像処理方法である。
【００２２】
請求項１２の発明は、インターレース動画像の動き量を推定する動き量推定ステップと、前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きくないと判定された区間で、連続した２フレーム間に前側フレーム又は後側フレームと同一のフレームを補間する処理を行うステップと、を有することを特徴とする動画像処理方法である。
【００２３】
請求項１３の発明は、インターレース動画像の動き量を推定する動き量推定ステップと、前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きくないと判定された区間でフレームの間引き処理を行うステップと、を有することを特徴とする動画像処理方法である。
【００２４】
請求項１４の発明は、インターレース動画像の動き量を推定する動き量推定ステップと、前記動き量推定ステップにより推定された動き量がその基準より大きいか判定する動き量判定ステップと、指定された出力フレームレートが入力フレームレートより大きいか判定するフレームレート判定ステップと、前記フレームレート判定ステップで出力フレームレートが入力フレームレートより大きいと判定された場合に、インターレース動画像に対し、前記動き量判定ステップで推定された動き量がその基準より大きいと判定された区間で、連続した２フレーム間に前側フレームの時間的に遅い側のフィールドと後側フレームの時間的に早い側のフィールドとを合成したフレームを補間する処理を行うステップと、前記フレームレート判定ステップで出力フレームレートが入力フレームレートより大きくないと判定された場合に、インターレース動画像に対しフレームの間引き処理を行うステップと、を有することを特徴とする動画像処理方法である。
【００２５】
請求項１５の発明は、請求項１乃至１０のいずれか１項の発明による画像処理システムの各手段として１以上のコンピュータを機能させるプログラムである。
【００２６】
請求項１６の発明は、請求項１１乃至１４のいずれか１項の発明による画像処理方法の各ステップをコンピュータに実行させるプログラムである。
【００２７】
請求項１７の発明は、請求項１５又は１６の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２８】
請求項１乃至１４の発明によれば、インターレース動画像の動きの大きい区間では、フレームとその次のフレームまでの間の動きを表すフレームが合成されて補間されるため、その補間がない場合に比べて動きを滑らかに再生できるようになる。このことは、動きのある区間が重要となる監視カメラシステムなどでは大きな利点である。また、請求項２，１２の発明によれば、動きの小さな区間にもフレームが補間されるため、動きの大小にかかわらずフレームレートを均一化できる利点がある。また、請求項３，１３の発明によれば、インターレース動画像の動きの小さい区間のフレーム密度を低くし、その再生時間を短縮できるため、監視カメラシステムなどで動きのある区間を効率よく確認できる利点がある。また、請求項４，１４の発明によれば、入出力フレームレートの関係に配慮したフレーム補間とフレーム間引きを行うことができる。請求項５の発明によれば、転送遅延や復号処理遅延によりフレーム時間間隔が増大した場合でも、動きが大きい区間では合成したフレームが補間されるため、再生される動きの滑らかさが向上し、少なくとも動きが止まるような不都合を回避できる。請求項６の発明によれば、復号処理を完了できないフレームが生じても、そのフレームの欠落を回避でき、そのフレームのフィールドを用いる補間フレームの合成も可能となる。請求項７乃至１０の発明によれば、フレーム内の動き量に基づいてフレーム補間などのフレーム編集処理を制御することができる。請求項８乃至１０の発明によれば、ＪＰＥＧ２０００のような２次元離散ウェーブレット変換を利用した符号化方式による符号データを扱うシステムにおいて、少ない処理量で容易にフレーム内の動き量を推定することができる。請求項９の発明によれば、動き量推定で櫛形成分以外の高周波成分の影響を受けにくくなる。請求項１０の発明によれば、背景中を小さな物体が移動するような場合でも動き量の的確な推定が可能となる。
【００２９】
請求項１５，１６，１７の発明によれば、コンピュータを利用して請求項１乃至１４の発明を容易に実施し、上に述べたような効果を達成できる。
【発明を実施するための最良の形態】
【００３０】
本発明に係る動画像処理システムの基本的構成は図１のように表すことができる。図１において、データ保存部１０４は入力されたインターレース動画像のデータ（フレームデータ又はフィールドデータ）を一時的に保存する手段である。動き量推定部１０１は、動画像の動き量を推定する手段である。この動き量の推定は、フレーム間の動き量として推定することも、フレーム内の動き量（フレームを構成する奇偶フィールド間の動き量）として推定することも可能である。フレーム編集部１０２は、推定された動き量に応じて、フレームの合成・補間やフレームの間引きなどを行う処理手段である。
【００３１】
図１３は各フレームにおける基本的処理フローである。各フレームにおいて動き量推定部１０１により動き量が推定され（ステップＳ１）、フレーム編集部１０２で、推定された動き量とその基準との比較判定が行われ（ステップＳ２）、その判定結果に応じたフレーム編集処理がフレーム編集部１０２で行われる（ステップＳ３）。
【００３２】
データ保存部１０４に保存されるデータがフレームデータの場合には、補間するフレームの生成の際に、フレームをフィールドへ分割する処理などもフレーム編集部１０２で行われる。データ保存部１０４に保存されるデータがフィールドデータの場合には、奇遇フィールドからフレームを合成する処理がフレーム編集部１０２で行われる。また、フレーム編集部１０２で、フレームに対する画質向上処理を行うこともできる。編集後のフレームは出力処理部１０３により出力される。
【００３３】
また、本発明においては、図示されていないが、フレームレートの指定やフレーム時間間隔の測定のための手段を含むことができ、動画像の動き量のみならずフレームレートもしくはフレーム時間間隔をも考慮したフレームデータ編集処理を行うことができる。このような編集処理を行う場合、図１３のステップＳ２ではフレームレートやフレーム時間間隔を加味した判定が行われることになる。
【００３４】
このような本発明に係る動画像処理システムは、１つの装置として実現することもネットワークなどを介して接続された複数の装置の集合として実現することもできる。また、本発明に係る動画像処理システムは、１以上のコンピュータを利用し１以上のプログラムにより実現することも可能である。
【００３５】
図２乃至図４は、フレーム編集部１０２による典型的なフレーム編集処理の説明図である。
【００３６】
図２乃至図４において、（ａ）はデータ保存部１０４に入力され保存される一連のフレームを構成するフィールドデータの系列を示し、（ｂ）と（ｃ）はフレーム編集部１０２によるフレーム生成例であり、色の付けられていない矩形は本来のフレームであり、色の付けられた矩形は補間されたフレームである。
【００３７】
図２の（ｂ）及び（ｃ）の例では、動画像の動き量の大きいフレームの間に、フレームが補間される。補間されるフレームは、直前のフレーム（本来のフレーム）を構成する２フィールド中の時間的に遅い側のフィールと、直後のフレーム（本来のフレーム）を構成する２フィールド中の時間的に早い側のフィールド（つまり、前後２フレームの時間的に連続した２フィールド）より合成される。このようなフレームは、前後２フレームの中間時点における動きを反映しているので、それを補間することにより、早い動きも滑らかに再生可能になる。また、（ｂ）の例では、動き量の小さい区間のフレームが間引かれている。このようなフレームの間引きを行うことにより、動きの小さな区間でのフレーム密度が下がるため、その再生時間を短縮することができ、結果として、動きの大きい区間を効率よく観察することができるようになる。
【００３８】
図３の（ｂ）に示す例では、動き量の大きい区間と動き量の小さい区間の両方でフレームが補間される。動き量の小さい区間に補間されるフレームは、直前のフレーム（又は直後のフレーム）と同じものである。動き量が小さいため、同じフレームを連続させても格別の不利益はない。これに対し、動き量の大きい区間に補間されるフレームは、早い動きの滑らかな再生を可能にするため、図２に関して述べたように前後２フレームの時間的に連続した２フィールドより合成される。
【００３９】
図３の（ｃ）に示す例では、動き量が大きく、かつ、フレーム時間間隔が大きい区間で、前後２フレームの時間的に隣接した２フィールドより合成したフレームが補間される。
【００４０】
図４の（ｂ）に示す例でも、動き量が大きく、かつ、フレーム時間間隔が大きい区間でフレームが補間される。この例は符号データの復号処理と関連するので、後により詳しく説明する。
【００４１】
以下、本発明のいくつかの実施例に関し説明する。なお、参照される複数の図面において、同一の機能部又は対応した機能部に同一の番号を付け、その説明を簡略化する。
【実施例１】
【００４２】
図５は、本発明の実施例１に係る動画像処理システムのブロック図である。図５において、ビデオ入力部１１０は、ビデオカメラ等からインターレース形式の動画像のデータを入力する手段である。本実施例では、動画像のフレームデータが入力され、これがデータ保存部１０４に一時的に保存される。動き量推定部１０１は、フレームデータから動き量を推定するが、その具体的方法については後述する。
【００４３】
フレーム編集部１０２は、フレームデータを奇数フィールドと偶数フィールのドデータに分割するフィールド分割部１０６と、推定された動き量に基づいてフレーム編集方法を決定する編集方法決定部１０５と、決定された編集方法に従って必要なフレームの生成、補間を行うフレーム生成補間部１０７からなる。
【００４４】
図１４と図１５は、フレーム編集部１０２の処理を説明するためのフローチャートである。図１４に示す処理と図１５に示す処理のいずれを実行するかは、予め指定される。
【００４５】
まず、図１４を参照して説明する。各フレームにおいて、動き量推定部１０１により推定された動き量が編集方法決定部１０５に読み込まれる（ステップＳ１１）。編集方法決定部１０５において、動き量と動き量基準との比較判定が行われる（ステップＳ１２）。この動き量基準は予め設定されるが、これを任意に変更できるようにしてもよい。
【００４６】
推定された動き量が動き量基準より大きいときには（ステップＳ１２，ＹＥＳ）、フィールド分割部１０６により当該フレームと次フレームについてフィールド分割が行われる（ステップＳ１３）。そして、フレーム生成補間部１０７において、当該フレームの時間的に遅い側のフィールドのデータと、次フレームの時間的に早いフィールドのデータとを合成したフレームのデータが生成され、このフレームのデータが当該フレームと次フレームの間に補間される（ステップＳ１４）。推定された動き量が動き量基準以下のときには（ステップＳ１２，ＮＯ）、フィールド分割もフレーム補間も行われない。
【００４７】
このように、本実施例によれば、図２の（ｃ）で説明したように、動画像の動き量の大きいフレームと次フレームの間に、それら２フレームの時間的に隣接する２フィールドから合成したフレームを補間することにより、動画像の動きの早い部分も滑らかな動きの画像再生を可能にする。
【００４８】
次に、図１５を参照して説明する。ステップＳ２１〜Ｓ２４までは図１４のステップＳ１１〜Ｓ１４と同じ処理である。推定された動き量が動き量基準以下のときには（ステップＳ２２，ＮＯ）、フレーム生成補間部１０７により、当該フレームがそのまま補間される（ステップＳ２５）。
【００４９】
このように、本実施例によれば、図３の（ｂ）で説明したように、動画像の動き量の大きい区間のフレーム間に、２フレームの時間的に隣接する２フィールドを合成したフレームを補間することにより、動画像の動きの早い部分も滑らかな動きの画像再生を可能にするとともに、動き量の小さい区間では、直前フレーム（あるいは直後のフレーム）と同じフレームを補間することにより、動き量の大きい区間も動き量の小さい区間もフレーム密度を均一にすることができる。
【実施例２】
【００５０】
図６は、本発明の実施例２に係る動画像処理システムのブロック図である。本実施例においては、ビデオデータ保存部２０１，符号化処理部２０２、符号データ保存部２０３、復号処理部２０４が追加されている。これ以外の構成は前記実施例１と同様である。
【００５１】
ビデオ入力部１１０によって、ビデオカメラ等からビデオデータが入力され、これがビデオデータ保存部２０１に一時的に保存される。入力されるビデオデータは、インターレース形式の動画像のフレームデータである。この動画像のデータは、符号化処理部２０２によりフレームベースで符号化され、その符号データは符号データ保存部２０３に一時的に保存される。符号データ保存部２０３内の動画像の符号データは復号処理部２０４へ順次転送されて復号される。復号された動画像のフレームデータはデータ保存部１０４に一時的に保存される。
【００５２】
監視カメラシステムのような動画像処理システムでは、符号データ保存部２０３と復号処理部２０４との間に伝送ケーブルやネットワークが介在し、ビデオカメラから離れた位置に設置された復号処理部２０４へ符号データが転送される形態をとることが多いであろう。
【００５３】
フレーム編集処理部１０２の処理は前記実施例１と同様であるので、その説明は繰り返さない。
【実施例３】
【００５４】
図７は、本発明の実施例３に係る動画像処理システムのブロック図である。本実施例においては、フィールドデータ保存部２１０，２１１が追加され、ビデオデータ保存部２０１とフィールドデータ保存部２１０との間にフィールド分割部１０６が配置される。フレーム編集部１０２にはフレーム合成部２１２が追加される。フレーム編集部１０２はフィールド分割部を含まない。これ以外の構成は前記実施例２と同様である。
【００５５】
前記実施例２と同様にビデオ入力部１１０より入力されるインターレース形式の動画像のフレームデータがビデオデータ保存部２０１に一時的に保存されるが、このフレームデータはフィールド分割部１０４によりフィールドデータに分割され、分割後のフィールドデータはフィールドデータ保存部２１０に一時的に保存される。このフィールドデータは符号化処理部２０２によりフィールドベースで符号化される。その符号データは符号データ２０３に一時的に保存され、復号処理部２０４へ転送されてフィールドベースで復号される。復号されたフィールドデータはフィールドデータ保存部２１１に一時的に保存される。そして、フレーム合成部２１２により、フィールドデータ保存部２１１に保存されている各フレームの奇数フィールドと偶数フィールドのデータからフレームデータが合成され、そのフレームデータがデータ保存部１０４に一時的に保存される。ただし、このフレーム合成部２１２により合成されるフレームデータは、入力された動画像の本来のフレームのデータである。
【００５６】
フレーム編集部１０２は、フィールドデータ保存部２１１より各フレームのフィールドデータを読み込むことができるのでフィールド分割部は含まないが、処理内容は前記実施例１と同様であるので、その説明を繰り返さない。なお、補間されるフレームの合成を、フレーム生成補間部１０７ではなく、フレーム合成部２１２で行わせることも可能であり、かかる態様も本実施例に含まれる。
【実施例４】
【００５７】
図８は、本発明の実施例４に係る動画像処理システムのブロック図である。本実施例においては、フレームデータ編集部１０２にフレーム間引きのためのフレーム削除部２２０が追加されている。これ以外の構成は前記実施例２と同様である。
【００５８】
図１４，図１５及び図１６は、フレーム編集部１０２の処理を説明するためのフローチャートである。図１４に示す処理、図１５に示す処理、図１６に示す処理のいずれを実行するかは、予め指定される。
【００５９】
図１４及び図１６に示したフレーム編集処理については前記実施例１に関連して説明したので、ここでは図１６に示したフレーム編集処理について説明する。
【００６０】
図１６を参照すれば、各フレームにおいて、動き量推定部１０１により推定された動き量が編集方法決定部１０５に読み込まれる（ステップＳ３１）。編集方法決定部１０５において、動き量と動き量基準との比較判定が行われる（ステップＳ３２）。この動き量基準は予め設定されるが、これを任意に変更できるようにしてもよい。
【００６１】
推定された動き量が動き量基準より大きいときには（ステップＳ３２，ＹＥＳ）、フィールド分割部１０６により当該フレームと次フレームについてフィールド分割が行われる（ステップＳ３３）。そして、フレーム生成補間部１０７において、当該フレームの時間的に遅い側のフィールドのデータと、次フレームの時間的に早いフィールドのデータとを合成したフレームが生成され、このフレームが当該フレームと次フレームの間に補間される（ステップＳ３４）。
【００６２】
推定された動き量が動き量基準以下のときには（ステップＳ３２，ＮＯ）、フレーム削除部２２０によりフレーム間引きのためのフレーム削除処理が行われる（ステップＳ３５）。このフレーム削除処理は、動き量の小さい全てのフレームに対して行うことも可能であるが、所定のフレーム密度を下回らないように飛び飛びのフレームに対して行うのが一般に好ましいであろう。
【００６３】
このように、本実施例によれば、図２の（ｂ）で説明したように、動画像の動き量の大きいフレームと次フレームの間に、それら２フレームの時間的に隣接する２フィールドを合成したフレームを補間することにより、動画像の動きの早い部分も滑らかな動きの画像再生を可能にするとともに、動き量の小さい区間ではフレーム間引きによりフレーム密度を下げ、再生時間を短縮することができる。このようなフレーム編集を適用すれば、例えば監視カメラシステムにおいて、映像の変化がある区間（動きのある区間）を詳しくチェックし、そうでない区間は素早くチェツクすることができるため、効率的な監視が可能となる。
【実施例５】
【００６４】
図９は本発明の実施例５に係る動画像処理システムのブロック図である。本実施例においては、フレーム生成補間部１０７により合成されて補間されたフレームに対しフィルタリングなどの画質向上処理を施すための画質向上処理部２３０が追加されている。この画質向上処理部２３０を備えることにより、画質の調整が可能になる。これ以外の構成は前記実施例２と同様であるので、説明を繰り返さない。なお、同様の画質向上処理部を、他の実施例において設けることも可能であることは明らかである。
【実施例６】
【００６５】
図１０は本発明の実施例６に係る動画像処理システムのブロック図である。本実施例においては、動画像の入力フレームレート（ビデオカメラなどによる撮像フレームレート）と出力処理部１０３により出力フレームレート（再生フレームレート）を指定するためのフレームレート指定部３４０と、指定されたフレームレートを保存するためのフレームレート保存部２４１が追加される。編集方法決定部１０５は、動き量推定部１０１により推定された動き量のみならず、フレームレート保存部２４１に保存されているフレームレートも考慮して、フレーム編集方法を決定する。これ以外の構成は前記実施例４と同様であり、したがってフレーム編集部１０２にはフレーム削除部２２０が含まれる。
【００６６】
本実施例において、フレーム編集部１０２は、図１４，図１５，図１６にそれぞれ示したフレーム編集処理を実行可能であるが、さらにフレームレートを考慮した図１７に示すようなフレーム編集処理を実行することができる。
【００６７】
図１７のフローチャートを参照し説明する。各フレームにおいて、フレームレート保存部２４１より入力フレームレート及び出力フレームレートが、動き量推定部１０１より推定された動き量が、編集方法決定部１０５に読み込まれる（ステップＳ４１〜Ｓ４３）。なお、ステップＳ４１，４２は、フレームレート指定部２４０により指定変更が行われた時にのみ実行するようにしてもよい。
【００６８】
編集方法決定部１０５において、出力フレームレートと入力フレームレートとの比較判定を行う（ステップＳ４４）。出力フレームレートが入力フレームレートより大きい場合（ステップＳ４４，ＹＥＳ）、すなわち、フレーム補間を行い得るレート関係にある場合には、推定された動き量と動き量基準との比較判定を行う（ステップＳ４５）。そして、動き量が動き量基準より大きい場合（ステップＳ４５，ＹＥＳ）、フィールド分割部１０６で当該フレームと次フレームについてフィールド分割を行わせる（ステップＳ４６）。そして、フレーム生成補間部１０７で、当該フレームの時間的に遅い側のフィールドのデータと、次フレームの時間的に早いフィールドのデータとを合成したフレームを生成させ、このフレームを当該フレームと次フレームの間に補間させる（ステップＳ４７）。しかし、推定された動き量が動き量基準以下のときには（ステップＳ４５，ＮＯ）、フレームの生成、補間は行われない（フレームレートを出力フレームレートに合わせるために、直前フレームと同じフレームデータを補間するようにしてもよい）。
【００６９】
一方、出力フレームレートが入力フレームレートより小さい場合（ステップＳ４４，ＮＯ）、入力されるフレームをすべては出力できないので、編集方法決定部１０５はフレーム削除部２２０に、フレームレートを出力レートに合わせるためのフレーム間引き処理を行わせる（ステップＳ４８）。
【００７０】
このように、出力フレームレートが入力フレームレートより大きい場合に、動き量の大きなフレームの間に合成したフレームを補間することにより、早い動きも滑らかな再生を可能とする。そして、出力フレームレートが入力フレームレートより遅い場合には、フレームレートを出力フレームレート以下に調整するためのフレーム間引きを行うのである。
【実施例７】
【００７１】
図１１は本発明の実施例７に係る動画像処理システムのブロック図である。本実施例においては、符号データ保存部２０３に保存された符号データをネットワーク回線などの通信路を介して転送するための転送処理部２５０と、転送された符号データを一時的に保存するための符号データ保存部２５１が追加されている。
【００７２】
転送処理部２５０による符号データの転送処理に時間がかかりすぎたり、復号処理部２０４による復号処理に時間がかかりすぎると、出力処理部１０３の出力フレームレートが低下し、再生画像の動きが一時的に止まってしまうことがある。動きのない区間で再生画像の動きが止まっても格別問題とはならないが、動きの激しい区間で動きが止まることは監視カメラシステムなどでは大きな問題である。監視カメラシステムなどでは動きの激しい区間こそ確認したいからである。
【００７３】
かかる問題を解決するため、本実施例においては、転送処理部２５０によるフレームの転送処理時間に関するデータと、復号処理部２０４によるフレームの復号処理時間に関するデータを保存するための時間データ保存部２５２と、時間データ保存部２５２に保存された時間データから、フレーム時間間隔を求める時間計測部２５３が追加されている。そして、編集方法決定部１０５において、フレームデータ編集方法を決定する際に、動き量推定部１０１により推定された動き量に加え、時間計測部２５３で計算されたフレーム時間間隔を考慮して、フレーム編集方法を決定する。
【００７４】
フレーム時間間隔は、典型的には、フレームの転送終了の時間間隔あるいは復号処理終了の時間間隔のうちの長い（遅い）方の時間間隔によって決まり、これが本実施例で採用される。
【００７５】
本実施例においても、フレーム編集部１０２で、図１４と図１５に示したようなフレーム編集処理を行うことも可能であるほか、上に触れたように、フレーム時間間隔と動き量の両方を考慮した図１８に示すようなフレーム編集処理を行うことができる。
【００７６】
図１８のフローチャートを参照して説明する。各フレームにおいて、動き量推定部１０１より動き量が、時間計測部２５３よりフレーム時間間隔が、編集方法決定部１０５に読み込まれる（ステップＳ５１，Ｓ５２）。編集方法決定部１０５において、フレーム時間間隔とその基準との比較判定を行う（ステップＳ４４）。フレーム時間間隔がその基準より大きい場合（ステップＳ５３，ＹＥＳ）、すなわちフレームを補間しても出力フレームレートを超えないような条件である場合には、推定された動き量とその基準との比較判定を行う（ステップＳ５４）。そして、動き量が動き量基準より大きい場合（ステップＳ５４，ＹＥＳ）、フィールド分割部１０６で当該フレームと次フレームについてフィールド分割を行わせる（ステップＳ５５）。そして、フレーム生成補間部１０７で、当該フレームの時間的に遅い側のフィールドのデータと、次フレームの時間的に早いフィールドのデータとを合成したフレームを生成させ、このフレームを当該フレームと次フレームの間に補間させる（ステップＳ５６）。こうすることにより、動きの激しい部分で動きの滑らかな画像再生が可能となる。しかし、推定された動き量がその基準より小さいときには（ステップＳ５５，ＮＯ）、フレームの生成、補間は行われない（直前フレームと同じフレームを補間するようにしてもよい）。
【００７７】
一方、フレーム時間間隔がその基準より小さい場合（ステップＳ５３，ＮＯ）、フレームを補間すると出力フレームレートを超えるおそれがあるため、フレームの生成、補間は行われない。
【００７８】
このようにして、符号データの転送処理や復号処理が遅れるような条件では、動き量の大きな区間にフレームを補間することにより再生画像の動きの滑らかさを向上させるが、符号データの転送処理や復号処理の遅れがない条件ではフレームの補間をしないことにより、出力フレームレートを越えないようにする。図３の（ｃ）は、本実施例におけるフレーム編集の例を示している。
【実施例８】
【００７９】
図１２は本発明の実施例８に係る動画像処理システムのブロック図である。本実施例においては、復号処理制御部２６０が追加されており、これ以外の構成は前記実施例７と同様である。
【００８０】
復号処理制御部２６０は、時間計測部２５３で求められたフレーム時間間隔がその基準より大きくなった時に、復号処理部２０４における復号処理が未完了であっても、それまでの復号処理結果を用いてフレームデータを生成させる制御を行う。したがって、本実施例においては、復号処理部２５１へ入力されるフレームの符号データは、ＪＰＥＧ２０００の符号データのような階層構造を有することが前提である。このような階層構造の符号データは、最上位階層より下位階層へ向かって復号処理が行われるが、途中の階層で処理を打ち切っても、それまでの処理結果から解像度は低下するもののフレームデータを生成することができる。
【００８１】
フレーム編集部１０２における処理フローは図１８と同様である。前記実施例７との違いは、上に述べたように、フレーム時間間隔がその基準より大きくなった時に、復号処理部２０４で当該フレームの復号処理が未完了であっても、それまでの処理結果からフレームデータを生成させることである。したがって、そのようなフレームの欠落を防止することができるとともに、そのフレームのフィールドデータを用いたフレームの合成と補間が可能となる。
【００８２】
以上、本発明に係る動画像処理システムについて説明した。その説明は本発明の動画像処理方法の説明でもあること明らかである。また、本発明に係る動画像処理システム及び動画像処理方法は、１以上のコンピュータを利用して１以上のプログラムにより実現することも可能であることも明らかである。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子のようなコンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。
【００８３】
ここで、動き量の推定との関連もあるため、ＪＰＥＧ２０００の概要を説明する。また、静止画像の符号化方式であるＪＰＥＧ２０００を動画像用に拡張した規格がＭｏｔｉｏｎ−ＪＰＥ２０００である。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、動画像の各フレームは独立した静止画像として扱われ、フレーム毎に（あるいは各フレームのフィールド毎に）独立してＪＰＥＧ２０００のアルゴリズムで符号化される。したがって、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像に対し本発明を好適に適用できる。
【００８４】
［ＪＰＥＧ２０００の概要］
図２２は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを実現するためのシステムのブロック図である。このシステムは、色空間変換・逆変換部５００、２次元ウェーブレット変換・逆変換部５０１、量子化・逆量子化部５０２、エントロピー符号化・復号化部５０３、タグ処理部５０４の各機能ブロックにより構成されている。
【００８５】
このシステムが、従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは周波数変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ）が用いられているが、ＪＰＥＧ２０００では離散ウエーブレット変換（ＤＷＴ）が用いられる。ＤＷＴはＤＣＴに比べて高圧縮領域における画質が良いという長所を持ち、この点が、ＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００８６】
また、他の大きな相違点は、ＪＰＥＧ２０００の階層符号化アルゴリズムでは、システムの最終段に符号形成をおこなうためのタグ処理部５０４という機能ブロックが追加されていることである。このタグ処理部５０４において、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できる。例えば、ブロック・ベースでのＤＷＴのオクターブ分割に対応した任意の階層(デコンポジション・レベル)で圧縮伸長動作を自由に停止させることができる。
【００８７】
ＪＰＥＧ２０００では、図２２に示すように、原画像の入出力部分に色空間変換部・逆変換部５００が接続される場合が多い。例えば、原色系のR(赤)／G(緑)／B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)／M(マゼンタ)／C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【００８８】
次に、ＪＰＥＧ２０００における圧縮（符号化）処理の流れを説明する。カラー画像は、一般に、図２３に示すように、原画像の各コンポーネント(ここではRGB原色系)が、重複しない矩形領域によって分割される。この分割された矩形領域はタイルと呼ばれる。図２３の例では、各コンポーネントが縦横4×4、合計16個のタイルに分割されている。このような個々のタイルが画像データの圧縮伸長プロセスを実行する際の基本単位となり、画像データの圧縮伸長動作はコンポーネントごとに、かつ、タイルごとに、独立に行なわれる。
【００８９】
画像データの符号化時には、各コンポーネントの各タイルのデータは、色空間変換・逆変換部５００で色空間変換を施された後、２次元ウエーブレット変換・逆変換部５０１で２次元離散ウェーブレット変換(順変換)が適用されて周波数帯域（サブバンド）に空間分割される。
【００９０】
図２４に、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL；デコンポジション・レベル０)に対して、二次元ウェーブレット変換を施し、デコンポジション・レベル１のサブバンド(1LL，1HL，1LH，1HH)を分離する（ｂ）。そして引き続き、この階層における低周波成分１LLに対して、二次元ウェーブレット変換を施し、デコンポジション・レベル２のサブバンド(2LL，2HL，2LH，2HH)を分離する。同様に、低周波成分2LLに対しても二次元ウェーブレット変換を施し、デコンポジション・レベル３のサブバンド(3LL，3HL，3LH，3HH)を分離する。なお、大きなデコンポジション・レベルは上位階層レベルに、また、小さなデコンポジション・レベルは下位階層レベル」に、各々対応する。
【００９１】
次に、指定した符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部５０２で対象ビット周辺のビットからコンテキストが生成される。
【００９２】
量子化・逆量子化部５０２で量子化されたウェーブレット係数は、サブバンドごとに、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２５に示すように、一つのプレシンクトは、空間的に一致した三つの矩形領域からなっている。個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分割される。これは、エントロピー符号化を行う際の基本単位となる。
【００９３】
エントロピー符号化・復号化部５０３では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部５０４は、エントロピー符号化・復号化部５０３からの符号を一本の符号列データに結合するとともに、それにタグ及びタグ情報を付加する処理を行うことにより、図２６に示すような構造のコードストリームを生成する。図示のように、コードストリームの先頭と各タイルの符号データ(bit  stream)の先頭にはヘッダ(header)と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、符号列データの終端には、再びタグ(end  of  codestream)が置かれる。
【００９４】
一方、復号化（伸長）時には、符号化時とは逆に、各コンポーネントの各タイルの符号列データから、画像データを生成する。この場合、タグ処理部５０４は、外部より入力したコードストリーム中のタグ情報を解釈し、符号列データを各コンポーネントの各タイルの符号列データに分解し、その各コンポーネントの各タイルの符号列データごとに復号化処理が行われる。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部５０２で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部５０３で、このコンテキストと符号列データから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータはサブバンド毎に空間分割されているため、これを２次元ウェーブレット逆変換・逆変換部５０１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部５００によって元の表色系のデータに変換される。
【００９５】
［動き量の推定］
前記各実施例において、動き量推定部１０１により動き量を推定した。この動き量は、画像中の被写体の移動速度に相当するものである。動き量は、フレーム間の動き量として推定することも、フレーム内の動き量として推定することも可能である。フレーム間の動き量は、例えば、前後のフレームの画像データを画素単位で順次比較することにより推定可能である。
【００９６】
フレーム内の動き量は、フレームを構成するフィールド間で画像データを画素単位で比較する方法で行うことができる。この方法は、フレーム間で比較するよりも処理データ量が少ない利点がある。
【００９７】
フレーム内の動き量の推定方法としては、インターレース画像に特有の「櫛形」成分に注目した方法が効果的である。この方法は、ＪＰＥＧ２０００のような２次元離散ウェーブレット変換を利用する符号化方式による符号データを処理するシステムで特に有利であろう。以下、「櫛形」成分に着目した動き量推定について説明する。
【００９８】
［櫛形の説明］
図１９は「櫛形」の説明図である。図１９において、（ａ）は奇数フィールドのインターレース画像、（ｂ）は奇数フィールドより例えば１／６０秒後にスキャンされた偶数フィールドのインターレース画像、（ｃ）はこの２フィールドのインターレース画像を合成して得られるフレーム画像の例をそれぞれ示している。２イールド間で被写体が図示のように右方向へ移動した場合、（ｃ）に示すようにフレーム画像上で被写体の左右エッジ部分が走査線毎に複数画素分だけ櫛形にずれる。（ｄ）は櫛形のエッジ部分を拡大したもので、Ｌ（櫛形のずれ量）がフィールド間の動き量に相当する。ビデオカメラなどで動画撮影では、殆どの被写体は横方向に移動するという経験則が認められる。この経験則に従えば、（ｄ）に示すような櫛形のずれ量Ｌを測定すれば、フィールド間つまりフレーム内の動き量を推定することができるといえる。この推定はフィールド間の比較によっても可能であるが、フレームデータを周波数変換することにより、周波数領域において、より少ない演算量で推定を行うことができる。
【００９９】
例えば、インターレース形式の動画像のフレームデータに、図２４で説明したような２次元離散ウェーブレット変換を適用して得られる１ＬＨサブバンド係数は、横のエッジ成分を反映するので、横方向の動きによる櫛形の影響が強く表れる。したがって、１ＨＬサブバンド係数の絶対値の和を求めれば、それによりフィールド間の横方向の移動量を推定できる。ＪＰＥＧ２０００の符号データを扱う場合には、その復号処理によってウェーブレット変換係数が復元されるため、それを利用することにより、少ない演算量で動き量の効率的な推定が可能である。また、ウェーブレット変換係数の絶対値が大きいと、その係数のエントロピー符号の符号量も一般に大きくなるので、１ＬＨサブバンド係数の絶対値の和に代えて、１ＬＨサブバンド係数の符号量の和を利用することにより、同様の推定が可能である。次に、そのような動き量推定方法の具体例を次に説明する。
【０１００】
［動き量推定方法１］
図２０は、ウェーブレット係数を利用した動き量推定処理の一例を示すフローチャートである。ここでは、前記実施例２，４乃至８における動き量推定部１０１のように、復号処理部２０４のフレームベースの復号処理により得られるウェーブレット変換係数を利用するものしている。
【０１０１】
ステップＳ１００で、１ＬＨサブバンド係数の絶対値の和ｓｕｍ１ＬＨを算出する。次のステップＳ１０１で、１ＨＬサブバンド係数の絶対値の和ｓｕｍ１ＨＬを算出する。そして、ステップＳ１０２で、ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬを計算し、その値を動き量（移動速度）の推定値ｓｐｅｅｄとして求める。
【０１０２】
この例においては、縦方向のエッジ成分を反映する１ＨＬサブバンド係数の絶対値の和ｓｕｍ１ＨＬでｓｕｍ１ＬＨで除した値を求めたのは、横方向のエッジ成分以外の高周波成分の影響を受けにくくするためである。
【０１０３】
この推定方法は、前記実施例２，４乃至８における動き量推定部１０１などに適用すると効果的であろう。復号処理部２０４における復号処理過程で得られる１ＬＨ，１ＨＬサブバンド係数を用いることができるためである。
【０１０４】
なお、必要ならば、ステップＳ１００の前にフレームデータに対する２次元離散ウェーブレット変換処理のステップを追加してもよいことが明らかである。
【０１０５】
［動き量推定方法２］
前記動き量推定方法１と同様の推定を、１ＬＨサブバンド係数と１ＨＬサブバンド係数のエントロピー符号の符号量を用いて行う動き量推定処理の例を図２１に示す。
【０１０６】
ステップＳ１１０、１ＬＨサブバンド係数のエントロピー符号の符号量の和ｓｕｍ１ＬＨを算出する。次のステップＳ１１１で、１ＨＬサブバンド係数のエントロピー符号の符号量の和ｓｕｍ１ＨＬを算出する。そして、ステップＳ１１２で、ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬを計算し、その値を動き量（移動速度）の推定値ｓｐｅｅｄとして求める。
【０１０７】
ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの値を動き量の推定値とするのは、前述のように横方向のエッジ成分以外の高周波成分の影響を受けにくくするためである。
【０１０８】
この推定方法は、前記実施例２，４乃至８における動き量推定部１０１などに適用すると効果的であろう。復号処理部２０４における符号データのヘッダ解析あるいは復号処理過程で、１ＬＨ，１ＨＬサブバンド係数のエントロピー符号の符号量を求めることができためである。
【０１０９】
［動き量推定方法３］
前記動き量推定方法１，２では、フレーム単位で求めた１ＬＨ，１ＨＬサブバンド係数の絶対値の和又は符号量の和に基づいて動き量を推定したが、フレームより小さなブロック単位で（例えば、ＪＰＥＧ２０００のコードブロックの単位で）、同様の動き量の推定を行い、その推定結果を総合してフレームの動き量を推定してもよい。例えば、ブロック単位で推定した動き量を所定の閾値と比較し、動き量が閾値を超えたブロックの個数をカウントし、そのカウント値をフレームの動き量の指標として求めることも可能である。
【０１１０】
このような推定方法によれば、例えば、静止した背景中で比較的小さな物体だけが高速で移動するようなフレームにおける動き量をより的確に推定可能となる。
【図面の簡単な説明】
【０１１１】
【図１】本発明に係る動画像処理システムの基本構成を示すブロック図である。
【図２】本発明におけるフレームデータ編集処理の説明図である。
【図３】本発明におけるフレームデータ編集処理の説明図である。
【図４】本発明におけるフレームデータ編集処理の説明図である。
【図５】本発明の実施例１に係る動画像処理システムのブロック図である。
【図６】本発明の実施例２に係る動画像処理システムのブロック図である。
【図７】本発明の実施例３に係る動画像処理システムのブロック図である。
【図８】本発明の実施例４に係る動画像処理システムのブロック図である。
【図９】本発明の実施例５に係る動画像処理システムのブロック図である。
【図１０】本発明の実施例６に係る動画像処理システムのブロック図である。
【図１１】本発明の実施例７に係る動画像処理システムのブロック図である。
【図１２】本発明の実施例８に係る動画像処理システムのブロック図である。
【図１３】各フレームにおける処理説明のためのフローチャートである。
【図１４】フレームデータ編集処理の説明のためのフローチャートである。
【図１５】フレームデータ編集処理の説明のためのフローチャートである。
【図１６】フレームデータ編集処理の説明のためのフローチャートである。
【図１７】フレームデータ編集処理の説明のためのフローチャートである。
【図１８】フレームデータ編集処理の説明のためのフローチャートである。
【図１９】フィールド間の被写体移動による櫛形の説明図である。
【図２０】動き量推定処理を説明するためのフローチャートである。
【図２１】動き量推定処理を説明するためのフローチャートである。
【図２２】ＪＰＥＧ２０００の説明のためのブロック図である。
【図２３】タイル分割の説明図である。
【図２４】２次元離散ウェーブレット変換の説明図である。
【図２５】プレシンクト及びコードブロックの説明図である。
【図２６】ＪＰＥＧ２０００のコードストリームの構造説明図である。
【符号の説明】
【０１１２】
１０１  動き量推定部
１０２  フレーム編集部
１０３  出力処理部
１０４  データ保存部
１１０  ビデオ入力部
１０５  編集方法決定部
１０６  フィールド分割部
１０７  フレーム生成補間部
２０１  ビデオデータ保存部
２０２  符号化処理部
２０３  符号データ保存部
２０４  復号処理部
２１０  フィールドデータ保存部
２１１  フィールドデータ保存部
２１２  フレーム合成部
２２０  フレーム削除部
２３０  画質向上処理部
２４０  フレームレート指定部
２４１  フレームレート保存部
２５１  転送処理部
２５２  時間データ保存部
２５３  時間計測部
２６０  復号処理制御部
【図１】
2005136596.tif 000003
【図２】
2005136596.tif 000004
【図３】
2005136596.tif 000005
【図４】
2005136596.tif 000006
【図５】
2005136596.tif 000007
【図６】
2005136596.tif 000008
【図７】
2005136596.tif 000009
【図８】
2005136596.tif 000010
【図９】
2005136596.tif 000011
【図１０】
2005136596.tif 000012
【図１１】
2005136596.tif 000013
【図１２】
2005136596.tif 000014
【図１３】
2005136596.tif 000015
【図１４】
2005136596.tif 000016
【図１５】
2005136596.tif 000017
【図１６】
2005136596.tif 000018
【図１７】
2005136596.tif 000019
【図１８】
2005136596.tif 000020
【図１９】
2005136596.tif 000021
【図２０】
2005136596.tif 000022
【図２１】
2005136596.tif 000023
【図２２】
2005136596.tif 000024
【図２３】
2005136596.tif 000025
【図２４】
2005136596.tif 000026
【図２５】
2005136596.tif 000027
【図２６】
2005136596.tif 000028