(57)【要約】【課題】動画像のフレーム間圧縮処理において、参照フレーム数がＮ倍になると、フレーム間圧縮処理にかかる計算量もＮ倍となる問題があった。【解決手段】処理対象フレームと参照可能フレームとの差分を求め、差分結果が閾値Ａよりも小さい場合に参照フレーム候補とし、参照フレーム候補に対してのみ動き予測処理を実行することで、フレーム間圧縮処理全体にかかる計算量を削減する。また、前回の処理で得られた参照フレーム候補を再利用して動き予測を行ことで、更に計算量を削減する。【選択図】図４
2009147847.tif 000002
【特許請求の範囲】
【請求項１】
処理対象フレームに対して参照可能なフレームを判定する参照可能フレーム判定ステップと、
処理対象フレームをマクロブロック単位の領域に分割するフレーム分割ステップと、
前記参照可能フレーム判定ステップにより得られた参照可能フレームと、処理対象フレームの一部或いはフレーム全体の領域の差分を求め、前記フレーム分割ステップで分割された領域に対して最適な参照フレームを決定する参照フレーム候補決定ステップと、
前記参照フレーム候補決定ステップによって決定された参照フレームに対して動き予測処理を行う動き予測ステップとを有することを特徴とする動画像圧縮処理方法。
【請求項２】
前記参照フレーム候補決定ステップで決定された参照フレームを、どの分割領域の参照フレームとして引き継ぐのかを判定する参照フレーム引継ぎ判定ステップと、
前記参照フレーム候補決定ステップで決定された参照フレームを、他の処理対象フレームの分割領域の参照フレームとして引き継ぐ参照フレーム引継ぎステップとをさらに備え、前記動き予測ステップは、前記参照フレーム引継ぎステップで引き継がれた参照フレームに対して動き予測処理を行うことを特徴とする、請求項１記載の動画像圧縮処理方法。
【請求項３】
請求項１または請求項２に記載の動画像圧縮処理方法により、動画像を圧縮する動画像圧縮処理装置。
【請求項４】
請求項１または請求項２に記載の処理方法を動作させるプログラム。
【請求項５】
請求項４に記載のプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮する技術に関し、特に、フレーム間圧縮処理の高速化に関するものである。
【背景技術】
【０００２】
従来の技術では、動画像のフレーム間圧縮処理において、処理対象フレームと参照フレームとのブロックマッチング（＝動き予測処理）をいかに効率よく、高速に行うかが課題とされていた。
【０００３】
例として、ブロックマッチングの結果を閾値と比較して、閾値よりマッチング結果が良好であれば、処理を途中で打ち切ることにより、１枚の処理対象フレームにおける動き予測処理を高速に行う方法や、入力された動画像の解像度を下げることで、１枚の処理対象フレームにおける動き予測処理の計算量を大幅に削減する方法などが用いられてきた（例えば、特許文献１，２参照。）。
【特許文献１】特開２００１−１４５１０９号公報
【特許文献２】特開２００７−４３６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＭＰＥＧ−２Ｖｉｄｅｏ規格等と比較し、Ｈ．２６４規格では、１枚の処理対象フレームに対する参照可能なフレームの数が増えるため、特にソフトウェアでフレーム間圧縮処理を実現する場合、処理対象フレームに対する参照フレーム１枚あたりの動き予測処理にかかる計算量を削減する方法だけでは、十分ではないという問題があった。
【０００５】
また、処理対象フレーム及び参照フレームの解像度が大きくなると、１枚の処理対象フレームにおける動き予測処理にかかる計算量が増え、参照フレーム数がＮ倍になれば、その計算量もＮ倍になるという問題があった。
【０００６】
そこで本発明は、参照可能なフレームから、処理対象フレームに対して最適な参照フレームを選択し、１枚の処理対象フレームに対する参照フレームの数を制限することで、フレーム間圧縮処理全体にかかる計算量の削減を図ることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の動画像圧縮処理は、処理対象フレームに対して参照可能なフレームを判定する参照可能フレーム判定手段と、処理対象フレームをマクロブロック単位の領域に分割するフレーム分割手段と、参照可能フレーム判定手段により得られた参照可能フレームと、処理対象フレームの一部或いはフレーム全体の領域の差分を求め、フレーム分割手段で分割された領域に対して最適な参照フレームの候補を決定する参照フレーム候補決定手段と、参照フレーム候補決定手段によって決定された参照フレーム候補に対して動き予測処理を行う動き予測手段を備える。
【０００８】
また、上記に加えて、参照フレーム候補決定手段で決定された参照フレームを、どの分割領域の参照フレームとして引き継ぐのかを判定する参照フレーム引継ぎ判定手段と、参照フレーム候補決定手段で決定された参照フレームを、他の処理対象フレームの分割領域の参照フレームとして引き継ぐ参照フレーム引継ぎ手段とを更に備える。
【０００９】
このような構成により、動画像のフレーム間圧縮処理において、全ての参照可能なフレームに対して動き予測処理を実行するのではなく、処理対象フレームに対して最適な参照フレームを１つ或いは複数選択し、それらの参照フレームのみに対して動き予測処理を実行することが可能となる。また、参照フレーム候補決定手段によって得られた参照フレーム候補を、次の処理で再利用することが可能となる。
【発明の効果】
【００１０】
以上のように、本発明の動画像圧縮処理によれば、全ての参照可能なフレームに対して動き予測処理を実行する場合と比較して、フレーム間圧縮処理全体にかかる計算量を削減することが可能となる。また、処理対象フレームの一部の領域で、最適な参照フレームを選択する処理自体を削減することにより、更に計算量を削減することが可能となる。なお、本発明は従来の動き予測処理を高速化するための技術と組み合わせて利用可能である。
【発明を実施するための最良の形態】
【００１１】
本発明の実施の形態にかかる動画像圧縮処理では、全ての参照フレームに対して動き予測処理を実行した場合と比較して、高速にフレーム間圧縮処理を行うことができる。
【００１２】
（実施の形態）
図１は、本発明の実施の形態の動画像圧縮処理装置のブロック図であり、図１の説明については以降の文中で述べる。
【００１３】
図２は、全ての参照可能フレームに対する動き予測処理の模式図である。図２では、処理対象フレーム１に対して、参照フレーム２，３、９、１０が参照可能である。例えば、参照フレーム１枚に対する動き予測処理にかかる処理時間をＡ秒とすると、５枚の参照フレームに対する処理時間の合計は５Ａ秒となる。
【００１４】
図３は、本発明の実施の形態にかかる動画像圧縮処理を表すフローチャートである。ピクチャタイプがＰｒｅｄｉｃｔｉｏｎピクチャ（Ｐピクチャ）或いはＢｉ−Ｐｒｅｄｉｃｔｉｏｎピクチャ（Ｂピクチャ）である処理対象フレームが入力されると、ステップＳ１０１において、参照可能フレーム判定手段１００により、入力された情報を基に処理対象フレームに対して参照可能なフレームを判定する。次に、ステップＳ１０２において、フレーム分割手段１０１により処理対象フレームをマクロブロック単位の領域に分割する。ここで、分割された領域を分割領域と呼ぶこととする。次に、ステップＳ１０３において、処理対象フレーム内で処理を行う分割領域を選択し、ステップＳ１０４において、参照フレーム引継ぎ判定手段１０４により、隣接する分割領域で既に参照フレームが決定されているかどうか確認し、決定されていない場合はステップＳ１０５に進み、決定されている場合はステップＳ１０６に進む。ステップＳ１０５及びＳ１０６を終えた後、ステップＳ１０７において、処理対象フレームに未処理の分割領域が存在するか否かを判定し、未処理の分割領域が存在する場合はステップＳ１０３に戻り、未処理の分割領域が存在しない場合は、動画像圧縮処理を終了する。
【００１５】
図４は、図３のステップＳ１０５において行われる、動き予測処理１を表すフローチャートである。
【００１６】
参照フレーム候補決定手段１０２において、まず、ステップＳ２０１では、処理する対象の分割領域に対して、参照可能フレームとの差分を求め、ステップＳ２０２では、差分結果が閾値Ａより小さい場合は、ステップＳ２０３に進み、大きい場合はステップＳ２０７に進む。ここで、差分結果が閾値Ａより小さい参照可能フレームを、参照フレーム候補と呼ぶ。最後に、ステップＳ２０３において、参照フレーム引継ぎ手段１０５により、参照フレーム候補としてメモリに保存する。
【００１７】
ステップＳ２０４では、動き予測手段１０３により、参照フレーム候補に対して動き予測処理を行う。ステップＳ２０５において、動き予測処理の結果、必要とする総ビットレート値が閾値Ｂより小さい場合はステップＳ２０６に進み、大きい場合はステップＳ２０８へ進む。
【００１８】
ステップＳ２０６では、処理対象フレームの処理対象となる分割領域の参照先として、参照フレーム候補を参照フレームとして決定する。次に、ステップＳ２０７において、処理対象フレームのピクチャタイプがＢピクチャかつ、処理対象となる分割領域において決定された参照フレームが１枚以下ならば、ステップＳ２０８に進み、参照フレームが２枚ならば動き予測処理１を終了し、図２のフローチャートのステップＳ１０７に進む。
【００１９】
図５は、図３のステップＳ１０６において行われる、動き予測処理２を表すフローチャートである。まず、ステップＳ３０１において、参照フレーム引継ぎ手段１０５により、隣接する分割領域で記憶された参照フレーム候補をメモリから読み出し、現在の分割領域の参照フレーム候補とする。次に、ステップＳ３０２において、動き予測手段１０３により、メモリから読み出された参照フレーム候補に対して動き予測を行う。ステップＳ２０２において、動き予測処理の結果、必要とする総ビットレート値が閾値Ｂより小さい場合はステップＳ３０４に進み、大きい場合はステップＳ３０６へ進む。ステップＳ３０４では、処理対象フレームの処理対象となる分割領域の参照先として、参照フレーム候補を参照フレームとして決定する。次に、ステップＳ３０５において、処理対象フレームのピクチャタイプがＢピクチャかつ、処理対象となる分割領域において決定された参照フレームが１枚以下ならば、ステップＳ３０６へ進み、参照フレームが２枚ならば動き予測処理２を終了し、図２のフローチャートのステップＳ１０７に進む。
【００２０】
本発明の実施の形態にかかる動画像圧縮処理では、図４のフローチャートに示す動き予測処理１によって、図６に示すように、全ての参照可能なフレーム４、５、６、９、１０の中から、例えば、参照フレーム候補として最適な参照フレーム５、６を選択し、それらのフレームのみに対して動き予測を行う。図２の模式図の例では、参照フレーム５枚に対する処理時間の合計は５Ａ秒だが、本発明の動画像圧縮処理によって、参照フレーム候補を２枚に制限した場合は、２枚の処理時間の合計は２Ａ秒となり、フレーム間圧縮処理全体にかかる計算量が削減される。
【００２１】
また、図５のフローチャートに示す動き予測処理２によって、図７に示すように、隣接する分割領域に対する処理において既に得られた参照フレーム候補を再利用して動き予測を行う。
【産業上の利用可能性】
【００２２】
本発明の動画像圧縮処理によれば、動き予測処理を実行する参照フレームの数を効果的に削減することで、フレーム間圧縮処理全体にかかる計算量を削減できることから、特にソフトウェアで高速なフレーム間圧縮処理を実現する技術として有用である。また、本発明は、動き予測に関するその他の高速化技術と組み合わせて利用可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態の動画像圧縮処理のブロック図
【図２】全ての参照可能フレームに対する動き予測処理の模式図
【図３】本発明の実施の形態の動画像圧縮処理を表すフローチャート
【図４】サブルーチン：動き予測処理１を表すフローチャート
【図５】サブルーチン：動き予測処理２を表すフローチャート
【図６】２枚の参照可能フレームに対する動き予測処理の模式図
【図７】参照フレームの候補の再利用による動き予測処理の模式図
【符号の説明】
【００２４】
１    処理対象フレーム
２    処理対象フレームに対して前方向（Ｌ０方向）に存在する参照フレーム
３    処理対象フレームに対して後方向（Ｌ１方向）に存在する参照フレーム
４    処理対象となるマクロブロック
５    参照先となる参照領域
６    参照先となる参照領域
７    Ｌ０方向の動きベクトル
８    Ｌ１方向の動きベクトル
９    処理対象フレームに対して前方向（Ｌ０方向）に存在する参照フレーム
１０    処理対象フレームに対して後ろ方向（Ｌ１方向）に存在する参照フレーム
【図１】
2009147847.tif 000003
【図２】
2009147847.tif 000004
【図３】
2009147847.tif 000005
【図４】
2009147847.tif 000006
【図５】
2009147847.tif 000007
【図６】
2009147847.tif 000008
【図７】
2009147847.tif 000009