(57)【要約】【課題】参照ピクチャ間隔が可変である動画像符号化において、次の参照ピクチャ間隔を効率良く決定する。【解決手段】参照フレーム間の間隔を表す参照ピクチャ間隔が可変である動画像符号化装置は、第１のフレームと、第１の参照ピクチャ間隔だけ第１のフレームから離れた第２のフレームとの第１の相違度を求める。次に、第３のフレームをフレーム内予測符号化するときに、第３のフレームと、第１の参照ピクチャ間隔より長い間隔だけ第３のフレームより前に入力された第４のフレームとの第２の相違度を求める。そして、第１の相違度と第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定し、第２の参照ピクチャ間隔に基づいて第５のフレームを符号化する。【選択図】図５
2013197628.tif 000002
【特許請求の範囲】
【請求項１】
参照ピクチャ間の間隔を表す参照ピクチャ間隔が可変である動画像符号化装置であって、
第１のフレームと、第１の参照ピクチャ間隔だけ該第１のフレームから離れた第２のフレームとの第１の相違度を格納する格納部と、
第３のフレームをフレーム内予測符号化するときに、該第３のフレームと、前記第１の参照ピクチャ間隔より長い間隔だけ該第３のフレームより前に入力された第４のフレームとの第２の相違度を求め該第２の相違度を格納するとともに、前記第１の相違度と該第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定する決定部と、
前記第２の参照ピクチャ間隔に基づいて第５のフレームを符号化し、符号化結果を出力する符号化部と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記決定部は、前記第１の相違度と前記第２の相違度を比較した結果が、該第１の相違度が該第２の相違度より小さいことを示す場合、前記第１の参照ピクチャ間隔より長い間隔を前記第２の参照ピクチャ間隔に決定することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記格納部は、第６のフレームと、前記第１の参照ピクチャ間隔より短い間隔だけ該第６のフレームから離れた第７のフレームとの第３の相違度をさらに格納し、前記決定部は、前記第１の相違度と前記第２の相違度を比較した結果が、該第１の相違度が該第２の相違度より大きいことを示す場合、前記第１の相違度と該第３の相違度を比較した結果に基づいて前記第２の参照ピクチャ間隔を決定することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
参照フレーム間の間隔を表す参照ピクチャ間隔が可変である動画像符号化方法であって、
第１のフレームと、第１の参照ピクチャ間隔だけ該第１のフレームから離れた第２のフレームとの第１の相違度を求め、
第３のフレームをフレーム内予測符号化するときに、該第３のフレームと、前記第１の参照ピクチャ間隔より長い間隔だけ該第３のフレームより前に入力された第４のフレームとの第２の相違度を求め、
前記第１の相違度と前記第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定し、
前記第２の参照ピクチャ間隔に基づいて第５のフレームを符号化する
ことを特徴とする動画像符号化方法。
【請求項５】
参照フレーム間の間隔を表す参照ピクチャ間隔が可変である動画像符号化を行うコンピュータのためのプログラムであって、
第１のフレームと、第１の参照ピクチャ間隔だけ該第１のフレームから離れた第２のフレームとの第１の相違度を求め、
第３のフレームをフレーム内予測符号化するときに、該第３のフレームと、前記第１の参照ピクチャ間隔より長い間隔だけ該第３のフレームより前に入力された第４のフレームとの第２の相違度を求め、
前記第１の相違度と前記第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定し、
前記第２の参照ピクチャ間隔に基づいて第５のフレームを符号化する
処理を前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
Moving Picture Experts Group phase 2（ＭＰＥＧ２）、H.264/MPEG4 Advanced Video Coding（Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ）等の動画像符号化システムでは、動画像列がフレーム毎に符号化され、Group of pictures（ＧＯＰ）構造の複数のピクチャが生成される。
【０００３】
各ＧＯＰは、例えば、イントラ符号化ピクチャ（Ｉピクチャ）、前方向予測符号化ピクチャ（Ｐピクチャ）、及び双方向予測符号化ピクチャ（Ｂピクチャ）の３種類のピクチャを含み得る。Ｉピクチャは、フレーム内予測（イントラ予測）の結果に基づいて生成される。Ｐピクチャは、過去のフレームからフレーム間予測（インター予測）した結果に基づいて生成され、Ｂピクチャは、過去及び未来のフレームからインター予測した結果に基づいて生成される。
【０００４】
ＧＯＰ構造は、ＧＯＰ内でこれらの３種類のピクチャが配置される順序を表し、参照ピクチャ間隔は、ＧＯＰ内における２つの参照ピクチャ（Ｉピクチャ又はＰピクチャ）の間の間隔を表す。参照ピクチャ間隔は、２つの参照ピクチャに対応する２つの参照フレームの間の間隔に相当する。
【０００５】
図１は、ＩＢＢＰのＧＯＰ構造で符号化された動画像列の例を示している。ＩＢＢＰのＧＯＰ構造は、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、及びＰピクチャの順に配置された３種類のピクチャを含み、その参照ピクチャ間隔は３フレームである。このＧＯＰ構造では、２つのＩピクチャの間の間隔は別途指定され、Ｉピクチャから次のＩピクチャまでの間でＰＢＢの組み合わせが繰り返される。
【０００６】
図１の例では、０〜１１番目の順序で入力された符号化対象フレームが、２番目、０番目、１番目、５番目、３番目、４番目、８番目、６番目、７番目、１１番目、９番目、及び１０番目の順序で符号化される。
【０００７】
２番目のフレームからはＩピクチャＩ２が生成され、０番目のフレームからはＢピクチャＢ０が生成され、１番目のフレームからはＢピクチャＢ１が生成される。５番目のフレームからはＰピクチャＰ５が生成され、３番目のフレームからはＢピクチャＢ３が生成され、４番目のフレームからはＢピクチャＢ４が生成される。
【０００８】
８番目のフレームからはＰピクチャＰ８が生成され、６番目のフレームからはＢピクチャＢ６が生成され、７番目のフレームからはＢピクチャＢ７が生成される。１１番目のフレームからはＰピクチャＰ１１が生成され、９番目のフレームからはＢピクチャＢ９が生成され、１０番目のフレームからはＢピクチャＢ１０が生成される。
【０００９】
リアルタイム動画像符号化において、動画像のコンテンツ及び複雑さは時折変化する。もし一様なシーンをＩピクチャ及びＰピクチャのみを用いて符号化すると、多数のビットを使用することになるため、符号化効率を高めるためにＢピクチャを挿入することが望ましい。一方、シーンの変化が速い場合、多数のＢピクチャを用いるのは非効率的である。このように、動画像列を固定したＧＯＰ構造で符号化することは、変化するコンテンツに対して必ずしも効率的ではない。このような状況に対しては、可変なＧＯＰ構造を用いることが考えられる。
【００１０】
動画像列に対するＧＯＰ構造を動的に変更する技術は、符号化技術の一種であり、適応ＧＯＰ技術と呼ばれる。入力される動画像列に対するＧＯＰ構造が変化すると、ＩピクチャとＰピクチャの間に挿入されるＢピクチャの数が変化し、それに伴って参照ピクチャ間隔も変化する。参照ピクチャ間隔が変化すると、対象フレームと参照フレームの間隔も変化し、動き予測処理に影響を与える。符号化効率を向上させるためには、ＧＯＰ構造がいつ変化しても、ＧＯＰ構造が変化する前後において入力される動画像列に対する動き予測を効率良く行うことが望ましい。
【００１１】
従来の適応ＧＯＰ技術において、Ｐピクチャ又はＢピクチャの生成時における対象フレームと参照フレームの相違度を表す動き予測スコア（ＭＥスコア）に応じて、参照ピクチャ間隔を変更する符号化装置も知られている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−１２３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した従来の動画像符号化には、以下のような問題がある。
適応ＧＯＰ技術を用いた従来の符号化装置のように、ＭＥスコアに応じて次の参照ピクチャ間隔を決定する場合、各Ｐピクチャ及び各Ｂピクチャの生成時に、フレーム間の複数の間隔に対するＭＥスコアを求める必要がある。しかしながら、各間隔に対するＭＥスコアを求めるためには、計算負荷が高いフレーム間における動き予測と同等の計算量が必要となる。
【００１４】
このため、各ピクチャの生成時に毎回複数の間隔に対するＭＥスコアを求めると、Ｐピクチャ及びＢピクチャの生成時に膨大な計算負荷が新たに発生し、リアルタイム処理を実現することは極めて困難である。
【００１５】
１つの側面において、本発明の課題は、参照ピクチャ間隔が可変である動画像符号化において、次の参照ピクチャ間隔を効率良く決定することである。
【課題を解決するための手段】
【００１６】
１つの側面において、参照ピクチャ間の間隔を表す参照ピクチャ間隔が可変である動画像符号化装置は、格納部、決定部、及び符号化部を備える。
【００１７】
格納部は、第１のフレームと、第１の参照ピクチャ間隔だけ第１のフレームから離れた第２のフレームとの第１の相違度を格納する。決定部は、第３のフレームをフレーム内予測符号化するときに、第３のフレームと、第１の参照ピクチャ間隔より長い間隔だけ第３のフレームより前に入力された第４のフレームとの第２の相違度を求め、第２の相違度を格納する。そして、第１の相違度と第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定する。符号化部は、第２の参照ピクチャ間隔に基づいて第５のフレームを符号化し、符号化結果を出力する。
【発明の効果】
【００１８】
上述した側面における動画像符号化装置によれば、参照ピクチャ間隔が可変である動画像符号化において、次の参照ピクチャ間隔を効率良く決定することができる。
【図面の簡単な説明】
【００１９】
【図１】ＧＯＰ構造で符号化された動画像列を示す図である。
【図２】前方向動き予測及び後方向動き予測を示す図である。
【図３】前方向動き予測及び後方向動き予測で求められる相違度を示す図である。
【図４】複数の間隔に対する相違度を示す図である。
【図５】第１の動画像符号化装置の機能的構成図である。
【図６】第１の動画像符号化処理のフローチャートである。
【図７】ＧＯＰ構造の変更前後において求められる相違度を示す図である。
【図８】Ｉピクチャの生成時に求められる相違度を示す図である。
【図９】第２の動画像符号化装置の機能的構成図である。
【図１０】第２の動画像符号化処理のフローチャートである。
【図１１】参照ピクチャ間隔を変更しない場合のピクチャ列を示す図である。
【図１２】参照ピクチャ間隔を増加させる場合のピクチャ列を示す図である。
【図１３】参照ピクチャ間隔を減少させる場合のピクチャ列を示す図である。
【図１４】情報処理装置の構成図である。
【発明を実施するための形態】
【００２０】
動画像符号化は計算負荷の高い処理であり、主として予測処理に多くの時間を必要とする。イントラ予測は、フレーム内の空間的冗長性に基づく予測処理であり、インター予測は、フレーム間の時間的冗長性に基づく予測処理である。インター予測では、符号化の対象である対象フレーム及び参照フレームに基づく動き予測及び動き補償が行われ、これらの処理時間が符号化処理時間全体の大きな部分を占めている。各フレームは、複数のマクロブロックからなる。以下では、マクロブロックを単にブロックと記す場合がある。
【００２１】
動き予測は、動画像列の対象フレームと参照フレームの間における変化である動きを予測する処理であり、計算負荷が非常に高い。このため、動き予測に要する時間が符号化処理時間全体の主要部分を占めている。従来では、フレーム間予測符号化ピクチャであるＰピクチャ及びＢピクチャのみに対して、動き予測が行われている。
【００２２】
Ｐピクチャに対しては、対象フレームと過去の参照フレーム（前方向参照フレーム）の間で１回の動き予測が行われる。例えば、図２のＰピクチャＰ８に対応する対象フレームに対しては、３フレームだけ離れたＰピクチャＰ５が前方向参照フレームとして用いられ、前方向動き予測が行われる。このとき、対象フレームと参照フレームの相違度ｆ８（３）が求められる。ｆ８（３）の“ｆ”は前方向を表し、“８”は対象フレームが８番目のフレームであることを表し、“３”は対象フレームと参照フレームの間の間隔を表す。
【００２３】
対象フレームと参照フレームの相違度は、ＭＥスコア、ＭＥコスト、又はＭＥ統計情報と呼ばれることもある。相違度が小さいほど動き予測の効率が向上し、相違度が大きいほど動き予測の効率が低下する。
【００２４】
Ｂピクチャに対しては、対象フレームと過去及び未来の参照フレーム（前方向参照フレーム及び後方向参照フレーム）の間で２回の動き予測が行われる。例えば、図２のＢピクチャＢ６に対応する対象フレームに対しては、１フレームだけ離れたＰピクチャＰ５が前方向参照フレームとして用いられ、前方向動き予測が行われる。このとき、対象フレームと参照フレームの相違度ｆ６（１）が求められる。
【００２５】
また、同じ対象フレームに対して、２フレームだけ離れたＰピクチャＰ８が後方向参照フレームとして用いられ、後方向動き予測が行われ、対象フレームと参照フレームの相違度ｂ６（２）が求められる。ｂ６（２）の“ｂ”は後方向を表し、“６”は対象フレームが６番目のフレームであることを表し、“２”は対象フレームと参照フレームの間の間隔を表す。
【００２６】
なお、前方向参照フレーム及び後方向参照フレームは、既に符号化済みのＩピクチャ又はＰピクチャから再構成されたフレームであり、動画像符号化システムのフレームバッファに格納されている。そして、対象フレームの動き予測に用いられる参照フレームは、事前に決定される。
【００２７】
一方、Ｉピクチャに対しては、フレーム内予測符号化が行われるため、フレーム間における動き予測は行われない。
【００２８】
例えば、図３に示すように、図２のＰピクチャＰ８をＩピクチャＩ８に置き換えたＧＯＰ構造の場合、ＢピクチャＢ３の生成時に、前方向動き予測及び後方向動き予測が行われ、相違度ｂ３（２）が求められる。ＢピクチャＢ４の生成時には、前方向動き予測及び後方向動き予測が行われ、相違度ｂ４（１）が求められる。
【００２９】
ＢピクチャＢ６の生成時には、前方向動き予測及び後方向動き予測が行われ、相違度ｆ６（１）及びｂ６（２）が求められる。ＢピクチャＢ７の生成時には、前方向動き予測及び後方向動き予測が行われ、相違度ｆ７（２）及びｂ７（１）が求められる。そして、ＰピクチャＰ１１の生成時には、前方向動き予測が行われ、相違度ｆ１１（３）が求められる。しかしながら、ＩピクチャＩ８の生成時には、前方向動き予測又は後方向動き予測のいずれも行われない。
【００３０】
このように、Ｉピクチャに対してはフレーム間における動き予測が行われないため、Ｉピクチャの生成時には、Ｐピクチャ又はＢピクチャの生成時と比較して、対象フレームの符号化処理時間が相対的に短くなる。
【００３１】
イントラ予測もまた計算負荷が高い処理であるが、Ｉピクチャだけに限られた処理ではない。Ｐピクチャ及びＢピクチャに対しても、いくつかのブロックのデータを予測するためにフレーム内予測が行われる。したがって、Ｐピクチャ及びＢピクチャに対する予測においては、以下の３種類の処理が行われる。
（１）計算負荷が高い動き予測
（２）いくつかのブロックに対するイントラ予測
（３）イントラ予測又はインター予測のいずれか１つの予測モードを選択する選択処理
【００３２】
これに対して、Ｉピクチャに対する予測においては、イントラ予測の処理のみが行われる。このように、Ｐピクチャ及びＢピクチャの生成時には、Ｉピクチャとは異なり、処理時間の大部分が予測のために使用される。
【００３３】
適応ＧＯＰ技術を用いた従来の符号化装置のように、ＭＥスコアのような相違度に応じて次の参照ピクチャ間隔を決定する場合、各Ｐピクチャ及び各Ｂピクチャの生成時に、フレーム間の複数の間隔に対する相違度を求める必要がある。この場合、それらの相違度を比較することで、ＧＯＰ構造における参照ピクチャ間隔が動的に増減される。例えば、最小の相違度に対応する間隔が次の参照ピクチャ間隔として選択される。
【００３４】
しかしながら、各間隔に対する相違度を求めるためには、フレーム間における動き予測と同等の計算量が必要となる。例えば、図４に示すように、ＢピクチャＢ４の生成時に、１〜４フレームの４つの間隔に対する相違度ｆ４（１）、ｆ４（２）、ｆ４（３）、及びｆ４（４）を求めると、４回分の前方向動き予測を行うのと同等の計算量が必要となる。求めた４つの相違度のうち、４フレームの間隔に対する相違度ｆ４（４）が最小である場合、次の参照ピクチャ間隔は４フレームとなり、ＧＯＰ構造はＩＢＢＰからＩＢＢＢＰへ変更される。
【００３５】
このように、各ピクチャの生成時に毎回複数の間隔に対する相違度を求めると、Ｐピクチャ及びＢピクチャの生成時に膨大な計算負荷が新たに発生し、リアルタイム処理を実現することは極めて困難である。
【００３６】
なお、かかる問題は、適応ＧＯＰ技術を用いた従来の符号化装置に限らず、参照ピクチャ間隔が可変である他の動画像符号化装置においても生ずるものである。
【００３７】
以下、図面を参照しながら、実施形態を詳細に説明する。
図５は、参照フレーム間の間隔を表す参照ピクチャ間隔が可変である動画像符号化装置の機能的構成例を示している。図５の動画像符号化装置５０１は、格納部５１１、決定部５１２、及び符号化部５１３を含む。
【００３８】
図６は、図５の動画像符号化装置５０１による動画像符号化処理の例を示すフローチャートである。まず、決定部５１２は、第１のフレームと、第１の参照ピクチャ間隔だけ第１のフレームから離れた第２のフレームとの第１の相違度を求め、格納部５１１に格納する（ステップ６０１）。
【００３９】
次に、決定部５１２は、第３のフレームをフレーム内予測符号化するときに、第３のフレームと、第１の参照ピクチャ間隔より長い間隔だけ第３のフレームより前に入力された第４のフレームとの第２の相違度を求める（ステップ６０２）。そして、第１の相違度と第２の相違度を比較した結果に基づいて第２の参照ピクチャ間隔を決定する（ステップ６０３）。
【００４０】
符号化部５１３は、第２の参照ピクチャ間隔に基づいて第５のフレームを符号化する（ステップ６０４）。
【００４１】
このような動画像符号化装置によれば、参照ピクチャ間隔が可変である動画像符号化において、次の参照ピクチャ間隔を効率良く決定することができる。
【００４２】
図４に示したように、ＧＯＰ構造がＩＢＢＰからＩＢＢＢＰへ変更される場合、変更の前後において、図７に示すような複数の相違度が求められる。まず、ＧＯＰ構造の変更前において、ＰピクチャＰ５の生成時には、相違度ｆ５（３）が求められ、ＢピクチャＢ３の生成時には、相違度ｆ３（１）及びｂ３（２）が求められ、ＢピクチャＢ４の生成時には、相違度ｆ４（２）及びｂ４（１）が求められる。
【００４３】
従来の動画像符号化装置では、動き予測の終了後に相違度を破棄していたが、実施形態の動画像符号化装置では、求めた相違度を破棄せずに保存しておき、参照ピクチャ間隔を決定するために再利用する。
【００４４】
例えば、ＢピクチャＢ４の生成時における現在の参照ピクチャ間隔は３フレームであり、その間隔に対する相違度ｆ５（３）は、ＰピクチャＰ５の生成時に求められている。また、現在の参照ピクチャ間隔より１フレームだけ短い間隔に対する相違度ｂ３（２）及びｆ４（２）は、それぞれＢピクチャＢ３及びＢ４の生成時に求められている。さらに、現在の参照ピクチャ間隔より２フレームだけ短い間隔に対する相違度ｆ３（１）及びｂ４（１）も求められている。
【００４５】
したがって、現在の参照ピクチャ間隔に対する相違度と、現在の参照ピクチャ間隔より短い間隔に対する相違度とを比較して、参照ピクチャ間隔を減少させるか否かを決定することが可能である。しかしながら、現在の参照ピクチャ間隔より長い間隔に対する相違度は求められていないため、参照ピクチャ間隔を増加させるか否かを決定することができない。
【００４６】
そこで、実施形態の動画像符号化装置は、対象フレームの使用時間が短いＩピクチャの生成時の空き時間を利用して、その対象フレームと、現在の参照ピクチャ間隔より長い間隔だけ対象フレームから離れたフレームとの相違度を求める。そして、求めた相違度と、現在の参照ピクチャ間隔に対する相違度とを比較して、参照ピクチャ間隔を増加させるか否かを決定する。
【００４７】
例えば、図８に示すように、ＢピクチャＢ４の次のＩピクチャＩ８に対応する８番目のフレームの符号化時に、現在の参照ピクチャ間隔より１フレームだけ長い、４フレームの間隔に対する相違度ｆ８（４）を求める。このとき、ＢピクチャＢ４から再構成されたフレームが参照フレームとして用いられる。
【００４８】
ここで、相違度ｆ５（３）とｆ８（４）を比較した結果に基づき、次の参照ピクチャ間隔が４フレームに決定された場合、図７に示すように、ＧＯＰ構造がＩＢＢＰからＩＢＢＢＰへ変更される。この場合、８番目のフレームは双方向予測符号化されるため、次の９番目のフレームが先にフレーム内予測符号化されて、ＩピクチャＩ９が生成される。
【００４９】
そして、ＢピクチャＢ６の生成時には、相違度ｆ６（１）及びｂ６（３）が求められ、ＢピクチャＢ７の生成時には、相違度ｆ７（２）及びｂ７（２）が求められる。ＢピクチャＢ８の生成時には、相違度ｆ８（３）及びｂ８（１）が求められ、ＰピクチャＰ１３の生成時には、相違度ｆ１３（４）が求められる。ＧＯＰ構造の変更後に求められた相違度は、次のＧＯＰ変更時に再利用される。
【００５０】
このようなＧＯＰ変更方法によれば、各ピクチャの生成時に１つ又は２つの間隔に対する相違度を求めるだけで、Ｉピクチャの生成時の空き時間を利用して、次の参照ピクチャ間隔を効率良く決定することができる。したがって、リアルタイム処理を実現する実用的なハードウェア実装が可能になる。
【００５１】
ところで、図８の例では、それぞれ異なる対象フレームを使用して求めた複数の相違度に基づいて、参照ピクチャ間隔を決定している。この方法は、動画像列はリアルタイムで連続的であり、数フレームの時間範囲内でその特性が大きく変化しないという仮定に基づいている。この仮定は十分に現実的なものであり、異なる対象フレームに基づく複数の相違度を比較した場合でも、精度良く参照ピクチャ間隔を決定できると考えられる。動画像列が急激に変化した場合は、求めた相違度が大きな値を示すため、シーンチェンジを検出することができる。
【００５２】
図９は、動画像符号化装置の別の機能的構成例を示している。図９の動画像符号化装置は、変更部９１１、動き予測選択部９１２、減算器９１３、直交変換部９１４、量子化部９１５、整列部９１６、符号化部９１７、比較部９１８、及び格納部９１９を含む。図９の動画像符号化装置は、さらに動き予測部９２０、動き補償部９２１、イントラ予測部９２２、選択部９２３、逆量子化部９２４、逆直交変換部９２５、加算器９２６、ループフィルタ９２７、及びフレームバッファ９２８を含む。
【００５３】
動画像列９３１のうち符号化対象となる対象フレーム９３２は、変更部９１１に入力され、変更部９１１は、対象フレーム９３２を切替部９１２へ出力する。このとき、変更部９１１は、比較部９１８から出力される次の参照ピクチャ間隔が現在の参照ピクチャ間隔と異なる場合に、現在の参照ピクチャ間隔を変更する。
【００５４】
動き予測選択部９１２は、現在のＧＯＰ構造に基づいて対象フレーム９３２から生成されるピクチャの種類を判定し、判定結果を動き予測部９２０へ出力する。そして、対象フレーム９３２を複数のブロックに分割し、各ブロックを対象ブロックとして減算器９１３、動き予測部９２０、及びイントラ予測部９２２へ出力する。イントラ予測部９２２は、対象フレーム９３２のイントラ予測を行って、対象ブロックの予測結果を選択部９２３へ出力する。
【００５５】
動き予測部９２０は、動き予測選択部９１２による判定結果を比較部９１８へ出力する。そして、その判定結果がＰピクチャ又はＢピクチャの場合に、対象フレーム９３２とフレームバッファ９２８に格納された参照フレームとに基づいて、フレーム間における動き予測を行う。この動き予測により、対象ブロックの動き（空間的なずれ）を表す動き情報が検出され、動き補償部９２１へ出力される。
【００５６】
動き補償部９２１は、動き情報に基づいて参照フレームの動き補償を行うことで、インター予測の予測結果を生成し、その予測結果を選択部９２３へ出力する。動き予測部９２０は、動き予測で求めた対象フレーム９３２と参照フレームの相違度を、格納部９１９に格納する。
【００５７】
動き予測部９２０は、動き予測選択部９１２による判定結果がＩピクチャの場合に、対象フレーム９３２とフレームバッファ９２８に格納された参照フレームとの相違度を求める。この場合、現在の参照ピクチャ間隔より長い間隔だけ対象フレームより前に入力されたフレームが、参照フレームとして用いられる。動き予測部９２０は、求めた相違度を格納部９１９に格納するとともに、比較部９１８へ出力する。
【００５８】
従来の動画像符号化装置において、Ｉピクチャの生成時にはフレーム間における動き予測が行われないため、過去のフレームを参照することは想定されていない。そこで、図９の動画像符号化装置では、相違度を求める際に参照する過去のフレームを格納するために、フレームバッファ９２８の格納領域を１フレーム分増加させている。
【００５９】
選択部９２３は、イントラ予測部９２２から出力される予測結果又は動き補償部９２１から出力される予測結果のいずれか一方を選択して、減算器９１３及び加算器９２６へ出力する。減算器９１３は、対象ブロックの画像データと選択部９２３から出力される予測結果との差分である予測誤差を、直交変換部９１４へ出力する。
【００６０】
直交変換部９１４は、冗長性を削減するために直交変換を行って、予測誤差を周波数領域のデータに変換する。直交変換としては、例えば、離散コサイン変換（ＤＣＴ）が用いられる。量子化部９１５は、直交変換の結果を量子化し、整列部９１６は、量子化結果に対するジグザグスキャンを行ってデータを整列する。符号化部９１７は、整列されたデータを符号化し、符号化結果をビットストリームとして出力する。符号化方法としては、例えば、エントロピー符号化等の可変長符号化が用いられる。ビットストリームは、チャネルを介して受信機又は動画像復号装置へ送信される。
【００６１】
逆量子化部９２４、逆直交変換部９２５、加算器９２６、ループフィルタ９２７、及びフレームバッファ９２８は、ローカル復号部に相当する。逆量子化部９２４は、量子化部９１５から出力される量子化結果を逆量子化し、逆直交変換部９２５は、逆直交変換を行って、逆量子化結果を時間領域のデータに変換することで、予測誤差を再生する。
【００６２】
加算器９２６は、再生された予測誤差と予測結果を加算することで、対象ブロックのデータを再構成する。再構成された対象ブロックのデータは、エッジ歪みを除去するために、ループフィルタ９２７を介してフレームバッファ９２８に格納される。こうして、１フレーム分のブロックのデータがフレームバッファ９２８に格納されると、対象フレーム９３２が再構成される。再構成された対象フレーム９３２は、未来のフレームを予測するための参照フレーム、又は相違度を求めるための参照フレームとして用いられる。
【００６３】
比較部９１８は、動き予測部９２０から出力される相違度と格納部９１９に格納された相違度とを比較して、次の参照ピクチャ間隔を決定し、その参照ピクチャ間隔を変更部９１１へ出力する。動き予測部９２０から出力される相違度は、現在の参照ピクチャ間隔より長い間隔に対する相違度であり、格納部９１９に格納された相違度は、現在の参照ピクチャ間隔以下の間隔に対する相違度である。比較部９１８による処理は、対象フレーム９３２から生成されるピクチャの種類がＩピクチャの場合に行われる。
【００６４】
動き予測選択部９１２、比較部９１８、及び動き予測部９２０は、現在の参照ピクチャ間隔より長い間隔に対する相違度を求め、次の参照ピクチャ間隔を決定する決定部に対応する。図９に示した機能的構成図は一例に過ぎず、動画像符号化装置が行う処理に応じて一部の構成要素を省略又は変更してもよい。
【００６５】
図１０は、図９の動画像符号化装置が行う動画像符号化処理の例を示すフローチャートである。ＩＮＴは、現在の参照ピクチャ間隔に対応するフレーム数を表す。例えば、現在の参照ピクチャ間隔が３フレームの場合、ＩＮＴ＝３である。
【００６６】
この例では、ＩＮＴ−１フレーム、ＩＮＴフレーム、及びＩＮＴ＋１フレームの３つの間隔に対する相違度Ｄ（−１）、Ｄ（０）、及びＤ（＋１）を用いて、次の参照ピクチャ間隔が決定される。このとき、相違度Ｄ（−１）及びＤ（０）としては、できるだけ新しい相違度を用いることが望ましい。そこで、格納部９１９には、ＩＮＴ−１フレーム及びＩＮＴフレームのそれぞれの間隔に対して直近に求められた相違度Ｄ（−１）及びＤ（０）が保持される。
【００６７】
まず、動き予測選択部９１２は、現在のＧＯＰ構造に基づいて対象フレーム９３２から生成されるピクチャの種類を判定し、判定結果を動き予測部９２０へ出力する（ステップ１００１）。
【００６８】
判定結果がＩピクチャの場合（ステップ１００１，ＹＥＳ）、イントラ予測部９２２は、対象フレーム９３２のイントラ予測を行う（ステップ１００２）。また、動き予測部９２０は、ＩＮＴ＋１フレームの間隔に対する相違度Ｄ（＋１）を求めて、格納部９１９に格納する（ステップ１００３）。相違度Ｄ（＋１）の計算では、ＩＮＴ＋１フレームの間隔だけ対象フレーム９３２より前に入力されたフレームが、参照フレームとして用いられる。
【００６９】
次に、比較部９１８は、相違度Ｄ（＋１）と格納部９１９に格納された相違度Ｄ（０）とを比較する（ステップ１００４）。
Ｄ（＋１）とＤ（０）の比較では、例えば、Ｄ（＋１）／Ｄ（０）の値が閾値ＴＨと比較される。そして、Ｄ（＋１）／Ｄ（０）がＴＨより大きければ、Ｄ（＋１）がＤ（０）より大きいと判定され、Ｄ（＋１）／Ｄ（０）がＴＨ以下であれば、Ｄ（＋１）がＤ（０）より小さいと判定される。
【００７０】
Ｄ（＋１）がＤ（０）より小さい場合（ステップ１００４，ＮＯ）は、参照ピクチャ間隔をＩＮＴ＋１フレームに増加させても、動き予測の効率はあまり劣化しないと考えられる。そこで、比較部９１８は、次の参照ピクチャ間隔をＩＮＴ＋１フレームに決定する（ステップ１００９）。
【００７１】
一方、Ｄ（＋１）がＤ（０）より大きい場合（ステップ１００４，ＹＥＳ）、比較部９１８は、ＩＮＴが１であるか否かをチェックする（ステップ１００５）。ＩＮＴが１の場合（ステップ１００５，ＹＥＳ）は、現在の参照ピクチャ間隔が最小値であるため、比較部９１８は、参照ピクチャ間隔を変更しない。
【００７２】
ＩＮＴが１でない場合（ステップ１００５，ＮＯ）、比較部９１８は、相違度Ｄ（０）と格納部９１９に格納された相違度Ｄ（−１）とを比較する（ステップ１００６）。Ｄ（０）とＤ（−１）の比較方法は、Ｄ（＋１）とＤ（０）の比較方法と同様である。この場合、ステップ１００４と同じ閾値を用いてもよく、異なる閾値を用いてもよい。
【００７３】
Ｄ（０）がＤ（−１）より大きい場合（ステップ１００６，ＹＥＳ）は、参照ピクチャ間隔をＩＮＴ−１フレームに減少させた方が、動き予測の効率が向上すると考えられる。そこで、比較部９１８は、次の参照ピクチャ間隔をＩＮＴ−１フレームに決定する（ステップ１００７）。
【００７４】
一方、Ｄ（０）がＤ（−１）より小さい場合（ステップ１００６，ＮＯ）は、比較部９１８は、参照ピクチャ間隔を変更しない。
【００７５】
動き予測選択部９１２による判定結果がＰピクチャ又はＢピクチャの場合（ステップ１００１，ＮＯ）、動き予測部９２０及び動き補償部９２１は、対象フレーム９３２と参照フレームに基づいてインター予測を行う（ステップ１０１０）。そして、動き予測部９２０は、動き予測で求めた対象フレーム９３２と参照フレームの相違度を、格納部９１９に格納する。
【００７６】
次に、直交変換部９１４、量子化部９１５、整列部９１６、及び符号化部９１７は、イントラ予測又はインター予測の予測誤差を符号化して出力する（ステップ１００８）。
【００７７】
ステップ１００４におけるＤ（＋１）とＤ（０）の比較では、Ｄ（＋１）とＤ（０）の差分（Ｄ（＋１）−Ｄ（０））を閾値と比較してもよい。この場合、差分が閾値より大きければ、Ｄ（＋１）がＤ（０）より大きいと判定され、差分が閾値以下であれば、Ｄ（＋１）がＤ（０）より小さいと判定される。ステップ１００６におけるＤ（０）とＤ（−１）の比較についても同様である。
【００７８】
このような動画像符号化処理によれば、Ｉピクチャの生成時の空き時間を利用して、次の参照ピクチャ間隔を効率良く決定することができる。したがって、リアルタイム処理を実現する実用的なハードウェア実装が可能になる。
【００７９】
対象フレームと参照フレームの相違度としては、例えば、差分絶対値和（ＳＡＤ）、差分２乗和（ＳＳＤ）等のフレーム間における画像の差分を示すパラメータを用いることができる。ＳＡＤの方がＳＳＤより計算負荷が低い。
【００８０】
ＳＡＤを用いた場合、対象フレームと参照フレームの相違度ＳＡＤ（ｆｒａｍｅ）は、次式により求めることができる。
【数１】
2013197628.tif 000003
【００８１】
式（１）のｐ１（ｘ，ｙ）は、対象フレーム内の１つのマクロブロック内の座標（ｘ，ｙ）における画素の画素値を表し、ｐ２（ｘ，ｙ）は、参照フレーム内の同じ位置のマクロブロック内の画素の画素値を表す。ａｂｓ（ｐ１（ｘ，ｙ）−ｐ２（ｘ，ｙ））は、２つの画素値の差分の絶対値を表し、ｘについての総和とｙについての総和は、マクロブロック内のすべての画素についての総和を表す。式（２）のブロックについての総和は、対象フレーム内のすべてのマクロブロックについての総和を表す。
【００８２】
また、ＳＳＤを用いた場合、対象フレームと参照フレームの相違度ＳＳＤ（ｆｒａｍｅ）は、次式により求めることができる。
【数２】
2013197628.tif 000004
【００８３】
図１１は、参照ピクチャ間隔を変更しない場合のピクチャ列の例を示している。比較部９１８は、ＩピクチャＩ８に対応する８番目のフレームの符号化時に、４フレームの間隔に対する相違度ｆ８（４）をＤ（＋１）として用い、３フレームの間隔に対する相違度ｆ５（３）をＤ（０）として用いて、ｆ８（４）とｆ５（３）を比較する。比較の結果、ｆ８（４）がｆ５（３）より大きいことを示す場合、比較部９１８は、ＩＮＴが１であるか否かをチェックする。この例ではＩＮＴ＝３なので、比較部９１８は、２フレームの間隔に対する相違度ｆ４（２）をＤ（−１）として用いて、ｆ５（３）とｆ４（２）を比較する。比較の結果、ｆ５（３）がｆ４（２）より小さいことを示す場合、比較部９１８は、参照ピクチャ間隔を変更しない。
【００８４】
したがって、ＧＯＰ構造はＩＢＢＰのままで変化せず、８番目のフレームからＩピクチャＩ８が生成される。そして、ＢピクチャＢ６の生成時には、相違度ｆ６（１）及びｂ６（２）が求められ、ＢピクチャＢ７の生成時には、相違度ｆ７（２）及びｂ７（１）が求められる。ＰピクチャＰ１１の生成時には、相違度ｆ１１（３）が求められる。
【００８５】
図１２は、参照ピクチャ間隔を増加させる場合のピクチャ列の例を示している。図１１の場合と同様に、比較部９１８は、８番目のフレームの符号化時にｆ８（４）とｆ５（３）を比較する。比較の結果、ｆ８（４）がｆ５（３）より小さいことを示す場合、比較部９１８は、参照ピクチャ間隔を３フレームから４フレームへ変更する。したがって、ＧＯＰ構造がＩＢＢＰからＩＢＢＢＰへ変更され、図７に示したように、次の９番目のフレームが先にフレーム内予測符号化されて、ＩピクチャＩ９が生成される。
【００８６】
図１３は、参照ピクチャ間隔を減少させる場合のピクチャ列の例を示している。図１１の場合と同様に、比較部９１８は、８番目のフレームの符号化時にｆ８（４）とｆ５（３）を比較する。比較の結果、ｆ８（４）がｆ５（３）より大きいことを示す場合、比較部９１８は、ＩＮＴが１であるか否かをチェックした後、ｆ５（３）とｆ４（２）を比較する。比較の結果、ｆ５（３）がｆ４（２）より大きいことを示す場合、比較部９１８は、参照ピクチャ間隔を３フレームから２フレームへ変更する。
【００８７】
したがって、ＧＯＰ構造がＩＢＢＰからＩＢＰＢへ変更される。この場合、８番目のフレームの前の７番目のフレームが先にフレーム内予測符号化されて、ＩピクチャＩ７が生成される。そして、ＢピクチャＢ６の生成時には、相違度ｆ６（１）及びｂ６（１）が求められ、ＰピクチャＰ９の生成時には、相違度ｆ９（２）が求められる。ＢピクチャＢ８の生成時には、相違度ｆ８（１）及びｂ８（１）が求められ、ＰピクチャＰ１１の生成時には、相違度ｆ１１（２）が求められる。
【００８８】
図１０に示したフローチャートは一例に過ぎず、動画像符号化装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、参照ピクチャ間隔を減少させない場合、ステップ１００５〜１００７の処理を省略することが可能である。
【００８９】
また、ステップ１００３及び１００４において、Ｄ（＋１）の代わりにＩＮＴ＋２フレーム以上の間隔に対する相違度を用い、ステップ１００９において、次の参照ピクチャ間隔をＩＮＴ＋２フレーム以上に変更してもよい。同様に、ステップ１００６において、Ｄ（−１）の代わりにＩＮＴ−２フレーム以下の間隔に対する相違度を用い、ステップ１００７において、次の参照ピクチャ間隔をＩＮＴ−２フレーム以下に変更してもよい。
【００９０】
図５及び図９の動画像符号化装置は、ハードウェア回路として実装することもでき、図１４に示すような情報処理装置（コンピュータ）を用いて実現することもできる。
図１４の情報処理装置は、Central Processing Unit （ＣＰＵ）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、動画像入力装置１４０５、外部記憶装置１４０６、媒体駆動装置１４０７、及びネットワーク接続装置１４０８を備える。これらはバス１４０９により互いに接続されている。
【００９１】
メモリ１４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１４０２は、図５の格納部５１１、又は図９の格納部９１９、フレームバッファ９２８としても使用できる。ＣＰＵ（プロセッサ）１４０１は、例えば、メモリ１４０２を利用してプログラムを実行することにより、動画像符号化処理を行う。
【００９２】
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。動画像入力装置１４０５には、符号化対象の動画像列が入力される。
【００９３】
外部記憶装置１４０６は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。この外部記憶装置１４０６には、ハードディスクドライブも含まれる。情報処理装置は、外部記憶装置１４０６にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
【００９４】
媒体駆動装置１４０７は、可搬型記録媒体１４１０を駆動し、その記録内容にアクセスする。可搬型記録媒体１４１０は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記録媒体１４１０には、Compact Disk Read Only Memory （ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等も含まれる。ユーザ又はオペレータは、この可搬型記録媒体１４１０にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
【００９５】
このように、各種処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ１４０２、外部記憶装置１４０６、及び可搬型記録媒体１４１０のような、物理的な（非一時的な）記録媒体が含まれる。
【００９６】
ネットワーク接続装置１４０８は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。符号化結果は、ネットワーク接続装置１４０８を介して受信機又は動画像復号装置へ送信される。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０８を介して受け取り、それらをメモリ１４０２にロードして使用することもできる。
【００９７】
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。
【００９８】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【符号の説明】
【００９９】
５０１  動画像符号化装置
５１１、９１９  格納部
５１２  決定部
５１３  符号化部
９１１  変更部
９１２  動き予測選択部
９１３  減算器
９１４  直交変換部
９１５  量子化部
９１６  整列部
９１７  符号化部
９１８  比較部
９２０  動き予測部
９２１  動き補償部
９２２  イントラ予測部
９２３  選択部
９２４  逆量子化部
９２５  逆直交変換部
９２６  加算器
９２７  ループフィルタ
９２８  フレームバッファ
９３１  動画像列
９３２  対象フレーム
１４０１  ＣＰＵ
１４０２  メモリ
１４０３  入力装置
１４０４  出力装置
１４０５  動画像入力装置
１４０６  外部記憶装置
１４０７  媒体駆動装置
１４０８  ネットワーク接続装置
１４０９  バス
１４１０  可搬型記録媒体
【図１】
2013197628.tif 000005
【図２】
2013197628.tif 000006
【図３】
2013197628.tif 000007
【図４】
2013197628.tif 000008
【図５】
2013197628.tif 000009
【図６】
2013197628.tif 000010
【図７】
2013197628.tif 000011
【図８】
2013197628.tif 000012
【図９】
2013197628.tif 000013
【図１０】
2013197628.tif 000014
【図１１】
2013197628.tif 000015
【図１２】
2013197628.tif 000016
【図１３】
2013197628.tif 000017
【図１４】
2013197628.tif 000018