(57)【特許請求の範囲】
【請求項１】
画像をブロック単位で符号化する画像符号化方法であって、
符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する予測方式候補決定ステップと、
決定された予測方式の候補の中から最適な予測方式を選択し、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する動き推定ステップと、
生成された予測画像を用いて前記ブロックの画像を符号化する符号化ステップとを含み、
前記予測方式候補決定ステップでは、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する
ことを特徴とする画像符号化方法。
【請求項２】
前記予測方式候補決定ステップでは、予め定められた複数の動き補償のサイズのそれぞれについて、複数の予測方式の候補を決定し、
前記動き推定ステップでは、決定された前記複数の予測方式の候補の中から最適な予測方式を選択する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記予測方式候補決定ステップでは、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、さらに、前記符号化ステップでの符号化における難易度を計算し、得られた難易度が予め定められたしきい値よりも大きい場合にだけ、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項４】
前記予測方式候補決定ステップでは、前記ブロックが属する画像のサイズが大きいほど前記難易度が大きいと計算する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項５】
前記予測方式候補決定ステップでは、前記符号化ステップでの符号化後のデータ量が多いほど前記難易度が大きいと計算する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項６】
前記予測方式候補決定ステップでは、前記画像のフレームレートが大きいほど前記難易度が大きいと計算する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項７】
前記予測方式候補決定ステップでは、前記ブロックが属する画像の複雑さが高いほど前記難易度が大きいと計算する
ことを特徴とする請求項３記載の画像符号化方法。
【請求項８】
前記画像の複雑さは、前記画像の高周波成分の大きさ、ブロックあたりの輝度分散の大きさ、又はブロックあたりのエッジの大きさである
ことを特徴とする請求項７記載の画像符号化方法。
【請求項９】
画像をブロック単位で符号化する画像符号化装置であって、
符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する予測方式候補決定手段と、
決定された予測方式の候補の中から最適な予測方式を選択し、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する動き推定手段と、
生成された予測画像を用いて前記ブロックの画像を符号化する符号化手段とを備え、
前記予測方式候補決定手段は、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する
ことを特徴とする画像符号化装置。
【請求項１０】
画像をブロック単位で符号化する画像符号化のための集積回路であって、
符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する予測方式候補決定手段と、
決定された予測方式の候補の中から最適な予測方式を選択し、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する動き推定手段と、
生成された予測画像を用いて前記ブロックの画像を符号化する符号化手段とを備え、
前記予測方式候補決定手段は、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する
ことを特徴とする集積回路。
【請求項１１】
画像をブロック単位で符号化するための画像符号化プログラムであって、
符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する予測方式候補決定ステップと、
決定された予測方式の候補の中から最適な予測方式を選択し、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する動き推定ステップと、
生成された予測画像を用いて前記ブロックの画像を符号化する符号化ステップとを、コンピュータに実行させ、
前記予測方式候補決定ステップでは、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する
ことを特徴とする画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを圧縮符号化する画像符号化方法、又は画像符号化装置に関するものである。
【背景技術】
【０００２】
近年、音声、画像、その他の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、画像等を同時に関連づけて表した情報伝達媒体をいうが、上記従来の情報メディアをマルチメディアの対象とするためには、その情報をディジタル形式で表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの情報量をディジタル情報量として見積もってみると、文字の場合の１文字当たりの情報量は１〜２Ｂｙｔｅであるのに対し、音声の場合は１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、このように膨大な情報量の上記情報メディアをディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ : Integrated Services Digital Network）によってすでに実用化されているが、テレビやカメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮符号化技術である。例えば、テレビ電話の場合は、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３という圧縮符号化標準が用いられている。また、ＭＰＥＧ-１の圧縮符号化標準を用いることにより、通常の音楽用ＣＤ（Compact Disc）に音声情報と共に画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group）標準とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で制定された動画像信号の圧縮方式に関する国際標準である。ＭＰＥＧ-１標準は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ-１標準では、対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求を満たすべく規格化されたＭＰＥＧ-２標準では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。
【０００６】
さらにその後、ＭＰＥＧ-１、ＭＰＥＧ-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ-１、ＭＰＥＧ-２を上回る圧縮率を達成し、更に物体単位で符号化、復号化および操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ-４標準が制定された。ＭＰＥＧ-４標準では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像を含む高ビットレートの、より汎用的な符号化に拡張されている。更に、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ-４ ＡＶＣおよびＩＴＵ Ｈ.２６４の標準化がなされた。
【０００７】
一般に動画像の符号化では、時間的および空間的に信号の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、「ピクチャ」とは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレーム又はフィールドを意味する。ここで、「インタレース画像」とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造で処理したりすることができる。
【０００８】
参照画像を持たず（即ち、他のピクチャを参照せず）画面内予測符号化を行うことによって得られる画像をＩピクチャと呼ぶ。また、前方又は後方の１枚のピクチャのみを参照して画面間予測符号化を行うことによって得られる画像をＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことによって得られる画像をＢピクチャと呼ぶ。Ｂピクチャは、表示時間が前方又は後方の任意の２枚のピクチャを参照画像として用いる。ここで、表示時間が前方のピクチャを参照する予測を順方向予測、後方のピクチャを参照する予測を逆方向予測、前方もしくは後方から任意の組み合わせのピクチャ２枚を参照する予測を双方向予測と呼ぶ。参照画像（参照ピクチャ）は、符号化および復号化の基本単位であるブロックごとに指定することができるが、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
【０００９】
Ｐピクチャ又はＢピクチャの予測符号化には、動き補償画面間予測符号化が用いられている。ここで、動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。また、動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを「動きベクトル」と呼ぶ。）を検出し、当該動きベクトルを考慮した予測を行うことにより予測精度を向上させると共に、符号量を減らすことを可能とする符号化方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測画像と符号化対象ピクチャとの予測残差を符号化することにより符号量を減少させている。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【００１０】
しかし、Ｂピクチャの動き補償画面間予測符号化において双方向予測を用いた場合は、２つの方向の動きベクトルを必要とするため、動きベクトルの符号量が増加し、全体の符号量に対して大きな割合を占めるような場合は、予測誤差が十分に符号化できず、符号化画像の画質の低下を招くことがある。
【００１１】
そこで、従来の動きベクトルによる符号量増加を抑制する方法として、入力画像のデータ量に対して符号化に使用可能な符号量が少ない場合には双方向予測を禁止することにより、動きベクトルの符号量の発生を制限する方法が提案されている（例えば、特許文献１参照）。
【００１２】
図１は、上記従来の画像符号化装置２００の機能構成の一例を示すブロック図である。図１に示すように、画像符号化装置２００は、ブロック分割部１、差分部２、ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）部３、量子化部４、可変長符号化部５、バッファ部６、符号量制御部７、逆量子化部８、ＩＤＣＴ（Inverse Discrete Cosine Transform:逆離散コサイン変換）部９、加算部１０、メモリ部１１および動き推定部１２を備える。
【００１３】
入力された画像データ１０１に対して、ブロック分割部１は、所定の符号化単位毎に所定の画素数のマクロブロックに分割する。動き推定部１２は、それぞれのマクロブロック毎に、対応する参照画像をメモリ部１１から取得し、その参照画像に基づいて動きベクトルの検出を行い、動きベクトルと当該動きベクトルを用いて生成した予測画像を出力する。動き推定部１２から出力された動きベクトルは、差分部２、ＤＣＴ部３および量子化部４では処理は行われず、可変長符号化部５まで送られて可変長符号化される。差分部２は、ブロック分割部１の出力と予測画像の差分である予測誤差信号を出力する。ＤＣＴ部３は、差分部２の出力に対して離散コサイン変換を施した信号を出力する。量子化部４は、ＤＣＴ部３から出力された信号に対し、符号量制御部７から出力される量子化パラメータを用いて量子化を行う。ここで、量子化パラメータとは、量子化部４および逆量子化部８で使用する量子化ステップを示すパラメータである。さらに可変長符号化部５は、量子化部４の出力に対して可変長符号化を行い、バッファ部６に送る。
【００１４】
一方、参照画像を作成するために、逆量子化部８は、量子化部４の出力である量子化パラメータと量子化後の信号を用いて逆量子化した信号を出力する。ＩＤＣＴ部９は、逆量子化された信号に対し逆離散コサイン変換を行い、加算部１０に送る。加算部１０は、逆離散コサイン変換された信号と予測画像を加算して参照画像を作成し、メモリ部１１に格納する。
【００１５】
符号量制御部７は、圧縮符号化後の目標の符号量(ビットレート)と現在までの可変長符号化部５で符号化した符号量から量子化パラメータを求め、この量子化パラメータを量子化部４に送ることによって符号量の制御を行う。さらに、符号量制御部７は、目標の符号量に対して入力画像の情報（データ量）が多い場合に動き推定部１２に双方向予測制御信号を出力し、動き推定部１２において双方向予測のための予測画像や動きベクトルが選択されることを禁止する（即ち、順方向、または逆方向予測を用いた予測画像、動きベクトルが選択される）ように制御する。
【００１６】
上記従来の装置では、目標符号量が少なく（即ち、量子化パラメータが大きく）、符号化対象のフレームに対して割り当てられる符号量が少ない場合に、双方向予測が選択されることを禁止することで、動きベクトルの符号量の増大を回避するので、上記のような符号量の増大による符号化画像の画質低下を抑制することができる。
【特許文献１】特開２０００−１３８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記従来の画像符号化装置２００では、ビットレートによってのみ双方向予測を禁止するかどうかを判断するので、以下の不都合が生じる。つまり、双方向予測を禁止しないと判断した後にマクロブロックを複数のパーティション(動き補償単位)に分割し、そのパーティション単位で動き補償を行う必要が生じた場合は、パーティションの数によってマクロブロックあたりの動きベクトルの数が予想以上に増加してしまい、上記のように予測誤差が十分に符号化できず、符号化画質の低下を招いてしまう。また、中程度のビットレート以上の場合に双方向予測を禁止すると、中程度のビットレート以上で双方向予測による圧縮率向上が得られないため、符号量の制御は容易であるが符号化効率が劣化するという課題もある。
【００１８】
本発明は、上記課題に鑑み、マクロブロックを様々なサイズのパーティションに分割が可能な画像符号化方式において、動きベクトルの符号量を適切に抑制し、かつ、符号化効率も劣化しない画像符号化方法等を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明に係る画像符号化方法は、画像をブロック単位で符号化する画像符号化方法であって、符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する予測方式候補決定ステップと、決定された予測方式の候補の中から最適な予測方式を選択し、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する動き推定ステップと、生成された予測画像を用いて前記ブロックの画像を符号化する符号化ステップとを含み、前記予測方式候補決定ステップでは、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定することを特徴とする。
【００２０】
これにより、小さなパーティションに分割されているマクロブロックの場合は、双方向予測を選択することを禁止するため、符号化効率を劣化させることなく、マクロブロックあたりの動きベクトル数の増加に伴う符号量の増加を抑制することが可能となる。
【００２１】
また、前記予測方式候補決定ステップでは、予め定められた複数の動き補償のサイズのそれぞれについて、複数の予測方式の候補を決定し、前記動き推定ステップでは、決定された前記複数の予測方式の候補の中から最適な予測方式を選択することとしてもよい。
【００２２】
また、前記予測方式候補決定ステップでは、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、さらに、前記符号化ステップでの符号化における難易度を計算し、得られた難易度が予め定められたしきい値よりも大きい場合にだけ、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定することとしてもよい。
【００２３】
これにより、符号化における難易度が所定の閾値より大きい場合のみ、所定より小さな動き補償サイズの場合に、双方向予測が選択されることを禁止するので、動きベクトルの符号量の増加が符号量全体に及ぼす影響が大きい場合に効果的に動きベクトルを抑制することが可能である。
【００２４】
また、前記予測方式候補決定ステップでは、前記ブロックが属する画像のサイズが大きいほど前記難易度が大きいと計算することとしてもよい。
【００２５】
また、前記予測方式候補決定ステップでは、前記符号化ステップでの符号化後のデータ量が多いほど前記難易度が大きいと計算することとしてもよい。
【００２６】
また、前記予測方式候補決定ステップでは、前記画像のフレームレートが大きいほど前記難易度が大きいと計算することとしてもよい。
【００２７】
また、前記予測方式候補決定ステップでは、前記ブロックが属する画像の複雑さが高いほど前記難易度が大きいと計算することとしてもよい。
【００２８】
また、前記画像の複雑さは、前記画像の高周波成分の大きさ、ブロックあたりの輝度分散の大きさ、又はブロックあたりのエッジの大きさであってもよい。
【００２９】
なお、本発明は、上記画像符号化方法における特徴的なステップを構成手段とする画像符号化装置として実現することもできる。そして、上記画像符号化方法のステップをパーソナルコンピュータ等に実行させるためのプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【００３０】
さらに、本発明は、上記画像符号化装置の主要な構成手段を集積回路化したＬＳＩ等として実現することもできる。
【発明の効果】
【００３１】
本発明によれば、マクロブロックを複数のパーティションに分割し、そのパーティション単位で動き補償が可能な画像符号化方式において、小さなパーティションに分割されているマクロブロックについては、双方向予測を選択することを禁止するので、符号化効率を劣化させることなく、マクロブロックあたりの動きベクトル数の増加に伴う符号量の増大に対する抑制が可能となり、符号化効率の劣化を防止することができる。
【発明を実施するための最良の形態】
【００３２】
以下本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明はこれらに限定されることを意図しない。
【００３３】
（実施の形態１）
図２は、本発明の実施の形態１に係る画像符号化装置１００の機能構成を示すブロック図である。図２に示すように、画像符号化装置１００は、ブロック分割部１、差分部２、ＤＣＴ部３、量子化部４、可変長符号化部５、バッファ部６、符号量制御部７、逆量子化部８、ＩＤＣＴ部９、加算部１０、メモリ部１１、動き推定部１１２および予測方式候補決定部１３を備える。なお、図２において、上記図１と同じ構成要素については同じ符番を用い、その説明は省略する。本実施の形態において特徴的な構成要素は、予測方式候補決定部１３および動き推定部１１２である。
【００３４】
上記差分部２、ＤＣＴ部３、量子化部４、可変長符号化部５および符号量制御部７は、動き推定部１１２において生成された予測画像を用いて前記ブロック単位の画像を符号化する。
【００３５】
動き推定部１１２は、予測方式候補決定部１３において決定された予測方式の候補の中から最適な予測方式を選択し（より詳細には、予測方式候補決定部１３において決定された複数の予測方式の候補の中から最適な予測方式を選択し）、選択した予測方式で前記ブロックの動きベクトルを算出し、算出した動きベクトルを用いて前記ブロックの予測画像を生成する。
【００３６】
予測方式候補決定部１３は、符号化の対象となるブロックについて、動き補償のサイズと動き予測の方向とを含む予測方式の候補を決定する（より詳細には、予め定められた複数の動き補償のサイズのそれぞれについて、複数の予測方式の候補を決定する）。さらに、予測方式候補決定部１３は、前記ブロックがＢピクチャに属し、かつ、前記動き補償のサイズが予め定められた一定のしきい値よりも小さい場合には、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する。
【００３７】
図３（ａ）〜（ｃ）は、本発明の実施の形態１に係る参照フレームと符号化対象フレームの時間的位置関係を示すフレーム配置図である。図３（ａ）では、符号化対象フレームＴfが時間的に過去の参照フレームＲf1およびＲf2を参照する順方向の予測を示している。同様に、図３（ｂ）は逆方向の予測、図３（ｃ）は双方向の予測についてそれぞれ示している。
【００３８】
予測方式候補決定部１３は、図４に示すようなフローチャートに従い、予測方式候補を決定する。
【００３９】
まず、ステップＳ１において、ピクチャタイプがＩピクチャであるか否かを判定し、Ｉピクチャならば（Ｓ１：ＹＥＳ）、動き補償を行わないので予測方式の候補を出力せずに終了する。Ｉピクチャでない場合は（Ｓ１：ＮＯ）、動き補償を行うのでステップＳ２の動き補償サイズループにおいて、予測方式の候補となる動き補償サイズの数だけ動き補償サイズとその動き補償サイズで使用可能とする予測方向を動き推定部１１２へ出力する処理を繰り返す（Ｓ２〜Ｓ１１）。
【００４０】
ステップＳ２〜ステップＳ１１のループでは、予測方式候補決定部１３は、ステップＳ３において、ピクチャタイプがＢピクチャであるか否かを判定し、Ｂピクチャでない場合、すなわちＰピクチャである場合は（Ｓ３：ＮＯ）、予測方向は順方向しかないため、ステップＳ４で予測方向を順方向に設定する。
【００４１】
次に、ステップＳ３でＢピクチャと判定された場合（Ｓ３：ＹＥＳ）、予測方式候補決定部１３は、ステップＳ６において、動き補償サイズが予め規定する所定のサイズ（例えば、８×８画素）よりも小さいか否かを判定し、所定のサイズよりも大きい場合は（Ｓ６：ＮＯ）、予測方向は順方向、逆方向、双方向の全てであると設定する（Ｓ７）。また、ステップＳ６において、動き補償サイズが上記所定のサイズよりも小さいと判断された場合は（Ｓ６：ＹＥＳ）、動き予測に用いる予測方向として、順方向または逆方向のいずれか一方を設定する（Ｓ８）。
【００４２】
その後、予測方式候補決定部１３は、ステップＳ５において、それぞれ設定された動き補償サイズと使用可能な予測方向を動き推定部１２へ出力する。
【００４３】
動き推定部１２は、予測方式候補決定部１３から入力した動き補償サイズ、予測方式の候補毎の動き検出を行い、最良の動き補償サイズ、予測方向および動きベクトルを求め、参照画像を作成する（Ｓ１２）。
【００４４】
かかる構成によれば、動き補償サイズが小さい場合に双方向予測を行わないため、通常動き補償単位毎に必要となる参照画像データを参照するためのメモリアクセスの回数や動き推定の計算などの処理量を削減することが可能である。また、符号化効率(圧縮率)にあまり影響の無い小さな動き補償サイズでのみ双方向予測が選択されないため、符号化効率を劣化することなくマクロブロックあたりの動きベクトル数の増加を抑制し、動きベクトルによる符号量増加を軽減することができる。
【００４５】
また、ＭＰＥＧ−４ ＡＶＣのダイレクトモードのように、他のブロックの動きベクトルから動きを推定可能で動きベクトルを符号化しないモードのみ、動きベクトルによる符号量の増加がないため、動き補償サイズが小さい場合でも双方向予測を許可してもよい。
【００４６】
（実施の形態２）
図５は、本発明の実施の形態２に係る画像符号化装置１１０の機能構成を示すブロック図である。図５に示すように、画像符号化装置１１０は、ブロック分割部１、差分部２、ＤＣＴ部３、量子化部４、可変長符号化部５、バッファ部６、符号量制御部７、逆量子化部８、ＩＤＣＴ部９、加算部１０、メモリ部１１、動き推定部１１２および予測方式候補決定部１４を備える。なお、図５において、上記図１又は図２と同じ構成要素については同じ符番を用い、その説明は省略する。本実施の形態において特徴的な構成要素は、予測方式候補決定部１４である。
【００４７】
予測方式候補決定部１４は、上記実施の形態１に係る予測方式候補決定部１３の機能に加え、符号化に関する情報（以下「符号化情報」という。）１５に基づいて、符号化における難易度を計算し、得られた難易度が予め定められたしきい値よりも大きい場合にだけ、順方向及び逆方向のいずれかだけを前記動き予測の方向とする予測方式を前記候補として決定する。
【００４８】
さらに、予測方式候補決定部１４では、前記ブロックが属する画像のサイズが大きいほど前記難易度が大きいと計算したり、符号化後のデータ量が多いほど前記難易度が大きいと計算したり、画像のフレームレートが大きいほど前記難易度が大きいと計算したり、ブロックが属する画像の複雑さが高いほど前記難易度が大きいと計算したりする。
【００４９】
なお、画像の複雑さは、前記画像の高周波成分の大きさ、ブロックあたりの輝度分散の大きさ、又はブロックあたりのエッジの大きさである。
【００５０】
予測方式候補決定部１４は、入力される符号化情報１５に基づいて、図６に示すようなフローチャートに従い、予測方式候補を選択する。なお、図６において、上記図４と同じ処理内容については同じ符号を用い、その説明は省略する。
【００５１】
予測方式候補決定部１４は、ピクチャタイプがＢピクチャで動き補償サイズが上記所定のサイズよりも小さい場合に（Ｓ６：ＹＥＳ）、ステップＳ９において、現在の符号化情報に基づいて符号化難易度を計算する。
【００５２】
さらに、予測方式候補決定部１４は、ステップＳ１０において、符号化難易度が予め規定する所定の閾値よりも大きいかを判定し、符号化難易度が前記所定の閾値よりも大きい場合のみ（Ｓ１０：ＹＥＳ）、ステップＳ８において、予測方式候補の予測方向として双方向を選択することを禁止し、順方向、または逆方向いずれかを設定する。一方、符号化難易度が所定の閾値よりも小さい場合は（Ｓ１０：ＮＯ）、ステップＳ７において、予測方向は順方向、逆方向、双方向の全てであると設定する（Ｓ７）。
【００５３】
かかる構成によれば、符号化難易度が所定の閾値より大きい場合のみ、所定より小さな動き補償サイズの場合に、双方向予測が選択されることを禁止するので、動きベクトルの符号量の増加が符号量全体に及ぼす影響が大きい場合に効果的に動きベクトルを抑制することが可能である。
【００５４】
なお、本実施の形態において、符号化難易度を符号化情報１５の１つである画像サイズ１６に基づいて決定しても良い。このように入力画像サイズ１５に基づいて符号化難易度を求める方法を用いた画像符号化装置は、例えば図７に示すように構成される。図７の画像符号化装置１２０における予測方式候補決定部１４は、入力される画像サイズ１６を表す情報から符号化難易度を決定する。その場合には、１ピクチャあたりのマクロブロックが多く、符号化対象ピクチャがＢピクチャで小さい動き補償サイズの双方向予測を用いると、動きベクトルの数が非常に多くなり、動きベクトルの符号量が増大するという問題を抑制することができる。また、画像サイズ１６が大きくなるほど増加する１ピクチャあたりの動き補償のためのメモリアクセスや差分計算の回数を削減する効果も得られる。
【００５５】
また、本実施の形態において、符号化難易度を符号化情報１５の１つであるビットレート（又は符号量）に基づいて決定しても良い。すなわち、目標符号量に対して発生符号量が大きい、又は目標符号量自体が小さい場合には、符号化難易度大と判断して、小さな動き補償サイズによる双方向予測を禁止する。このようにビットレートに基づいて符号化難易度を求める方法を用いた画像符号化装置は、例えば図８に示すように構成される。図８の画像符号化装置１３０における予測方式候補決定部１４は、入力されるビットレート１７を表す情報から符号化難易度を判定する。その場合には、動きベクトルに大きく符号量を割り当てる余裕が無いような時に、動きベクトルの増加による符号量の増加を抑制することができる。
【００５６】
また、本実施の形態において、符号化難易度を符号化情報１５の１つであるフレームレートに基づいて決定しても良い。すなわち、フレームレートが高い場合には、小さな動き補償サイズで双方向予測を禁止する。このようにフレームレートにより符号化難易度を求める方法を用いた画像符号化装置は、例えば図９に示すように構成される。図９の画像符号化装置１４０における予測方式候補決定部１４は、入力されるフレームレート１８を表す情報から符号化難易度を判定する。その場合には、フレームレート１８が大きくなるほど増加する、単位時間あたりの動き補償のためのメモリアクセスや差分計算の回数を削減する効果も得られる。
【００５７】
また、本実施の形態において、符号化難易度を符号化情報１５の１つである、画像の高周波成分の大きさ、ブロックあたりの輝度分散の大きさ、ブロックあたりのエッジの大きさなどの画像情報から算出した画像複雑度に基づいて決定しても良い。このように画像の複雑さから符号化難易度を求める方法を用いた画像符号化装置は、例えば図１０に示すように構成される。図１０の画像符号化装置１５０における予測方式候補決定部１４は、画像の高周波成分の大きさなどの画像情報１９に基づいて画像複雑度を算出する画像複雑度算出部２０から入力した画像複雑度から符号化難易度を判定する。その場合には、画像が複雑でなく、小さな動き補償サイズの画質に対する効果が小さい場合に、動きベクトルに多くの符号量を消費されるのを抑制するという効果もある。
【００５８】
更に、双方向予測を禁止する動き補償サイズの大きさを一定値でなく、符号化難易度によって切り替えても良い。例えば、画像サイズ１６の大きさ、
ビットレート１７、フレームレート１８、画像複雑度に応じ、双方向予測を禁止する動き補償サイズを複数の大きさから選択するようにすることで、より符号化効率の劣化なく、動きベクトルの増加に伴う符号量の増大による符号化効率の低下を抑制することができる。
【００５９】
なお、上記実施の形態１および実施の形態２においては、Ｂピクチャが符号化対象ピクチャの場合は、原則２枚のピクチャを参照するが、参照するピクチャが１枚でもあってもよい。
【００６０】
また、ＭＰＥＧ−４ ＡＶＣのダイレクトモードのように、他のブロックの動きベクトルから動きを推定可能で動きベクトルを符号化しないモードのみ、動きベクトルによる符号量の増加がないため、動き補償サイズが小さい場合でも双方向予測を許可してもよい。
【００６１】
なお、上記実施の形態１および実施の形態２の各ブロック図（上記図２および５など）における各構成要素は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えば、メモリ以外の機能ブロックが１チップ化されていても良い。）。
【００６２】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００６３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ を利用しても良い。
【００６４】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
【００６５】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【００６６】
本発明にかかる画像符号化方法は、高効率に画像データを圧縮する手段を有し、蓄積用途としては画像の長時間の記録に、伝送用途としては少ないデータ量の画像の配信等に有用である。またテレビ電話やテレビ放送の録画などの用途にも応用が可能である。
【図面の簡単な説明】
【００６７】
【図１】図１は、従来の画像符号化装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における画像符号化装置の機能構成を示すブロック図である。
【図３】図３（ａ）〜（ｃ）は、本発明の実施の形態１に係る参照フレームと符号化対象フレームの時間的位置関係を示すフレーム配置図である。
【図４】図４は、本発明の実施の形態１における画像符号化装置の予測方式候補の決定手順を示すフローチャートである。
【図５】図５は、本発明の実施の形態２における画像符号化装置の機能構成を示すブロック図である。
【図６】図６は、本発明の実施の形態２における画像符号化装置の予測方式候補の決定手順を示すフローチャートである。
【図７】図７は、画像サイズにより符号化難易度を求める場合の実施の形態２における画像符号化装置の機能構成を示すブロック図である。
【図８】図８は、ビットレートにより符号化難易度を求める場合の実施の形態２における画像符号化装置の機能構成を示すブロック図である。
【図９】図９は、フレームレートにより符号化難易度を求める場合の実施の形態２における画像符号化装置の機能構成を示すブロック図である。
【図１０】図１０は、画像複雑度により符号化難易度を求める場合の実施の形態２における画像符号化装置の機能構成を示すブロック図である。
【符号の説明】
【００６８】
１      ブロック分割部
２      差分部
３      ＤＣＴ部
４      量子化部
５      可変長符号化部
６      バッファ部
７      符号量制御部
８      逆量子化部
９      ＩＤＣＴ部
１０      加算部
１１      メモリ部
１２      動き推定部
１３      予測方式候補決定部
１４      （符号化難易度を用いた）予測方式候補決定部
１５      符号化情報
１６      画像サイズ
１７      ビットレート
１８      フレームレート
１９      画像情報
２０      画像複雑度算出部
１００      画像符号化装置
１０１      入力画像信号
１０２      出力ビットストリーム
１１０      画像符号化装置
１１２      動き推定部
１２０      画像符号化装置
１３０      画像符号化装置
１４０      画像符号化装置
１５０      画像符号化装置
２００      画像符号化装置
【図１】
0004755093.tif 000002
【図２】
0004755093.tif 000003
【図３】
0004755093.tif 000004
【図４】
0004755093.tif 000005
【図５】
0004755093.tif 000006
【図６】
0004755093.tif 000007
【図７】
0004755093.tif 000008
【図８】
0004755093.tif 000009
【図９】
0004755093.tif 000010
【図１０】
0004755093.tif 000011