(57)【要約】【課題】低消費電力と好適な動きベクトル探索とを両立できるようにする。【解決手段】前記探索完了判断手段の判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うようにし、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うようにすることにより、動きベクトル探索を並列処理を行う際に、予測ベクトル生成のために必要な周囲の動きベクトルがまだ生成されていないことにより、予測ベクトルを生成することができない不都合が発生しないようにする。【選択図】図１
2008154072.tif 000002
【特許請求の範囲】
【請求項１】
画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する動画像符号化装置であって、
前記動き補償ブロックの動きベクトルを探索する動きベクトル探索手段と、
前記動きベクトル探索手段により、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断手段と、
前記探索完了判断手段の判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択手段とを備えることを特徴とする動画像符号化装置。
【請求項２】
前記選択手段は、前記探索完了判断手段の判断の結果、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合に、前記処理対象の動き補償ブロックの予測動きベクトルとして、あらかじめ設定された固定値を用いて前記動き補償ブロックの動きベクトル探索を行うように選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記固定値は零ベクトルであることを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記符号化ブロックより大きなブロック、あるいは、画面全体の動きベクトルを探索する大域動きベクトル探索手段を備え、
前記選択手段は、前記探索完了判断手段の判断の結果、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックの予測動きベクトルとして、前記大域動きベクトル探索手段が探索した、前記処理対象の動き補償ブロックが含まれる範囲の大域動きベクトルを用いて前記動き補償ブロックの動きベクトル探索を行うように選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記動きベクトル探索手段が探索した動きベクトル情報を、少なくとも1フレーム期間保持可能な動きベクトル記憶手段を備え、
前記選択手段は、前記探索完了判断手段の判断の結果、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックの予測動きベクトルとして、前記動きベクトル記憶手段に記憶されている既に符号化されたフレームにおける、前記処理対象の動き補償ブロックと同じ空間位置の動き補償ブロックの動きベクトルを用いて前記動き補償ブロックの動きベクトル探索を行うように選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項６】
前記動きベクトル探索手段は、符号化ブロックに含まれる複数の動き補償ブロックの動きベクトル探索を並列処理で行う機能を有し、
前記選択手段は、前記探索完了判断手段の判断の結果、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合には、前記動きベクトル探索が完了していない動き補償ブロックの動きベクトルとして、探索途中における暫定動きベクトルを用いて、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成して、前記動き補償ブロックの動きベクトル探索を行うことを特徴とする請求項１に記載の動画像符号化装置。
【請求項７】
前記探索途中における暫定動きベクトルの初期値を設定し、前記暫定動きベクトルの信頼性評価値があらかじめ定められた閾値を超えるまでは、前記初期値を用いて前記処理対象の動き補償ブロックに対する予測動きベクトルを生成し、前記暫定動きベクトルの信頼性評価値があらかじめ定められた閾値を超えたら、前記暫定動きベクトルを用いて前記処理対象の動き補償ブロックに対する予測動きベクトルを生成する予測動きベクトル生成手段を備えることを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
前記暫定動きベクトルの初期値は、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルであることを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記暫定動きベクトルの初期値は、あらかじめ設定された固定値であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１０】
前記暫定動きベクトルの初期値は、零ベクトルであることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１１】
前記暫定動きベクトルの初期値は、前記処理対象の動き補償ブロックが含まれる範囲の大域動きベクトルであることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１２】
前記暫定動きベクトルの初期値は、既に符号化されたフレームにおける、前記処理対象の動き補償ブロックと同じ空間位置の動き補償ブロックの動きベクトルであることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１３】
画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する動画像符号化方法であって、
前記動き補償ブロックの動きベクトルを探索する動きベクトル探索工程と、
前記動きベクトル探索工程において、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断工程と、
前記探索完了判断工程における判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択工程とを備えることを特徴とする動画像符号化方法。
【請求項１４】
前記符号化ブロックより大きなブロック、あるいは、画面全体の動きベクトルを探索する大域動きベクトル探索工程を備え、
前記選択工程においては、前記探索完了判断工程における判断の結果、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックの予測動きベクトルとして、前記大域動きベクトル探索工程において探索した、前記処理対象の動き補償ブロックが含まれる範囲の大域動きベクトルを用いて前記動き補償ブロックの動きベクトル探索を行うように選択することを特徴とする請求項１３に記載の動画像符号化方法。
【請求項１５】
前記動きベクトル探索工程において探索した動きベクトル情報を、少なくとも1フレーム期間保持可能な動きベクトル記憶手段を備え、
前記選択工程においては、前記探索完了判断工程における判断の結果、処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックの予測動きベクトルとして、前記動きベクトル記憶手段に記憶されている既に符号化されたフレームにおける、前記処理対象の動き補償ブロックと同じ空間位置の動き補償ブロックの動きベクトルを用いて前記動き補償ブロックの動きベクトル探索を行うように選択することを特徴とする請求項１３に記載の動画像符号化方法。
【請求項１６】
画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、前記処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する工程をコンピュータに実行させるプログラムであって、
前記動き補償ブロックの動きベクトルを探索する動きベクトル探索工程と、
前記動きベクトル探索工程において、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断工程と、
前記探索完了判断工程における判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
請求項１６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置及び動画像符号化方法に関し、特に、複数の動き補償ブロックの動きベクトル探索を並行して実行し、動画像の符号化をリアルタイムに行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、例えば被写体を撮影し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、ランダムアクセス性などの利便性が高いため、記録媒体が従来の磁気テープからディスク媒体や半導体メモリなどに移り変わってきている。しかし、一般に、ディスク媒体などは記憶容量が少なく、より高能率に圧縮符号化する必要がある。
【０００３】
また、近年は高画質への期待から、より情報量の多いハイビジョン映像を扱うデジタルビデオカメラの開発が行われており、このように別の観点からも、より高能率な圧縮符号化が望まれており、現在はＭＰＥＧが標準方式としてよく用いられている。
【０００４】
さらに近年では、記録媒体への記録可能時間のさらなる向上や携帯端末向けに、より低ビットレートでの符号化の必要性が高まっており、さらに高能率な符号化が研究されている。その中の１つがＨ．２６４であり、ＭＰＥＧ２やＭＰＥＧ４などの従来の符号化方式に比べ、符号化や復号化により多くの演算量が必要となるが、より高い符号化効率が実現されることが知られている。
【０００５】
Ｈ．２６４では、符号化効率を上げるために、様々な工夫がなされているが、その一例としてマクロブロック・パーティションがある。これは、符号化単位であるマクロブロックをさらにブロック分割してマクロブロック・パーティション（動き補償ブロック）を形成し、動き補償ブロック単位で動き補償を行うものであり、より緻密な動き補償を可能にしている。
【０００６】
また、動きベクトルの符号化は対象となる動き補償ブロックに対して、既に符号化済みとなっている周囲の動き補償ブロックの動きベクトルを用いて算出される予測ベクトルを生成する。そして、符号化対象の動きベクトルと予測ベクトルとの差分ベクトルを符号化するようになされている。
【０００７】
したがって、より効率的に符号化するためには、動き補償による画素差分値の符号量だけを考慮するのではなく、ベクトルの符号量も考慮して、総合的に最も符号化効率が高くなる動きベクトルを生成することが重要である。なお、効率的にマクロブロックの形状を絞り込んで動き検出を行う先願がある（特許文献１参照）。特許文献１ではカメラ情報を用いてマクロブロックの形状を決定していた。
【０００８】
【特許文献１】特開２００６−２５４３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
以上説明したように、Ｈ．２６４においては予測ベクトルを算出して、動きベクトルの符号量も考慮しながら動きベクトルを探索する必要があるが、動き補償ブロックの細分化により、膨大な演算を行う必要がある。
【００１０】
そこで、前記特許文献１ではカメラ情報を使っていたが、カメラ情報を使えない符号化装置にあっては依然として課題が残るうえ、カメラ情報を使った結果、全てのマクロブロック形状に関して演算する結果となったときには、やはりその演算量は多いままである。
【００１１】
また、リアルタイムで符号化処理を特に重視する場合などでは、非常に高速なプロセッサが必要になり、機器が高価になったり、消費電力が大きくなったりするという弊害も現れる。
【００１２】
そこで、符号化処理を抜本的に高速化するために、複数の動き補償ブロックの動きベクトル探索を並列処理で行うという手法が有効となる。しかしながら、動きベクトル探索を並列処理で行うと、場合によっては予測ベクトル生成のために必要な周囲の動きベクトルがまだ生成されていない場合もある。
【００１３】
その場合は予測ベクトルを生成することができず、好適な動きベクトルを探索できないという課題があった。つまり、低消費電力と好適な動きベクトル探索とを両立した動画像符号化装置を実現することは非常に困難であった。
【００１４】
本発明は前述の問題点に鑑み、低消費電力と好適な動きベクトル探索とを両立できるようにすることを目的としている。
【課題を解決するための手段】
【００１５】
本発明の動画像符号化装置は、画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する動画像符号化装置であって、前記動き補償ブロックの動きベクトルを探索する動きベクトル探索手段と、前記動きベクトル探索手段により、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断手段と、前記探索完了判断手段の判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択手段とを備えることを特徴とする。
【００１６】
本発明の動画像符号化方法は、画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する動画像符号化方法であって、前記動き補償ブロックの動きベクトルを探索する動きベクトル探索工程と、前記動きベクトル探索工程において、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断工程と、前記探索完了判断工程における判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択工程とを備えることを特徴とする。
【００１７】
本発明のプログラムは、画面を符号化単位である符号化ブロックに分割するとともに、前記符号化ブロックを動き補償単位である動き補償ブロックに分割し、前記動き補償ブロックの動きベクトル情報を、処理対象の動き補償ブロックの近傍に位置する符号化済み動き補償ブロックの動きベクトル情報を用いて生成される予測動きベクトルとの差分情報によって符号化する工程をコンピュータに実行させるプログラムであって、前記動き補償ブロックの動きベクトルを探索する動きベクトル探索工程と、前記動きベクトル探索工程において、前記処理対象の動き補償ブロックに対する予測動きベクトルを生成するために必要な、前記処理対象の動き補償ブロックの近傍に位置する動き補償ブロックの動きベクトル探索を完了しているか否かを判断する探索完了判断工程と、前記探索完了判断工程における判断の結果、前記動き補償ブロックの動きベクトル探索が完了している場合には、動きベクトルを決定する要素として、少なくとも前記処理対象の動き補償ブロックに対する予測動きベクトルを用いて動きベクトルの探索を行うように選択し、前記動き補償ブロックの動きベクトル探索が完了していない場合には、前記処理対象の動き補償ブロックを含む、前記符号化ブロック内の前記処理対象の動き補償ブロックとは異なる動き補償ブロックに対する予測動きベクトルを用いて、前記動き補償ブロックの動きベクトル探索を行うように選択する選択工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、符号化効率を大幅に落とすことなく、高速処理を可能とすることができるとともに、省電力化を図ることができ、低消費電力と好適な動きベクトル探索とを両立させることができる。
【発明を実施するための最良の形態】
【００１９】
（第１の実施形態）
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、第１の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
図１に示したように、本実施形態の動画像符号化装置は、レンズやCCD等のカメラ部を含む撮像部１０１を備えている。
【００２０】
また、フレームメモリ１０２、動きベクトル探索回路１０３、フレーム間動き補償回路１０４、イントラ予測回路１０５、スイッチ１０６、減算器１０７、整数変換回路１０８、量子化回路１０９、逆量子化回路１１０、逆整数変換回路１１１を備えている。更に、加算器１１２、ループ内フィルタ１１３、エントロピー符号化回路１１５、符号量制御回路１１６、記録部１１７、記録媒体１１８を備える構成としている。
【００２１】
そして、符号量制御回路１１６を始めとする各構成部の動作は、図示していないシステムコントローラによって制御されるようになされている。すなわち、このシステムコントローラは装置全体の動作制御を司るものであり、図示していない操作部から必要に応じて入力されるユーザからの指示によっても、装置全体の動作制御を行うようになされている。
【００２２】
撮像部１０１にて撮像して得られた画像信号は、第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納されていく。フレームメモリ１０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・などの、符号化を行う順序で画像データを取り出していく。
【００２３】
符号化の種類としては、フレーム内の画像データのみで符号化する"イントラ符号化"と、フレーム間予測も含めて符号化する"インター符号化"がある。インター符号化は、動き補償の単位ブロック（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。なお、イントラ符号化を行うピクチャをＩピクチャという。符号化するフレームの順番が入力されたフレームの順番と異なるのは、時間的に未来のフレームとの予測（後方予測）を可能にするためである。
【００２４】
イントラ符号化が行われる場合、符号化単位となるブロックの画像データはフレームメモリ１０２から読み出されて、イントラ予測回路１０５へ入力される。イントラ予測回路１０５は、符号化対象ブロックと、後述する同一フレーム内の符号化対象ブロック近傍に位置する再構成画像から生成される複数の予測画像とのブロックマッチングをそれぞれに行う。そして、最も相関の高いイントラ予測画像を選択してスイッチ１０６へ出力する。
【００２５】
すなわち、イントラ符号化が行われる場合、スイッチ１０６はイントラ予測回路１０５（イントラ予測画像）の側へ切り替えられ、減算器１０７へは前記イントラ予測画像が入力される。減算器１０７は、フレームメモリ１０２から入力される符号化対象ブロックと、スイッチ１０６から入力されるイントラ予測画像との画素値の差分情報を整数変換回路１０８へ出力する。前述のように、スイッチ１０６により選択することにより、処理対象の動き補償ブロックと同じ空間位置の動き補償ブロックの動きベクトルを用いて動き補償ブロックの動きベクトル探索を行うように選択することが可能となる。
【００２６】
前記画素値の差分情報は、整数変換回路１０８において整数変換が施された後、量子化回路１０９において量子化処理される。量子化回路１０９の出力である量子化された変換係数は、エントロピー符号化回路１１５においてエントロピー符号化がなされる。その後、記録部１１７によって記録媒体への記録信号が生成されて、記録媒体１１８へ記録される。
【００２７】
量子化回路１０９における量子化係数は、エントロピー符号化回路１１５が発生した符号量のフィードバックなどから符号量制御回路１１６が算出する。また、量子化回路１０９の出力である量子化された変換係数は、逆量子化回路１１０において逆量子化される。更に、逆整数変換回路１１１において逆整数変換処理が施されて、復号された再構成画像となり、前述したイントラ予測回路１０５の入力となってイントラ予測画像の生成に用いられる。
【００２８】
また、前記再構成画像は、ループ内フィルタ１１３によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像としてフレームメモリ１０２に記憶される。
【００２９】
一方、インター符号化が行われる場合、符号化単位となるブロックの画像データはフレームメモリ１０２から読み出されて、動きベクトル探索回路１０３へ入力される。同時に、動きベクトル探索回路１０３は、参照画像をフレームメモリ１０２から読み出し、符号化画像と参照画像から動きベクトルを検出する。フレーム間動き補償回路１０４は、前記動きベクトルに従って動き補償を行い、予測画像を生成する。
【００３０】
インター符号化が行われる場合、スイッチ１０６はフレーム間動き補償回路１０４側（インター予測画像の側）へ切り替えられ、符号化画像と予測画像との差分は減算器１０７によって計算されて差分画像が生成される。差分画像は、整数変換回路１０８に出力される。その他の処理は前述のイントラ符号化の場合と同様である。
【００３１】
次に、動きベクトル探索回路１０３の動作について詳細に説明する。
図２は、第１の実施の形態に係る動画像符号化装置が備える動きベクトル探索回路の構成例を示すブロック図である。
【００３２】
図２に示すように、動きベクトル探索回路１０３は、符号化対象ブロックバッファ２０１、参照画像バッファ２０２、画素差分コスト計算回路２０３、予測ベクトル生成回路２０５、ベクトル符号量コスト計算回路２０４、コスト判定回路２０６によって構成されている。
【００３３】
例えば、水平１６画素、垂直１６画素の符号化対象ブロックは、フレームメモリ１０２から読み出されて、符号化対象ブロックバッファ２０１へ記憶される。一方で、動きベクトルの検出範囲を参照画像とすると、水平２４画素、垂直２４画素の参照画像データは、フレームメモリ１０２から読み出されて、参照画像バッファ２０２へ記憶される。
【００３４】
ところで、水平１６画素、垂直１６画素の符号化対象ブロックは、図３に示すように、さらに、補償単位であるMCブロック（補償単位ブロック）にブロック分割することができる。
まず、図３（ａ）に示す１６ｘ１６ブロックの動きベクトル探索を行う場合の動作を説明する。画素差分コスト計算回路２０３は、符号化対象ブロックバッファ２０１に記憶されている符号化対象ブロックと、参照画像バッファ２０２に記憶されている、ある座標の水平１６画素、垂直１６画素のブロックとの相関を調べて画素差分コストを計算する。なお、前記座標が動きベクトルに相当する。画素差分コストの計算方法としては、例えば、符号化画像と参照画像との各画素ごとの差分絶対値を積算した値（MAE）を用いることができる。
【００３５】
一方、予測ベクトル生成回路２０５は、探索するMCブロックに対する予測ベクトルを生成する。予測ベクトルの生成方法は符号化の規格により定まっており、例えば１６ｘ１６ブロックの場合、図４に示すように、符号化対象ブロック（処理対象）Ｘの近傍のＡ、Ｂ、Ｃブロックの動きベクトルを用いて生成する。そのため、予測ベクトル生成回路２０５は、符号化済みの動きベクトル情報を、少なくとも符号化ブロックで画面一列分記憶しておく必要がある。
【００３６】
ベクトル符号量コスト計算回路２０４は、前記生成された予測ベクトルと、前記画素差分コストを算出した動きベクトルとの差分ベクトルを算出し、ベクトル符号量コストを算出する。
【００３７】
前述の動作を、参照画像バッファ２０２から読み出す水平１６画素、垂直１６画素ブロックの座標を変えながら，つまり候補となる動きベクトルを変えながら繰り返すことによって、動きベクトルの探索を行う。
【００３８】
動きベクトルに対するコストは、コスト判定回路２０６に順次入力されて好適な動きベクトルを判定していく。コスト判定回路２０６では、ある候補動きベクトルに対して算出された、画素差分コストとベクトル符号量コストを合わせて総合コストを算出し、総合コストが常に最小となる時の、候補動きベクトルと、それに対応する総合コストを記憶するようになっている。最終的に水平・垂直ともに±４画素の探索範囲を探索終了した時点で記憶されている候補動きベクトルを確定動きベクトルとして出力する。
【００３９】
次に、図３（ｄ）に示す８ｘ８ブロックの動きベクトル探索で、４個の８ｘ８ブロックの探索処理を同時並列に実行する（並列処理を実行する）場合の動作を説明する。
候補動きベクトルを変えながら総合コストを算出して総合コストが最小となる動きベクトルを決定する基本的な動作は、前述の１６ｘ１６ブロックの場合と同様である。ただし、４個の８ｘ８ブロックの動きベクトルを並列動作で求めるため、最小となる総合コスト、及び対応する動きベクトルの記憶回路が４ブロック分必要となる。
【００４０】
さて、ここで、図５に示す符号化対象ブロックＸを４個の８ｘ８ブロックX0,X1,X2,X3に分割した場合の、X2に対する予測ベクトルの算出について説明する。
X2に対する予測ベクトルは、図５中のA3,X0,X1の動きベクトルを用いて生成するように符号化の規格で定められている。
【００４１】
水平１６画素、垂直１６画素の符号化ブロック単位で符号化処理しているとすると、A3の動きベクトルは既に確定しているが、X0、及びX1に対する動きベクトルは未確定の状態であり、予測ベクトルの生成ができない。そこで、このように予測ベクトルの生成に必要な動きベクトルが未確定の場合には、１６ｘ１６ブロックに対する予測ベクトルを、X2の予測ベクトルとして用いる。X1,X3についても同様である。なお、ここではX2の予測ベクトルとして１６ｘ１６ブロックの予測ベクトルを用いたが、他のブロックサイズで確定できる予測ベクトルであれば、例えば、図３（ｂ）の１６ｘ８ブロックに対する予測ベクトルを用いてもよい。
【００４２】
また、前記説明では１６ｘ１６ブロックの場合と８ｘ８ブロックの場合とを分けて説明した。しかし、最小となる総合コスト、及び対応する動きベクトルの記憶回路をそれぞれのブロック分を持つことによって、１６ｘ１６ブロックの動きベクトル探索と、８ｘ８ブロックの動きベクトル探索とを並列に実行することが可能である。したがって、最小となる総合コスト、及び対応する動きベクトルの記憶回路を９個持つことによって、図３（ａ）、（ｂ）、（ｃ）、（ｄ）の動きベクトル探索をすべて並列で実行することが可能である。
【００４３】
（第２の実施形態）
図６は、第２の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
本実施形態の動画像符号化装置においては、図１で説明した動画像符号化装置に加えて、符号化ブロックに比較して十分に広い範囲、あるいはフレーム全体の大域的な動きベクトルを算出する大域動きベクトル探索回路６０１を備えている。
【００４４】
大域動きベクトル探索回路６０１は、パン撮影など画面全体の動きを検出して、動きベクトル探索回路１０３が動きベクトルを探索する際に、探索範囲の中心座標の決定になどに用いられ、動きベクトル探索の精度向上に有効である。
【００４５】
全体的な構成、動作は前記第１の実施形態と同様であるが、予測ベクトル生成回路２０５の動作が異なるため、予測ベクトル生成回路２０５の動作のみ詳細に説明する。
図５の８ｘ８ブロックのX2に対する予測ベクトルは、図５中のA3,X0,X1の動きベクトルから生成するが、X0,X1の動きベクトル探索も並列に実行しているために確定できないことは、前述の通りである。そこで、X2の予測ベクトルとして、前記大域動きベクトル探索回路６０１が出力した大域動きベクトルを用いるようにしている。X1,X3についても同様である。
【００４６】
（第３の実施形態）
図７は、第３の実施の形態に係る動画像符号化装置の構成を示すブロック図である。
本実施形態の動画像符号化装置は、図１に示した動画像符号化装置の構成に加えて、動きベクトル探索回路１０３が生成した動きベクトルを少なくとも１フレーム期間の間保持する、動きベクトル記憶回路７０１を備えている。
【００４７】
全体的な構成、動作は前記第１の実施形態と同様であるが、予測ベクトル生成回路２０５の動作が異なるため、予測ベクトル生成回路２０５の動作のみを詳細に説明する。
図５の８ｘ８ブロックのX2に対する予測ベクトルは、図５中のA3,X0,X1の動きベクトルから生成するが、X0,X1の動きベクトル探索も並列に実行しているために確定できないことは、前述の通りである。
【００４８】
そこで、本実施形態の動画像符号化装置においては、X2の予測ベクトルとして、前記動きベクトル記憶回路７０１に記憶されている、既に符号化済みのフレームの空間的に同じ位置の動きベクトルを用いるようにしている。X1,X3についても同様である。
【００４９】
（第４の実施形態）
次に、第４の実施の形態に係る動画像符号化装置について説明する。
全体的な構成、動作は前記第１の実施形態と同様であるが、予測ベクトル生成回路２０５の動作が異なるため、予測ベクトル生成回路２０５の動作のみ詳細に説明する。
【００５０】
図５の８ｘ８ブロックのX2に対する予測ベクトルは、図５中のA3,X0,X1の動きベクトルから生成するが、X0,X1の動きベクトル探索も並列に実行しているために確定できないことは、前述の通りである。
【００５１】
そこで、本実施形態の動画像符号化装置は、X0,X1の動きベクトルについては、探索途中の候補ベクトルを確定ベクトル（暫定動きベクトル）として用いることでX2の予測ベクトルを生成している。X0,X1の候補ベクトルは動きベクトルの探索処理が進むにつれて、値が変化していく。このため、X2の予測ベクトル生成も、前記X0,X1の候補ベクトルが更新される度に生成され、X2の予測ベクトルも更新されていく。なお、暫定動きベクトルの初期値は、零ベクトルであってもよい。
【００５２】
ただし、動きベクトルの探索開始時点では、X0,X1の候補ベクトルが未確定、あるいは信頼性評価値が非常に低い状態であるため、X0,X1の候補ベクトルの初期値として、例えば１６ｘ１６ブロックの予測ベクトルを用いている。そして、動きベクトル探索処理が進み、候補ベクトルが順次更新されていく。そして、前記候補ベクトルに対する総合コストがあらかじめ設定されている値（予め定められた閾値）よりも小さくなった（閾値を超えた）時点で、X0,X1の候補ベクトルをX2の予測ベクトル生成に用いるようにしている。
【００５３】
なお、ここでは、X0,X1の候補ベクトルの信頼性が非常に低い場合に、１６ｘ１６ブロックの予測ベクトルを用いている。しかし、他の確定できる予測ベクトルや、ある固定値、大域動きベクトル、あるいは、既に符号化済みのフレームの空間的に同じ位置の動きベクトルなどを用いるようにしてもよい。
【００５４】
（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像符号化装置を構成する動きベクトル探索手段、探索完了判断手段、選択手段、大域動きベクトル探索手段及び予測動きベクトル生成手段、並びに動画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５９】
プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【００６０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６４】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６５】
【図１】第１の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
【図２】第１の実施の形態に係る動画像符号化装置が備える動きベクトル探索回路の構成例を示すブロック図である。
【図３】MCブロック分割を説明するための図である。
【図４】１６ｘ１６ブロックの予測ベクトル生成を説明するための図である。
【図５】８ｘ８ブロックの予測ベクトル生成を説明するための図である。
【図６】第２の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
【図７】第３の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
【符号の説明】
【００６６】
１０１  撮像部
１０２  フレームメモリ
１０３  動きベクトル探索回路
１０４  フレーム間動き補償回路
１０５  イントラ予測回路
１０６  スイッチ
１０７  減算器
１０８  整数変換回路
１０９  量子化回路
１１０  逆量子化回路
１１１  逆整数変換回路
１１２  加算器
１１３  ループ内フィルタ
１１５  エントロピー符号化回路
１１６  符号量制御回路
１１７  記録部
１１８  記録媒体
２０１  符号化対象ブロックバッファ
２０２  参照画像バッファ
２０３  画素差分コスト計算回路
２０４  ベクトル符号量コスト計算回路
２０５  予測ベクトル生成回路
２０６  コスト判定回路
６０１  大域動きベクトル探索回路
７０１  動きベクトル記憶回路
【図１】
2008154072.tif 000003
【図２】
2008154072.tif 000004
【図３】
2008154072.tif 000005
【図４】
2008154072.tif 000006
【図５】
2008154072.tif 000007
【図６】
2008154072.tif 000008
【図７】
2008154072.tif 000009