(57)【要約】【課題】インター予測符号化の効率を高めて、データサイズを縮小する。【解決手段】既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する工程と、抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する工程と、選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する工程と、第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する工程と、第二予測画素に基づいて、レート歪み最適化を実行する工程とを含む。【選択図】図１９
2012141221.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを符号化する動画像符号化方法であって、
動画像データを取得する工程と、
取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する工程と、
前記抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する工程と、
前記選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する工程と、
前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する工程と、
前記第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択する工程と、
前記該選択されたイントラ予測モードに従って符号化を行う工程と、
を含むことを特徴とする動画像符号化方法。
【請求項２】
請求項１に記載の動画像符号化方法であって、
前記第二予測画素を生成する工程において、既定のイントラ予測モードに従って取得された予測画素を生成すると共に、
前記レート歪み最適化に際して、前記第二予測画素に加えて、予測画素を含めて、最もレート歪みコストの小さいイントラ予測モードを選択することを特徴とする動画像符号化方法。
【請求項３】
請求項１又は２に記載の動画像符号化方法であって、
前記一以上の候補基準ブロックを抽出する工程が、前記複数のブロックの符号化に際して採用された複数のイントラ予測モードの内で、最も多く採用されたイントラ予測モードを最多数モードとして選択し、該最多数モードを採用したブロックをすべて候補基準ブロックとして抽出することを特徴とする動画像符号化方法。
【請求項４】
請求項１から３のいずれか一に記載の動画像符号化方法であって、
前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値の内、垂直方向に並ぶ画素同士を加算して、画素の数で除算した平均値を、第二基準画素の画素値とすることを特徴とする動画像符号化方法。
【請求項５】
請求項１から３のいずれか一に記載の動画像符号化方法であって、
前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値の内、水平方向に並ぶ画素同士を加算して、画素の数で除算した平均値を、第二基準画素の画素値とすることを特徴とする動画像符号化方法。
【請求項６】
請求項１から３のいずれか一に記載の動画像符号化方法であって、
前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値をすべて加算して、全画素の数で除算した平均値を、第二基準画素の画素値とすることを特徴とする動画像符号化方法。
【請求項７】
請求項１から６のいずれか一に記載の動画像符号化方法であって、
前記複数の追加予測モードが、Ｈ．２６４／ＡＶＣ規格で規定される輝度成分の４×４ブロックの４つのイントラ予測モードの逆演算であることを特徴とする動画像符号化方法。
【請求項８】
請求項１から６のいずれか一に記載の動画像符号化方法であって、
前記複数の追加予測モードが、Ｈ．２６４／ＡＶＣ規格で規定される輝度成分の１６×１６ブロックの４つのイントラ予測モードの逆演算であることを特徴とする動画像符号化方法。
【請求項９】
請求項１から８のいずれか一に記載の動画像符号化方法であって、
符号化に際してインター予測モードをイントラ予測モードよりも優先的に採用し、インター予測モードがイントラ予測モードよりもレート歪みコストが高い場合にイントラ予測モードを採用することを特徴とする動画像符号化方法。
【請求項１０】
請求項１から９のいずれか一に記載の動画像符号化方法であって、
符号化対象の画像データとして、原画素データを用いることを特徴とする動画像符号化方法。
【請求項１１】
請求項１から１０のいずれか一に記載の動画像符号化方法であって、
前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値に対して、注目画素からの距離に応じて重み付けを行った第三基準画素を生成する工程であることを特徴とする動画像符号化方法。
【請求項１２】
請求項１から１１のいずれか一に記載の動画像符号化方法であって、
前記基準ブロックを選択する工程において、サブブロックのそれぞれに対し、先頭のブロックをキーブロックとして設定し、該キーブロックに対して位置情報を設定すると共に、キーブロック以外のブロックは、キーブロックの位置情報で代用することを特徴とする動画像符号化方法。
【請求項１３】
動画像データを取得するための動画像入力手段と、
前記動画像入力手段で入力された動画像データを圧縮するための圧縮手段と、
前記圧縮手段で圧縮された圧縮データを量子化するための量子化手段と、
を備える動画像符号化装置であって、
前記圧縮手段は、
取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する抽出手段と、
前記抽出手段で抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する基準ブロック選択手段と、
前記基準ブロック選択手段で選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する第二基準画素生成手段と、
前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する第二基準予測画素生成手段と、
を含み、
前記第二基準予測画素生成手段で生成された第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択してなることを特徴とする動画像符号化装置。
【請求項１４】
動画像データを符号化する動画像符号化プログラムであって、コンピュータに、
動画像データを取得する機能と、
取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する機能と、
前記抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する機能と、
前記選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する機能と、
前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する機能と、
前記第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択する機能と、
前記該選択されたイントラ予測モードに従って符号化を行う機能と、
を実現させることを特徴とする動画像符号化プログラム。
【請求項１５】
請求項１４に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化、復号化に用いられる動画像符号化装置、動画像符号化方法、動画像符号化プログラム及びコンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、ＤＶＤや地上デジタルハイビジョン等の高画質動画像の普及が急速に進んでおり、動画像の高ビットレート、高解像度によって情報量が飛躍的に増加し、効率のよい動画像データの圧縮が必須となっている。このようなデータ圧縮を行う符号化方式として、現在Ｈ．２６４／ＡＶＣが普及している。Ｈ．２６４／ＡＶＣは、２００３年にＩＴＵ−Ｔ等により勧告されたビデオ符号化規格であり、従来の動き補償（Motion Compensation：ＭＣ）ＤＣＴに基づくハイブリッド符号化構造を用いている。Ｈ．２６４／ＡＶＣでは時間的、空間的冗長度を低減するため、２種類の予測モードとして画面内予測符号化（ＩＮＴＲＡ予測符号化；以下「イントラ予測」ともいう。）と画面間予測符号化（ＩＮＴＥＲ予測符号化、フレーム間予測；以下「インター予測」ともいう。）を導入している。【０００３】
インター予測とは、時間が異なる２つのフレーム間における対応画像の差分をとる予測方法であり、時間的冗長度を削減することを目的とする。ここでは動き補償を効果的に行うため、１６×１６画素（ピクセル）ブロック（Macroblock：以下「マクロブロック」という）を、４×４〜１６×１６画素の７種類ブロックサイズで符号化できる。加えて、更に符号化効率を改善するため、複数フレームや１／２、１／４精度予測も利用できる。【０００４】
しかしながら、これらの動き補償ツールは、連続的な動きの動画に対してのみ、時間的冗長度を低減できるに過ぎない。すなわち、動きの変化の激しい動画に対してはインター予測では充分な符号化効率を達成できない。このような場合には、空間的冗長度を低減するためにイントラ予測モードが利用されることになる。Ｈ．２６４／ＡＶＣでは、隣接するブロックからの予測に４×４又は１６×１６画素モードが用いられる。これらの２つのモードは、レート歪み最適化（rate-distortion optimization：ＲＤＯ）処理による前エンコーディングであり、最終的な符号化モードを適切とするような最も効率的なモードが選択される。インターモードでは良好な符号化を行えない場合には、イントラモードが補足的なツールとしてうまく機能するため、大抵の場合にはこの方法でうまくいく。【０００５】
しかしながら、動画像によっては時間的冗長度でも空間的冗長度でも、いずれの観点からも冗長度を低減できないことがある。このような場合でもＨ．２６４／ＡＶＣでは、インター予測とイントラ予測のいずれか、相対的にビットレートと画質が最も良く、ＲＤＣ（Rate-Distortion Cost：以下「レート歪みコスト」又は単に「コスト」という。）の低いモードを選択しなければならず、結果としてビットレートの増大を招くこととなる。このような動画像の例としては「フットボール」が挙げられる。フットボールの試合を撮影した動画像では、選手の素早い動きのため時間的冗長度の低減が困難となる上、空間的冗長度も極めて複雑な内容のため推定が困難となる。この結果、ビットレートが不安定となり、これに応じてハード及びソフトに要求される実装仕様も高くなるという問題があった。【０００６】
その一方、このような増大するハードウェアの演算能力の要求に応えるべく、マルチコアＣＰＵや高性能ＧＰＵアーキテクチャが新たに開発されようとしている。例えばマルチコア演算は、マルチメディア処理を含め多くの分野の基本的な概念を変えるものではある。しかしながら、このような技術の利用では従来のビデオ符号化ツールを単にすべて符号化の処理に集中させるにすぎない。この結果、隣接するブロック間における複雑な相関のため並列処理が困難になるという根本的な問題の解決には至らない。【０００７】
さらに一方で、次世代の画像圧縮方法としてＨ．２６５／ＡＶＣ（ＨＶＣ：High-performance Video Coding；ＨＥＶＣ：High Efficiency Video Coding等とも呼ばれる。）の策定作業が進められており、ここではＨ．２６４／ＡＶＣに対して約２倍の符号化効率を達成することを目標としている。しかしながら、このような高い圧縮率の実現は容易でなく、現在提案されている手法の多くは、既存のあるいは新規な圧縮方法を複数組み合わせることで、トータルの圧縮率を高めようとするアプローチが取られている。換言すると、単独の符号化方法で高い圧縮率を達成することは容易でない（例えば特許文献１及び非特許文献１〜９）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１３００９９号公報
【非特許文献】
【０００９】
【非特許文献１】「オーディオビジュアルオブジェクトのＩＴ符号化−第１０部：高度な映像符号化」ＩＳＯ／ＩＥＣ  １４４９６−１０：２００３（２００３年１２月）(ISO/IEC 14496-10:2003. Information technology coding of audio-visual objects-Part 10: advanced video coding. Dec. 2003.)
【非特許文献２】「コンピュータ統合デバイスアーキテクチャ・プログラミング・ガイド、バージョン２．３、２００９」エヌビディア(NVIDIA, NVIDIA CUDA Compute Unified Device Architecture Programming Guide Version 2.3, 2009.)
【非特許文献３】Ｔ．Ｄ．チャン，Ｙ．Ｈ．チェン，Ｃ．Ｈ．ツァイ，Ｙ．Ｊ．チェン，Ｌ．Ｇ．チェン「Ｈ．２６４／ＡＶＣハイプロファイルのイントラ予測のアルゴリズムおよびアーキテクチャ設計」画像符号化シンポジウムプロシーディング（２００７）(T. D. Chuang, Y. H. Chen, C. H. Tsai, Y. J. Chen, and L. G. Chen, "Algorithm and architecture design for intra prediction in H.264/AVC high profile", in Proc. of Picture Coding Symposium, 2007.)
【非特許文献４】Ｌ．チャン，Ｓ．Ｗ．マ，Ｗ．ガオ「画像符号化用位置依存性リニアイントラ予測」ＩＥＥＥ第１７回画像処理国際会議（ＩＣＩＰ）プロシーディング２８７７−２８８０頁（２０１０年）(L.Zhang, S.W.Ma, W. Gao, "Position dependent linear intra prediction fro image coding", in Proc. of IEEE 17th International Conference on Image Processing(ICIP), pp.2877-2880, 2010.)
【非特許文献５】ＪＭ１４．２<http://iphome.hhi.de/suehring/tml/>
【非特許文献６】大久保榮他「改訂三版Ｈ．２６４／ＡＶＣ教科書」インプレス
【非特許文献７】「技術分野別特許マップ  電気１４  デジタル動画像圧縮技術」特許庁
【非特許文献８】JVT of ISO/IEC MPEG & ITU-T VCEG, "H.264/MPEG-4 AVC Reference Software Manual" July, 2007
【非特許文献９】T. Wiegand et al, "Overview of the H.264/AVC Video Coding Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、このような背景に鑑みてなされたものである。本発明の主な目的は、より高効率な動画像符号化装置、動画像符号化方法、動画像符号化プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１１】
上記の目的を達成するために、本発明の第１の動画像符号化方法は、動画像データを符号化する動画像符号化方法であって、動画像データを取得する工程と、取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する工程と、前記抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する工程と、前記選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する工程と、前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する工程と、前記第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択する工程と、前記該選択されたイントラ予測モードに従って符号化を行う工程と、を含むことができる。これにより、計算量を殆ど増やすことなく、すなわち従来のハードウェアを変更することなく、より高効率な符号化が実現できる。
【００１２】
また第２の動画像符号化方法は、前記第二予測画素を生成する工程において、既定のイントラ予測モードに従って取得された予測画素を生成すると共に、前記レート歪み最適化に際して、前記第二予測画素に加えて、予測画素を含めて、最もレート歪みコストの小さいイントラ予測モードを選択することができる。これにより、イントラ予測モードによる符号化に際して、従前の画像フレームの時間的な相関性を利用できるため、従来のイントラ予測モードよりもデータ量を少なくした符号化が実現できる。また、既存のイントラ予測モードと同様のアルゴリズムを採用しているため、既存のハードウェアが利用でき、導入に当たってコスト面での不利益は殆ど生じず、既存の設備に安価に実装できる。
【００１３】
さらに第３の動画像符号化方法は、前記一以上の候補基準ブロックを抽出する工程が、前記複数のブロックの符号化に際して採用された複数のイントラ予測モードの内で、最も多く採用されたイントラ予測モードを最多数モードとして選択し、該最多数モードを採用したブロックをすべて候補基準ブロックとして抽出することができる。
【００１４】
さらにまた第４の動画像符号化方法は、前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値の内、垂直方向に並ぶ画素同士を加算して、画素の数で除算した平均値を、第二基準画素の画素値とすることができる。
【００１５】
さらにまた第５の動画像符号化方法は、前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値の内、水平方向に並ぶ画素同士を加算して、画素の数で除算した平均値を、第二基準画素の画素値とすることができる。
【００１６】
さらにまた第６の動画像符号化方法は、前記第二基準画素を生成する工程が、前記選択された基準ブロックを構成する複数の画素値をすべて加算して、全画素の数で除算した平均値を、第二基準画素の画素値とすることができる。
【００１７】
さらにまた第７の動画像符号化方法は、前記複数の追加予測モードが、Ｈ．２６４／ＡＶＣ規格で規定される輝度成分の４×４ブロックの４つのイントラ予測モードの逆演算とできる。
【００１８】
さらにまた第８の動画像符号化方法は、前記複数の追加予測モードが、Ｈ．２６４／ＡＶＣ規格で規定される輝度成分の１６×１６ブロックの４つのイントラ予測モードの逆演算とできる。
【００１９】
さらにまた第９の動画像符号化方法は、符号化に際してインター予測モードをイントラ予測モードよりも優先的に採用し、インター予測モードがイントラ予測モードよりもレート歪みコストが高い場合にイントラ予測モードを採用することができる。
【００２０】
さらにまた第１０の動画像符号化方法は、符号化対象の画像データとして、原画素データを用いることができる。これにより、演算量の増加を少なく抑えつつも、マクロブロックに基づく並列符号化を可能とできる。
【００２１】
さらにまた第１１の動画像符号化方法は、前記第二基準画素を生成する工程を、前記選択された基準ブロックを構成する複数の画素値に対して、注目画素からの距離に応じて重み付けを行った第三基準画素を生成する工程とできる。これにより、距離の近い画素ほど重視した予測が行えるため、より正確な参照画素を得ることができる。
【００２２】
さらにまた第１２の動画像符号化方法は、前記基準ブロックを選択する工程において、サブブロックのそれぞれに対し、先頭のブロックをキーブロックとして設定し、該キーブロックに対して位置情報を設定すると共に、キーブロック以外のブロックは、キーブロックの位置情報で代用することができる。これにより、各基準ブロックの内キーブロックに対しては位置情報を付与する一方で、近接するブロックに対してキーブロックの位置情報を用いることでビット数の増大を抑えることが可能となる。
【００２３】
さらにまた第１３の動画像符号化装置は、動画像データを取得するための動画像入力手段と、前記動画像入力手段で入力された動画像データを圧縮するための圧縮手段と、前記圧縮手段で圧縮された圧縮データを量子化するための量子化手段とを備える動画像符号化装置であって、前記圧縮手段は、取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する抽出手段と、前記抽出手段で抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する基準ブロック選択手段と、前記基準ブロック選択手段で選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する第二基準画素生成手段と、前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する第二基準予測画素生成手段と、を含み、前記第二基準予測画素生成手段で生成された第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択することができる。これにより、計算量を殆ど増やすことなく、すなわち従来のハードウェアを変更することなく、より高効率な符号化が実現できる。
【００２４】
さらにまた第１４の動画像符号化プログラムは、動画像データを符号化する動画像符号化プログラムであって、コンピュータに、動画像データを取得する機能と、取得された動画像データの任意の現画像フレームを構成する任意のマクロブロックを、該マクロブロックを構成するサブブロック毎に符号化するにおいて、既に符号化された従前の画像フレーム中の、該サブブロックと対応する位置及びその周辺に存在する複数のブロック中から、該複数のブロック中で関連性の高い一以上の候補基準ブロックを抽出する機能と、前記抽出された一以上の候補基準ブロック中から、符号化対象のサブブロックと最も近似するブロックを基準ブロックとして選択する機能と、前記選択された基準ブロックを構成する複数の画素値に基づいて、予め規定された複数の追加予測モードに従って第二基準画素を生成する機能と、前記第二基準画素に基づいて、既定のイントラ予測モードに従って第二予測画素を生成する機能と、前記第二予測画素に基づいて、レート歪み最適化を実行し、最もレート歪みコストの小さいイントラ予測モードを選択する機能と、前記該選択されたイントラ予測モードに従って符号化を行う機能とを実現させることができる。これにより、計算量を殆ど増やすことなく、すなわち従来のハードウェアを変更することなく、より高効率な符号化が実現できる。
【００２５】
さらにまた第１５のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、フレキシブルディスク、ＭＯ等の光ディスク、磁気ディスク、光磁気ディスク、あるいは磁気テープ等の磁気媒体、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウェアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウェア、又はプログラム・ソフトウェアとハードウェアの一部の要素を実現する部分的ハードウェア・モジュールとが混在する形式で実現してもよい。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施の形態に係る動画像符号化装置を示すブロック図である。
【図２】インター予測におけるマクロブロックの例を示す模式図である。
【図３】１６×１６イントラ予測モードのマクロブロックを示す模式図である。
【図４】図３における予測モード０〜３を示す模式図であり、図４（ａ）はモード０、図４（ｂ）はモード１、図４（ｃ）はモード２、図４（ｄ）はモード３を、それぞれ示している。
【図５】４×４イントラ予測モードのマクロブロックを示す模式図である。
【図６】図５における予測モード０〜８を示す模式図であり、図６（ａ）はモード０、図６（ｂ）はモード１、図６（ｃ）はモード２、図６（ｄ）はモード３を、図６（ｅ）はモード４、図６（ｆ）はモード５、図６（ｇ）はモード６、図６（ｈ）はモード７、図６（ｉ）はモード８、図６（ｊ）は各画素の画素値を、それぞれ示す模式図である。
【図７】図７（ａ）、（ｃ）は動画像中の連続したフレーム画像を、図７（ｂ）、（ｄ）は図７（ａ）、（ｃ）のフレーム画像の符号化方式を、それぞれ示すイメージ図である。
【図８】図８（ａ）はフレームｎ−１におけるフレーム画像の符号化方式を、図８（ｂ）はフレームｎにおけるフレーム画像の符号化方式を、それぞれ示すイメージ図である。
【図９】フレーム画像の前後でイントラ予測が選択されている様子を示す模式図である。
【図１０】符号化対象のマクロブロックを構成する画素を示す模式図である。
【図１１】バスの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１２】コーストガードの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１３】フットボールの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１４】フォアマンの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１５】モバイルの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１６】タンペットの動画像における原画素と符号化画素とで効率を比較したシミュレーション結果を示すグラフである。
【図１７】時間的予測イントラモードの手順を示すフローチャートである。
【図１８】候補となる参照画素を選択する様子を示す模式図である。
【図１９】時間的予測イントラモードで追加した予測モードを示す模式図であり、図１９（ａ）は追加モード０、図１９（ｂ）は追加モード１、図１９（ｃ）は追加モード２、図１９（ｄ）は追加モード３を、図１９（ｅ）は追加モード４、図１９（ｆ）は追加モード５、図１９（ｇ）は追加モード６、図１９（ｈ）は追加モード７、図１９（ｉ）は追加モード８、図１９（ｊ）は各画素の画素値を、それぞれ示す模式図である。
【図２０】バスの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２１】コーストガードの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２２】フットボールの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２３】フォアマンの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２４】モバイルの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２５】タンペットの動画像における従来の符号化と実施例に係る符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図２６】従前フレームｎ−１の基準マクロブロック中で、追加モードｘの候補基準ブロックを示す拡大図である。
【図２７】図２６の候補基準ブロック中から、現マクロブロックと最も類似したブロックを探索する様子を示す模式図である。
【図２８】基準ブロックがマクロブロック中で取り得る位置を示す模式図である。
【図２９】位置情報を追加することで発生ビット数が増大する様子を示す模式図である。
【図３０】フレームｎ−１とフレームｎのマクロブロックにおける位置情報とを１：１に対応させた例を示す模式図である。
【図３１】サブブロックに対してキーブロックを設定する様子を示す模式図である。
【図３２】各シーケンスに対してサブブロック単位で参照ブロックと他のブロックの位置が同じ割合を演算した結果を示すグラフである。
【図３３】バスの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図３４】コーストガードの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図３５】フットボールの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図３６】フォアマンの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図３７】モバイルの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【図３８】タンペットの動画像における実施例２に係る符号化と比較例１の符号化とで効率を比較したシミュレーション結果を示すグラフである。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための動画像符号化装置、動画像符号化方法、動画像符号化プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は動画像符号化装置、動画像符号化方法、動画像符号化プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００２８】
本明細書において動画像符号化装置に接続される操作、制御、入出力、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘ、ＲＳ−４２２、ＲＳ−４２３、ＲＳ−４８５、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ、ＬＴＥ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらに検索対象のテキストや画像データの保存やデータベース構築、検索等に関する設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。
（動画像符号化装置）
【００２９】
図１に、Ｈ．２６４／ＡＶＣの符号化処理により、画像データからビットストリームを得る動画像符号化装置１００を構成するブロック図の一例を示す。動画像符号化装置１００は、動き推定部１０２、インター予測部１０４、イントラ予測部１０６、変換部１０８、量子化部１１０、エントロピー符号化部１１４、逆量子化部１１６、逆変換部１１８、ＲＤＯ処理部１１９、フィルタ１２０及びフレームメモリ１２２を備える。この動画像符号化装置１００は、入力される動画データを、データサイズを圧縮して符号化する。なおデータサイズを縮小する圧縮作業は、周辺のデータや以前のフレームからそのブロックのデータを予測する作業となるため、予測とも呼ばれる。入力される動画データは、時間軸上に配列される複数のピクチャから構成され、ピクチャは、複数のブロックから構成される。ブロックは、マクロブロック、マクロブロックを垂直又は水平方向に二分割又は四分割して得られたサブブロックを含む。またインター予測部１０４は、動き補償を行う。ここでインター予測部１０４とイントラ予測部１０６は、いずれか一方がＲＤＯ処理部１１９により選択される。
【００３０】
動画像符号化装置１００は、インター予測及びイントラ予測を含む複数の符号化モード（予測モード）中から一の予測モードを選択し、この選択された予測モードにて、現ピクチャのマクロブロックに対して符号化を行う。ここで動画像符号化装置１００は、インター予測及びイントラ予測に含まれるすべての予測モードで符号化を行って、コストを計算し、コストが最小である予測モードを最適モードと決定し、この予測モードにて符号化を行う。なお、予測モードの選択、決定に際しては、符号化コストによるものが一般的である。符号化コストを評価する関数は適宜選択できる。例えば、符号化コストを評価する複雑度を削減するために完全な仮符号化を行わず、生成ビット数を予測する方法を採用する場合がある。
（インター予測）
【００３１】
インター予測は、動き推定部１０２及びインター予測部１０４で行われる。動き推定部１０２は、現ピクチャのマクロブロックの予測値を基準ピクチャで探索する。またインター予測部１０４は、１／２画素又は１／４画素単位で参照ブロックが探索された場合には、これら中間画素値を計算して参照ブロックデータ値を決定する。
（イントラ予測）
【００３２】
一方で、イントラ予測部１０６は、現ピクチャのマクロブロックの予測値を現ピクチャ内で探索するイントラ予測を行う。現マクロブロックに対して、インター予測、又はイントラ予測のいずれを実行するかは、すべての予測モードのコストを計算した上で決定される。すなわち、コストを比較して、その値が最小であるモードをこのブロックの最適な予測モードとして決定し、このモードにてマクロブロックに対する符号化を行う。
【００３３】
インター予測又はイントラ予測が実行され、現フレームのマクロブロックが参照する予測データが探索されると、これを現ピクチャのマクロブロックから減算して、変換部１０８で変換して、量子化部１１０で量子化を行う。符号化時のデータ量を減らすためには、現フレームのマクロブロックから動き推定された参照ブロックを減算した差分値を符号化する。量子化された差分値は、エントロピー符号化部１１４で符号化される。
【００３４】
一方、インター予測に使用される基準ピクチャを得るために、量子化されたピクチャを逆量子化部１１６及び逆変換部１１８を経て、現ピクチャを復元する。このように復元された現ピクチャは、フレームメモリ１２２に保存されて、以降のピクチャに対するインター予測に使用される。復元されたピクチャをフィルタ１２０に通すことで、本来のピクチャで多少の符号化エラーを含むピクチャが得られる。
【００３５】
図２に、インター予測時にマクロブロックが採用する可変ブロックを示す。Ｈ．２６４／ＡＶＣでのインター予測で、一つの１６×１６マクロブロックは、１６×１６、１６×８、８×１６、又は８×８ブロックに分けられる。またそれぞれの８×８ブロックは、さらに小単位の８×４、４×８、４×４ブロックに分けられる。このように分けられた各サブブロックに対して、動き推定及び補償が実行され、動きベクトルが決定される。このような多様な種類の可変ブロックを使用してインター予測を行えば、動画像の特性や動きに応じた効果的な符号化が行える。
（インター予測部１０４）
【００３６】
図１のインター予測は、インター予測部１０４により実行される。インター予測はフレーム間予測とも呼ばれ、時間が異なる２つのフレーム間における対応画像の差分をとる予測方法であり、時間的冗長度を削減することを目的とする。インター予測符号化においては、従来は８×８画素ブロックサイズ以上の予測が用いられていたが、Ｈ．２６４／ＡＶＣでは４×４画素ブロックサイズでの予測が可能で、さらに既に符号化された複数枚の参照画像からの動き補償により、従来方法よりも高精度な予測が可能となっている。このように、ブロック毎に選択可能な予測モードの数を増やし、より予測効率の高い予測モードを選択することで、符号化効率の向上が図られている。
（イントラ予測モード）
【００３７】
次に、従来のイントラ予測モードの詳細について、図３〜図６に基づいて説明する。Ｈ．２６４／ＡＶＣ規格においては、図３、図４に示すように１６×１６ブロックに関して４つの異なるイントラ予測モード、また図５、図６に示すように４×４のブロックに関して９つの異なるイントラ予測モードが利用可能である。図４（ａ）〜（ｄ）は、Ｈ．２６４／ＡＶＣ規格による輝度成分の１６×１６イントラ予測モードを、図６（ａ）〜（ｉ）は、４×４イントラ予測モードを、それぞれ示している。図４（ａ）〜（ｄ）に示すように、１６×１６イントラ予測モードは、モード０の垂直モード、モード１の水平モード、モード２のＤＣ（直流）モード、モード３の平面モードの計４個のモードを含む。また図６（ａ）〜（ｉ）に示すように、４×４イントラ予測モードは、モード０の垂直モード、モード１の水平モード、モード２のＤＣモード、モード３の対角線左下側モード、モード４の対角線右下側モード、モード５の垂直右側モード、モード６の垂直左側モード、モード７の水平上側モード、モード８の水平下側モードの計９個のモードを有する。ここで画素Ａ〜Ｍの画素は、既に符号化されており、これらの画素値を用いて図６（ｊ）に示す隣接する画素ａ〜ｐの画素値を予測する。
【００３８】
目標ブロックの予測値は、固有の係数を持つ複数の方向に沿って隣接する符号化された画素を外挿することで得られる。例えば、図６においてモード０で示す垂直予測モードを用いて、目標４×４ブロックを予測符号化する動作を説明する。まず、４×４サイズの現ブロックの上側に隣接した画素Ａ〜Ｄの画素値に基づいて、４×４現ブロックの画素値を予測する。すなわち、画素Ａの値を４×４現ブロックの１列目に含まれる４個の画素ａ、ｅ、ｉ、ｍの画素値に、画素Ｂの値を４×４現ブロックの２列目に含まれる４個の画素ｂ、ｆ、ｊ、ｎの画素値に、画素Ｃの値を４×４現ブロックの３列目に含まれる４個の画素ｃ、ｇ、ｋ、ｏの画素値に、画素Ｄの値を４×４現ブロックの４列目に含まれる４個の画素ｄ、ｈ、ｌ、ｐの画素値に、それぞれ予測する。このようにして画素Ａ〜Ｄを用いて、画素ａ〜ｐの画素値がすべて予測される。次いで、予測された４×４現ブロックと、元の４×４現ブロックに含まれる画素の実際値の差分を求め、この差分値を符号化する。
【００３９】
このような固定外挿（fixed extrapolations）方法では、テクスチャが単純な連続画像に関しては良好な結果が得られる。しかしながら、この方法は一のマクロブロック内で複雑なエッジを有する連続画像やコンテキストには適応できない。
【００４０】
ここで、イントラモードが連続して選択される傾向について、シミュレーションを行った結果を表１に示す。この表では、異なる種類の動画像ソース（シーケンス）として標準的に用いられているバス（bus）、コーストガード（coastguard）、フットボール（football）、フォアマン（foreman）、モバイル（mobile）、タンペット（tempete）の各シーケンスに対して、連続するフレーム間でイントラモードが選択される相関関係を示している。この表において、「イントラＭＢ」は、イントラ予測モード（モード０〜８）で符号化されたマクロブロックの数を示しており、「イントラ−イントラＭＢ」は相関マクロブロック又は周囲のマクロブロック中で、同じイントラ予測モードで符号化されたマクロブロックの数を示している。
【００４１】
【表１】
2012141221.tif 000003
【００４２】
表１に示すように、連続するフレーム間ではイントラモードも連続する傾向が極めて高い。さらに、イントラで符号化された相関マクロブロックは、現在のフレームにおいても、イントラモードで符号化するための基準画素を予測するのに利用できる。
【００４３】
このような予測モードを用いて、動画像データを圧縮して符号化する。符号化に際しては、可能な限りデータサイズを縮小することが望まれる。しかしながら、動画像データの品質を損なうことなく圧縮することは容易でない。また隣接するマクロブロック間の高い相関のため、マクロブロックはマクロブロック番号順に、すなわちシーケンシャルに一ずつ符号化する必要がある。したがって、マクロブロック−レベル並列符号化処理がマルチコアＧＰＵでは利用可能できないことから、高性能コンピューティングは実現できない。
【００４４】
一般には、インター予測がイントラ予測よりも優れていると考えられており、このためインター予測では十分な成果が得られない場合に、イントラ予測が採用される。しかしながら、相関性の少ない画像においては、インター符号化とイントラ符号化のいずれでもビット数の削減が不十分となることがあった。本発明者らが行った試験では、例えばフットボールの試合を撮像した動画のような場合、連続したフレーム間で似ている部分があるにも拘わらずインター符号化でなくイントラ符号化が採用されていることを見出した。例えば図７（ａ）、（ｃ）に動画像中の連続したフレーム画像を、図７（ｂ）、（ｄ）に各フレーム画像の符号化方式を、それぞれ示す。これらの図に示すように、芝生の部分は前後のフレーム間で変化が殆ど見られないにも拘わらず、イントラ符号化が採用されていることを見出した。
【００４５】
さらに図８（ａ）、（ｂ）に示すように、直前のフレームとの間で符号化方式を比較すると、連続した画像間では予測モードの傾向が変わり難いこと、すなわち同じ予測モードが継続して行われていることを見出した。このことから、図９に示すように、イントラ予測が選択された場合は、前のフレーム画像でも同位置又はその近辺において、同様にイントラ予測が採用されている可能性が高いと思われる。実際に様々な動画ソースに対して、イントラ予測が連続して行われる比率を調べたところ、表１に示すように、動画像の種類によっては極めて高い確率でイントラ予測が連続していることを見出した。このことから、イントラ予測が選択されやすい動画像においては、前のフレームのイントラ符号化の結果を利用して符号化を行うことで、より効率のよい符号化が行えるとの着想を得た。すなわち、従来のイントラ符号化で行われていた同一画像内での相関性に加えて、さらに時間的な相関性をも加味することで、一層の高効率化を図ることができる。本実施の形態は、ブロック符号化の並列処理を実現するイントラモードとして、独立した予測方法である。具体的には、既存のイントラモードに加えて、新たに時間的予測イントラモードを導入することで、符号化効率を改善している。このような高速な並列符号化と高い符号化効率を実現するアルゴリズムについて、以下詳述する。
【００４６】
本実施の形態においては、符号化された基準画素の代わりに原画素を用いることが好ましい。ここで用いた基準画素の構成を図１０に示す。この図に示すように、マクロブロックを構成する画素Ｃ0〜Ｃ15が符号化対象であって、隣接する画素Ａ〜Ｍは既に符号化されているものとする。一般に、イントラモードの基準データは、基準ブロックを生成するためにＡ〜Ｍの符号化された隣接画素を使用している。これに対し、本実施の形態においては、隣接画素の符号化を待たずに一のマクロブロックのＲＤＯ処理を開始できるように基準ブロックを生成すべく、原画素を使用する。ただし、これによって推定誤差を生じ、また符号化性能を損なうことは不可避となる。
【００４７】
このような原画素を用いる場合と、符号化された画素を用いる場合とでパフォーマンスを比較したシミュレーション結果を、図１１〜図１６に示す。これらの図において、図１１はバスの動画像における原画素と符号化画像との効率、図１２はコーストガードの動画像における原画素と符号化画像との効率、図１３はフットボールの動画像における原画素と符号化画像との効率、図１４はフォアマンの動画像における原画素と符号化画像との効率、図１５はモバイルの動画像における原画素と符号化画像との効率、図１６はタンペットの動画像における原画素と符号化画像との効率を比較したシミュレーション結果を、それぞれ示している。各グラフにおいて、横軸はビットレート［ｋｂｉｔ／ｓ］、縦軸はピーク信号対雑音比（Peak Signal-to-Noise Ratio：ＰＳＮＲ）［ｄＢ］を示している。これらの図に示すように、原画素を使用することで、僅かな符号化性能の低下が生じている。ただし、全体的な演算量からすれば無視できる程のレベルであって、従来のハードウェア構成でも十分対応可能なレベルである。一方、原画像データを用いることで、マクロブロックに基づく並列符号化が可能となることで得られる恩恵は遙かに大きい。
【００４８】
さらに、動画像シーケンスとしてバス、コーストガード、フットボール、フォアマン、モバイル、タンペットに対して、原画像データを用いて実施例１の符号化を行い、ＰＳＮＲのみならずビット削減率で比較例１と比較した結果を、表２に示す。この図に示すように、いずれの動画像においてもビットレートが削減されており、これらの平均で１６．３４％という、単独の技術としては極めて優れたビットレート削減を実現できた。もちろん、他の既知の符号化技術を組み合わせることで、より一層の改善を得ることも可能である。
【００４９】
【表２】
2012141221.tif 000004
（時間的予測イントラモードの手順）
【００５０】
次に、時間的予測イントラモードについて、図１７及び図１８に基づいて説明する。本発明者らの行った試験によれば、従前のフレームにおいてマクロブロックがイントラ予測で符号化されていた場合は、現フレームのマクロブロックはこれと深い相関があることが判明した。したがって、相関するマクロブロックがイントラモードで符号化される場合は、現マクロブロックのＲＤＯ処理において、現マクロブロックと最も類似する一の４×４ブロックを選択することで、効率のよい符号化が得られる。この技術は、イントラ予測に際して適用する。以下、図９の模式図に示すように、現フレームｎ中のマクロブロックを符号化する際、従前のフレームｎ−１中の対応する位置に存在する、符号化済みのブロックを利用する手順を、図１７のフローチャートに基づいて説明する。
（ステップＳ１：候補基準ブロックの決定）
【００５１】
まずステップＳ１で候補基準ブロックを決定する。具体的には、図１８に示すように、現フレームｎ中の、符号化対象の現ブロック（図１８において黒塗りで示す）と相関する、従前フレームｎ−１中の対応する部位に存在する４×４の１６個のマクロブロックに注目し、これらのブロック中で、最も多く採用されたイントラ予測モードを、最多数モード（モードｉ）として選択する。次に、この最多数モードを採用したブロックをすべて抽出し、候補基準ブロックとする。図１８の例では、最多数モードがモード０であるとして、このモード０で符号化されたブロックＸ1、Ｘ2、Ｘ3が候補基準ブロックとして抽出される。
（ステップＳ２：基準ブロックの選択）
【００５２】
次にステップＳ２で、候補基準ブロック中から基準ブロックを選択する。ここでは、すべての候補基準ブロックＸ1、Ｘ2、Ｘ3に対して、符号化対象の現ブロックと比較し、差分の最も少ないブロックを基準ブロックとする。差分は、例えば次式で計算できる。
【００５３】
【数１】
2012141221.tif 000005
【００５４】
【数２】
2012141221.tif 000006
【００５５】
このようにして、符号化対象のブロックと最も類似する一の基準ブロックが選択される。
（ステップＳ３：第二基準画素の生成）
【００５６】
次にステップＳ３で、この基準ブロックに基づいて、第二基準画素Ａ’〜Ｍ’を生成する。第二基準画素の生成は、従来の４×４イントラ予測の各予測モード０〜８で用いられる画素生成方法とは逆の方法で行われる。すなわち、図１９（ｊ）に示すように、既に生成された基準ブロックを構成する４×４の画素値ａ’〜ｐ’に基づいて、隣接する第二基準画素Ａ’〜Ｍ’を逆に生成する。この第二基準画素Ａ’〜Ｍ’の画素値の決定方法は、図１９（ａ）〜（ｉ）に示す９つの追加モード（Ｅｘモード）に基づいて行われる。すなわち、ここでは図１９（ｊ）の画素値に基づいて、９組の第二基準画素Ａ’〜Ｍ’が生成されることになる。
【００５７】
例えば、図１９（ａ）に示す追加モード０では、基準ブロックの第一列に位置する画素ａ’、ｅ’、ｉ’、ｍ’を平均した画素値が、第二基準画素Ａ’として算出される。同様に基準ブロックの第二列に位置する画素ｂ’、ｆ’、ｊ’、ｎ’を平均した画素値が、第二基準画素Ｂ’として算出される。以下同様にして、各列の画素値の平均値が、それぞれ第二基準画素Ｃ’、Ｄ’として生成される。
【００５８】
また図１９（ｃ）に示す追加モード２では、基準ブロックのすべての画素ａ’〜ｐ’の画素値の平均が、第二基準画素Ａ’〜Ｍ’にそれぞれ入力される。これら各追加モードにおける各第二基準画素の演算方法を、図１０の画素値を用いて数式で示した表を、表３に示す。このようにして、ステップＳ２で選択された基準ブロックの画素値を用いて、既存のイントラ基準画素生成とは逆の方法によって、第二基準画素Ａ’〜Ｍ’を生成する。
【００５９】
【表３】
2012141221.tif 000007
（ステップＳ４：予測画素の生成）
【００６０】
そして、得られた第二基準画素Ａ’〜Ｍ’に基づいて、従来のイントラ予測モードと同様の処理が行われる。すなわち、図６（ａ）〜（ｊ）に示す予測モード０〜８の９つの予測モードが実行され、基準画素Ａ〜Ｍに基づいて予測画素ａ〜ｐが得られる。加えて、ステップＳ３で生成した第二基準画素Ａ’〜Ｍ’に基づいて、第二予測画素ａ〜ｐが得られる。このように、既存の９つのイントラ予測モードに加えて、新たに図１９に示す９つの追加モードでそれぞれ演算された第二基準画素Ａ’〜Ｍ’に基づいて、第二予測画素ａ〜ｐが生成される。
（ステップＳ５：レート歪み最適化）
【００６１】
さらに、得られた予測画素に基づいてレート歪み最適化が実行される。すなわち、従来のイントラ予測モード０〜８に加え、追加モード０〜８に基づく、計１８通りの予測画素に基づいて、原画素との差分に基づいてコストが演算され、ＲＤＯ（レート歪み最適化）が行われる。これにより、従来よりも精度の高い符号化が期待できる。この方法であれば、追加モード０〜８が追加される分だけ理論上は演算量が増えるものの、第二基準画素の演算と、これに基づく予測画素の演算は演算処理が相当部分で共通するため、実際の処理としては殆ど変化しない。逆に、従前の演算結果を適宜利用できるため、効率はよいといえる。さらに、既存のイントラ予測モードと同様のアルゴリズムを採用しているため、既存のハードウェアが利用でき、導入に当たってコスト面での不利益は殆ど生じず、既存の設備に安価に実装できるという優れた利点が得られる。
【実施例１】
【００６２】
（シミュレーション結果）
本実施の形態に係る時間的予測イントラモードを、Ｈ．２６４／ＡＶＣの基準ソフトウェアとして利用されているＪＭ（非特許文献５）に実装してシミュレーションを行った。ここではテスト動画像として、「バス」、「コーストガード」、「フットボール」、「フォアマン」、「モバイル」、「タンペット」を用いた。またシミュレーション条件は、以下の通りである。
コーデック：ＪＭ１４．２
解像度：ＣＩＦ
フレームレート：３０Ｈｚ
フレーム数：６５
プロファイル：ハイプロファイル
ＣＡＢＡＣ：ＯＮ
ＱＰ設定：１８〜３０
ＧＯＰサイズ：１６
これらのシミュレーションにおいて、最初のフレームのみがＩフレームとして符号化され、他のフレームはＰフレームとして符号化されている。【００６３】
ここでは符号化の性能を、Ｒ−Ｄ曲線（Rate-Distortion Curve：レート歪曲線）により評価した。図２０〜図２５に、シミュレーション結果のＲ−Ｄ曲線を示す。これらの図において、図２０はバスの動画像、図２１はコーストガードの動画像、図２２はフットボールの動画像、図２３はフォアマンの動画像、図２４はモバイルの動画像、図２５はタンペットの動画像における、従来の符号化と実施例１に係る符号化とで効率を比較したシミュレーション結果を、それぞれ示している。これらの図から明らかな通り、時間的予測イントラモードアルゴリズムは、従来のＪＭと比較して同ビットレートの場合、画質は平均で１ｄＢ以上向上している。また同画質の場合、約１５％のビットレートの削減を実現できた。このことは、他の圧縮方法と組み合わせることで、Ｈ．２６５／ＡＶＣで目標とする約５０％削減を実現できる可能性を示唆するものである。【００６４】
以上の通り、ＧＰＵへの実装を主目的とするＨ．２６４／ＡＶＣの新たな並列処理アルゴリズムとして時間的予測イントラモードが有効であることが確認された。すなわち、イントラ予測の完全なマクロブロックレベルの並列処理を実現するために、符号化された画素データに代えて原画素データをＲＤＯ処理で使用した。また、空間的予測や時間的予測を個別に使用した際の欠点を補償するため、従来のイントラモードに時間的予測概念を導入した。これにより、シミュレーション結果は、符号化性能が約１ｄＢ改善された。
【実施例２】
【００６５】
以上の実施例１では、参照画素の生成方法として図１９（ａ）〜（ｉ）に示した追加モード１〜８を用いている。各追加モード１〜８では、図１０に示した画素値Ｃ0〜Ｃ15を用いて、表３に示す数式に従い参照画素として第二基準画素Ａ’〜Ｍ’を演算している。
（重み付け）【００６６】
ここで、注目画素と参照画素との距離に応じて画素値の重み付けを行うことで、より正確な参照画素（第三基準画素）が得られると考えられる。そこで、追加モードとして、重み付けを加味した重み付けモード（Ｗｔ−ＭＯＤＥ）を採用した動画像符号化方法を、実施例２として行った。実施例２で用いた重み付けモード０〜８における各第三基準画素Ａ”〜Ｍ”の演算方法を、表４に示す。【００６７】
【表４】
2012141221.tif 000008
（位置情報）【００６８】
一方で、上述した実施例１では図１８に示すように、候補となる候補基準ブロックの中から基準ブロックを選択する際、従前フレームｎ−１中のどの位置にあるマクロブロックを基準ブロックとして選択したのか、位置情報を考慮していない。例えば、図２６に示すように従前フレームｎ−１のマクロブロック中で、最も選択された数の多い追加モードをモードｘとする。ここで基準マクロブロックの拡大図において、斜線で示すブロックがモードｘで符号化されている場合、これらを候補基準ブロックとする。そして図２７に示すように、候補基準ブロックを構成するブロックＲｅｆ0〜Ｒｅｆ12の中から、符号化対象のフレームｎの現マクロブロックと最も類似したブロックを探索していく。例えばこの図においてＲｅｆ0が最も類似するブロックである場合は、Ｒｅｆ0を基準ブロックとして選択すると共に、この基準ブロックの位置を記憶させる。このようにして位置情報を加えることで、正確な画像のデコードが可能となる。【００６９】
しかしながら、位置情報を追加するとその分だけビット数が増え、データサイズが増大する。例えば図２８の例では、基準ブロックがＲｅｆ0〜Ｒｅｆ15の１６通りの位置を取り得るため、符号化対象のフレームｎの各ブロックに対して２4すなわち４ビットが位置情報として追加されることになる。このようなデータサイズの変化する様子を図２９に示す。この図において斜線で示す部分が、位置情報の追加によって増大したビット数を示している。特に図３０に示すように、従前フレームｎ−１中における基準ブロックの位置情報と、符号化対象のフレームｎ中における位置情報とを、１：１に対応させるように記憶すると、基準ブロックの位置精度は向上するものの、発生ビット数が多くなってしまう。この結果、最終的な符号化効率が低下するという問題があった。【００７０】
そこで、実施例２においては、幾つかのマクロブロックの位置情報を纏めることで、効率的に位置情報を付加している。ここでは、マクロブロックをサブブロックに分割して、分割されたサブブロックのそれぞれに対し、先頭のブロックをキーブロックとして設定し、このキーブロックに対して位置情報を設定すると共に、キーブロック以外のブロックは、キーブロックの位置情報で代用する。図３１に示す例では、マクロブロックを２×２のサブブロックに分割している。さらに各サブブロックの先頭の４×４のブロックをキーブロックとして設定している。図３１の例では、ブロックｋｅｙ0、ｋｅｙ1、ｋｅｙ2、ｋｅｙ3をそれぞれキーブロックとして位置情報を設定している。そして各サブブロックの、キーブロック以外のブロックはキーブロックの位置情報を使用する。この方法であれば、位置情報を１／４に低減できるため、位置情報の追加によるビット数の上昇を抑制できる。【００７１】
発明者らが行った試験によれば、どのシーケンスでも参照ブロックはかたまって存在する傾向があることが確認された。図３２に、複数の標準的な動画像ソースに対してサブブロック単位で先頭の４×４ブロックを基準として、参照ブロックと他のブロックの位置が同じ割合を演算した結果を示している。この図に示すように、いずれのシーケンスにおいても、８０％以上で参照ブロックの位置が利用できることが確認された。よって、先頭のブロックを中心に位置情報を付加しても、実用上ほぼ問題なく符号化が実現できることが判明した。【００７２】
以上の実施例２の符号化方法で複数の動画像シーケンスに対して実施例２に係る符号化と、上述した比較例１に係る符号化とで効率を比較したシミュレーション結果を、図３３〜図３８に示す。これらの図において、図３３はバスの動画像、図３４はコーストガードの動画像、図３５はフットボールの動画像、図３６はフォアマンの動画像、図３７はモバイルの動画像、図３８はタンペットの動画像における、実施例２に係る符号化と比較例１に係る符号化とで効率を比較したシミュレーション結果をそれぞれ示している。各グラフにおいて、横軸はビットレート［ｋｂｉｔ／ｓ］、縦軸はＰＳＮＲ［ｄＢ］を示している。また、動画像シーケンスとしてバス、フットボール、フォアマン、タンペット、モバイル、コーストガードに対して、実施例２の符号化を行って得られた各グラフのＲＤ曲線のＰＳＮＲ差分（ΔＰＳＮＲ［ｄＢ］）とビット削減率（Δｂｉｔｒａｔｅ［％］）を、表５に示す。これらの結果から、いずれの動画像においてもビットレートが削減されており、これらの平均で８．１４％という優れたビットレート削減を実現できた。【００７３】
【表５】
2012141221.tif 000009
【産業上の利用可能性】
【００７４】
本発明の動画像符号化装置、動画像符号化方法、動画像符号化プログラム及びコンピュータで読み取り可能な記録媒体は、動画像信号を圧縮して記録したり伝送したりする用途に有用であり、例えばモバイル端末装置、動画像撮像装置、動画像記録・再生装置等、高画質動画像を処理する装置及びその応用分野において好適に利用できる。
【符号の説明】
【００７５】
１００…動画像符号化装置
１０２…動き推定部
１０４…インター予測部
１０６…イントラ予測部
１０８…変換部
１１０…量子化部
１１４…エントロピー符号化部
１１６…逆量子化部
１１８…逆変換部
１１９…ＲＤＯ処理部
１２０…フィルタ
１２２…フレームメモリ
【図１】
2012141221.tif 000010
【図２】
2012141221.tif 000011
【図３】
2012141221.tif 000012
【図４】
2012141221.tif 000013
【図５】
2012141221.tif 000014
【図６】
2012141221.tif 000015
【図９】
2012141221.tif 000016
【図１０】
2012141221.tif 000017
【図１１】
2012141221.tif 000018
【図１２】
2012141221.tif 000019
【図１３】
2012141221.tif 000020
【図１４】
2012141221.tif 000021
【図１５】
2012141221.tif 000022
【図１６】
2012141221.tif 000023
【図１７】
2012141221.tif 000024
【図１８】
2012141221.tif 000025
【図１９】
2012141221.tif 000026
【図２０】
2012141221.tif 000027
【図２１】
2012141221.tif 000028
【図２２】
2012141221.tif 000029
【図２３】
2012141221.tif 000030
【図２４】
2012141221.tif 000031
【図２５】
2012141221.tif 000032
【図２６】
2012141221.tif 000033
【図２７】
2012141221.tif 000034
【図２８】
2012141221.tif 000035
【図３１】
2012141221.tif 000036
【図３２】
2012141221.tif 000037
【図３３】
2012141221.tif 000038
【図３４】
2012141221.tif 000039
【図３５】
2012141221.tif 000040
【図３６】
2012141221.tif 000041
【図３７】
2012141221.tif 000042
【図３８】
2012141221.tif 000043
【図７】
2012141221.tif 000044
【図８】
2012141221.tif 000045
【図２９】
2012141221.tif 000046
【図３０】
2012141221.tif 000047
【国際調査報告】
2012141221.tif 000048
2012141221.tif 000049