(57)【要約】  本発明は、スケーラブル動画像符号化において、従来の符号化で選択された最適予測モードに基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択する最適予測モードの組み合わせの発生率を求め、それらの関係について記述する対応表を生成する。続いて、発生率に基づいて対応表に記述される最適予測モードの組み合わせを絞り込み、その絞り込んだ最適予測モードの組み合わせについて記述する予測モード対応情報を生成する。そして、上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードをキーにして予測モード対応情報を参照することで、その符号化で探索する予測モード探索候補を決定して、予測モード探索候補の数を減らすようにする。
2010047099.tif 000002
【特許請求の範囲】
【請求項１】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
前記取得する過程において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する過程と、
を備えるスケーラブル動画像符号化方法。
【請求項２】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する過程と、
前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
前記取得する過程において取得した前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する過程と、
を備えるスケーラブル動画像符号化方法。
【請求項３】
請求項２に記載のスケーラブル動画像符号化方法において、
前記予測モード対応情報を生成する過程では、所定の閾値よりも大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
【請求項４】
請求項２に記載のスケーラブル動画像符号化方法において、
前記予測モード対応情報を生成する過程では、前記下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するか、あるいは、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
【請求項５】
請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法において、
前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する過程を備えるスケーラブル動画像符号化方法。
【請求項６】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する生成部と、
前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
前記取得部において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する決定部と、
を備えるスケーラブル動画像符号化装置。
【請求項７】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する対応表生成部と、
前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことによって有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、
前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
前記取得部において取得され前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する決定部と、
を備えるスケーラブル動画像符号化装置。
【請求項８】
請求項６または７に記載のスケーラブル動画像符号化装置において、
前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部を備えるスケーラブル動画像符号化装置。
【請求項９】
請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
【請求項１０】
請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。特に、本発明は、符号化時間の削減を実現するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００８年１０月２２日に、日本に出願された特願２００８−２７１５１３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年の多様な表示端末・ネットワーク環境の背景を受け、ＪＶＴ（Joint Video Team：合同ビデオ・チーム）では、ＡＶＣ（Advanced Video Coding：高度動画像圧縮符号化標準）に対して、空間／時間／ＳＮＲ（Signal to Noise ratio）のスケーラビリティを付与した符号化方式ＳＶＣ（Scalable Video Coding）が検討されている（例えば、非特許文献１参照）。【０００３】
ＳＶＣでは、Inter予測、Intra予測、レイヤ間予測という３つの予測方法を取り入れており、時間、空間、レイヤ間に内在する冗長性除去を行う。ＳＶＣでとり得る予測モードを下記に列挙する。【０００４】
〔Inter予測〕
・Skip モード（Skip ）
・Direct モード（Direct ）
・１６×１６ブロックサイズ動き予測モード（Ｐ１６×１６）
・１６×８ブロックサイズ動き予測モード（Ｐ１６×８）
・８×１６ブロックサイズ動き予測モード（Ｐ８×１６）
・８×８ブロックサイズ動き予測モード（Ｐ８×８）
〔Intra予測〕
・１６×１６ブロックサイズIntra予測モード（Ｉ１６×１６）
・８×８ブロックサイズIntra予測モード（Ｉ８×８）
・４×４ブロックサイズIntra予測モード（Ｉ４×４）
〔レイヤ間予測〕
・BLSkip モード（BLSkip ）
・IntraBLモード（IntraBL）
Ｐ８×８を行う場合の各８×８ブロックは、さらに８×４、４×４、４×４のブロックサイズに分割可能である。ＳＶＣでは、マクロブロックごとに、これらの予測モード探索候補の中から１つを最適予測モードとして選択する。【０００５】
最適予測モードの決定方法の例を以下に挙げる。【０００６】
ＪＶＴがＳＶＣの参照エンコーダとして提供しているＪＳＶＭ（Joint Scalable Video Model、例えば、非特許文献２参照）では、各予測モードにおいて符号量と符号化歪みとからなる符号化コストが計算され、上述したすべての予測モード中で最も符号化コストが小さくなる予測モードが最適予測モードとして定められる。【０００７】
また、下記に示す特許文献１では、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルが生成され、それによって動いたマクロブロックの各画素の座標が求められ、画素が一致する回数が各画素毎にカウントされる。次に、符号化対象マクロブロック内の各画素のカウント数から算出されるスコアの値の大小に従って予測モード探索候補の絞り込みが行なわれる。この絞り込み方法はＨ．２６４／ＡＶＣの予測モード探索高速化のために提案されたものであるが、Ｈ．２６４／ＡＶＣと同じ予測モード探索の仕組みであるＳＶＣにおいても適用可能である。【０００８】
また、下記に示す特許文献２では、フレーム内符号化を高速で行うことができるようにするために、近接符号化ブロックの画素値を用いてフレーム内符号化を行うブロックの例えば９通りの画面内予測誤差が求められて、それに基づいてそのブロックの予測モードが決定される。次に、近接既符号化ブロックの画面内予測モードを用いてそのブロックの予測モードが決定され、その２つの予測モードが一致する場合には、そのままその予測モードが選択され、一致しない場合は、符号化コストの小さい方の予測モードが選択されるようにしている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien :"Joint Draft ITU-T Rec. H.264｜ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip
【非特許文献２】J. Reichel, H. Schwarz and M. Wien: "Joint Scalable Video Model JSVM-11," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X202, 2007.  http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip
【特許文献】
【００１０】
【特許文献１】特開２００６−０３３４５１号公報
【特許文献２】特開２００５−１８４２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
非特許文献２のＪＳＶＭにおける最適予測モードの決定方法では、予測モード探索候補の絞り込みを行っていないため、高い符号化性能を実現できる。その反面、この決定方法では、予測モード探索に莫大な時間を要する。すなわち、この決定方法では、マクロブロック内の画像の特性を考慮すれば明らかに選ばれる可能性が低い予測モード（例えば、静止領域におけるIntra予測モード）も探索しており無駄が多い。【００１２】
また、特許文献１の予測モード探索候補の絞り込みは、Intra予測をするのか否かの判定を下す方法であるため、Intra予測モードの探索と比べて長い計算時間を要するInter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。【００１３】
また、特許文献２の予測モード探索候補の絞り込みは、Intra予測のみの絞り込みであるため、特許文献１の予測モード探索候補の絞り込みと同様に、Inter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。【００１４】
本発明はかかる事情を鑑みてなされたものであり、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行い高速化する新たなスケーラブル動画像符号化技術の提供を目的とする。
【課題を解決するための手段】
【００１５】
本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する生成部と、（２）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（３）取得部の取得した最適予測モードの情報と対応表に記述される発生率の情報とに基づいて、対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する決定部と、（４）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。【００１６】
このような構成において、決定部は、取得部の取得した最適予測モードの情報をキーにして対応表を参照することで、その最適予測モードに対応付けられる発生率を特定する。次に決定部は、その特定した発生率の中から所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中から最も大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中からその値の大きな順に選択される所定の個数の発生率を持つ最適予測モードの組み合わせを抽出することが好ましい。決定部は、その抽出した最適予測モードの組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する。【００１７】
さらに、決定部による効率的な決定処理を実現するために、本発明のスケーラブル動画像符号化装置は、前もって、対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成することが好ましい。【００１８】
この場合には、本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する対応表生成部と、（２）対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、（３）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（４）取得部の取得した最適予測モードの情報をキーにして予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する決定部と、（５）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。【００１９】
この構成を採るときに、予測モード対応情報生成部は、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成するようにしてもよい。【００２０】
以上の各処理部が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御部上で動作することにより本発明を実現することになる。
【発明の効果】
【００２１】
本発明では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行うことから、符号化時間を削減することができる。【００２２】
さらに、本発明では、予測モード探索候補を絞り込むことで符号化時間の削減を図るときに、符号化済みフレームにおけるレイヤ間の最適予測モードの対応関係をもとに、その絞り込みを行うことから、最適予測モードが絞り込みによって省かれてしまう危険性を回避できる。したがって、予測モード探索候補を絞り込むことにより発生する可能性がある符号化性能の低下を抑制することができる。
【図面の簡単な説明】
【００２３】
【図１】予測モード対応率表の生成対象となるフレームと符号化対象フレームとの一例を示す説明図である。
【図２】本発明の一実施形態の動画像符号化処理の大きな流れを示すフローチャートである。
【図３】本発明の一実施形態における予測モード対応率表である。
【図４】本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。
【図５】本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。
【図６】本発明の一実施形態によるスケーラブル動画像符号化処理を示すフローチャートである。
【図７】図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の一例を示すフローチャートである。
【図８】図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の他の例を示すフローチャートである。
【図９】本発明の一実施形態によるスケーラブル動画像符号化装置を示すブロック図である。
【図１０】図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の一例を示すブロック図である。
【図１１】図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の他の例を示すブロック図である。
【図１２】本発明の一実施形態の有効性を検証するために行った実験における対応率算出フレームおよび高速モード選択フレームを示す説明図である。
【図１３】本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフ図である。
【図１４】本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフである。
【発明を実施するための形態】
【００２４】
〔１〕本発明の一実施形態の基本的な考え方
本発明の一実施形態では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、
（ｉ）予測モード対応率表（レイヤ間の最適予測モードの相関性について記述する表）の生成
（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
という２つの処理によって予測モード探索の高速化を実現する。
【００２５】
以降、図１のような例に従って説明を進める。すなわち、レイヤＬとレイヤＬ−１の両方が、ＩＢＢＢＰの階層的Ｂ構造で符号化をしていると仮定する。図中の矢印は予測参照先を示している。符号化対象レイヤをＬ、符号化対象フレームをＢ２ｂとし、予測モード対応率表の生成対象フレームをＢ２ａとする。また、Ｂ２ｂの同一時刻のレイヤＬ−１のフレームをＢ’２ｂ、Ｂ２ａの同一時刻のレイヤＬ−１のフレームをＢ’２ａとする。時間レベルが低い順に符号化され、同一時間レベル中では時間が早いフレーム順に符号化されるとする。また、レイヤはレベルが小さい順に符号化されるとする。
【００２６】
次に、図２に示すフローチャートに従って、本実施形態の処理の大きな流れについて説明する。
【００２７】
本実施形態では、動画像をスケーラブル符号化する場合、図２のフローチャートに示すように、ステップＳ１０１で、変数ｎに１をセットし、続くステップＳ１０２で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
【００２８】
一方、ステップＳ１０２の判断処理に従って、全てのフレームを符号化していないと判断したときには、ステップＳ１０３に進んで、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１０４で、使用可能なものとして定義された予測モードの使用に制限を加えることなく予測を行う、すなわち、使用可能なすべての予測モードを使用して予測を行うことで、その選択したフレームを符号化する。
【００２９】
続いて、ステップＳ１０５で、変数ｎの値を１つインクリメントする。続くステップＳ１０６で、変数ｎの値が所定の閾値Ｎ１（Ｎ１は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ１よりも大きくなっていないと判断したときには、ステップＳ１０２の処理に戻り、使用可能なものとして定義された予測モードの使用に制限を加えることなくフレームを符号化することを続行する。
【００３０】
一方、ステップＳ１０６の判断処理で、変数ｎの値が閾値Ｎ１よりも大きくなったと判断したときには、ステップＳ１０７に進んで、予測モード対応率表を生成する。予測モード対応率表は、後述するようなデータ構造を持ち、レイヤ間の最適予測モードの相関性（発生率）について記述した表である。
【００３１】
続いて、ステップＳ１０８で、変数ｎに１をセットし、続くステップＳ１０９で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
【００３２】
一方、ステップＳ１０９において、全てのフレームを符号化していないと判断したときには、ステップＳ１１０に進む。ステップＳ１１０において、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１１１で、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ予測を行うことで、その選択したフレームを符号化する。
【００３３】
続いて、ステップＳ１１２で、変数ｎの値を１つインクリメントする。続くステップＳ１１３で、変数ｎの値が所定の閾値Ｎ２（Ｎ２は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ２よりも大きくなっていないと判断したときには、ステップＳ１０９の処理に戻り、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつフレームを符号化することを続行する。
【００３４】
一方、ステップＳ１１３において、変数ｎの値が閾値Ｎ２よりも大きくなったと判断したときには、予測モード対応率表を更新する必要があると判断して、ステップＳ１０１の処理に戻る。これによって、予測モード対応率表を更新しつつ、ステップＳ１０１〜ステップＳ１１３の処理を続行する。
【００３５】
このように、本実施形態では、動画像をスケーラブル符号化する場合に、Ｎ１枚のフレームを符号化した後、その符号化結果に基づいて、レイヤ間の最適予測モードの相関性（発生率）について記述する予測モード対応率表を生成する。続いて、それに続くＮ２枚のフレームの符号化に移り、生成した予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ、Ｎ２枚のフレームの符号化を繰り返していくように処理する。
【００３６】
（ｉ）予測モード対応率表の生成
次に、ステップＳ１０７で実行する予測モード対応率表の生成処理について説明する。
【００３７】
ステップＳ１０４の処理によって、図１に示す予測モード対応率表生成対象フレームＢ２ａとその直下のＢ’２ａはすでに符号化済みであり、最適予測モードはすでに選択されている。フレームＢ２ａとＢ’２ａの符号化時には、選択された最適予測モードの情報をバッファに格納しておく。そのバッファに格納される最適予測モード情報に基づいて、フレームＢ２ａのマクロブロック（以下、ＭＢと略記する）の最適予測モードと、空間的に対応するフレームＢ’２ａのサブマクロブロック（以下、ＳＭＢと略記する）の最適予測モードとの対応関係を調べる。
【００３８】
具体的には、図３に示すようなデータ構造を持つ予測モード対応率表を、Ｂ２ａとＢ’２ａとの間で生成する。図３に示す数値は、フレームＢ’２ａの各ＳＭＢ（８×８サイズ）で選択された最適予測モードがｉの場合に、フレームＢ２ａのＭＢにおいて最適予測モードｊが選択された割合（発生率）を示している。例えば、フレームＢ’２ａのＳＭＢにおいてＰ１６×１６が選ばれた場合、Ｐ１６×１６が選ばれたＳＭＢと空間的に対応するフレームＢ２ａのＭＢでは、Skip モードが３２．３％選ばれていることを示している。
【００３９】
ここで、フレームＢ２ａやＢ’２ａにおける最適予測モードの選択方法は、非特許文献２に記したＪＳＶＭの方法でも良いし、特許文献１に記したような予測モード探索候補の絞り込みを行う方法でも良い。
【００４０】
また、この例では、予測モード対応率表の対象フレームは符号化対象フレームと同一時間レベルの符号化済みフレーム１枚（Ｂ２ａ）としているが、これに限らない。異なる時間レベルの符号化済みフレーム（例えば、Ｂ１）を対象としても良い。また、複数のフレームを対象（例えば、Ｂ１とＢ２ａ）として、その複数のフレームの累積で対応率を計算しても良い。つまり、符号化対象レイヤおよびその直下レイヤにおいて符号化済みのフレームであれば、予測モード対応率表生成対象フレームとなりうる。
【００４１】
（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
次に、ステップＳ１１１における予測モード対応率表を使った予測モード探索候補の絞り込み処理について説明する。
【００４２】
ステップＳ１０７で生成された予測モード対応率表中の予測モード対応率の値に従って、符号化対象フレームＢ２ｂの各ＭＢにおいて、予測モード探索候補を絞り込む。予測モード対応率表の表中の数値は、符号化対象マクロブロックにおける最適予測モードとなりうる確率とみなす。
【００４３】
予測モード探索候補の絞り込み処理についてより具体的に説明する。以下の説明ではと、フレームＢ２ｂの符号化対象マクロブロックをＭＢＬと表記し、ＭＢＬと空間的に同一位置にあるレイヤＬ−１のフレームＢ’２ｂのサブマクロブロックをＳＭＢＬ−１と表記する。
【００４４】
マクロブロックＭＢＬの予測モード探索候補を絞り込む場合、まず、サブマクロブロックＳＭＢＬ−１の最適予測モードの情報を読み込む。次に、予測モード対応率表とＳＭＢＬ−１の最適予測モードとを照合し、符号化対象マクロブロックＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を調査する。次に、この最適予測モードとなりうる確率をもとに予測モード探索候補を絞り込む。下記に、絞り込みの例を２つ示す。
【００４５】
（イ）絞り込み手法１
絞り込み手法１は、予測モード探索候補絞り込み閾値を用いて予測モード探索候補を絞り込む手法である。
【００４６】
この絞り込み手法１では、予測モード探索候補絞り込み閾値ｔ％を設け、この閾値ｔ％未満の予測モードを探索候補から除外する。閾値ｔの値は外部から与える。値の決定方法としては、符号化性能の劣化を許容範囲以内に抑える値を複数回のエンコード処理により決定する方法が一例として考えられる。
【００４７】
ここで、ＳＭＢＬ−１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、予測モード探索候補絞り込み閾値と比較するという方法を用いると、その比較処理が煩雑なものとなる。
【００４８】
そこで、前もって、予測モード対応率表の対応率を予測モード探索候補絞り込み閾値で閾値処理しておいて、予測モード対応率表の対応率を２値化しておくようにする。
【００４９】
図４に、図３に示す予測モード対応率表において予測モード探索候補絞り込み閾値５％と設定した場合の予測モード探索候補の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
【００５０】
（ロ）絞り込み手法２
絞り込み手法２は、予測モード対応率が最大となる予測モードのみを探索候補と設定する手法である。
【００５１】
予測モード対応率が最大となる予測モードを探索候補として設定する。通常はここで１つの予測モードに絞られるが、最大値を与える予測モード探索候補が複数ある場合には、それらをすべて探索候補として設定する。
【００５２】
ここで、ＳＭＢＬ−１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、その中から最大値の対応率を特定するという方法を用いると、その特定処理が煩雑なものとなる。
【００５３】
そこで、前もって、予測モード対応率表の対応率の中に含まれる最大値の対応率を特定しておいて、予測モード対応率表の対応率を２値化しておくようにする。
【００５４】
図５に、図３に示す予測モード対応率表において最大値の予測モードを予測モード探索候補として設定した場合の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
【００５５】
以下、実施の形態に従って本発明を詳細に説明する。
【００５６】
図６〜図８に、本実施形態により実行されるスケーラブル動画像符号化処理のフローチャートを図示する。
【００５７】
図６は、本実施形態により実行されるスケーラブル動画像符号化処理の全体的なフローチャートである。図７および図８は、図６のフローチャートのステップＳ２０１で実行する処理の詳細の一例および他の例を示すフローチャートである。
【００５８】
次に、これらのフローチャートに従って、本実施形態により実行されるスケーラブル動画像符号化処理について詳細に説明する。
【００５９】
本実施形態の符号化処理は拡張レイヤに対する処理であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
【００６０】
図６のフローチャートで実行するステップＳ２０１〜ステップＳ２０６の処理について説明する。
【００６１】
ステップＳ２０１において、符号化対象マクロブロック（ＭＢ）において探索する予測モード探索候補の初期値を読み込み、最終的に符号化対象ＭＢにおいて探索する予測モードの探索候補を決定して、レジスタに格納する。本処理の詳細については、図７および図８を参照して後述する。
【００６２】
ステップＳ２０２において、ステップＳ２０１の処理によって格納された予測モード探索候補の情報をレジスタから読み込み、各予測モード探索候補の探索を実行し、符号化に利用する最適予測モードを１つ決定して、その情報をレジスタに格納する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
【００６３】
ステップＳ２０３において、符号化対象ＭＢにおける最適予測モードの情報をレジスタから読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに格納する。
【００６４】
ステップＳ２０４において、予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに格納する。本処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭにおける、ＤＣＴ、量子化、可変長符号化の一連処理が挙げられる。
【００６５】
ステップＳ２０５において、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了し、バッファから各ＭＢの符号化データおよび必要なその他のヘッダ情報を読み込み、最終的な符号化データとして出力する。一方、全てのＭＢの符号化が完了していない場合にはステップＳ２０６の処理に移る。
【００６６】
ステップＳ２０６において、次の符号化対象ＭＢに移り、ステップＳ２０１の処理を行う。
【００６７】
次に、ステップＳ２０１で実行する具体的な処理の一例について、ステップＳ３０１〜ステップＳ３０６を含む図７のフローチャートを用いて説明する。
【００６８】
ステップＳ３０１において、符号化対象ＭＢが本実施形態を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。  符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ３０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補の初期値を最終的な予測モード探索候補として出力する。
【００６９】
ステップＳ３０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
【００７０】
ステップＳ３０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込み、符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。図３に示すような予測モード対応率表を生成してレジスタに格納する。
【００７１】
ステップＳ３０４において、予測モード対応率表を読み込み、それをバッファに格納する。
【００７２】
ステップＳ３０５において、予測モード探索候補絞り込み閾値を読み込み、それをレジスタに格納する。
【００７３】
ステップＳ３０６において、予測モード対応率表をバッファから読み込むとともに、予測モード探索候補絞り込み閾値をレジスタから読み込む。対応率（発生率）が予測モード探索候補絞り込み閾値以上の予測モードのみを予測モード探索候補として設定して、その情報をレジスタに格納する。この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
【００７４】
このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
【００７５】
次に、ステップＳ２０１で実行する具体的な処理の他の例について、ステップＳ４０１〜ステップＳ４０５を含む図８のフローチャートを用いて説明する。
【００７６】
ステップＳ４０１において、符号化対象ＭＢが本発明を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ４０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補初期値を最終的な予測モード探索候補として出力する。
【００７７】
ステップＳ４０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
【００７８】
ステップＳ４０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込む。次に符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。すなわち、図３に示すような予測モード対応率表を生成してレジスタに格納する。
【００７９】
ステップＳ４０４において、予測モード対応率表を読み込み、それをバッファに格納する。
【００８０】
ステップＳ４０５において、予測モード対応率表をバッファから読み込み、対応率（発生率）が最大の予測モードのみを予測モード探索候補として設定し、その情報をレジスタに格納する。ここで、この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
【００８１】
このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
【００８２】
図９〜図１１に、本発明の一実施形態によるスケーラブル動画像符号化装置の構成を図示する。
【００８３】
図９は、本実施形態のスケーラブル動画像符号化装置の全体的な構成であり、図１０および図１１は、図９に示す予測モード探索候補決定部１０２の詳細な構成の一例および他の例を示す。
【００８４】
次に、これらの装置構成図を参照して、本実施形態のスケーラブル動画像符号化装置について詳細に説明する。
【００８５】
本実施形態のスケーラブル動画像符号化装置は、拡張レイヤに対する処理装置であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
【００８６】
まず最初に、図９を参照して、スケーラブル動画像符号化装置の全体構成について説明する。
【００８７】
予測モード探索候補初期値記憶部１０１は、予測モード探索候補の初期値を読み込み、レジスタに出力する。
【００８８】
予測モード探索候補決定部１０２は、予測モード探索候補の初期値を読み込み、最終的に探索する予測モード探索候補を決定する。次に、予測モード探索候補決定部１０２は、その最終的に決定した予測モード探索候補の情報をレジスタに出力して、最適予測モード決定部１０３に移す。本処理部の詳細な構成については、図１０および図１１を用いて後述する。
【００８９】
最適予測モード決定部１０３は、予測モード探索候補をレジスタから読み込み、各予測モード探索候補について探索を実行する。次に、最適予測モード決定部１０３は、符号化に利用する最適予測モードを１つ決定して、その情報を最適予測モード記憶部１０４に出力する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
【００９０】
予測残差信号生成部１０５は、最適予測モード記憶部１０４から符号化対象ＭＢにおける最適予測モードを読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに出力する。
【００９１】
予測残差信号符号化部１０６は、符号化対象ＭＢにおける予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。
【００９２】
全ＭＢ完了判定部１０７は、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了して、最終的な符号化データを出力する。全てのＭＢの符号化が完了していない場合には符号化対象ＭＢ更新部１０８の処理に移る。
【００９３】
符号化対象ＭＢ更新部１０８は、次の符号化対象ＭＢに移り、予測モード探索候補決定部１０２の処理を行う。
【００９４】
次に、図１０を参照して、予測モード探索候補決定部１０２の詳細な構成の一例について説明する。
【００９５】
予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
【００９６】
予測モード探索候補絞り込み対象ＭＢ判定部２０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部２０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
【００９７】
予測モード対応率計算対象フレーム指定情報記憶部２０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
【００９８】
対象フレーム拡張レイヤ最適予測モード記憶部２０４は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
【００９９】
対象フレーム直下レイヤ最適予測モード記憶部２０５は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
【０１００】
予測モード対応率表生成部２０６は、対象フレーム拡張レイヤ最適予測モード記憶部２０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに予測モード対応率表生成部２０６は、対象フレーム直下レイヤ最適予測モード記憶部２０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込んで、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部２０７に出力する。
【０１０１】
予測モード探索候補絞り込み閾値記憶部２０８は、予測モード探索候補絞り込み閾値を読み込み、レジスタに出力する。
【０１０２】
予測モード対応率表閾値比較部２０９は、予測モード対応率表記憶部２０７から予測モード対応率表を読み込むとともに、予測モード探索候補絞り込み閾値記憶部２０８から予測モード探索候補絞り込み閾値を読み込む。次に予測モード対応率表閾値比較部２０９は、直下ＳＭＢの最適予測モードに対応付けられる符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が予測モード探索候補絞り込み閾値以上の予測モードのみを最終的な予測モード探索候補として設定して、出力する。
【０１０３】
このようにして、図１０に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
【０１０４】
次に、図１１を参照して、予測モード探索候補決定部１０２の詳細な構成の他の一例について説明する。
【０１０５】
予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
【０１０６】
予測モード探索候補絞り込み対象ＭＢ判定部３０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部３０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
【０１０７】
予測モード対応率計算対象フレーム指定情報記憶部３０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
【０１０８】
対象フレーム拡張レイヤ最適予測モード記憶部３０４は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
【０１０９】
対象フレーム直下レイヤ最適予測モード記憶部３０５は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
【０１１０】
予測モード対応率表生成部３０６は、対象フレーム拡張レイヤ最適予測モード記憶部３０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに、予測モード対応率表生成部３０６は、対象フレーム直下レイヤ最適予測モード記憶部３０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込む。次に、予測モード対応率表生成部３０６は、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部３０７に出力する。
【０１１１】
発生率最大予測モード調査部３０８は、予測モード対応率表記憶部３０７から予測モード対応率表を読み込み、直下ＳＭＢの最適予測モードに対する符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が最大の予測モードを最終的な予測モード探索候補として設定して、出力する。
【０１１２】
このようにして、図１１に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
【０１１３】
次に、本発明の有効性を検証するために行った実験の結果について説明する。
【０１１４】
この実験は、ＪＳＶＭ 9.12.2 に本実施形態を実装し、ＪＳＶＭと本実施形態とを比較することで行った。映像は７０４×５７６サイズのＳＶＣテスト映像“City ”および“Soccer”と、１９２０×１０２４サイズのテスト映像“Pedestrian ”および“Station”を用いた。上記の解像度の映像は拡張レイヤへの入力とし、基本レイヤにはその縦横半分の画素数解像度の映像を入力した。符号化枚数は１２９枚、ＱＰ（Quantization Parameter）は２２、２７、３２、３７の４つを試し、両レイヤで同じ値を用いた。ＧＯＰ（Group of Pictures）構造はＩＢＢＢＰの階層的Ｂピクチャ構造とし、１６枚ごとにＩを入れた。対応率算出フレームおよび高速モード選択フレームは、図１２に示すように、最下位時間レベルに属する２枚のフレームをそれぞれ適用した。符号化時間測定には、Ｘeon 3.16ＧＨｚのＣＰＵを用いた。
【０１１５】
下記の表１に、符号量増加率と符号化時間削減率の実験結果を示す。
【０１１６】
【表１】
2010047099.tif 000003
【０１１７】
ここで、符号量増加率は、各ＱＰにおける符号量とＰＳＮＲ（Peak Signal to Noise Ratio）のプロット４点の間の近似曲線をPiecewise Cubic Hermite Polynominal Interpolation により生成し、比較対象の２データの共通区間における符号量の平均差分値を当増加率として定めた。また、符号化時間削減率は、各ＱＰにおける符号化時間削減率の平均値である。
【０１１８】
図１３に、“Pedestrian ”および“Station”画像の符号化における符号化特性を図示し、図１４に、“Pedestrian ”の符号化における符号化時間の変化の様子を図示する。
【０１１９】
以上に示す実験結果により、本発明は、解像度・映像によらず、符号量増加率を１％未満に抑制しつつ、２０％前後の符号化時間削減率を実現することが検証できた。
【０１２０】
本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、基本レイヤおよび拡張レイヤという階層レイヤ構成に対して本発明を適用した例を説明したが、本発明はこのような階層レイヤ構成に、適用が限られるものではない。
【産業上の利用可能性】
【０１２１】
本発明は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化に適用できるものであり、本発明を適用することで符号化時間を削減することができる。
【符号の説明】
【０１２２】
１０１  予測モード探索候補初期値記憶部
１０２  予測モード探索候補決定部
１０３  最適予測モード決定部
１０４  最適予測モード記憶部
１０５  予測残差信号生成部
１０６  予測残差信号符号化部
１０７  全ＭＢ完了判定部
１０８  符号化対象ＭＢ更新部
２０１  予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
２０２  予測モード探索候補絞り込み対象ＭＢ判定部
２０３  予測モード対応率計算対象フレーム指定情報記憶部
２０４  対象フレーム拡張レイヤ最適予測モード記憶部
２０５  対象フレーム直下レイヤ最適予測モード記憶部
２０６  予測モード対応率表生成部
２０７  予測モード対応率表記憶部
２０８  予測モード探索候補絞り込み閾値記憶部
２０９  予測モード対応率表閾値比較部
３０１  予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
３０２  予測モード探索候補絞り込み対象ＭＢ判定部
３０３  予測モード対応率計算対象フレーム指定情報記憶部
３０４  対象フレーム拡張レイヤ最適予測モード記憶部
３０５  対象フレーム直下レイヤ最適予測モード記憶部
３０６  予測モード対応率表生成部
３０７  予測モード対応率表記憶部
３０８  発生率最大予測モード調査部
【図１】
2010047099.tif 000004
【図２】
2010047099.tif 000005
【図３】
2010047099.tif 000006
【図４】
2010047099.tif 000007
【図５】
2010047099.tif 000008
【図６】
2010047099.tif 000009
【図７】
2010047099.tif 000010
【図８】
2010047099.tif 000011
【図９】
2010047099.tif 000012
【図１０】
2010047099.tif 000013
【図１１】
2010047099.tif 000014
【図１２】
2010047099.tif 000015
【図１３】
2010047099.tif 000016
【図１４】
2010047099.tif 000017
【国際調査報告】
2010047099.tif 000018
2010047099.tif 000019
2010047099.tif 000020
2010047099.tif 000021