(57)【特許請求の範囲】
【請求項１】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する過程と、
前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する過程と、
前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。
【請求項２】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する過程と、
前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する過程と、
前記選択した予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。
【請求項３】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する過程と、
前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する過程と、
前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。
【請求項４】
動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する過程と、
前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する過程と、
前記選択した予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。
【請求項５】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する手段と、
前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する手段と、
前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。
【請求項６】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する手段と、
前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する手段と、
前記選択した予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。
【請求項７】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する手段と、
前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する手段と、
前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。
【請求項８】
動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する手段と、
前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する手段と、
前記選択した予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。
【請求項９】
請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
従来技術では、動画像をスケーラブルに符号化するときにあって、拡張レイヤにおいて予測モードを決定するときには、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索して、その中から符号化コストが最小になる予測モードを選択するようにしている（例えば、非特許文献１参照）。
【０００３】
しかるに、動きが激しい画像領域や輝度変化がほとんどない画像領域では、各予測モードによって発生する予測残差信号に差がでない。したがって、どの予測モードを選んでも、得られる符号化性能に大差はない。
【０００４】
しかしながら、従来技術では、そのようなことを一切考慮することなく、拡張レイヤにおいて予測モードを決定するときにも、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索するようにしており、これから、符号化処理の高速化に改善の余地が残されている。
【０００５】
符号化処理の高速化を図るためには、スケーラブルの符号化、非スケーラブルの符号化を問わず、探索する予測モードを絞り込むことが有効である。
【０００６】
このようなことを背景にして、本出願人もまた、下記の特許文献１，２に記載するように、探索する予測モードを絞り込むことを実現する発明を開示してきた。
【０００７】
例えば、特許文献１に記載した発明では、フレーム内符号化とフレーム間符号化との両方式を有する場合に、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルを生成し、それによって動いたマクロブロックの各画素の座標を求め、画素が一致する回数を画素毎にカウントして、符号化対象マクロブロック内の各画素のカウント数から符号化対象マクロブロックごとにスコアを計算して、そのスコアの大小により符号化対象マクロブロックのフレーム内符号化またはフレーム間符号化の要／不要を判定するようにしている。
【０００８】
また、特許文献２に記載した発明では、イントラ予測符号化を行うときに、すべての予測モードについて符号化コストを計算するのではなくて、符号化済みの近傍ブロックの予測モードの頻度情報と与えられた重み係数とに基づいて、符号化対象ブロックに対する予測モードを選択することで、限定された予測モードに対してだけ符号化コストの計算を行うことにより予測モードを決定するようにしている。
【非特許文献１】Joint Scalable Video Model JSVM-8, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, 2006
【特許文献１】特開２００６−０３３４５１号公報
【特許文献２】特開２００６−１４８４１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述したように、従来技術では、動画像をスケーラブルに符号化するときにあって、拡張レイヤにおいて予測モードを決定するときには、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索して、その中から符号化コストが最小になる予測モードを選択するようにしている。
【００１０】
しかるに、動きが激しい画像領域や輝度変化がほとんどない画像領域では、各予測モードによって発生する予測残差信号に差がでない。したがって、どの予測モードを選んでも、得られる符号化性能に大差はない。
【００１１】
しかしながら、従来技術では、そのようなことを一切考慮することなく、拡張レイヤにおいて予測モードを決定するときにも、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索するようにしており、これから、符号化処理の高速化に改善の余地が残されている。
【００１２】
一方、特許文献１，２に記載した発明によれば、確かに、探索する予測モードを絞り込むことができるようになるものの、これらの発明はスケーラブル符号化への適用を前提とした発明ではなく、これから、スケーラブル符号化では一層効果的な予測モードの絞り込みを実現できる可能性がある。
【００１３】
しかも、特許文献１，２に記載した発明では、動きが激しい画像領域が符号化対象となる場合や輝度変化がほとんどない画像領域が符号化対象となる場合のことを想定しておらず、これから、この点においても改善の余地が残されている。
【００１４】
本発明はかかる事情に鑑みてなされたものであって、スケーラブル符号化における拡張レイヤの符号化において、符号量の増加を抑制しつつ高速な符号化を実現できるようにする新たなスケーラブル動画像符号化技術の提供を目的とする。
【課題を解決するための手段】
【００１５】
この目的を達成するために、本発明のスケーラブル動画像符号化装置は、（イ）符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否か、あるいは符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する判断手段と、（ロ）判断手段が符号化対象ブロックの画像領域の動きが規定よりも大きい、あるいは輝度変化が規定よりも小さいと判断した場合に、符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、直下ブロックの予測モードがインター予測である場合には、直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する選択手段と、（ハ）選択手段の選択したレイヤ間予測モードに従って符号化対象ブロックを符号化する手段とを備える。
【００１６】
以上の各処理手段が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１７】
このように構成される本発明のスケーラブル動画像符号化装置では、上位レイヤの符号化対象ブロックを符号化するときに、その符号化対象ブロックが各予測モードにより発生する予測残差信号に差のない画像領域であるのか否かを判断する。
【００１８】
すなわち、符号化対象ブロックの画像信号及び／又は直下ブロックの画像信号に基づいて、符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断して、大きいことを判断する場合には、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断したり、符号化対象ブロックの画像信号及び／又は直下ブロックの画像信号に基づいて、符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断して、小さいことを判断する場合には、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断する。
【００１９】
この判断処理により、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断した場合には、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択すべく、符号化対象ブロックの予測モードとして、直ちに下位レイヤの符号化済み直下ブロックの符号化情報を利用するレイヤ間予測モードを選択したり、そのレイヤ間予測モードと上位レイヤにおける動き推定を行わない少ない数の予測モード（イントラ符号化の予測モードについても含めるようにしてもよい）とを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する。
【００２０】
例えば、直下ブロックの予測モードがイントラ予測である場合には、直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、また、直下ブロックの予測モードがインター予測である場合には、直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択することで、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択するのである。
【００２１】
あるいは、そのようなレイヤ間予測モードと、上位レイヤにおける動き推定を行わないスキップモードやダイレクトモードなどの予測モード（イントラ符号化の予測モードについても含めるようにしてもよい）とを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択することで、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択するのである。
【００２２】
そして、このようにして、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択すると、そのようにして選択した予測モードに従って符号化対象ブロックを符号化する。
【発明の効果】
【００２３】
本発明では、動画像をスケーラブルに符号化するときに、上位レイヤの符号化対象ブロックが各予測モードにより発生する予測残差信号に差のない画像領域であることを判断する場合には、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを高速に選択して符号化を行うようにすることから、符号量の増加を抑制しつつ高速に符号化対象ブロックを符号化できるようになる。
【発明を実施するための最良の形態】
【００２４】
以下、実施の形態に従って本発明を詳細に説明する。
【００２５】
図１に、本発明の適用されるスケーラブル動画像符号化装置１の装置構成の一例を図示する。
【００２６】
この図に示すように、本発明の適用されるスケーラブル動画像符号化装置１は、基本レイヤを符号化する基本レイヤ符号化部１０と、拡張レイヤを符号化する拡張レイヤ符号化部１１と、基本レイヤ符号化部１０および拡張レイヤ符号化部１１の生成した符号化データを出力する符号化データ出力部１２とを備えることで、動画像をスケーラブルに符号化して、そのようにして生成した符号化データを出力するように処理するのである。
【００２７】
本発明の符号化処理は拡張レイヤに対する処理であり、基本レイヤ（直下レイヤと称することがある）には非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
【００２８】
このように構成されるスケーラブル動画像符号化装置１では、ＢＬＳｋｉｐ予測モードと、ＩｎｔｒａＢＬ予測モードという２種類のレイヤ間予測モード（ＢＬはベースレイヤの略）を有している。
【００２９】
このＢＬＳｋｉｐ予測モードは、直下ＳＭＢ（サブマクロブロック）がインター予測の場合にのみ使用可能となるものであり、直下ＳＭＢにおける動きベクトル、参照インデックス、ブロック分割タイプを拡張レイヤの符号化対象マクロブロックにてそのまま流用するという予測モードである。
【００３０】
一方、ＩｎｔｒａＢＬ予測モードは、ＣＩＰ（Constrained Intra Prediction）フラグがオンの場合には、直下ＳＭＢがイントラ予測の場合にのみ使用可能となるとともに、ＣＩＰフラグがオフの場合には、直下ＳＭＢがどの予測モードであっても使用可能となるものであり、直下ＳＭＢの復号信号を生成して、それを拡張レイヤの解像度までアップサンプルし、そのアップサンプルした復号信号を拡張レイヤの符号化対象マクロブロックの予測信号とするという予測モードである。
【００３１】
ここで、制約付きイントラ予測（Constrained Intra Prediction）とは、ＩｎｔｒａＢＬ予測モードを小さな復号負荷で実行可能とするために設けられたものであり、隣接ブロックの中で制約付きイントラ予測が選ばれているブロックのみからの予測を可能とするものである。直下ＳＭＢの復号信号を生成する場合、直下ＳＭＢが通常のイントラ予測であると、周囲のマクロブロックの復号信号が必要となることで、結局のところ直下レイヤをすべて復号する必要があることで復号負荷が大きくなってしまうという問題があることを考慮して、制約付きイントラ予測を設けて、制約付きイントラ予測を行っているＳＭＢのみを復号すればよいようにしたものである。
【００３２】
〔１〕拡張レイヤ符号化部１１の実行するフローチャート
図２〜図９に、本発明を実現すべく拡張レイヤ符号化部１１が実行するフローチャートの一例を図示する。
【００３３】
次に、これらのフローチャートに従って、拡張レイヤ符号化部１１の実行する処理について詳細に説明する。
【００３４】
〔１−１〕全体処理
まず最初に、図２のフローチャートについて説明する。ここで、図２に示すフローチャートは拡張レイヤ符号化部１１の実行する全体処理についてのフローチャートである。
【００３５】
ステップＳ１０１：符号化処理の起点となる符号化対象のマクロブロック（以下、マクロブロックをＭＢと略記することがある）を１つ選択する。
【００３６】
ステップＳ１０２：符号化対象のマクロブロックの原信号を読み込み、本発明の高速予測モード選択処理を行い、符号化対象のマクロブロックに適用する予測モード情報を出力する。後述する図３、図４および図５で本処理の一例について詳細に説明する。
【００３７】
ステップＳ１０３：ステップＳ１０２の処理によって得られた予測モード情報を読み込み、その予測モードに従って予測信号を生成し、原信号と予測信号との差分をとった予測残差信号を生成する。
【００３８】
ステップＳ１０４：ステップＳ１０３の処理によって得られた予測残差信号を読み込み、その予測残差信号の符号化を行い、符号化データを生成する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。
【００３９】
ステップＳ１０５：すべてのマクロブロックの符号化が完了しているのか否かの判定処理を行い、真の場合には符号化処理を終了して最終的な符号化データを出力し、偽の場合にはステップＳ１０６の処理に移る。
【００４０】
ステップＳ１０６：次の符号化対象のマクロブロックを１つ選択して、ステップＳ１０２の処理を行う。
【００４１】
〔１−２〕ステップＳ１０２で実行する処理
次に、図３〜図５を用いて、拡張レイヤ符号化部１１がステップＳ１０２で実行する処理の一例について詳細に説明する。ここで、図３、図４、図５のうちのいずれか一つが適用可能である。
【００４２】
最初に、図３のフローチャートについて説明する。
【００４３】
ステップＳ２０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合にはステップＳ２０２の処理に移り、真の場合にはステップＳ２０３の処理に移る。後述する図６および図７で本処理の一例について詳細に説明する。
【００４４】
ステップＳ２０２：符号化対象のマクロブロックの動き推定が難しくない場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【００４５】
ステップＳ２０３：符号化対象のマクロブロックの動き推定が難しい場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ２０４の処理に移り、偽の場合にステップＳ２０６の処理に移る。
【００４６】
ステップＳ２０４：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ２０５の処理に移り、偽の場合にはステップＳ２０２の処理に移る。ここで、ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ２０２の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。
【００４７】
ステップＳ２０５：ステップＳ２０４の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００４８】
ステップＳ２０６：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ２０７の処理に移り、偽の場合にはステップＳ２０８の処理に移る。
【００４９】
ステップＳ２０７：ステップＳ２０６の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００５０】
ステップＳ２０８：ステップＳ２０６の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ２０９の処理に移り、偽の場合にはステップＳ２１０の処理に移る。
【００５１】
ステップＳ２０９：ステップＳ２０８の処理によって出力されるＪIntraBL ＜ＪBLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００５２】
ステップＳ２１０：ステップＳ２０８の処理によって出力されるＪIntraBL ＜ＪBLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００５３】
このようにして、図３のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モード（ＩｎｔｒａＢＬ予測モードやＢＬＳｋｉｐ予測モード）を決定するのである。
【００５４】
次に、図４のフローチャートについて説明する。
【００５５】
ステップＳ３０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合にはステップＳ３０２の処理に移り、偽の場合にはステップＳ３０３の処理に移る。後述する図８および図９で本処理の一例について詳細に説明する。
【００５６】
ステップＳ３０２：符号化対象のマクロブロックの輝度変化が大きい場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【００５７】
ステップＳ３０３：符号化対象のマクロブロックの輝度変化がほとんどない場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ３０４の処理に移り、偽の場合にステップＳ３０６の処理に移る。
【００５８】
ステップＳ３０４：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ３０５の処理に移り、偽の場合にはステップＳ３０２の処理に移る。ここで、ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ３０２の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。
【００５９】
ステップＳ３０５：ステップＳ３０４の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００６０】
ステップＳ３０６：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ３０７の処理に移り、偽の場合にはステップＳ３０８の処理に移る。
【００６１】
ステップＳ３０７：ステップＳ３０６の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００６２】
ステップＳ３０８：ステップＳ３０６の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ３０９の処理に移り、偽の場合にはステップＳ３１０の処理に移る。
【００６３】
ステップＳ３０９：ステップＳ３０８の処理によって出力されるＪIntraBL ＜ＪBLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００６４】
ステップＳ３１０：ステップＳ３０８の処理によって出力されるＪIntraBL ＜ＪBLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００６５】
このようにして、図４のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モード（ＩｎｔｒａＢＬ予測モードやＢＬＳｋｉｐ予測モード）を決定するのである。
【００６６】
次に、図５のフローチャートについて詳細に説明する。
【００６７】
ステップＳ４０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合にはステップＳ４０２の処理に移り、真の場合にはステップＳ４０４の処理に移る。後述する図６および図７で本処理の一例について詳細に説明する。
【００６８】
ステップＳ４０２：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合にはステップＳ４０３の処理に移り、偽の場合にはステップＳ４０４の処理に移る。後述する図８および図９で本処理の一例について詳細に説明する。
【００６９】
ステップＳ４０３：符号化対象のマクロブロックの動き推定が難しくなく、かつ、符号化対象のマクロブロックの輝度変化が大きい場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【００７０】
ステップＳ４０４：符号化対象のマクロブロックの動き推定が難しい場合や、符号化対象のマクロブロックの輝度変化がほとんどない場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ４０５の処理に移り、偽の場合にステップＳ４０７の処理に移る。
【００７１】
ステップＳ４０５：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ４０６の処理に移り、偽の場合にはステップＳ４０３の処理に移る。ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ４０３の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。
【００７２】
ステップＳ４０６：ステップＳ４０５の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００７３】
ステップＳ４０７：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ４０８の処理に移り、偽の場合にはステップＳ４０９の処理に移る。
【００７４】
ステップＳ４０８：ステップＳ４０７の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００７５】
ステップＳ４０９：ステップＳ４０７の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ４１０の処理に移り、偽の場合にはステップＳ４１１の処理に移る。
【００７６】
ステップＳ４１０：ステップＳ４０９の処理によって出力されるＪIntraBL ＜ＪBLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００７７】
ステップＳ４１１：ステップＳ４０９の処理によって出力されるＪIntraBL ＜ＪBLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【００７８】
このようにして、図５のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であるか、あるいは、輝度変化がほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。
【００７９】
〔１−３〕ステップＳ２０１，ステップＳ４０１で実行する処理
次に、図６および図７を用いて、拡張レイヤ符号化部１１がステップＳ２０１，ステップＳ４０１で実行する処理の一例について詳細に説明する。ここで、図６、図７のうちのいずれか一つが適用可能である。
【００８０】
最初に、図６のフローチャートについて説明する。
【００８１】
ステップＳ５０１：直下ＳＭＢにおいて原信号を読み込み、４×４インター予測モードによって生じた予測残差信号の二乗誤差和（ＳＳＤ）の値（ＳＳＤ０）を算出する。
【００８２】
ステップＳ５０２：ステップＳ５０１の処理によって得られたＳＳＤの値（ＳＳＤ０）を読み込み、その値が外部より与えられる閾値以上（ＳＳＤ０≧閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ５０３の処理に移り、偽の場合にはステップＳ５０４の処理に移る。ここで、この閾値は動き推定性能判定閾値であり、実験的に与える。
【００８３】
ステップＳ５０３：ステップＳ５０２の処理によって出力されるＳＳＤが閾値以上であるという判定結果を読み込み、符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力する。
【００８４】
ステップＳ５０４：ステップＳ５０２の処理によって出力されるＳＳＤが閾値以上でないという判定結果を読み込み、符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。
【００８５】
このようにして、図６のフローチャートを実行する場合、拡張レイヤ符号化部１１は、直下レイヤで求められる予測残差信号のＳＳＤの値が大きい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。
【００８６】
次に、図７のフローチャートについて説明する。
【００８７】
ステップＳ６０１：符号化対象のマクロブロックにおいて原信号を読み込み、４×４インター予測モードを実施して予測残差信号を生成し、その予測残差信号のＳＳＤ（ＳＳＤ１）を算出する。ここで、この予測残差信号のＳＳＤ（ＳＳＤ１）については、直下レイヤにおいて４×４インター予測モードを実施して予測残差信号を生成したときに求めておいたものをメモリに保存しておいて、それを読み出すようにして得ることでも実現可能である。
【００８８】
ステップＳ６０２：符号化対象のマクロブロックにおける原信号および直下ＳＭＢの符号化情報を読み込み、ＢＬＳｋｉｐ予測モードを実施して予測残差信号を生成し、その予測残差信号のＳＳＤ（ＳＳＤ２）を算出する。ここで、この予測残差信号のＳＳＤ（ＳＳＤ１）については、直下レイヤにおいてＢＬＳｋｉｐ予測モードを実施して予測残差信号を生成したときに求めておいたものをメモリに保存しておいて、それを読み出すようにして得ることでも実現可能である。
【００８９】
ステップＳ６０３：ステップＳ６０１で得た４×４インター予測モードの予測残差信号のＳＳＤ（ＳＳＤ１）と、ステップＳ６０２で得たＢＬＳｋｉｐ予測モードの予測残差信号のＳＳＤ（ＳＳＤ２）との差分ＳＳＤ（ＳＳＤｅ）を算出する。
【００９０】
ステップＳ６０４：ステップＳ６０３の処理によって出力される差分ＳＳＤ（ＳＳＤｅ）の値を読み込み、その値が外部より与えられる閾値未満（ＳＳＤｅ＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ６０５の処理に移り、偽の場合にはステップＳ６０６の処理に移る。ここで、この閾値は動き推定性能判定閾値であり、実験的に与える。
【００９１】
ステップＳ６０５：ステップＳ６０４の処理によって出力されるＳＳＤｅが閾値未満であるという判定結果を読み込み、符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力する。
【００９２】
ステップＳ６０６：ステップＳ６０４の処理によって出力されるＳＳＤが閾値未満でないという判定結果を読み込み、符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。
【００９３】
このようにして、図７のフローチャートを実行する場合、拡張レイヤ符号化部１１は、拡張レイヤで求められる予測残差信号のＳＳＤと直下レイヤで求められる予測残差信号のＳＳＤとの差分値が小さい場合には、その２つのＳＳＤが正しいことを判断して、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。
【００９４】
〔１−４〕ステップＳ３０１，ステップＳ４０２で実行する処理
次に、図８および図９を用いて、拡張レイヤ符号化部１１がステップＳ３０１，ステップＳ４０２で実行する処理の一例について詳細に説明する。ここで、図８、図９のうちのいずれか一つが適用可能である。
【００９５】
最初に、図８のフローチャートについて説明する。
【００９６】
ステップＳ７０１：直下ＳＭＢの原信号を読み込み、隣接画素相関値（Ｃ０）を算出する。
【００９７】
ステップＳ７０２：ステップＳ７０１の処理によって得られた隣接画素相関値（Ｃ０）を読み込み、その値が外部より与えられる閾値未満（Ｃ０＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ７０３の処理に移り、偽の場合にはステップＳ７０４の処理に移る。ここで、この閾値は輝度変化判定閾値であり、実験的に与える。
【００９８】
ステップＳ７０３：ステップＳ７０２の処理によって出力される隣接画素相関値が閾値未満であるという判定結果（相関が低いことで輝度変化が大きいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力する。
【００９９】
ステップＳ７０４：ステップＳ７０２の処理によって出力される隣接画素相関値が閾値未満でないという判定結果（相関が高いことで輝度変化が小さいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。
【０１００】
このようにして、図８のフローチャートを実行する場合、拡張レイヤ符号化部１１は、基本レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。
【０１０１】
次に、図９のフローチャートについて説明する。
【０１０２】
ステップＳ８０１：符号化対象のマクロブロックの原信号を読み込み、隣接画素相関値（Ｃ１）を算出する。
【０１０３】
ステップＳ８０２：ステップＳ８０１の処理によって得られた隣接画素相関値（Ｃ１）を読み込み、その値が外部より与えられる閾値未満（Ｃ１＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ８０３の処理に移り、偽の場合にはステップＳ８０４の処理に移る。ここで、この閾値は輝度変化判定閾値であり、実験的に与える。
【０１０４】
ステップＳ８０３：ステップＳ８０２の処理によって出力される隣接画素相関値が閾値未満であるという判定結果（相関が低いことで輝度変化が大きいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力する。
【０１０５】
ステップＳ８０４：ステップＳ８０２の処理によって出力される隣接画素相関値が閾値未満でないという判定結果（相関が高いことで輝度変化が小さいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。
【０１０６】
このようにして、図９のフローチャートを実行する場合、拡張レイヤ符号化部１１は、拡張レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。
【０１０７】
〔２〕拡張レイヤ符号化部１１の装置構成
図１０〜図１７に、図２〜図９のフローチャートを実行する拡張レイヤ符号化部１１の装置構成を図示する。
【０１０８】
次に、これらの装置構成図に従って、拡張レイヤ符号化部１１の装置構成について詳細に説明する。
【０１０９】
〔２−１〕全体構成
まず最初に、図１０の装置構成について説明する。ここで、図１０の装置構成は拡張レイヤ符号化部１１の全体構成を示している。
【０１１０】
この図に示すように、拡張レイヤ符号化部１１は、符号化対象ＭＢ初期選択部１０１と、高速予測モード判定部１０２と、予測モード情報記憶部１０３と、予測残差信号生成部１０４と、予測残差符号化部１０５と、全ＭＢ完了判定部１０６と、符号化対象ＭＢ更新部１０７とを備える。次に、これらの各処理部について説明する。
【０１１１】
符号化対象ＭＢ初期選択部１０１：符号化処理の起点となる符号化対象のマクロブロックを１つ選択する。
【０１１２】
高速予測モード判定部１０２：符号化対象のマクロブロックの原信号をバッファより読み込み、本発明の高速化予測モード選択処理を行い、符号化対象のマクロブロックに適用する予測モード情報を予測モード情報記憶部１０３に出力する。後述する図１１、図１２および図１３で本処理部の構成の一例について詳細に説明する。
【０１１３】
予測残差信号生成部１０４：予測モード情報記憶部１０３より符号化対象のマクロブロックに適用する予測モード情報を読み込み、その予測モードに従って予測信号を生成し、原信号と予測信号との差分をとった予測残差信号を生成してバッファに出力する。
【０１１４】
予測残差符号化部１０５：バッファより予測残差信号を読み込み、その予測残差信号の符号化を行い、符号化データを生成する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。
【０１１５】
全ＭＢ完了判定部１０６：すべてのマクロブロックの符号化が完了しているのか否かの判定処理を行い、真の場合には符号化処理を終了して最終的な符号化データを出力し、偽の場合には符号化対象ＭＢ更新部１０７の処理に移る。
【０１１６】
符号化対象ＭＢ更新部１０７：次の符号化対象のマクロブロックを１つ選択して高速予測モード判定部１０２の処理を行う。
【０１１７】
〔２−２〕高速予測モード判定部１０２の装置構成
次に、図１１〜図１３を用いて、高速予測モード判定部１０２の装置構成の一例について説明する。ここで、図１１、図１２、図１３のうちのいずれか一つが適用可能である。
【０１１８】
最初に、図１１の装置構成図について説明する。
【０１１９】
この装置構成に従う場合、高速予測モード判定部１０２は、動き推定難／易判定部２０１と、直下ＳＭＢ予測モード情報記憶部２０２と、直下ＳＭＢ予測モード情報判定部２０３と、ＣＩＰフラグ情報記憶部２０４と、ＣＩＰフラグ情報判定部２０５と、符号化コスト比較部２０６と、ＣＩＰフラグ情報判定部２０７と、符号化コスト最小予測モード探索部２０８とを備える。次に、これらの各処理部について説明する。
【０１２０】
動き推定難／易判定部２０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合には符号化コスト最小予測モード探索部２０８の処理に移り、真の場合には直下ＳＭＢ予測モード情報判定部２０３の処理に移る。後述する図１４および図１５で本処理部の構成の一例について詳細に説明する。
【０１２１】
直下ＳＭＢ予測モード情報記憶部２０２：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。
【０１２２】
直下ＳＭＢ予測モード情報判定部２０３：直下ＳＭＢ予測モード情報記憶部２０２より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部２０５の処理に移り、真の場合にはＣＩＰフラグ情報判定部２０７の処理に移る。
【０１２３】
ＣＩＰフラグ情報記憶部２０４：ＣＩＰフラグを読み込み、レジスタに出力する。
【０１２４】
ＣＩＰフラグ情報判定部２０５：ＣＩＰフラグ情報記憶部２０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部２０６の処理に移る。
【０１２５】
符号化コスト比較部２０６：ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【０１２６】
ＣＩＰフラグ情報判定部２０７：ＣＩＰフラグ情報記憶部２０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部２０８の処理に移る。
【０１２７】
符号化コスト最小予測モード探索部２０８：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【０１２８】
このようにして、図１１の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが動きの激しい画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。
【０１２９】
次に、図１２の装置構成図について説明する。
【０１３０】
この装置構成に従う場合、高速予測モード判定部１０２は、輝度変化大／小判定部３０１と、直下ＳＭＢ予測モード情報記憶部３０２と、直下ＳＭＢ予測モード情報判定部３０３と、ＣＩＰフラグ情報記憶部３０４と、ＣＩＰフラグ情報判定部３０５と、符号化コスト比較部３０６と、ＣＩＰフラグ情報判定部３０７と、符号化コスト最小予測モード探索部３０８とを備える。次に、これらの各処理部について説明する。
【０１３１】
輝度変化大／小判定部３０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合には符号化コスト最小予測モード探索部３０８の処理に移り、偽の場合には直下ＳＭＢ予測モード情報判定部３０３の処理に移る。後述する図１６および図１７で本処理部の構成の一例について詳細に説明する。
【０１３２】
直下ＳＭＢ予測モード情報記憶部３０２：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。
【０１３３】
直下ＳＭＢ予測モード情報判定部３０３：直下ＳＭＢ予測モード情報記憶部３０２より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部３０５の処理に移り、真の場合にはＣＩＰフラグ情報判定部３０７の処理に移る。
【０１３４】
ＣＩＰフラグ情報記憶部３０４：ＣＩＰフラグを読み込み、レジスタに出力する。
【０１３５】
ＣＩＰフラグ情報判定部３０５：ＣＩＰフラグ情報記憶部３０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部３０６の処理に移る。
【０１３６】
符号化コスト比較部３０６：ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【０１３７】
ＣＩＰフラグ情報判定部３０７：ＣＩＰフラグ情報記憶部３０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部３０８の処理に移る。
【０１３８】
符号化コスト最小予測モード探索部３０８：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【０１３９】
このようにして、図１２の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。
【０１４０】
次に、図１３の装置構成図について説明する。
【０１４１】
この装置構成に従う場合、高速予測モード判定部１０２は、動き推定難／易判定部４０１と、輝度変化大／小判定部４０２と、直下ＳＭＢ予測モード情報記憶部４０３と、直下ＳＭＢ予測モード情報判定部４０４と、ＣＩＰフラグ情報記憶部４０５と、ＣＩＰフラグ情報判定部４０６と、符号化コスト比較部４０７と、ＣＩＰフラグ情報判定部４０８と、符号化コスト最小予測モード探索部４０９とを備える。次に、これらの各処理部について説明する。
【０１４２】
動き推定難／易判定部４０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合には輝度変化大／小判定部４０２の処理に移り、真の場合には直下ＳＭＢ予測モード情報判定部４０４の処理に移る。後述する図１４および図１５で本処理部の構成の一例について詳細に説明する。
【０１４３】
輝度変化大／小判定部４０２：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合には符号化コスト最小予測モード探索部４０９の処理に移り、偽の場合には直下ＳＭＢ予測モード情報判定部４０４の処理に移る。後述する図１６および図１７で本処理部の構成の一例について詳細に説明する。
【０１４４】
直下ＳＭＢ予測モード情報記憶部４０３：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。
【０１４５】
直下ＳＭＢ予測モード情報判定部４０４：直下ＳＭＢ予測モード情報記憶部４０３より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部４０６の処理に移り、真の場合にはＣＩＰフラグ情報判定部４０８の処理に移る。
【０１４６】
ＣＩＰフラグ情報記憶部４０５：ＣＩＰフラグを読み込み、レジスタに出力する。
【０１４７】
ＣＩＰフラグ情報判定部４０６：ＣＩＰフラグ情報記憶部４０５よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部４０７の処理に移る。
【０１４８】
符号化コスト比較部４０７：ＩｎｔｒａＢＬ予測モードの符号化コスト（ＪIntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（ＪBLSkip）とを読み込み、両者を比較し、ＪIntraBL ＜ＪBLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。
【０１４９】
ＣＩＰフラグ情報判定部４０８：ＣＩＰフラグ情報記憶部４０５よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部４０９の処理に移る。
【０１５０】
符号化コスト最小予測モード探索部４０９：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。
【０１５１】
このようにして、図１３の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが動きの激しい画像領域であったり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。
【０１５２】
〔２−３〕動き推定難／易判定部２０１，４０１の装置構成
次に、図１４および図１５を用いて、動き推定難／易判定部２０１，４０１の装置構成の一例について詳細に説明する。ここで、図１４、図１５のうちのいずれか一つが適用可能である。
【０１５３】
最初に、図１４の装置構成図について説明する。
【０１５４】
図１４の装置構成に従う場合、動き推定難／易判定部２０１，４０１は、直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１と、直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２と、直下ＳＭＢ４×４予測残差ＳＳＤ比較部５０３とを備える。次に、これらの各処理部について説明する。
【０１５５】
直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１：直下ＳＭＢにおいて原信号を読み込み、４×４インター予測モードによって生じた予測残差信号のＳＳＤを算出し、レジスタに出力する。
【０１５６】
直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２：直下ＳＭＢにおいて４×４画素単位の動き推定で生じた予測残差信号ＳＳＤの閾値を読み込み、レジスタに出力する。ここで、この閾値は、外部より与えられ、動き推定性能判定のために使用される。この閾値は実験的に与える。
【０１５７】
直下ＳＭＢ４×４予測残差ＳＳＤ比較部５０３：直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１より直下ＳＭＢにおいて４×４画素単位の動き推定で生じた予測残差信号ＳＳＤを読み込み、それが直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２より読み込んだ閾値以上であるのか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。
【０１５８】
このようにして、図１４の装置構成に従って、動き推定難／易判定部２０１，４０１は、直下レイヤで求められる予測残差信号のＳＳＤの値が大きい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。
【０１５９】
次に、図１５の装置構成図について説明する。
【０１６０】
図１５の装置構成に従う場合、動き推定難／易判定部２０１，４０１は、符号化対象ＭＢ４×４Inter 予測モード実施部６０１と、符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２と、符号化対象ＭＢ４×４Inter 予測残差ＳＳＤ値計算部６０３と、符号化対象ＭＢBLSkip予測モード実施部６０４と、符号化対象ＭＢBLSkip予測残差信号記憶部６０５と、符号化対象ＭＢBLSkip予測残差ＳＳＤ値計算部６０６と、ＳＳＤ差分値計算部６０７と、ＳＳＤ差分値記憶部６０８と、ＳＳＤ差分閾値記憶部６０９と、ＳＳＤ差分値比較部６１０とを備える。次に、これらの各処理部について説明する。
【０１６１】
符号化対象ＭＢ４×４Inter 予測モード実施部６０１：符号化対象のマクロブロックにおいて原信号を読み込み、４×４Ｉｎｔｅｒ予測モードを実行し、生じた予測残差信号を符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２に出力する。
【０１６２】
符号化対象ＭＢ４×４Inter 予測残差ＳＳＤ値計算部６０３：符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２より符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号を読み込み、その予測残差信号のＳＳＤを算出し、レジスタに出力する。
【０１６３】
符号化対象ＭＢBLSkip予測モード実施部６０４：符号化対象のマクロブロックにおいて原信号を読み込み、ＢＬＳｋｉｐ予測モードを実行し、生じた予測残差信号を符号化対象ＭＢBLSkip予測残差信号記憶部６０５に出力する。
【０１６４】
符号化対象ＭＢBLSkip予測残差ＳＳＤ値計算部６０６：符号化対象ＭＢBLSkip予測残差信号記憶部６０５より符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号を読み込み、その予測残差信号のＳＳＤを算出し、レジスタに出力する。
【０１６５】
ＳＳＤ差分値計算部６０７：レジスタより、符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号のＳＳＤと符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号のＳＳＤとを読み込み、両者の差分ＳＳＤを計算し、その結果をＳＳＤ差分値記憶部６０８に出力する。
【０１６６】
ＳＳＤ差分閾値記憶部６０９：符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号のＳＳＤと符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号のＳＳＤとの差分値に対する閾値を読み込み、レジスタに出力する。ここで、この閾値は、外部より与えられ、動き推定性能判定のために使用される。この閾値は実験的に与える。
【０１６７】
ＳＳＤ差分値比較部６１０：ＳＳＤ差分値記憶部６０８よりＳＳＤ差分値を読み込み、それがＳＳＤ差分閾値記憶部６０９より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを動き推定の難しいマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを動き推定の易しいマクロブロックとして設定して、それを示すフラグを出力する。
【０１６８】
このようにして、図１５の装置構成に従って、動き推定難／易判定部２０１，４０１は、拡張レイヤで求められる予測残差信号のＳＳＤと直下レイヤで求められる予測残差信号のＳＳＤとの差分値が小さい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。
【０１６９】
〔２−４〕輝度変化大／小判定部３０１，４０２の装置構成
次に、図１６および図１７を用いて、輝度変化大／小判定部３０１，４０２の装置構成の一例について詳細に説明する。ここで、図１６、図１７のうちのいずれか一つが適用可能である。
【０１７０】
最初に、図１６の装置構成図について説明する。
【０１７１】
図１６の装置構成に従う場合、輝度変化大／小判定部３０１，４０２は、直下ＳＭＢ隣接画素相関値計算部７０１と、直下ＳＭＢ隣接画素相関値記憶部７０２と、直下ＳＭＢ隣接画素相関値閾値記憶部７０３と、直下ＳＭＢ隣接画素相関値比較部７０４とを備える。次に、これらの各処理部について説明する。
【０１７２】
直下ＳＭＢ隣接画素相関値計算部７０１：直下ＳＭＢの原信号を読み込み、隣接画素相関値を算出し、その値を直下ＳＭＢ隣接画素相関値記憶部７０２に出力する。
【０１７３】
直下ＳＭＢ隣接画素相関値閾値記憶部７０３：直下ＳＭＢにおける隣接画素相関値の閾値を読み込み、その値をレジスタに出力する。ここで、この閾値は外部より与えられ、輝度変化大小判定のために使用される。この閾値は実験的に与える。
【０１７４】
直下ＳＭＢ隣接画素相関値比較部７０４：直下ＳＭＢ隣接画素相関値記憶部７０２より直下ＳＭＢにおける隣接画素相関値を読み込み、それが直下ＳＭＢ隣接画素相関値閾値記憶部７０３より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。
【０１７５】
このようにして、図１６の装置構成に従って、輝度変化大／小判定部３０１，４０２は、基本レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。
【０１７６】
次に、図１７の装置構成図について説明する。
【０１７７】
図１７の装置構成に従う場合、輝度変化大／小判定部３０１，４０２は、符号化対象ＭＢ隣接画素相関値計算部８０１と、符号化対象ＭＢ隣接画素相関値記憶部８０２と、符号化対象ＭＢ隣接画素相関値閾値記憶部８０３と、符号化対象ＭＢ隣接画素相関値比較部８０４とを備える。次に、これらの各処理部について説明する。
【０１７８】
符号化対象ＭＢ隣接画素相関値計算部８０１：符号化対象のマクロブロックの原信号を読み込み、隣接画素相関値を算出し、その値を符号化対象ＭＢ隣接画素相関値記憶部８０２に出力する。
【０１７９】
符号化対象ＭＢ隣接画素相関値閾値記憶部８０３：符号化対象のマクロブロックにおける隣接画素相関値の閾値を読み込み、その値をレジスタに出力する。ここで、この閾値は外部より与えられ、輝度変化大小判定のために使用される。この閾値は実験的に与える。
【０１８０】
符号化対象ＭＢ隣接画素相関値比較部８０４：符号化対象ＭＢ隣接画素相関値記憶部８０２より符号化対象のマクロブロックにおける隣接画素相関値を読み込み、それが符号化対象ＭＢ隣接画素相関値閾値記憶部８０３より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。
【０１８１】
このようにして、図１７の装置構成に従って、輝度変化大／小判定部３０１，４０２は、拡張レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。
【０１８２】
以上に説明したように、本発明を実現する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するように処理するのである。
【０１８３】
この構成に従って、本発明によれば、動画像をスケーラブルに符号化するときに、符号量の増加を抑制しつつ高速にその符号化を実行することができるようになる。
【０１８４】
以上に説明した実施の形態では、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、直ちにレイヤ間予測モードを選択するようにしたが、拡張レイヤにおける予測モードの中のスキップモードやダイレクトモードのような動き推定を行わない予測モードを用いることでも、本発明の目的を達成することができる。
【０１８５】
すなわち、スキップモードの場合、符号化側は、ただ単に符号化対象のマクロブロックがスキップモードであるということを示す情報を符号化すればよく（予測残差信号も生成しない）、これを受けて、復号側は、復号処理によりスキップモードであることを判断すると、復号対象のマクロブロックの近傍に位置するマクロブロックの動きベクトルを復号対象のマクロブロックの動きベクトルと見なして、その動きベクトルの指す画像信号をそのまま復号対象のマクロブロックの画像信号と見なすようにするので、符号量の増加を抑制しつつ高速に符号化を実行することができるようになる。
【０１８６】
また、ダイレクトモードの場合、符号化側は、ダイレクトモードであるということを示す情報を符号化するとともに、１つ前のフレームの動きベクトルに従って符号化対象のマクロブロックの動きベクトルを推定して、その推定した動きベクトルに従って予測残差信号を求めて符号化を行い、これを受けて、復号側は、復号処理によりダイレクトモードであることを判断するときには、１つ前のフレームの動きベクトルに従って復号対象のマクロブロックの動きベクトルを推定して、その動きベクトルの指す画像信号と復号処理により復号した予測残差信号とを加算することで復号対象のマクロブロックの画像信号を復元するようにするので、符号量の増加を抑制しつつ高速に符号化を実行することができるようになる。
【０１８７】
これから、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることを判断する場合に、直ちにレイヤ間予測モードを選択するのではなくて、レイヤ間予測モードとスキップモードやダイレクトモードのような動き推定を行わない予測モードとを選択対象として符号化コストを算出して、それらの予測モードの中で符号化コストが最小となる予測モードを選択することで、符号化に用いる最終的な予測モードを決定するようにしてもよい。このとき、動き推定を行わない予測モードの中にイントラ符号化の予測モードについても含めるようにしてもよい。
【０１８８】
このような構成を採ることでも、動画像をスケーラブルに符号化するときに、符号量の増加を抑制しつつ高速にその符号化を実行することができるようになる。しかも、レイヤ間予測モードよりもスキップモードの方が符号化コストが小さくなるような場合や、レイヤ間予測モードよりもダイレクトモードの方が符号化コストが小さくなるような場合には、直ちにレイヤ間予測モードを選択する方法に比べて、符号化効率を高めることができるようになる。
【産業上の利用可能性】
【０１８９】
本発明は動画像をスケーラブルに符号化する場合に適用できるものであり、本発明を適用することで、符号量の増加を抑制しつつ高速に拡張レイヤの符号化対象ブロックを符号化することができるようになる。
【図面の簡単な説明】
【０１９０】
【図１】本発明の適用されるスケーラブル動画像符号化装置の装置構成図である。
【図２】拡張レイヤ符号化部の実行するフローチャートである。
【図３】拡張レイヤ符号化部の実行するフローチャートである。
【図４】拡張レイヤ符号化部の実行するフローチャートである。
【図５】拡張レイヤ符号化部の実行するフローチャートである。
【図６】拡張レイヤ符号化部の実行するフローチャートである。
【図７】拡張レイヤ符号化部の実行するフローチャートである。
【図８】拡張レイヤ符号化部の実行するフローチャートである。
【図９】拡張レイヤ符号化部の実行するフローチャートである。
【図１０】拡張レイヤ符号化部の全体構成図である。
【図１１】高速予測モード判定部の装置構成の一例を示す図である。
【図１２】高速予測モード判定部の装置構成の他の一例を示す図である。
【図１３】高速予測モード判定部の装置構成の他の一例を示す図である。
【図１４】動き推定難／易判定部の装置構成の一例を示す図である。
【図１５】動き推定難／易判定部の装置構成の他の一例を示す図である。
【図１６】輝度変化大／小判定部の装置構成の一例を示す図である。
【図１７】輝度変化大／小判定部の装置構成の他の一例を示す図である。
【符号の説明】
【０１９１】
１      スケーラブル動画像符号化装置
１０    基本レイヤ符号化部
１１    拡張レイヤ符号化部
１２    符号化データ出力部
１０１  符号化対象ＭＢ初期選択部
１０２  高速予測モード判定部
１０３  予測モード情報記憶部
１０４  予測残差信号生成部
１０５  予測残差符号化部
１０６  全ＭＢ完了判定部
１０７  符号化対象ＭＢ更新部
【図１】
0004865767.tif 000002
【図２】
0004865767.tif 000003
【図３】
0004865767.tif 000004
【図４】
0004865767.tif 000005
【図５】
0004865767.tif 000006
【図６】
0004865767.tif 000007
【図７】
0004865767.tif 000008
【図８】
0004865767.tif 000009
【図９】
0004865767.tif 000010
【図１０】
0004865767.tif 000011
【図１１】
0004865767.tif 000012
【図１２】
0004865767.tif 000013
【図１３】
0004865767.tif 000014
【図１４】
0004865767.tif 000015
【図１５】
0004865767.tif 000016
【図１６】
0004865767.tif 000017
【図１７】
0004865767.tif 000018