(57)【要約】【課題】本発明は、イントラ予測を行って画像を符号化する構成を採るときにあって、その予測モードを高速に決定できるようにする新たな技術の提供を目的とする。【解決手段】符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得して、その取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する。そして、その作成した頻度情報に基づいて予測モードの候補を選択して、これらの選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定して、符号化対象ブロックをイントラ符号化する。この構成に従って、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。【選択図】図２
2005348280.tif 000002
【特許請求の範囲】
【請求項１】
イントラ予測を行って画像を符号化する画像符号化方法において、
符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する過程と、
上記取得した予測モードと、上記参照ブロックに割り付けられる重み係数とに基づいて、上記参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する過程と、
上記作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する過程とを備えることを、
特徴とする画像符号化方法。
【請求項２】
請求項１記載の画像符号化方法において、
上記作成する過程では、上記参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、上記参照ブロックに割り付けられる重み係数を累積加算することで上記頻度情報を作成することを、
特徴とする画像符号化方法。
【請求項３】
請求項１又は２に記載の画像符号化方法において、
上記選択する過程では、上記候補となる予測モードとして規定個数の予測モードを選択できない場合には、上記参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することを、
特徴とする画像符号化方法。
【請求項４】
請求項１ないし３のいずれか１項に記載の画像符号化方法において、
上記選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する過程と、
上記決定した予測モードに従って、符号化対象ブロックをイントラ符号化する過程とを備えることを、
特徴とする画像符号化方法。
【請求項５】
イントラ予測を行って画像を符号化する画像符号化装置において、
符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する手段と、
上記取得した予測モードと、上記参照ブロックに割り付けられる重み係数とに基づいて、上記参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する手段と、
上記作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する手段とを備えることを、
特徴とする画像符号化装置。
【請求項６】
請求項５記載の画像符号化装置において、
上記作成する手段は、上記参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、上記参照ブロックに割り付けられる重み係数を累積加算することで上記頻度情報を作成することを、
特徴とする画像符号化装置。
【請求項７】
請求項５又は６に記載の画像符号化装置において、
上記選択する手段は、上記候補となる予測モードとして規定個数の予測モードを選択できない場合には、上記参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することを、
特徴とする画像符号化装置。
【請求項８】
請求項５ないし７のいずれか１項に記載の画像符号化装置において、
上記選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する手段と、
上記決定した予測モードに従って、符号化対象ブロックをイントラ符号化する手段とを備えることを、
特徴とする画像符号化装置。
【請求項９】
請求項１ないし４のいずれか１項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載の画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イントラ予測を行って画像を符号化する画像符号化方法及びその装置と、その画像符号化方法の実現に用いられる画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
Ｈ.264のイントラ予測において、４×４サイズのブロックを符号化する場合、９つの予測モードのいずれかを用いる（例えば、非特許文献１参照）。
【０００３】
この予測モードの選択は符号化側で自由に設定できる。最も単純な選択方法は、９つの予測モードの全てに対して、コストを算出し、そのコストを最小化する予測モードを選択するという方法である。
【０００４】
図９に、この従来技術の処理フローを図示する。なお、この処理フローでは、
ＳＡＴＤ＋ａ×λ（ＱＰ）
という算出式に従ってコストを計算している。ここで、この算出式に示すａは定数、ＱＰは量子化パラメータ、λ（ＱＰ）は量子化パラメータＱＰの値に応じた加算項を返す関数である。
【０００５】
しかしながら、このような全予測モードを対象とした探索処理の場合、最適な予測モードを得ることはできるものの、計算量は非常に大きなものとなる。
【０００６】
予測モード推定法の高速に関する検討としては、Ｓobelフィルタを用いたエッジ検出の結果を利用し、検出されたエッジ方向に基づいてモード選択を行うという方法が提案されている（例えば、非特許文献２参照）。
【０００７】
しかしながら、この場合、エッジ検出の処理が必要となるため、計算機資源の乏しい場合には、リアルタイム処理が困難となる可能性がある。
【非特許文献１】"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification" ITU-T Rec. H.264 ISO/IEC 14496-10 AVC, ＪVT-G050r1, May, 2003
【非特許文献２】P.Feng et.al. "Fast mode decision for intra prediction", JVT-I049, Sept., 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したことから分かるように、限られた計算機資源を用いてＨ.264の符号化処理をリアルタイムで行う場合、高速な予測モードの推定法が必要となるものの、従来技術では、この要求に応えていないという問題がある。
【０００９】
本発明はかかる事情に鑑みてなされたものであって、イントラ予測を行って画像を符号化する構成を採るときにあって、その予測モードを高速に決定できるようにする新たな画像符号化技術の提供を目的とする。
【課題を解決するための手段】
【００１０】
この目的を達成するために、本発明の画像符号化装置は、イントラ予測を行って画像を符号化する処理を行うときにあって、（イ）符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得する取得手段と、（ロ）取得手段の取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する作成手段と、（ハ）作成手段の作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する選択手段と、（ニ）選択手段の選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する決定手段と、（ホ）決定手段の決定した予測モードに従って、符号化対象ブロックをイントラ符号化する符号化手段とを備えるように構成する。
【００１１】
以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１２】
このように構成される本発明の画像符号化装置では、符号化対象ブロックの周辺に位置する参照ブロックのイントラ符号化に用いられた予測モードを取得して、その取得した予測モードと、参照ブロックに割り付けられる重み係数とに基づいて、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成する。
【００１３】
例えば、参照ブロックのイントラ符号化に用いられた予測モードの指すエントリーに、参照ブロックに割り付けられる重み係数を累積加算することで、参照ブロックのイントラ符号化に用いられた予測モードの重み付けされた頻度情報を作成するのである。
【００１４】
そして、その作成した頻度情報に基づいて、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補を選択する。
【００１５】
このとき、符号化対象ブロックのイントラ符号化に用いられる予測モードの候補として、規定個数の予測モードを選択できない場合には、参照ブロックのイントラ符号化では用いられなかった予測モードの中から予測モードを選択することで、その規定個数分の予測モードを選択することがある。
【００１６】
そして、これらの選択した予測モードのコストを評価することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定して、その決定した予測モードに従って、符号化対象ブロックをイントラ符号化する。
【発明の効果】
【００１７】
本発明では、Ｈ.264のイントラ予測のモード選択において、フレーム内の空間相関およびフレーム間の時間相関を利用して、コストの算出対象となる予測モードを限定するという構成を採ることから、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。
【００１８】
その結果、本発明によれば、少ない計算機資源の環境下でリアルタイム処理が求められる場合でも、Ｈ.264のイントラ予測符号化の持つ高能率な圧縮性能を享受できるようになる。                                                                            
【発明を実施するための最良の形態】
【００１９】
以下、実施の形態に従って本発明を詳細に説明する。
【００２０】
なお、以下では、説明の便宜上、本発明の適用対象となるイントラ予測に係る画像符号化処理についてのみ説明する。
【００２１】
イントラ予測における計算量の大部分を占めるのは予測モードのコストの計算である。従って、コストの算出対象となる予測モードの数を限定することで計算量を削減できることになる。ただし、いい加減な方法によってコストの算出対象となる予測モードを絞り込んだのでは、復号画像の画質劣化が問題となる。これから、画質の劣化を極力抑えつつ、高速な処理を実現するには、適切な方法によってコストの算出対象となる予測モードを絞り込む必要がある。
【００２２】
そこで、本発明では、フレーム内の空間相関およびフレーム間の時間相関を利用してコストの算出対象となる予測モードの候補を選択するというアプローチをとるものであり、コストの算出対象となる予測モードを、符号化済みの近傍ブロックの予測モードを参照して決定するという構成を採ることを特徴とする。このとき用いる近傍ブロックを参照ブロックと呼ぶ。
【００２３】
図１に、符号化対象ブロックと参照ブロックとの位置関係の一例を示す。
【００２４】
ここでは、一例として、２８×２４〔画素〕のフレームを４×４のブロックに分割した場合を示しており、符号化対象ブロックが黒色ブロックの位置とした場合、その参照ブロックを網掛け（ｂ1,...,ｂ19）で表わしている。ここで、ｂ1 〜ｂ10の参照ブロックについては符号化対象ブロックと同一フレームに属し、ｂ11〜ｂ19の参照ブロックについては符号化対象ブロックの１つ前のフレームに属している。
【００２５】
以下では、各参照ブロックの予測モードをＭ（ｂi )(ｉ＝０,....,19）と表す。なお、符号化処理は最上行左端のブロックから開始して、ラスター走査の順序で行うものとする。
【００２６】
図２に、本発明を具備する画像符号化装置１の一実施形態例を図示する。
【００２７】
この図に示すように、本発明の画像符号化装置１は、本発明を実現すべく構成されるイントラ符号化部１０を備えるものであり、このイントラ符号化部１０は、参照ブロック予測モード情報記憶部１００と、重み係数記憶部１０１と、優先順位記憶部１０２と、パラメータＫ記憶部１０３と、予測モード決定用情報登録部１０４と、予測モード選択部１０５と、予測モード決定部１０６と、符号化部１０７とを備える。
【００２８】
参照ブロック予測モード情報記憶部１００は、図３に示すように、符号化済みの各ブロックがどのような予測モードＭ（ｂi ）で符号化されたのかという情報を記憶する。
【００２９】
重み係数記憶部１０１は、図４に示すように、符号化対象ブロックとの空間的・時間的な位置関係に応じて各参照ブロックに割り付けられる重み係数Ｗ（ｂi ）の情報を記憶する。
【００３０】
この図４では、参照ブロックｂ1 〜ｂ4 に対して重み係数α1 が割り付けられ、参照ブロックｂ5 〜ｂ10に対して重み係数α2 が割り付けられ、参照ブロックｂ11に対して重み係数α3 が割り付けられ、参照ブロックｂ12〜ｂ19に対して重み係数α4 が割り付けられていることを想定している。ここで、α1,α2,α3,α4 の値については、例えば、「α1 ＞α2 ＞α3 ＞α4 」という形で設定される。なお、図４に示す重み係数は一例であって、隣接するブロックの予測モードを考慮するなど、この例以外の形態で設定されることでもよいことは言うまでもない。
【００３１】
優先順位記憶部１０２は、図５に示すように、各予測モードに割り付けられる優先順位の情報を記憶する。例えば９つの予測モードがある場合には、どの予測モードが第１位の優先順位で、どの予測モードが第２位の優先順位で、・・・・、どの予測モードが第９位の優先順位であるのかという情報を記憶するのである。
【００３２】
パラメータＫ記憶部１０３は、コストの算出対象となる予測モードの個数（以下、Ｋと記載する）を記憶する。後述することから分かるように、このＫを小さく設定すれば、コスト関数の算出対象となる予測モードが少なくなるため計算量を少なくすることができる。
【００３３】
予測モード決定用情報登録部１０４は、ユーザと対話することで、重み係数記憶部１０１に登録する重み係数を設定して登録し、また、優先順位記憶部１０２に登録する優先順位を設定して登録し、また、パラメータＫ記憶部１０３に登録する予測モードの個数Ｋを設定して登録する。
【００３４】
予測モード選択部１０５は、加重ヒストグラム作成機能と予測モード選択機能とを有して、符号化対象ブロックが与えられるときに、その符号化対象ブロックのイントラ符号化に用いられる予測モードの候補となる複数の予測モードを選択する。
【００３５】
予測モード決定部１０６は、コストの算出機能を有して、予測モード選択部１０５の選択した予測モードのそれぞれについてコストを算出することで、符号化対象ブロックのイントラ符号化に用いられる予測モードを決定する。
【００３６】
符号化部１０７は、予測モード決定部１０６の決定した予測モードを用いて、符号化対象ブロックをイントラ符号化する。
【００３７】
図６及び図７に、このように構成されるイントラ符号化部１０の実行する処理フローの一例を図示する。ここで、図７に示す処理フローは、図６に示す処理フローのステップ１１の処理についての詳細を示す処理フローである。
【００３８】
次に、これらの処理フローに従って、図２のように構成される本発明の画像符号化装置１の実行する処理について詳細に説明する。
【００３９】
イントラ符号化部１０は、符号化対象ブロックの符号化要求があると、図６の処理フローに示すように、先ず最初に、ステップ１０で、参照ブロック予測モード情報記憶部１００から参照ブロックの符号化に用いられた予測モードＭ（ｂi ）の情報を読み出し、重み係数記憶部１０１から参照ブロックに割り付けられた重み係数Ｗ（ｂi ）の情報を読み出し、優先順位記憶部１０２から予測モードの優先順位の情報を読み出し、パラメータＫ記憶部１０３からコストの算出対象となる予測モードの個数Ｋの情報を読み出す。
【００４０】
続いて、ステップ１１で、参照ブロックの予測モードについての加重ヒストグラム（参照ブロックの予測モードについての重み付けされた頻度を示すもの）を作成する。
【００４１】
図７の処理フローに従って、この加重ヒストグラムの作成処理について詳細に説明するならば、先ず最初に、ステップ１１０で、加重ヒストグラムＨ〔ｍ〕を０で初期化する（各要素Ｈ〔ｍ〕は予測モードｍの重み付けされた頻度を示す）。ここで、ｍは予測モードのＩＤを表し、例えば９つの予測モードがある場合にはｍ＝０〜８となる。
【００４２】
続いて、ステップ１１１で、参照ブロックｂi のブロック番号を示す変数ｉに初期値０をセットし、続くステップ１１２で、変数ｉの指定する参照ブロックｂi の予測モードＭ（ｂi ）の指す加重ヒストグラムＨ〔ｍ〕のエントリーに、その参照ブロックｂi に割り付けられる重み係数Ｗ（ｂi ）を加算する。
【００４３】
続いて、ステップ１１３で、変数ｉの値を１つインクリメントし、続くステップ１１４で、その値が参照ブロックのブロック番号の最大値である１９を超えたのか否かを判断して、超えていない場合には、ステップ１１２に戻り、超えた場合には、図８に示すような加重ヒストグラムを作成できたことを判断して、ステップ１１５に進んで、加重ヒストグラムＨ〔ｍ〕を降順にソートする。
【００４４】
このようにして、ステップ１１で、参照ブロックの予測モードについての加重ヒストグラム（降順にソートしてある）を作成すると、ステップ１２に進んで、加重ヒストグラム上で０でない値を持つ予測モードがＫ個あるのか否かを判断して、Ｋ個の予測モードがあることを判断するときには、ステップ１３に進んで、加重ヒストグラムにのった上位Ｋ個の予測モードを選択する。
【００４５】
一方、ステップ１２で、加重ヒストグラム上で０でない値を持つ予測モードがＫ個に満たないことを判断するときには、ステップ１４に進んで、加重ヒストグラムにのった予測モードに加えて、それらの予測モードに入らない予測モードの中から優先順位の高い順に、予測モードの合計がＫ個となるようにと予測モードを選択することで、合計Ｋ個の予測モードを選択する。
【００４６】
ステップ１３，１４の処理に従ってＫ個の予測モードを選択すると、ステップ１５に進んで、その選択したＫ個の予測モードのそれぞれについて従来技術と同様の算出式に従ってコストを算出し、続くステップ１６で、そのコストを最小とする予測モードを符号化対象ブロックの予測モードとして決定する。
【００４７】
最後に、ステップ１７で、その決定した予測モードを用いて、符号化対象ブロックをイントラ符号化する。
【００４８】
このようにして、本発明では、Ｈ.264のイントラ予測のモード選択において、フレーム内の空間相関およびフレーム間の時間相関を利用して、コストの算出対象となる予測モードを限定するように処理するのである。
【００４９】
この構成により、本発明によれば、画質劣化を極力抑えつつ、少ない計算量でイントラ予測符号化を行うことができるようになる。
【図面の簡単な説明】
【００５０】
【図１】符号化対象ブロックと参照ブロックとの位置関係の一例を示す図である。
【図２】本発明の画像符号化装置の一実施形態例である。
【図３】参照ブロック予測モード情報記憶部の記憶データの一例を示す図である。
【図４】重み係数記憶部の記憶データの一例を示す図である。
【図５】優先順位記憶部の記憶データの一例を示す図である。
【図６】イントラ符号化部の実行する処理フローである。
【図７】加重ヒストグラムの作成処理の処理フローである。
【図８】加重ヒストグラムの一例を示す図である。
【図９】従来技術の説明図である。
【符号の説明】
【００５１】
１      画像符号化装置
１０    イントラ符号化部
１００  参照ブロック予測モード情報記憶部
１０１  重み係数記憶部
１０２  優先順位記憶部
１０３  パラメータＫ記憶部
１０４  予測モード決定用情報登録部
１０５  予測モード選択部
１０６  予測モード決定部
１０７  符号化部
【図１】
2005348280.tif 000003
【図２】
2005348280.tif 000004
【図３】
2005348280.tif 000005
【図４】
2005348280.tif 000006
【図５】
2005348280.tif 000007
【図６】
2005348280.tif 000008
【図７】
2005348280.tif 000009
【図８】
2005348280.tif 000010
【図９】
2005348280.tif 000011