(57)【要約】【課題】復号演算量の増加を抑えつつ符号化効率を向上させる。【解決手段】分割画像間符号化ステップは、符号化対象となる分割画像の符号化対象画素に、入力画像上隣接する参照画像中の画素である参照画素間の画素値の差が所定の閾値以下であり、かつ参照画素の属する予測ブロックサイズが所定の閾値以下である条件を満たす場合に、予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタを画素ごとに選択しながら適用することにより分割画像間符号化を行い、条件を満たさない場合に、タップ長の長いフィルタを画素ごとに選択しながら適用することにより分割画像間符号化を行う。【選択図】図１
2015037245.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、
前記分割画像を分割画像内符号化する分割画像内符号化ステップと、
符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、
前記分割画像間符号化ステップは、
符号化対象となる前記分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素間の画素値の差が所定の閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが所定の閾値以下である条件を満たす場合に、前記予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行うことを特徴とする画像符号化方法。
【請求項２】
入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、
前記分割画像を分割画像内符号化する分割画像内符号化ステップと、
符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、
前記分割画像間符号化ステップは、
符号化対象となる分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素が含まれる予測ブロック中の画素間の画素値の差が閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが閾値以下である条件を満たす場合に、予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行うことを特徴とする画像符号化方法。
【請求項３】
入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、
前記分割画像を分割画像内符号化する分割画像内符号化ステップと、
符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、
前記分割画像間符号化ステップは、
符号化対象となる前記分割画像の符号化対象画素と該符号化対象画素に隣接する復号済み画素間の画素値の差が所定の閾値を超え、かつ前記符号化対象画素と前記差が前記所定の閾値を超えない隣接画素の復号済み画素間の画素値の差分和を画素数で割った平均が所定の閾値であり、かつ前記隣接画素を含む参照画像の予測ブロックサイズが所定の閾値以下である条件を満たす場合に、予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行うことを特徴とする画像符号化方法。
【請求項４】
入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、
前記分割画像を分割画像内符号化する分割画像内符号化ステップと、
符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、
前記分割画像間符号化ステップは、
符号化対象となる前記分割画像の符号化対象画素と該符号化対象画素に隣接する復号済み画素間の画素値の差が所定の閾値以上である条件を満たす場合に、前記符号化対象画素の周囲の画素を使用して予測画像を生成することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、半画素固定フィルタを適用することにより前記分割画像間符号化を行うことを特徴とする画像符号化方法。
【請求項５】
請求項１に記載の画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、
前記符号化データから分割画像を復号する分割画像内復号ステップと、
分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップと
を有することを特徴とする画像復号方法。
【請求項６】
請求項２に記載の画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、
前記符号化データから分割画像を復号する分割画像内復号ステップと、
分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップと
を有することを特徴とする画像復号方法。
【請求項７】
請求項３に記載の画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、
前記符号化データから分割画像を復号する分割画像内復号ステップと、
分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップと
を有することを特徴とする画像復号方法。
【請求項８】
請求項４に記載の画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、
前記符号化データから分割画像を復号する分割画像内復号ステップと、
分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップと
を有することを特徴とする画像復号方法。
【請求項９】
入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成手段と、
前記分割画像を分割画像内符号化する分割画像内符号化手段と、
符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化手段とを備える画像符号化装置であって、
前記分割画像間符号化手段は、
符号化対象となる前記分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素間の画素値の差が所定の閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが所定の閾値以下である条件を満たす場合に、前記予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行うことを特徴とする画像符号化装置。
【請求項１０】
請求項９に記載の画像符号化装置によって符号化された符号化データを復号する画像復号装置であって、
前記符号化データから分割画像を復号する分割画像内復号手段と、
分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号手段と
を備えることを特徴とする画像復号装置。
【請求項１１】
コンピュータに、請求項１から４のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
【請求項１２】
コンピュータに、請求項５から８のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。
【背景技術】
【０００２】
従来の映像符号化方式である規格Ｈ．２６４（非特許文献１）やＨＥＶＣの画面内符号化では、画面内の画素をいくつかのブロックに分割し、各ブロックについて、左上から右下に向かって順に符号化を行っている。図１２は、分割した各ブロックについて、左上から右下に向かって順に符号化を行う動作を示す説明図である。図１２に示す例では、入力画像を１２個のブロックに分割し、左上から右下に向かって順に符号化を行う動作を示している。この際、符号化対象ブロックの左方向または上方向に位置するブロックが符号化済みであることから、左方向または上方向の一方向または両方向の復号画素を用いて符号化対象ブロック内の画素値を予測している。この手法では符号化対象ブロックの右方向または下方向の画素が符号化前であるため用いることができない。
【０００３】
このような画素間ではなく画素同士の外側に位置する画素を予測する手法を外挿予測と呼ぶ。外挿予測では予測が適切に行うことができない可能性が高く、予測誤差が発生しやすい箇所では量子化誤差が大きくなりブロック間の歪（ブロック歪）が発生しやすくなる。このブロック歪の発生を抑えるため、規格Ｈ．２６４やＨＥＶＣではデブロッキングフィルタと呼ばれる平滑化フィルタを導入している。
【０００４】
デブロッキングフィルタは、原画像との差分から算出される客観画質だけではなく、主観画質を大きく向上させる。しかし、復号済みの画素のブロック境界における相関度合いにより、このフィルタの強度（タップ長及びオン／オフ）が決められるため、フィルタ演算のために符号量が増加することはないが、符号化・復号処理でそれぞれフィルタの強度決定処理及びフィルタ処理が発生することとなる。特に復号処理においては、この処理の占める割合は大きなものとなっている。更に、画面内符号化では前述したように予測効率が悪いことから、特にブロック歪が発生しやすく、特に画面内符号化時にはこのフィルタ処理が発生しやすいアルゴリズムとなっている。
【０００５】
画面内符号化におけるデブロッキングフィルタによる復号演算量の増加を抑えるための手法として、次のような従来技術が提案されている。非特許文献２の画面内予測符号化では、まず、符号化対象の画像を同じサイズのＮ個のブロック１〜Ｎに分割する。次に、最初のブロックについて画面内予測符号化を行う。続いて、２番目以降のブロックの符号化では、符号化済みの領域から予測誤差の小さいブロックを参照画像として、画面間予測符号化を行い、その参照画像への動きベクトル情報と予測誤差を符号化する。この処理を最後のブロックまで繰り返す。
【０００６】
この非特許文献２で提案されている技術は符号化効率向上のための手法であり、同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため、量子化誤差も小さくなりやすい。そのため、デブロッキングフィルタの処理量を減らすことができる。
【０００７】
しかし、この方法では、同じパターンが繰り返されるような画像では有効かもしれないが、ほとんど同じパターンが現れないような画像には有効ではなく、その場合には予測誤差をあまり削減できず、量子化誤差も小さくならない。この場合、デブロッキングフィルタの処理量も削減できないため、復号演算量の削減には有効ではない。さらに、各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため、復号側でも参照ブロック情報の復号のための演算が発生することとなり、その結果、演算量が多いままになっているという問題がある。
【０００８】
このような問題を解決するため、非特許文献３では、符号化効率の低下を抑制しつつ、符号化演算量および復号演算量を削減する技術が提案されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ITU-T Rec. H.264,"Advanced video coding for generic audiovisual services",  March 2005.
【非特許文献２】J. Yang, B. Yin, Y. Sun, and N. Zhang, "A block-matching based intra frame prediction for H.264/AVC",in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006.
【非特許文献３】渡邊真由子，北原正樹，清水淳，如澤裕尚：“画面内符号化における復号演算量削減の検討”，２０１１年電子情報通信学会総合大会講演論文集，  Ｄ−１１−３９，Ｍａｒｃｈ  ２０１１．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献３では、デブロッキングフィルタの演算量を抑えるために、より予測効率を向上することができると内挿予測を用いている。これにより主観画質の劣化を抑えつつデブロッキングフィルタ処理の発生を抑制することが可能となり、復号演算量が削減されている。
【００１１】
しかしながら、予測画素を求めるためのフィルタが固定であるため、符号化対象となる画素の位置によっては適切に予測が行われないことがあり、特に高ビットレートにおいて符号化効率が悪化するという問題がある。
【００１２】
本発明は、このような事情に鑑みてなされたもので、復号演算量の増加を抑えつつ符号化効率を向上させることができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、前記分割画像を分割画像内符号化する分割画像内符号化ステップと、符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、前記分割画像間符号化ステップは、符号化対象となる前記分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素間の画素値の差が所定の閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが所定の閾値以下である条件を満たす場合に、前記予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行うことを特徴とする。
【００１４】
本発明は、入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、前記分割画像を分割画像内符号化する分割画像内符号化ステップと、符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、前記分割画像間符号化ステップは、符号化対象となる分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素が含まれる予測ブロック中の画素間の画素値の差が閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが閾値以下である条件を満たす場合に、予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行うことを特徴とする。
【００１５】
本発明は、入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、前記分割画像を分割画像内符号化する分割画像内符号化ステップと、符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、前記分割画像間符号化ステップは、符号化対象となる前記分割画像の符号化対象画素と該符号化対象画素に隣接する復号済み画素間の画素値の差が所定の閾値を超え、かつ前記符号化対象画素と前記差が前記所定の閾値を超えない隣接画素の復号済み画素間の画素値の差分和を画素数で割った平均が所定の閾値であり、かつ前記隣接画素を含む参照画像の予測ブロックサイズが所定の閾値以下である条件を満たす場合に、予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタをブロックごとに選択して適用することにより前記分割画像間符号化を行うことを特徴とする。
【００１６】
本発明は、入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成ステップと、前記分割画像を分割画像内符号化する分割画像内符号化ステップと、符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化ステップとを有する画像符号化方法であって、前記分割画像間符号化ステップは、符号化対象となる前記分割画像の符号化対象画素と該符号化対象画素に隣接する復号済み画素間の画素値の差が所定の閾値以上である条件を満たす場合に、前記符号化対象画素の周囲の画素を使用して予測画像を生成することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、半画素固定フィルタを適用することにより前記分割画像間符号化を行うことを特徴とする。
【００１７】
本発明は、前記画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、前記符号化データから分割画像を復号する分割画像内復号ステップと、分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップとを有することを特徴とする。
【００１８】
本発明は、前記画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、前記符号化データから分割画像を復号する分割画像内復号ステップと、分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップとを有することを特徴とする。
【００１９】
本発明は、前記画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、前記符号化データから分割画像を復号する分割画像内復号ステップと、分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップとを有することを特徴とする。
【００２０】
本発明は、前記画像符号化方法によって符号化された符号化データを復号する画像復号方法であって、前記符号化データから分割画像を復号する分割画像内復号ステップと、分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号ステップとを有することを特徴とする。
【００２１】
本発明は、入力画像を複数のブロックに分割し、分割した各ブロックをさらに複数のサブブロックに分割し、前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなるそれぞれ同じサイズの分割画像を生成する分割画像生成手段と、前記分割画像を分割画像内符号化する分割画像内符号化手段と、符号化済みの前記分割画像の中から選択された参照画像を用いて符号化対象となる分割画像に対する予測画像を生成し、分割画像間符号化を行う分割画像間符号化手段とを備える画像符号化装置であって、前記分割画像間符号化手段は、符号化対象となる前記分割画像の符号化対象画素に、前記入力画像上隣接する前記参照画像中の画素である参照画素間の画素値の差が所定の閾値以下であり、かつ前記参照画素の属する予測ブロックサイズが所定の閾値以下である条件を満たす場合に、前記予測画像を生成するタップ長の異なる二つのフィルタのうち、タップ長の短いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行い、前記条件を満たさない場合に、タップ長の長いフィルタを画素ごとに選択しながら適用することにより前記分割画像間符号化を行うことを特徴とする。
【００２２】
本発明は、前記画像符号化装置によって符号化された符号化データを復号する画像復号装置であって、前記符号化データから分割画像を復号する分割画像内復号手段と、分割画像内符号化された前記分割画像以外の分割画像に対して、符号化時に行った分割画像間符号化と分割画像間復号とを行う分割画像間復号手段とを備えることを特徴とする。
【００２３】
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
【００２４】
本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
【発明の効果】
【００２５】
本発明によれば、復号演算量の増加を抑えつつ符号化効率を向上させることができるという効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】図１に示す画像符号化装置１の処理動作を示すフローチャートである。
【図３】画像の分割方法を示す図である。
【図４】第１条件の判定方法を示す説明図である。
【図５】第１条件の判定方法を示す説明図である。
【図６】図１に示す画像復号装置２の処理動作を示すフローチャートである。
【図７】分割画像の画素の位置関係を示す説明図である。
【図８】第５条件の判定方法を示す説明図である。
【図９】第５条件の判定方法を示す説明図である。
【図１０】第５条件の判定方法の変形例を示す説明図である。
【図１１】第５条件の判定方法の変形例を示す説明図である。
【図１２】分割した各ブロックについて、左上から右下に向かって順に符号化を行う動作を示す説明図である。
【発明を実施するための形態】
【００２７】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像符号化装置と画像復号装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、入力画像（原画像）を符号化して出力する画像符号化装置である。符号２は、画像符号化装置１から出力した多重化符号化データを入力し、この多重化符号化データを復号して復元した原画像を復号画像として出力する画像復号装置である。
【００２８】
第１実施形態では、分割画像内符号化された分割画像の復号済み画素の画素値及び分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズにより適用するフィルタを変更する。
【００２９】
次に、図２を参照して、図１に示す画像符号化装置１が行う画像符号化処理の動作を説明する。図２は、図１に示す画像符号化装置１の処理動作を示すフローチャートである。まず、画像符号化装置１は、入力画像となる原画像を分割する（ステップＳ１）。図３は、画像の分割方法を示す図である。画像符号化装置１は、原画像（図３（Ａ））をｎ×ｍ画素（ｎ、ｍはそれぞれ自然数）のブロックＭｊに分割し（図３（Ｂ））、さらに分割した各ブロックをｎ１×ｍ１画素（ただし、１≦ｎ１＜ｎ、１≦ｍ１＜ｍ）のサブブロックＢｊｋに分割する（図３（Ｃ））。そして、ブロック内の相対位置が同じサブブロックを集めて、それぞれ同じサイズの分割画像ＰＫを生成する（図３（Ｄ））。図３（Ｂ）に示すＭ０、Ｍ１、・・・、ＭＪがそれぞれブロック、図３（Ｃ）に示すＢ００、Ｂ０１、・・・、Ｂｊｋ、・・・がそれぞれサブブロック、図３（Ｄ）に示すＰ０、Ｐ１、・・・、ＰＫがそれぞれ分割画像である。
【００３０】
次に、画像符号化装置１は、少なくとも一つの分割画像を分割画像内符号化する（ステップＳ２）。ここでの分割画像内符号化は、分割画像を画面単位として行う画面内予測による符号化である。
【００３１】
次に、画像符号化装置１は、分割画像内符号化された分割画像に対して分割画像内復号を行う（ステップＳ３）。ここで、分割画像内復号とは、分割画像を画面単位として行う画面内予測による符号化に対する復号処理である。以下、分割画像内復号された分割画像を参照画像という。
【００３２】
次に、画像符号化装置１は、分割画像内符号化された分割画像以外の分割画像を符号化するために、分割画像内符号化された分割画像の復号済み画素の画素値と分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズをもとに、画素ごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には以下の条件（第１条件と第２条件）を満たすとき、タップ長Ｌ１の予測画像生成フィルタ、また予測には分割画像の符号化対象画素の近傍の画素値を用いるようにする。それ以外では、タップ長Ｌ０の半画素固定フィルタ（Ｌ０＞Ｌ１）を用いるものとする。ここで、半画素固定フィルタとは、半画素位置の画素補間フィルタのことである。
【００３３】
第１条件：符号化対象となる分割画像の符号化対象画素に対して、入力画像たる原画像上で隣り合う画素であって、当該隣り合う画素は分割画像内符号化された画像に含まれるもの（以下、単に隣接画素）を特定し、当該隣接画素の復号済み画素間の画素値の差が閾値Ｍ１以下である。
【００３４】
図４、図５は、第１条件の判定方法を示す説明図である。図４に示すように、入力画像である原画像を、分割画像生成のためのブロックに分割し、そのブロックをさらに、分割画像生成のためのサブブロック（ａ，ｂ，ｃ，ｄ）に分割する。図４に示すｂ０が符号化対象画素である。そして、図５に示すように、サブブロックａを集めた分割画像と、サブブロックｂを集めた分割画像を生成する。サブブロックａを集めた分割画像は分割画像内符号化・復号の処理対象となったものである。また、サブブロックｂを集めた分割画像は、分割画像符号化の処理対象としようとしているものである。この状態において、｜ａ０−ａ１｜≦Ｍ１である場合、ｂ０は、第１条件を満たすと判定し、｜ａ０−ａ１｜＞Ｍ１である場合、ｂ０は、第１条件を満たさないと判定する。
【００３５】
第２条件：符号化対象となる分割画像の符号化対象画素に対して、隣接画素を含む参照画像の予測ブロックサイズが閾値Ｎ１以下である。
【００３６】
ここで、ｎ１、ｍ１、Ｌ１、Ｍ１、Ｎ１は互いに独立である。この閾値Ｍ１、Ｎ１は符号化時に設定してその情報を符号化しても良いし、分割画像内符号化の結果からＭ１、Ｎ１を設定してもよいものとする。また、基本的にはＬ１＜Ｎ１となるが、必ずしもこの不等式が成立する必要はない。
【００３７】
図２に戻り、画像符号化装置１は、画素ごとにフィルタを変更しながら分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像内符号化された分割画像以外の分割画像が他にもある場合には、ステップＳ４、Ｓ５を適用する。最後に、画像符号化装置１は、分割画像内符号化された分割画像の符号化データ及び分割画像間符号化された分割画像の符号化データは多重化され、多重化符号化データとして画像復号装置２に送信する。
【００３８】
次に、図１に示す画像復号装置２が行う画像復号処理の動作を説明する。図６は、図１に示す画像復号装置２の処理動作を示すフローチャートである。まず、画像復号装置２は、画像符号化装置１の出力である多重化符号化データを入力し、情報源復号する。続いて、画像復号装置２は、復号されたデータから、少なくとも一つの分割画像を分割画像内復号する（ステップＳ１１）。
【００３９】
次に、画像復号装置２は、復号されたデータから、分割画像内符号化された分割画像以外の分割画像に対して、図２に示すステップＳ５の符号化処理と同様に分割画像間復号を行う（ステップＳ１２）。復号されたデータに分割画像内符号化された分割画像以外の分割画像が他にもある場合は、ステップＳ１２を繰り返す。そして、分割画像内復号および分割画像間復号によって復号された分割画像から、各分割画像における各画素を原画像における元の位置に配置し、復号画像を構成する。
【００４０】
次に、具体例を挙げて、第１実施形態による符号化処理及び復号処理の動作を説明する。始めに符号化処理について説明する。まず、画像符号化装置１は、画像を２×２画素ブロックに分割し、各ブロック内の画素をブロック内の相対位置が左上、右上、左下、右下の順に集めて原画像に対して１／４サイズになる分割画像Ａ、Ｂ、Ｃ、Ｄを生成する（ステップＳ１）。すなわち、各ブロック内の画素が１×１画素のサブブロックに相当する。
【００４１】
次に、画像符号化装置１は、分割画像Ａに対して、分割画像内符号化を行う（ステップＳ２）。そして、画像符号化装置１は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ３）。
【００４２】
次に、画像符号化装置１は、分割画像Ｂについて、分割画像Ａの復号済み画素値と各画素値の属するブロックサイズをもとに、フィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、図７に示す画素を用いて、以下の２つの条件（第３条件と第４条件）を満たすときの予測画像生成フィルタは２タップのフィルタＸ、条件を満たさない場合のフィルタは８タップのフィルタＹを用いるようにする。ここで、Ｆ（）は、所定の関数である。
フィルタＸ．
｜ａ３−ａ４｜＜Ｍ１のとき、ｂ＝（ａ３＋ａ４）／２
フィルタＹ．
それ以外のとき、ｂ＝Ｆ（ａｋ）
【００４３】
第３条件：分割画像Ｂの符号化対象画素に対して、原画像上で隣り合う分割画像Ａの２画素の差分が閾値以下である。
第４条件：分割画像Ｂの符号化対象画素に対して、参照する分割画像Ａの予測ブロックサイズが閾値以下である。
【００４４】
次に、画像符号化装置１は、分割画像Ｂについて、上記の条件（第３条件と第４条件）に基づいて分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像Ｃ、Ｄについて、ステップＳ４、Ｓ５を繰り返す。
【００４５】
次に、復号処理について説明する。画像復号装置２は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ１１）。続いて、画像復号装置２は、分割画像Ｂに対して、符号化処理におけるステップＳ５と同様の処理により、分割画像間復号を行う（ステップＳ１２）。そして、画像復号装置２は、分割画像Ｃ、Ｄについて、ステップＳ１２を繰り返し、全ての分割画像を合わせて１枚の画像を生成する。
【００４６】
このように、分割画像間符号化において、原画像上で隣り合う、分割画像内符号化された分割画像の復号済み画素の画素値の差が小さく、かつ分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズが小さい場合には、相関が高いと見なされる分割画像の符号化対象画素の近傍の復号済み画素だけを用いて予測画素を得ることにより、オーバーヘッドを増やすことなく予測効率を向上させることができる。
【００４７】
分割画像間符号化では、復号済み画素にフィルタを適用することにより予測画素を生成しているが、非特許文献３では、内挿予測を用いて符号化対象となる画素の位置に応じた固定フィルタのみから予測画素生成を行っている。一般には、フィルタのタップ長が長いもののほうがより正確に画素を再現できるが、多くの画素を用いようとすると、必然的に予測対象画素に対して原画上での位置がより離れた画素を用いることになる。１枚の画像内には異なるテクスチャをもつ領域が存在することが多く、テクスチャが異なる領域に属する画素にフィルタを施した場合には、適切な予測が行われない。
【００４８】
そのため、原画像上で隣り合う等近傍の分割画像内符号化された分割画像の復号済み画素間の画素値の差が小さく、相関が十分に高いと想定される領域では、フィルタのタップ長を短くすることでより適切な予測画素を生成できる。しかし、このような画素の相関を考慮するのみでは、より高周波成分をもつ画像の場合、適切な予測画素を生成することができない。そこで、参照画素として用いられる分割画像内符号化された分割画像の復号済み画素の予測ブロックサイズを考慮し、ブロックサイズが一定より大きい場合にはフィルタのタップ長を短くしないことで、より適切にフィルタを調節し、最適な予測画素を生成できるようになる。
【００４９】
＜第２実施形態＞
次に、本発明の第２実施形態による画像符号化装置と画像復号装置を説明する。第２実施形態における装置構成は、図１に示す装置構成と同様であるので、ここでは詳細な説明を省略する。第２実施形態では、ブロック単位でフィルタの切り替えを行って、第１実施形態と同様に、画像符号化と画像復号を行う。
【００５０】
次に、第２実施形態による符号化処理の動作を説明する。第２実施形態による符号化処理の動作についても図２に示す処理動作と同様であるため、図２を参照して、動作の説明を行う。まず、画像符号化装置１は、入力画像となる原画像をｎ×ｍ画素のブロックに分割し、分割した各ブロックをｎ１×ｍ１画素（ただし、１≦ｎ１＜ｎ、１≦ｍ１＜ｍ）のサブブロックに分割し、ブロック内の相対位置が同じサブブロックを集めて、それぞれ同じサイズの分割画像を生成する（ステップＳ１）。
【００５１】
次に、画像符号化装置１は、少なくとも一つの分割画像を分割画像内符号化する（ステップＳ２）。ここでの分割画像内符号化は、分割画像を画面単位として行う画面内予測による符号化である。続いて、画像符号化装置１は、分割画像内符号化された分割画像に対して分割画像内復号を行う（ステップＳ３）。以下、分割画像内復号された分割画像を参照画像という。
【００５２】
次に、分割画像内符号化された分割画像以外の分割画像を符号化するために、分割画像内符号化された分割画像の復号済み画素の画素値と分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズをもとに、ブロックごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、以下の２つの条件（第５条件と第６条件）を満たすとき、タップ長Ｌ１の予測画像生成フィルタ、また予測には分割画像の符号化対象画素の近傍の画素値を用いるようにする。それ以外では、半画素固定フィルタ（タップ長＞Ｌ１）を用いるものとする。
【００５３】
第５条件：符号化対象となる分割画像の符号化対象画素に対して、隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差分和を画素数で割った平均が閾値Ｍ１以下である。ただし、ここで差分和とは、符号化対象ブロック内の各画素についての差分の絶対値和、二乗和などを指すものとする。これ以降も同様とする。
【００５４】
図８、図９は、第５条件の判定方法を示す説明図である。入力画像である原画像を、分割画像生成のためのブロックに分割し、そのブロックをさらに、分割画像生成のためのサブブロック（ａ，ｂ，ｃ，ｄ）に分割する。図８に示すｂ０が符号化対象ブロックＢ内の符号化対象画素である。そして、図９に示すように、サブブロックａを集めた分割画像と、サブブロックｂを集めた分割画像を生成する。サブブロックａを集めた分割画像は分割画像内符号化・復号の処理対象となったものである。また、サブブロックｂを集めた分割画像は、分割画像符号化の処理対象としようとしているものである。この状態において、｛｜ａ０−ａ１｜＋｜ａ１−ａ２｜＋｜ａ３−ａ４｜＋｜ａ４−ａ５｜｝／４≦Ｍ１である場合、符号化対象ブロックＢ内の符号化対象画素ｂ０は、第５条件を満たすと判定する。一方、それ以外の場合、符号化対象ブロックＢ内の符号化対象画素ｂ０は、第５条件を満たさないと判定する。
【００５５】
第６条件：符号化対象となる分割画像の符号化対象画素に対して、前記隣接画素を含む参照画像の予測ブロックサイズが閾値Ｎ１以下である。
【００５６】
ここで、ｎ１、ｍ１、Ｌ１、Ｍ１、Ｎ１は互いに独立である。この閾値Ｍ１、Ｎ１は符号化時に設定してその情報を符号化しても良いし、分割画像内符号化の結果からＭ１、Ｎ１を設定してもよいものとする。
【００５７】
次に、画像符号化装置１は、分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像内符号化された分割画像以外の分割画像が他にもある場合には、ステップＳ４、Ｓ５を適用する。最後に、画像符号化装置１は、分割画像内符号化された分割画像の符号化データ及び分割画像間符号化された分割画像の符号化データは多重化され、多重化符号化データとして画像復号装置に送信する。
【００５８】
なお、第５条件は、『ブロック内の画素値の差分の絶対値の最大値が閾値Ｍ１以下である』と変形してもよい。図１０、図１１は、第５条件の判定方法の変形例を示す説明図である。入力画像である原画像を、分割画像生成のためのブロックに分割し、そのブロックをさらに、分割画像生成のためのサブブロック（ａ，ｂ，ｃ，ｄ）に分割する。図１０に示すｂ０が符号化対象ブロックＢ内の符号化対象画素である。そして、図１１に示すように、サブブロックａを集めた分割画像と、サブブロックｂを集めた分割画像を生成する。サブブロックａを集めた分割画像は分割画像内符号化・復号の処理対象となったものである。また、サブブロックｂを集めた分割画像は、分割画像符号化の処理対象としようとしているものである。この状態において、ｍａｘ｛｜ａ０−ａ１｜，｜ａ１−ａ２｜，｜ａ３−ａ４｜，｜ａ４−ａ５｜｝≦Ｍ１である場合、符号化対象ブロックＢ内の符号化対象画素ｂ０は、第５条件を満たすと判定する。ここで、ｍａｘは、最大値を求める関数である。一方、それ以外の場合、符号化対象ブロックＢ内の符号化対象画素ｂ０は、第５条件を満たさないと判定する。
【００５９】
次に、第２実施形態による復号処理の動作を説明する。第２実施形態による復号処理の動作についても図６に示す処理動作と同様であるため、図６を参照して、動作の説明を行う。まず、画像復号装置２は、画像符号化装置１の出力である多重化符号化データを入力し、情報源復号する。続いて、画像復号装置２は、復号されたデータから、少なくとも一つの分割画像を分割画像内復号する（ステップＳ１１）。そして、復号されたデータから、分割画像内符号化された分割画像以外の分割画像に対して、符号化処理のステップＳ４、Ｓ５と同様に分割画像間復号を行う（ステップＳ１２）。画像復号装置２は、復号されたデータに分割画像内符号化された分割画像以外の分割画像が他にもある場合、ステップＳ１２を繰り返す。そして、画像復号装置２は、分割画像内復号および分割画像間復号によって復号された分割画像から、各分割画像における各画素を原画像における元の位置に配置し、復号画像を構成する。
【００６０】
次に、具体例を挙げて、第２実施形態による符号化処理及び復号処理の動作を説明する。始めに符号化処理について説明する。まず、画像符号化装置１は、画像を２×２画素ブロックに分割し、各ブロック内の画素をブロック内の相対位置が左上、右上、左下、右下の順に集めて原画像に対して１／４サイズになる分割画像Ａ、Ｂ、Ｃ、Ｄを生成する（ステップＳ１）。すなわち、各ブロック内の画素が１×１画素のサブブロックに相当する。
【００６１】
次に、画像符号化装置１は、分割画像Ａに対して、分割画像内符号化を行う（ステップＳ２）。そして、画像符号化装置１は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ３）。
【００６２】
次に、画像符号化装置１は、分割画像Ｂについて、分割画像Ａの復号済み画素値と各画素値の属するブロックサイズをもとに、ブロックごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、図７に示す画素を用いて、以下の２つの条件（第７条件と第８条件）を満たすときの予測画像生成フィルタは２タップのフィルタＸ、条件を満たさない場合のフィルタは８タップのフィルタＹを用いるようにする。
フィルタＸ．
ｂ＝（ａ３＋ａ４）／２
フィルタＹ．
ｂ＝Ｆ（ａｋ）
【００６３】
第７条件：分割画像Ｂの符号化対象画素に対して、原画像上で隣り合う分割画像Ａの画素間の画素値の差分和を画素数で割った平均が閾値Ｍ１以下である。
第８条件：分割画像Ｂの符号化対象画素に対して、参照する分割画像Ａの予測ブロックサイズが閾値以下である。
【００６４】
次に、画像符号化装置１は、分割画像Ｂについて、上記の条件（第７条件と第８条件）に基づいて分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像Ｃ、Ｄについて、ステップＳ４、Ｓ５を繰り返す。
【００６５】
次に、第２実施形態による復号処理の動作を説明する。第２実施形態による復号処理の動作についても図６に示す処理動作と同様であるため、図６を参照して、動作の説明を行う。画像復号装置２は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ１１）。続いて、画像復号装置２は、分割画像Ｂに対して、符号化処理におけるステップＳ５と同様の処理により、分割画像間復号を行う（ステップＳ１２）。そして、画像復号装置２は、分割画像Ｃ、Ｄについて、ステップＳ１２を繰り返し、全ての分割画像を合わせて１枚の画像を生成する。
【００６６】
このように、分割画像間符号化において、原画像上で隣り合う、分割画像内符号化された分割画像の復号済み画素の画素値の差に関するブロック内の画素についての平均値が小さく、かつ分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズが小さい場合には、相関が高いと見なすことができる分割画像の符号化対象画素の近傍の復号済み画素だけを用いて予測画素を得ることにより、オーバーヘッドを増やすことなく予測効率を向上させることができる。
【００６７】
また、第１実施形態では、各画素単位でフィルタのタップ長を変更しているが、この場合ブロック内の画素同士の平均的な相関を考慮していないため、画素ごとにフィルタが切り替わってしまい、主観画質が悪化する可能性がある。第２実施形態による処理ではブロック単位での差分和の平均値を閾値としてブロック単位でフィルタを切り替えることにより、フィルタの画素単位での切り替えを抑えることが可能になり、符号化効率を向上させつつ主観画質の悪化を抑えられる。
【００６８】
＜第３実施形態＞
次に、本発明の第３実施形態による画像符号化装置と画像復号装置を説明する。第３実施形態における装置構成は、図１に示す装置構成と同様であるので、ここでは詳細な説明を省略する。第３実施形態では、第２実施形態におけるフィルタの切り替えについて、フィルタが大きく外れる箇所があるときのみ第１実施形態による処理を適用する。
【００６９】
次に、第３実施形態による符号化処理の動作を説明する。第３実施形態による符号化処理の動作についても図２に示す処理動作と同様であるため、図２を参照して、動作の説明を行う。まず、画像符号化装置１は、入力画像となる原画像をｎ×ｍ画素のブロックに分割し、分割した各ブロックをｎ１×ｍ１画素（ただし、１≦ｎ１＜ｎ、１≦ｍ１＜ｍ）のサブブロックに分割し、ブロック内の相対位置が同じサブブロックを集めて、それぞれ同じサイズの分割画像を生成する（ステップＳ１）。
【００７０】
次に、画像符号化装置１は、少なくとも一つの分割画像を分割画像内符号化する（ステップＳ２）。ここでの分割画像内符号化は、分割画像を画面単位として行う画面内予測による符号化である。
【００７１】
次に、画像符号化装置１は、分割画像内符号化された分割画像に対して分割画像内復号を行う（ステップＳ３）。以下、分割画像内復号された分割画像を参照画像という。
【００７２】
次に、画像符号化装置１は、分割画像内符号化された分割画像以外の分割画像を符号化するために、分割画像内符号化された分割画像の復号済み画素の画素値と分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズをもとに、ブロックごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には以下の条件（第１０条件と第１１条件）を満たすとき、タップ長Ｌ１の予測画像生成フィルタ、また予測には符号化対象画素の近傍の画素値を用いるようにする。それ以外では、半画素固定フィルタ（タップ長＞Ｌ１）を用いるものとする。
【００７３】
但し、第９条件、第１０条件、第１１条件を全て満たす画素が存在する場合、その箇所にも半画素固定フィルタを用いるものとする。
【００７４】
第９条件：符号化対象となる分割画像の符号化対象画素に対して、隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差が閾値Ｋ１を超える。なお、Ｍ１＞Ｋ１となる。
第１０条件：符号化対象となる分割画像の符号化対象画素に対して、第９条件を満たす画素を除き隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差分和を画素数で割った平均が閾値Ｍ１以下である。
第１１条件：符号化対象となる分割画像の符号化対象画素に対して、前記隣接画素を含む参照画像の予測ブロックサイズが閾値Ｎ１以下である。
【００７５】
ここで、ｎ１、ｍ１、Ｌ１、Ｍ１、Ｎ１は互いに独立である。この閾値Ｍ１、Ｎ１は符号化時に設定してその情報を符号化しても良いし、分割画像内符号化の結果からＭ１、Ｎ１を設定してもよいものとする。また、基本的にはＬ１＜Ｎ１となるが、必ずしもこの不等式が成立する必要はない。
【００７６】
次に、画像符号化装置１は、分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像内符号化された分割画像以外の分割画像が他にもある場合、ステップＳ４、Ｓ５を適用する。最後に、画像符号化装置１は、分割画像内符号化された分割画像の符号化データ及び分割画像間符号化された分割画像の符号化データは多重化し、多重化符号化データとして画像復号装置に送信する。
【００７７】
次に、第３実施形態による復号処理の動作を説明する。第３実施形態による復号処理の動作についても図６に示す処理動作と同様であるため、図６を参照して、動作の説明を行う。画像復号装置２は、画像符号化装置の出力である多重化符号化データを入力し、情報源復号する。そして、画像復号装置２は、復号されたデータから、少なくとも一つの分割画像を分割画像内復号する（ステップＳ１１）。
【００７８】
次に、画像復号装置２は、復号されたデータから、分割画像内符号化された分割画像以外の分割画像に対して、符号化処理のステップＳ４、Ｓ５と同様に分割画像間復号を行う（ステップＳ１２）。続いて、画像復号装置２は、復号されたデータに分割画像内符号化された分割画像以外の分割画像が他にもある場合、ステップＳ１２を繰り返す。そして、画像復号装置２は、分割画像内復号および分割画像間復号によって復号された分割画像から、各分割画像における各画素を原画像における元の位置に配置し、復号画像を構成する。
【００７９】
次に、具体例を挙げて、第３実施形態による符号化処理及び復号処理の動作を説明する。始めに符号化処理について説明する。まず、画像符号化装置１は、画像を２×２画素ブロックに分割し、各ブロック内の画素をブロック内の相対位置が左上、右上、左下、右下の順に集めて原画像に対して１／４サイズになる分割画像Ａ、Ｂ、Ｃ、Ｄを生成する（ステップＳ１）。すなわち、各ブロック内の画素が１×１画素のサブブロックに相当する。
【００８０】
次に、画像符号化装置１は、分割画像Ａに対して、分割画像内符号化を行う（ステップＳ２）。そして、画像符号化装置１は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ３）。
【００８１】
次に、画像符号化装置１は、分割画像Ｂについて、分割画像Ａの復号済み画素値と各画素値の属するブロックサイズをもとに、ブロックごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、図７に示す画素を用いて、以下の第１２条件と第１３条件を満たすとき、予測画像生成フィルタは２タップのフィルタＸ０〜Ｘ２、条件を満たさない場合のフィルタは８タップのフィルタＹを用いるようにする。更に、第１２条件と第１３条件に加えて第１４条件を満たす場合の予測画像フィルタは８タップのフィルタＹを用いるようにする。フィルタＸ０〜Ｘ２については、どのフィルタを用いるかはブロックごとに決めて送るものとする。
フィルタＸ０．
ｂ＝（ａ３−ａ４）／２
フィルタＸ１．
ｂ＝ａ３
フィルタＸ２．
ｂ＝ａ４
フィルタＹ．
ｂ＝Ｆ（ａｋ）
【００８２】
第１２条件：符号化対象となる分割画像の符号化対象画素に対して、隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差が閾値Ｋ１を超える。なお、Ｍ１＞Ｋ１となる。
第１３条件：符号化対象となる分割画像の符号化対象画素に対して、第１２条件を満たす画素を除き隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差分和を画素数で割った平均が閾値Ｍ１以下である。
第１４条件：符号化対象となる分割画像の符号化対象画素に対して、前記隣接画素を含む参照画像の予測ブロックサイズが閾値Ｎ１以下である。
【００８３】
次に、画像符号化装置１は、分割画像Ｂについて、３つの条件（第１２条件、第１３条件と第１４条件）さらにフィルタＸ０〜Ｘ２を用いる際には、３つからどれを用いるかという情報を符号化し、その情報に基づいて分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像Ｃ、Ｄについて、ステップＳ４、Ｓ５を繰り返す。
【００８４】
次に、復号処理について説明する。画像復号装置２は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ１１）。続いて、画像復号装置２は、分割画像Ｂに対して、符号化処理のステップＳ５と同様の処理により、分割画像間復号を行う（ステップＳ１２）。そして、画像復号装置２は、分割画像Ｃ、Ｄについて、ステップＳ１２を繰り返し、全ての分割画像を合わせて１枚の画像を生成する。
【００８５】
このように、分割画像間符号化において、原画像上で隣り合う、分割画像内符号化された分割画像の復号済み画素の画素値の差に関するブロック内の画素についての平均値が小さく、かつ分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズが小さい場合には、相関が高いと見なせる分割画像の符号化対象画素の近傍の復号済み画素だけを用いて予測画素を得るが、そのなかで相関が低い画素が存在する場合、その箇所のみより長いタップ長のフィルタを用いることにより、オーバーヘッドを増やすことなく予測効率を向上させることができる。
【００８６】
第２実施形態では、ブロック単位でフィルタを切り替えているため、一部のみ相関が低い画素が存在する場合に差分の平均値が大きくなってしまい、本来は短いタップ長のフィルタを用いて予測してよい画素にも長いタップ長のフィルタが適用される可能性がある。第３実施形態の処理では、特異な箇所を外してフィルタのタップ長を決定するため、各画素により適切なフィルタが適用される可能性がある。
【００８７】
＜第４実施形態＞
次に、本発明の第４実施形態による画像符号化装置と画像復号装置を説明する。第２実施形態における装置構成は、図１に示す装置構成と同様であるので、ここでは詳細な説明を省略する。
【００８８】
次に、第４実施形態による符号化処理の動作を説明する。第４実施形態による符号化処理の動作についても図２に示す処理動作と同様であるため、図２を参照して、動作の説明を行う。まず、画像符号化装置１は、入力画像となる原画像をｎ×ｍ画素のブロックに分割し、分割した各ブロックをｎ１×ｍ１画素（ただし、１≦ｎ１＜ｎ、１≦ｍ１＜ｍ）のサブブロックに分割し、ブロック内の相対位置が同じサブブロックを集めて、それぞれ同じサイズの分割画像を生成する（ステップＳ１）。
【００８９】
次に、画像符号化装置１は、少なくとも一つ以上の分割画像を分割画像内符号化する（ステップＳ２）。ここでの分割画像内符号化は、分割画像を画面単位として行う画面内予測による符号化である。
【００９０】
次に、画像符号化装置１は、分割画像内符号化された分割画像に対して分割画像内復号を行う（ステップＳ３）。以下、分割画像内復号された分割画像を参照画像という。
【００９１】
次に、画像符号化装置は、分割画像内符号化された分割画像以外の分割画像を符号化するために、分割画像内符号化された分割画像の復号済み画素の画素値と分割画像内符号化された分割画像の復号済み画像の予測ブロックサイズをもとに、フィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、以下の条件（第１５条件）を満たすとき、半画素固定フィルタによる生成画素または周囲の復号済み画素をそのままコピーして予測画像を生成する。どれを用いるかは、ブロックなどの単位で切り替え可能とし、切り替えるごとにその情報を送るものとする。それ以外では、半画素固定フィルタを用いるものとする。
第１５条件：符号化対象となる分割画像の符号化対象画素に対して、隣接画素を特定し、当該隣接画素の復号済み画素間の画素値の差が閾値Ｍ１以上である。
【００９２】
次に、画像符号化装置１は、復号済み画素の画素値とブロックサイズをもとに、ステップＳ４と同じ条件を用いてフィルタを変更しながら分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、ステップＳ４、Ｓ５を繰り返す。最後に、画像符号化装置１は、分割画像内符号化された分割画像の符号化データ及び分割画像間符号化された分割画像の符号化データを多重化し、多重化符号化データとして画像復号装置に送信する。
【００９３】
次に、第４実施形態による復号処理の動作を説明する。画像復号装置２は、画像符号化装置１の出力である多重化符号化データを入力し、情報源復号する。そして、画像復号装置２は、復号されたデータから、少なくとも一つ以上の分割画像を分割画像内復号する（ステップＳ１１）。
【００９４】
次に、画像復号装置２は、復号されたデータから、分割画像内符号化された分割画像以外の分割画像に対して、符号化処理のステップＳ４、Ｓ５と同様に分割画像間復号を行う（ステップＳ１２）。そして、画像復号装置２は、復号されたデータに分割画像内符号化された分割画像以外の分割画像が他にもある場合、ステップＳ１２を繰り返す。
【００９５】
次に、画像復号装置２は、分割画像内復号および分割画像間復号によって復号された分割画像から、各分割画像における各画素を原画像における元の位置に配置し、復号画像を構成する。
【００９６】
次に、具体例を挙げて、第４実施形態による符号化処理及び復号処理の動作を説明する。始めに符号化処理について説明する。まず、画像符号化装置１は、画像を２×２画素ブロックに分割し、各ブロック内の画素をブロック内の相対位置が左上、右上、左下、右下の順に集めて原画像に対して１／４サイズになる分割画像Ａ、Ｂ、Ｃ、Ｄを生成する（ステップＳ１）。すなわち、各ブロック内の画素が１×１画素のサブブロックに相当する。
【００９７】
次に、画像符号化装置１は、分割画像Ａに対して、分割画像内符号化を行う（ステップＳ２）。そして、画像符号化装置１は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ３）。
【００９８】
次に、画像符号化装置１は、分割画像Ｂについて、分割画像Ａの復号済み画素値と各画素値の属するブロックサイズをもとに、ブロックごとにフィルタを変更しながら分割画像間符号化を行う（ステップＳ４）。具体的には、図７に示す画素を用いて、以下の条件（第１６条件）を満たすとき、予測画像生成フィルタは３種類のフィルタＸ０〜Ｘ２、条件を満たさない場合のフィルタは８タップの固定フィルタＹを用いるようにする。フィルタＸ０〜Ｘ２を用いる場合については、どのフィルタを用いるかはブロックごとに決めて送るものとする。
フィルタＸ０．
ｂ＝Ｆ（ａｋ）
フィルタＸ１．
ｂ＝ａ３
フィルタＸ２．
ｂ＝ａ４
フィルタＹ．
ｂ＝Ｆ（ａｋ）
【００９９】
第１６条件：分割画像Ｂの符号化対象画素に対して、原画像上で隣り合う分割画像の画素間の画素値の差が閾値Ｍ１以上である。
【０１００】
次に、画像符号化装置１は、分割画像Ｂについて、条件（第１６条件）の判定、またフィルタＸ０〜Ｘ２を用いる場合については、そのうちどれを用いるかをブロックごとに符号化し、それに基づいて分割画像間復号を行う（ステップＳ５）。そして、画像符号化装置１は、分割画像Ｃ、Ｄについて、ステップＳ４、Ｓ５を繰り返す。
【０１０１】
次に、復号処理について説明する。画像復号装置２は、分割画像Ａに対して、分割画像内復号を行う（ステップＳ１１）。続いて、画像復号装置２は、分割画像Ｂに対して、符号化処理のステップＳ５と同様の処理により、分割画像間復号を行う（ステップＳ１２）。そして、画像復号装置２は、分割画像Ｃ、Ｄについて、ステップＳ１２を繰り返し、全ての分割画像を合わせて１枚の画像を生成する。
【０１０２】
このように、分割画像間符号化において、原画像上で隣り合う分割画像の画素間の画素値の差が大きく異なるときに固定フィルタの代わりに両隣の画素の値を用いるか否かをブロックごとに切り替え可能とすることにより、より予測効率を向上させることができる。
【０１０３】
第１〜第３実施形態の処理では画素の相関及び予測画素のブロック形状のみから予測フィルタを決定しているが、第４実施形態による手法ではオーバーヘッドとして周囲の画素または半画素フィルタからどれを用いるかを選択して送るため、オーバーヘッドは増加するもののその分ブロック全体の予測が当たりやすくなることから符号化効率を向上させることが可能になる。
【０１０４】
以上説明したように、規格Ｈ．２６４やＨＥＶＣなどの符号化方式の発展においては、符号化効率が向上する一方、その処理が複雑、演算量が増大し、復号演算量も増加するという問題がある。特に携帯端末など消費電力に限界がある環境下では、復号演算量の増大は動画像再生可能時間、ひいては携帯端末利用可能時間に影響することから、復号演算量を抑える符号化方式が求められることとなる。このような問題を解決するために、前述した画像符号化処理及び画像復号処理を行うことにより、従来の画面内予測符号化・復号に対し、符号化効率の低下を抑止しつつ復号演算量を低減させることができる。
【０１０５】
前述した実施形態における画像符号化装置１、画像復号装置２をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１０６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【０１０７】
復号演算量の増加を抑えつつ符号化効率を向上させることが不可欠な用途にも適用できる。
【符号の説明】
【０１０８】
１・・・画像符号化装置、２・・・画像復号装置
【図１】
2015037245.tif 000003
【図２】
2015037245.tif 000004
【図３】
2015037245.tif 000005
【図４】
2015037245.tif 000006
【図５】
2015037245.tif 000007
【図６】
2015037245.tif 000008
【図７】
2015037245.tif 000009
【図８】
2015037245.tif 000010
【図９】
2015037245.tif 000011
【図１０】
2015037245.tif 000012
【図１１】
2015037245.tif 000013
【図１２】
2015037245.tif 000014