(57)【要約】      （修正有）【課題】処理ブロックサイズを大きくした際のイントラ符号化フレームの平坦部分での疑似輪郭のようなノイズの発生防止のため、イントラ予測において参照する画素データに線形補間処理を施してから参照する方式において、輝度信号のみならず、色差信号におけるノイズも低減する方法の提供。【解決手段】輝度信号並びに色差信号に補間処理を行うか否かの可否情報を設定し符号化する。また、輝度信号及び色差信号で独立に線形補間処理を行うか否かを判定する手段を設ける。補間処理を行う場合に各信号に対して上記判定を行い、判定結果にしたがって補間処理を行った参照画素データを用いてイントラ予測を行い、予測誤差を符号化する。さらに上記可否情報の符号化データを復号し、復号時に線形補間処理を行うか否かを判定する。上記可否情報によって補間処理を行う場合に線形補間処理を行った参照画素データを用いてイントラ予測を行い、予測値を算出する。【選択図】図８
2014143671.tif 000002
【特許請求の範囲】
【請求項１】
復号対象ブロックの画素値を周囲の画素から予測して符号化された符号化データを復号する画像復号装置において、
符号化データを復号して予測誤差を再生する復号手段と、
符号化対象ブロックの周囲の復号済み画素の色差信号に線形補間処理を施す色差補間手段と、
ブロック単位で前記復号済み色差信号に線形補間処理を行うか否かを表す色差補間可否情報を生成する色差補間可否情報生成手段と、
前記色差補間可否情報に従って前記色差補間手段を制御する制御手段と、
前記色差補間手段から出力される色差信号か線形補間処理を行わない周囲の復号済み画素の色差信号から復号対象ブロックの色差信号を予測する色差信号予測手段と、
前記色差信号の予測の結果と前記予測誤差から復号対象ブロックの画素値を再生する再生手段とを備えることを特徴とする画像復号装置。
【請求項２】
複数の色差補間手段を備え、前記色差補間可否情報が線形補間処理の可否に加え、前記複数の色差補間手段を選択する情報を含み、選択された色差補間手段から出力される色差信号から復号対象ブロックの画素の色差信号を予測する色差信号予測手段とを備えることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
復号対象ブロックの周囲の復号済み輝度信号に線形補間処理を施す輝度補間手段と、
前記復号済み画素の輝度信号に線形補間処理を行うか否かを表す輝度補間可否情報を生成する輝度補間可否情報生成手段とをさらに備え、制御手段が前記輝度補間可否情報によって、前記色差補間可否情報を制御する手段を備えることを特徴とする請求項２に記載の画像復号装置。
【請求項４】
符号化対象ブロックの画素値を周囲の画素から予測して符号化する画像符号化装置において、
符号化対象ブロックの周囲の符号化済み色差信号に線形補間処理を施す色差補間手段と、
ブロック単位で前記符号化済み色差信号に基づいて線形補間処理を行うか否かを表す色差補間可否情報を生成する色差補間可否情報生成手段と、
前記色差補間可否情報に従って前記色差補間手段を制御する制御手段と、
前記色差補間手段から出力される色差信号か線形補間処理を行わない周囲の符号化済み色差信号から符号化対象ブロックの画素の色差信号を予測する色差信号予測手段と、
前記色差信号の予測の結果と符号化対象ブロックの画素値から予測誤差を算出する算出手段と、
前記予測誤差を符号化して符号化データを生成する符号化手段を備えることを特徴とする画像符号化装置。
【請求項５】
複数の色差補間手段を備え、前記色差補間可否情報が線形補間処理の可否に加え、前記複数の色差補間手段を選択する情報を含み、選択された色差補間手段から出力される色差信号から符号化対象ブロックの画素の色差信号を予測する色差信号予測手段とを備えることを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
符号化対象ブロックの周囲の符号化済み画素の輝度信号に線形補間処理を施す輝度補間手段と、
前記符号化済み画素の輝度信号に線形補間処理を行うか否かを表す輝度補間可否情報を生成する手段とをさらに備え、制御手段が前記輝度補間可否情報によって、前記色差補間可否情報を制御する手段を備えることを特徴とする請求項４に記載の画像符号化装置。
【請求項７】
復号対象ブロックの画素値を周囲の画素から予測して符号化された符号化データを復号する画像復号方法において、
符号化データを復号して予測誤差を再生する復号工程と、
符号化対象ブロックの周囲の復号済み画素の色差信号に線形補間処理を施す色差補間工程と、
ブロック単位で前記復号済み色差信号に線形補間処理を行うか否かを表す色差補間可否情報を生成する色差補間可否情報生成工程と、
前記色差補間可否情報に従って前記色差補間工程を制御する制御工程と、
前記色差補間工程から出力される色差信号か線形補間処理を行わない周囲の復号済み画素の色差信号から復号対象ブロックの色差信号を予測する色差信号予測工程と、
前記色差信号の予測の結果と前記予測誤差から復号対象ブロックの画素値を再生する再生工程とを備えることを特徴とする画像復号方法。
【請求項８】
符号化対象ブロックの画素値を周囲の画素から予測して符号化する画像符号化方法において、
符号化対象ブロックの周囲の符号化済み色差信号に線形補間処理を施す色差補間工程と、
ブロック単位で前記符号化済み色差信号に基づいて線形補間処理を行うか否かを表す色差補間可否情報を生成する色差補間可否情報生成工程と、
前記色差補間可否情報に従って色差補間を制御する制御工程と、
前記色差補間工程から出力される色差信号か線形補間処理を行わない周囲の符号化済み色差信号から符号化対象ブロックの画素の色差信号を予測する色差信号予測工程と、
前記色差信号の予測の結果と符号化対象ブロックの画素値から予測誤差を算出する算出工程と、
前記予測誤差を符号化して符号化データを生成する符号化工程を備えることを特徴とする画像符号化方法。
【請求項９】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像復号装置として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項４に記載の画像符号化装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に色差信号のイントラ予測時に参照する画素に線形補間処理を行う符号化方法・復号方法に関する。
【背景技術】
【０００２】
近年、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。そのために、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている。
【０００３】
ＨＥＶＣの標準化にあたっては、種々の符号化ツールが開発され、高い符号化効率を実現している。特に、ＨＥＶＣは従来のＨ．２６４に比べて３２×３２ブロック等大きなブロック単位での符号化を実現し、大きく符号化効率を向上させることができている。ＨＥＶＣではイントラ予測のモードも増え、より高効率な符号化が可能になっている。イントラ予測の参照画素に関しては、符号化効率改善のため、予測モードに応じて参照画素補正処理として３タップのフィルタ処理が行われる場合もある。
【０００４】
しかしながら、処理ブロックサイズが大きいため、新たな問題としてイントラ符号化フレームの平坦部分での疑似輪郭のようなノイズの伝播が目立つようになるといった問題が発生している。これを解決するために符号化対象が３２×３２のような大きなブロックを対象とした参照画素線形補間処理が提案されている。（非特許文献１）すなわち、符号化対象ブロックの周囲の符号化・復号済みの輝度信号の画素値が激しい変化を持たない場合、参照画素補正処理としてなだらかな単調な勾配になるように線形補間処理を行う。これにより、単調な勾配の画素値を参照して符号化対象ブロックを予測する。線形補間処理については非特許文献１に詳細が記載されている。非特許文献１では、３２×３２の輝度信号のブロックに対してその上部１×６５画素と左部６５×１画素を用いて画素値の変化を判定する。判定の結果が激しい変化が無いとなった場合、１×６５画素または６５×１画素において、その両端の画素値を用いて、その距離に応じた加重平均値を算出し間の６３画素の値とする。この線形補間処理により、復号された輝度の画素値がなだらかな勾配を持つようになり、疑似輪郭のようなノイズを軽減することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｋ０１３９．ｄｏｃ  インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／＞
【非特許文献２】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ｋ１００３＿ｖ９．ｄｏｃ  インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献２によれば、輝度信号のみにこの参照画素線形補間処理が適用されている。また、輝度信号のブロックサイズが３２×３２以上であること等がこの参照画素線形補間処理の適用の条件に加えられている。この時、輝度は参照画素線形補間処理によってなだらかな勾配のブロックが再生されるのに対して、色差では疑似輪郭のようなノイズが残ることになり、画質劣化が生じていた。また、非特許文献１で定義されるＭａｉｎ  プロファイルでは輝度信号と色差信号が４：２：０の画像を対象としている。このため、４：４：４等に拡張して使用する場合、輝度信号と色差信号で同じブロックサイズとなるが、輝度のみに適用するので、さらに疑似輪郭のようなノイズが目立つ結果となってしまうといった問題が生じている。さらにはＨ．２６４では輝度信号と色差信号の組合せの他に、ＲＧＢの３原色を適当な信号と見立てて符号化することが可能である。同様の機能をＨＥＶＣでも実現する際に、３原色の内の１色のみに参照画素線形補間処理が行われることになり、他色との不整合のあるものとなってしまう。また、４：２：２では色差信号は長方形のブロックになってしまうため、正方形を対象とする参照画素線形補間処理では処理が行えない。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明の画像符号化装置以下の構成を有する、すなわち、周囲の画素から符号化対象ブロックの画素値を予測して符号化された符号化データを復号する画像復号装置において、符号化データを復号して予測誤差を再生する復号手段と、復号対象ブロックの周囲の復号済み色差信号に線形補間処理を施す色差補間手段と、ブロック単位で前記復号済み色差信号に線形補間処理を行うか否かを表す色差補間可否情報を生成する手段と、前記色差補間可否情報に従って前記色差補間手段を制御する制御手段と、前記色差補間手段から出力される色差信号か線形補間処理を行わない周囲の復号済み色差信号から復号対象ブロックの色差信号の画素値を予測する色差信号予測手段と、前記色差信号の予測の結果と前記予測誤差から復号対象ブロックの画素値を再生する再生手段とを備える。
【０００８】
さらに、本発明の画像復号装置は以下の構成を有する。すなわち、周囲の画素から符号化対象ブロックの画素値を予測して符号化する画像符号化装置において、符号化対象ブロックの周囲の符号化済み色差信号に線形補間処理を施す色差補間手段と、ブロック単位で前記符号化済み色差信号に基づいて線形補間処理を行うか否かを表す色差補間可否情報を生成する手段と、前記色差補間可否情報に従って前記色差補間手段を制御する制御手段と、前記色差補間手段から出力される色差信号か線形補間処理を行わない周囲の符号化済み色差信号から符号化ブロックの色差信号の画素値を予測する色差信号予測手段と、前記色差信号の予測の結果と符号化対象ブロックの画素値から予測誤差を算出する算出手段と、前記予測誤差を符号化して符号化データを生成する符号化手段を備える。
【発明の効果】
【０００９】
色差信号に対しても参照画素線形補間処理を行うことにより、色差信号での疑似輪郭のようなノイズが軽減される。また、特に４：４：４等の色差信号において、疑似輪郭のようなノイズの軽減が行われる。さらには、輝度信号での参照画素線形補間処理と色差信号での参照画素線形補間処理を協調して行うことにより、処理を行う領域が一致するため、ノイズ感を軽減することができる。また、４：４：４でＲＧＢ信号を用いる場合、色差信号に割り当てられた色信号で輝度に割り当てられた色信号に関係なく参照画素線形補間処理を行うことができる。さらには、４：２：２での色差信号の長方形のブロックにも対応できる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】実施形態１における符号化データフォーマットの一例を表す図
【図３】実施形態１に係る画像符号化装置におけるイントラ予測部の詳細なブロック図
【図４】実施形態１に係る参照画素線形補間に用いられる画素の様子を表す図
【図５】実施形態１に係る画像符号化装置における符号化動作を表すフローチャート
【図６】実施形態１に係る画像符号化装置におけるイントラ予測処理を表すフローチャート
【図７】実施形態１に係る画像符号化装置におけるイントラ予測部の別な形態の詳細なブロック図
【図８】実施形態２における画像復号装置の構成を示すブロック図
【図９】実施形態２に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図１０】実施形態２に係る画像復号装置における復号動作を表すフローチャート
【図１１】実施形態２に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図１２】実施形態３における符号化データフォーマットの一例を表す図
【図１３】実施形態３に係る画像符号化装置におけるイントラ予測部の詳細なブロック図
【図１４】実施形態３に係る参照画素線形補間に用いられる画素の様子を表す図
【図１５】実施形態３に係る画像符号化装置における符号化動作を表すフローチャート
【図１６】実施形態３に係る画像符号化装置におけるイントラ予測処理を表すフローチャート
【図１７】実施形態４に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図１８】実施形態４に係る画像復号装置における復号動作を表すフローチャート
【図１９】実施形態４に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図２０】実施形態５における符号化データフォーマットの一例を表す図
【図２１】実施形態５に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図２２】実施形態５に係る画像符号化装置における符号化動作を表すフローチャート
【図２３】実施形態５に係る画像符号化装置におけるイントラ予測処理を表すフローチャート
【図２４】実施形態６に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図２５】実施形態６に係る画像復号装置における復号動作を表すフローチャート
【図２６】実施形態６に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図２７】実施形態７における符号化データフォーマットの一例を表す図
【図２８】実施形態７に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図２９】実施形態７に係る画像符号化装置における符号化動作を表すフローチャート
【図３０】実施形態７に係る画像符号化装置におけるイントラ予測処理を表すフローチャート
【図３１】実施形態８に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図３２】実施形態８に係る画像復号装置における復号動作を表すフローチャート
【図３３】実施形態８に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図３４】実施形態９における符号化データフォーマットの一例を表す図
【図３５】実施形態９に係る画像符号化装置におけるイントラ予測部の詳細なブロック図
【図３６】実施形態９に係る画像符号化装置における符号化動作を表すフローチャート
【図３７】実施形態１０に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図３８】実施形態１０に係る画像復号装置における復号動作を表すフローチャート
【図３９】実施形態１０に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図４０】実施形態１１に係る画像符号化装置におけるイントラ予測部の詳細なブロック図
【図４１】実施形態１１に係る画像符号化装置におけるイントラ予測処理を表すフローチャート
【図４２】実施形態１２に係る画像復号装置におけるイントラ予測部の詳細なブロック図
【図４３】実施形態１２に係る画像復号装置におけるイントラ予測処理を表すフローチャート
【図４４】発明の画像符号化装置、乃至は画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、画像入力部１０１は外部から画像データを読み込む。本実施形態では画像データは輝度信号と色差信号が４：２：０の画像であるとして説明するが、これに限定されない。ブロック分割部１０２は読み込まれた画像データをブロック分割する。ＨＥＶＣでは６４×６４画素のブロックにまず分割され、必要に応じて内部を細かいブロックに分割する。線形補間可否決定部１０３は不図示のユーザが本画像符号化装置で符号化するシーケンスに対して、輝度信号または色差信号で参照画素線形補間処理を可能にするか否かを設定する。符号化するシーケンスに対して、輝度信号で参照画素線形補間処理を可能にするか否かを表す情報を輝度補間可否情報とする。また、色差信号で参照画素線形補間処理を可能にするか否かを表す情報を色差補間可否情報とする。ヘッダ符号化部１０４はシーケンスのヘッダや各フレームのヘッダの符号化データを生成する。イントラ予測部１０５は入力されたブロックデータと符号化済みの画素のデータに基づいてイントラ予測を行う。インター予測部１０６は入力されたブロックデータと符号化済みのフレームの画素のデータに基づいて動き補償を用いたインター予測を行う。
【００１３】
予測決定部１０７はイントラ予測部１０５、インター予測部１０６の結果からイントラ予測を行うか、インター予測を行うかを決定し、符号化モードとする。さらにイントラ予測符号化モードであれば、選択された予測モードと予測誤差を出力する。インター予測符号化モードであれば、動きベクトル等の参照情報と予測誤差を出力する。変換量子化部１０８は入力された予測誤差に対して、直交変換を行って直交変換係数を得、直交変換係数を量子化して量子化係数を算出する。エントロピー符号化部１０９は入力された予測モード、参照情報を符号化し、量子化係数を符号化する。符号化方法は特に限定されないが、ハフマン符号化、算術符号化、ゴロム符号化等を用いることができる。逆量子化逆変換部１１２は変換量子化部１０８の逆の動作を行う。すなわち、量子化係数を入力し、逆量子化を行って直交変換係数を再生し、逆直交変換を行って予測誤差を再生する。画素再生部１１３は符号化モード、予測モード等に基づいて符号化済みの画像を参照して予測画素値を生成し、再生された予測誤差と加算して復号画像の画素値を再生する。フレームメモリ１１４は再生された画素値を格納する。統合部１１０はヘッダ符号化部１０４とエントロピー符号化部１０９から出力された符号化データを符号化データフォーマットに合わせて統合し、ビットストリームを生成する。出力部１１１は外部にビットストリームを出力する。
【００１４】
上記画像符号化装置における画像の符号化動作を以下に説明する。まず、符号化に先立ち、不図示のユーザは線形補間可否決定部１０３で輝度補間可否情報と色差補間可否情報を設定する。設定された輝度補間可否情報と、色差補間可否情報はヘッダ符号化部１０４とイントラ予測部１０５に入力される。ヘッダ符号化部１０４は入力される画像の種類、大きさなどの属性、符号化プロファイル等と輝度補間可否情報と、色差補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図２のようなビットストリームを生成する。輝度補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。色差補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【００１５】
続いて画像の符号化が行われる。画像入力部１０１から画像データが入力される。画像データは静止画であっても動画であっても構わない。静止画の場合はイントラ予測しか行わず、インター予測部１０６は動作しない。入力された画像データはフレーム単位でブロック分割部１０２に入力される。ブロック分割部１０２では、６４×６４画素のブロックにまず分割され、必要に応じてブロック内の特徴等によって細かいブロックに分割する。分割されたブロックとそのブロックサイズはイントラ予測部１０５とインター予測部１０６に入力される。
【００１６】
イントラ予測部１０５では、符号化済みの周囲の画素を参照してイントラ予測を行い、最適なイントラ予測モードとイントラ予測の結果である予測誤差を出力する。図３にイントラ予測部１０５の詳細なブロック図を示す。
【００１７】
図３において、入力部３０１は図１のブロック分割部１０２から符号化対象ブロック輝度信号のブロックサイズｎＴを入力する。入力部３０２は図１の線形補間可否決定部１０３から輝度補間可否情報を入力する。入力部３０３は図１のフレームメモリ１１４から符号化済みの画素で符号化対象ブロックの画素を予測するために参照する画素値を入力する。入力された参照画素値は輝度信号がメモリ３０６に、第１の色差信号（Ｃｂ）がメモリ３０７に、第２の色差信号（Ｃｒ）がメモリ３０８に格納される。入力部３０４は色差補間可否情報を入力する。入力部３０５は図１のブロック分割部１０２から符号化対象ブロックの画素値を入力する。入力された符号化対象ブロックの画素値は、輝度信号がメモリ３２５に、第１の色差信号（Ｃｂ）がメモリ３２６に、第２の色差信号（Ｃｒ）がメモリ３２７に格納される。
【００１８】
まずは、イントラ予測処理について説明する。輝度参照画素生成方法選択部３０９は入力された輝度信号のブロックサイズｎＴに基づいて、イントラ予測モード毎に参照画素補正処理を行うか否かを判定する。ブロックサイズｎＴとイントラ予測の方向の関係については非特許文献２の８．４．４．２．３章に記載されている方法を用いることができる。すなわち、各イントラ予測モードをｉｎｔｒａＰｒｅｄＭｏｄｅとすると、ｉｎｔｒａＰｒｅｄＭｏｄｅから２６を引いたものの絶対値と１０を引いたものの絶対値のうちの小さい方をｍｉｎＤｉｓｔＶｅｒＨｏｒとして算出する。このｍｉｎＤｉｓｔＶｅｒＨｏｒと表１で定義されるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒが表１に示すｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈ［ｎＴ］より大きければ輝度信号の参照画素補正処理を行う。各イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅの参照画素補正処理を行うか否かを表すフラグを参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［ｉｎｔｒａＰｒｅｄＭｏｄｅ］とする。但し、参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［Ｉｎｔｒａ＿ＤＣ］は０とする。モード毎にこの値が１であれば輝度信号の参照画素補正処理を行い、０であれば行わない
【００１９】
【表１】
2014143671.tif 000003
【００２０】
輝度線形補間可否判定部３１０は入力部３０２からシーケンス単位で決められた輝度信号の参照画素線形補間処理の可否を入力する。また、入力部３０１から符号化対象ブロックの輝度信号のブロックサイズｎＴとメモリ３０６から参照される周辺の輝度信号の画素値を入力する。輝度線形補間可否判定部３１０は、輝度信号に関して輝度補間可否情報と符号化対象ブロックの輝度信号の参照画素の画素値から符号化対象ブロックの輝度信号の参照画素線形補間処理を行うか否かを決定する。このブロック単位で輝度信号の参照画素線形補間処理を行うか否かの情報を輝度線形補間処理フラグｂｉＩｎｔＦｌａｇとする。輝度線形補間処理フラグは輝度信号に参照画素線形補間処理を行う場合はその値は１となり、行わない場合は０となる。符号化対象ブロックの輝度信号の参照画素の画素値による判定については、非特許文献２に記載の判定方法を用いることができる。すなわち、符号化対象ブロックの左上の座標を（０，０）の原点とした場合、参照される周辺画素の輝度信号をＹｐ（ｘ，ｙ）とする。図４（ａ）に輝度信号の各画素の配置の一例を示す。各ブロックは画素を表し、３２×３２のブロックが符号化対象ブロックとなる。この時、輝度補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、
Ｙｐ（−１，−１）＋Ｙｐ（２＊ｎＴ−１，−１）−２×Ｙｐ（ｎＴ−１、−１）＜Ｔｈ１
Ｙｐ（−１，−１）＋Ｙｐ（−１，２＊ｎＴ−１）−２×Ｙｐ（−１、ｎＴ−１）＜Ｔｈ２・・・（１）
がともに真ならば輝度信号線形補間処理を行うものとし、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを１とする。Ｔｈ１、Ｔｈ２は閾値であり、輝度のビット深度をＢｙと表すと
Ｔｈ１＝１＜＜（Ｂｙ−５）
Ｔｈ２＝１＜＜（Ｂｙ−５）・・・（２）
となり、本実施形態ではそれぞれ８となる。但し＜＜は左へのビットシフトを表す。
【００２１】
輝度補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（１）式の少なくともいずれかが偽であれば、輝度信号の線形補間処理を行わない。この時、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを０とする。輝度線形補間処理フラグｂｉＩｎｔＦｌａｇはセレクタ３１３に入力される。
【００２２】
線形補間部３１１はメモリ３０６から符号化対象ブロックの周囲の輝度信号の参照画素値を読み出す。読みだされた画素値をＹｐ（ｘ，ｙ）とし、線形補間処理後の画素値をＹｐ´（ｘ，ｙ）とすると
Ｙｐ´（−１，−１）＝Ｙｐ（−１，−１）
Ｙｐ´（６３，−１）＝Ｙｐ（６３，−１）
Ｙｐ´（−１，６３）＝Ｙｐ（−１，６３）
Ｙｐ´（ｘ，−１）＝Ｙｐ（−１，−１）＋（ｘ＋１）（Ｙｐ（６３，−１）−
Ｙｐ（−１，−１）＋３２）＞＞６  （但し、ｘ＝０〜６２）
Ｙｐ´（−１，ｙ）＝Ｙｐ（−１，−１）＋（ｙ＋１）（Ｙｐ（−１，６３）−
Ｙｐ（−１，−１）＋３２）＞＞６  （但し、ｙ＝０〜６２）・・・（３）
として求める。但し＞＞は右へのビットシフトを表す。
【００２３】
フィルタ部３１２はメモリ３０６から符号化対象ブロックの周囲の輝度信号の参照画素値を読み出し、３タップのフィルタ処理を行って、参照画素値を補正する。３タップのフィルタは以下の式で表される。
【００２４】
Ｙｐ´（６３，−１）＝Ｙｐ（６３，−１）
Ｙｐ´（−１，６３）＝Ｙｐ（−１，６３）
Ｙｐ´（−１，−１）＝（Ｙｐ（−１，０）＋２×Ｙｐ（−１，−１）＋Ｙｐ（０，−１）＋２）＞＞２
Ｙｐ´（ｘ，−１）＝（Ｙｐ（ｘ−１，−１）＋２×Ｙｐ（ｘ，−１）＋Ｙｐ（ｘ＋１，−１）＋２）＞＞２
Ｙｐ´（−１，ｙ）＝（Ｙｐ（−１，ｙ＋１）＋２×Ｙｐ（−１，ｙ）＋Ｙｐ（−１，ｙ−１）＋２）＞＞２   ・・・  （４）
これら線形補間処理後の輝度信号とフィルタ処理後の輝度信号はセレクタ３１３に入力される。セレクタ３１３は輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部３１１の線形補間処理後の輝度信号を出力する。また、０であればフィルタ部３１２のフィルタ処理後の輝度信号を出力する。これらの補正後の輝度信号の参照画素は輝度信号予測モード決定部３１４に入力される。
【００２５】
輝度信号予測モード決定部３１４にはセレクタ３１３から補正処理がされた輝度信号の参照画素値が、メモリ３０６からは補正処理を行っていない参照画素値が入力される。また、輝度参照画素生成方法選択部３０９からは予測モード毎に輝度信号の参照画素補正処理を行うか否かを表すｆｉｌｔｅｒＦｌａｇ［０．．３４］が入力される。さらに、メモリ３２５から符号化対象ブロックの輝度信号の画素値が入力される。
【００２６】
輝度信号予測モード決定部３１４ではまず、イントラ予測モード毎に予測誤差を算出する。予測誤差の算出にあたっては輝度信号の参照画素として参照画素補正処理を行った参照画素値かそのままの画素値を用いるかをｆｉｌｔｅｒＦｌａｇ［０．．３４］に従って選択する。選択された輝度信号の参照画素値を用いて、当該のイントラ予測モードに従って、参照画素値を用いて輝度信号予測画素値を算出する。算出された輝度信号予測画素値と符号化参照ブロックの画素値を比較して輝度信号の予測誤差を算出する。さらに各イントラ予測モードの輝度信号の予測誤差を比較し、最も小さい予測誤差を実現する予測モードを符号化対象ブロックの輝度信号のイントラ予測モードとする。この輝度信号のイントラ予測モードは出力部３１５を介して図１の予測決定部１０７に入力される。また、この時の最小となった輝度信号の予測誤差は出力部３１６を介して図１の予測決定部１０７に出力される。
【００２７】
輝度信号のイントラ予測処理と並行して色差信号のイントラ予測処理も行われる。色差参照画素生成方法選択部３１７は入力された輝度信号のブロックサイズｎＴに基づいて、色差信号のイントラ予測モード毎に参照画素補正処理を行うか否かを判定する。本実施形態では４：２：０の信号としているため色差信号は（ｎＴ／２）×（ｎＴ／２）画素のブロックとなる。色差信号の各イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣとすると、ｉｎｔｒａＰｒｅｄＭｏｄｅＣから２６を引いたものの絶対値と１０を引いたものの絶対値のうち、小さい方をｍｉｎＤｉｓｔＶｅｒＨｏｒとして算出する。このｍｉｎＤｉｓｔＶｅｒＨｏｒと表２で定義されるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒが表２に示すｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければ色差信号の参照画素補正処理を行う。各イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣの色差信号の参照画素補正処理を行うか否かを表すフラグを色差参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｒａＰｒｅｄＭｏｄｅＣ］とする。各イントラ予測モードの値が１であれば色差信号の参照画素補正処理を行い、０であれば行わない。
【００２８】
【表２】
2014143671.tif 000004
【００２９】
色差線形補間可否判定部３１８は入力部３０４からシーケンス単位で決められた色差補間可否情報を入力する。また、入力部３０１から符号化対象ブロックの輝度信号のブロックサイズｎＴを入力する。さらに、メモリ３０７から参照される周辺の色差信号（Ｃｂ）の画素値を、メモリ３０８から参照される周辺の色差信号（Ｃｒ）の画素値を入力する。色差線形補間可否判定部３１８は、色差信号に関して色差補間可否情報と符号化対象ブロックの色差信号の参照画素の画素値から符号化対象ブロックの色差信号の参照画素線形補間処理を行うか否かを決定する。このブロック単位で色差信号の参照画素線形補間処理を行うか否かの情報を色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣとする。符号化対象ブロックの色差信号の参照画素の画素値による判定について以下に示す。符号化対象ブロックの左上の座標を（０，０）の原点とした場合、参照される周辺画素の色差信号（Ｃｂ）をＣｂｐ（ｘ，ｙ）とし、参照される周辺画素の色差信号（Ｃｒ）をＣｒｐ（ｘ，ｙ）とする。図４（ｂ）に色差信号の各画素の配置の一例を示す。各ブロックは画素を表し、１６×１６のブロックが符号化対象ブロックとなる。この時、色差補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、
Ｃｂｐ（−１，−１）＋Ｃｂｐ（ｎＴ−１，−１）−２×Ｃｂｐ（（ｎＴ／２−１）、−１）＜Ｔｈｃ１
Ｃｂｐ（−１，−１）＋Ｃｂｐ（−１，ｎＴ−１）−２×Ｃｂｐ（−１、（ｎＴ／２−１））＜Ｔｈｃ２
Ｃｒｐ（−１，−１）＋Ｃｒｐ（ｎＴ−１，−１）−２×Ｃｒｐ（（ｎＴ／２−１）、−１）＜Ｔｈｃ１
Ｃｒｐ（−１，−１）＋Ｃｒｐ（−１，ｎＴ−１）−２×Ｃｒｐ（−１、（ｎＴ／２−１））＜Ｔｈｃ２
・・・（５）
が全て真ならば色差信号（Ｃｂ、Ｃｒ）参照画素線形補間処理を行うものとし、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを１とする。Ｔｈｃ１、Ｔｈｃ２は閾値であり、色差のビット深度をＢｃと表すと
Ｔｈｃ１＝１＜＜（Ｂｃ−５）
Ｔｈｃ２＝１＜＜（Ｂｃ−５）・・・（６）
となり、本実施形態ではそれぞれ８となる。
【００３０】
色差補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の少なくともいずれかが偽であれば、色差信号の線形補間処理を行わない。この時、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを０とする。色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣはセレクタ３２３、３２４に入力される。
【００３１】
線形補間部３１９はメモリ３０７から符号化対象ブロックの周囲の色差信号（Ｃｂ）の参照画素値を読み出す。読みだされた画素値をＣｂｐ（ｘ，ｙ）とし、線形補間処理後の画素値をＣｂｐ´（ｘ，ｙ）とすると
Ｃｂｐ´（−１，−１）＝Ｃｂｐ（−１，−１）
Ｃｂｐ´（３１，−１）＝Ｃｂｐ（３１，−１）
Ｃｂｐ´（−１，３１）＝Ｃｂｐ（−１，３１）
Ｃｂｐ´（ｘ，−１）＝Ｃｂｐ（−１，−１）＋（ｘ＋１）（Ｃｂｐ（３１，−１）−
Ｃｂｐ（−１，−１）＋１６）＞＞５  （但し、ｘ＝０〜３０）
Ｃｂｐ´（−１，ｙ）＝Ｃｂｐ（−１，−１）＋（ｙ＋１）（Ｃｂｐ（−１，３１）−
Ｃｂｐ（−１，−１）＋１６）＞＞５  （但し、ｙ＝０〜３０）  ・・・（７）
として求める。
【００３２】
同様に、線形補間部３２０はメモリ３０８から符号化対象ブロックの周囲の色差信号（Ｃｒ）の参照画素値を読み出す。読みだされた画素値をＣｒｐ（ｘ，ｙ）とし、線形補間処理後の画素値をＣｂｐ´（ｘ，ｙ）とすると
Ｃｒｐ´（−１，−１）＝Ｃｒｐ（−１，−１）
Ｃｒｐ´（３１，−１）＝Ｃｒｐ（３１，−１）
Ｃｒｐ´（−１，３１）＝Ｃｒｐ（−１，３１）
Ｃｒｐ´（ｘ，−１）＝Ｃｒｐ（−１，−１）＋（ｘ＋１）（Ｃｒｐ（３１，−１）−
Ｃｒｐ（−１，−１）＋１６）＞＞５  （但し、ｘ＝０〜３０）
Ｃｒｐ´（−１，ｙ）＝Ｃｒｐ（−１，−１）＋（ｙ＋１）（Ｃｒｐ（−１，３１）−
Ｃｒｐ（−１，−１）＋１６）＞＞５  （但し、ｙ＝０〜３０）・・・（８）
として求める。
【００３３】
フィルタ部３２１はメモリ３０７から符号化対象ブロックの周囲の色差信号（Ｃｂ）の参照画素値を読み出し、３タップのフィルタ処理を行って、色差信号（Ｃｂ）の参照画素値を補正する。同様に、フィルタ部３２２はメモリ３０８から符号化対象ブロックの周囲の色差信号（Ｃｒ）の参照画素値を読み出し、３タップのフィルタ処理を行って、色差信号（Ｃｒ）の参照画素値を補正する。
【００３４】
これら線形補間処理後の色差信号（Ｃｂ）とフィルタ処理後の色差信号（Ｃｂ）はセレクタ３２３に入力される。セレクタ３２３は輝度線形補間処理フラグｂｉＩｎｔＦｌａｇＣが１であれば、線形補間部３１９の線形補間処理後の色差信号（Ｃｂ）を出力する。また、０であればフィルタ部３２１のフィルタ処理後の色差信号（Ｃｂ）を出力する。これらの補正後の色差信号（Ｃｂ）の参照画素は色差信号予測モード決定部３２８に入力される。同様に、線形補間処理後の色差信号（Ｃｒ）とフィルタ処理後の色差信号（Ｃｒ）はセレクタ３２４に入力される。セレクタ３２４は輝度線形補間処理フラグｂｉＩｎｔＦｌａｇＣが１であれば、線形補間部３２０の線形補間処理後の色差信号（Ｃｒ）を出力する。また、０であればフィルタ部３２２のフィルタ処理後の色差信号（Ｃｒ）を出力する。これらの補正後の色差信号（Ｃｒ）の参照画素は色差信号予測モード決定部３２８に入力される。
【００３５】
色差信号予測モード決定部３２８にはセレクタ３２３から補正処理がされた色差信号（Ｃｂ）の参照画素値が、メモリ３０７からは補正処理を行っていない色差信号（Ｃｂ）の参照画素値が入力される。セレクタ３２４から補正処理がされた色差信号（Ｃｒ）の参照画素値が、メモリ３０８からは補正処理を行っていない色差信号（Ｃｒ）の参照画素値が入力される。また、色差参照画素生成方法選択部３１７からは予測モード毎に色差信号の参照画素補正処理を行うか否かを表すｆｉｌｔｅｒＦｌａｇＣ［０．．３４］が入力される。さらに、メモリ３２６から符号化対象ブロックの色差信号（Ｃｂ）の画素値が、メモリ３２７から符号化対象ブロックの色差信号（Ｃｒ）の画素値が入力される。
【００３６】
色差信号予測モード決定部３２８ではまず、イントラ予測モード毎に予測誤差を算出する。予測誤差の算出にあたっては色差信号（Ｃｂ）及びの色差信号（Ｃｒ）参照画素として参照画素補正処理を行った参照画素値かそのままの画素値を用いるかをｆｉｌｔｅｒＦｌａｇＣ［０．．３４］に従って選択する。選択された色差信号（Ｃｂ）及び色差信号（Ｃｒ）の参照画素値を用いて、当該のイントラ予測モードに従って、参照画素値を用いて色差信号（Ｃｂ）の予測画素値及び色差信号（Ｃｒ）の予測画素値を算出する。算出された色差信号（Ｃｂ）の予測画素値及び色差信号（Ｃｒ）の予測画素値を比較し、最も小さい予測誤差を実現する予測モードを符号化対象ブロックの色差信号のイントラ予測モードとする。比較の方法は特に限定しないが、各イントラ予測モードの色差信号（Ｃｂ）及びの色差信号（Ｃｒ）予測誤差の絶対値和を比較しても構わない。この色差信号のイントラ予測モードは出力部３２９を介して図１の予測決定部１０７に入力される。また、この時の最小となった色差信号（Ｃｂ）及びの色差信号（Ｃｒ）の予測誤差は出力部３３０を介して図１の予測決定部１０７に出力される。
【００３７】
図１に戻り、算出された輝度信号と各色差信号の予測誤差は予測決定部１０７に入力される。また、インター予測部１０６は符号化対象ブロックの画素値とフレームメモリ１１４から符号化済みの画素値を読み出し、動き補償を行ってインター予測を行った場合の予測誤差と、動きベクトルや参照フレーム情報の参照情報を求める。これらも予測決定部１０７に入力される。
【００３８】
予測決定部１０７はイントラ予測部１０５とインター予測部１０６から入力された予測誤差等の情報から符号化モードを決定し、エントロピー符号化部１０９に出力する。符号化モードには其々の予測に必要な情報、すなわち、イントラ予測符号化モードはイントラ予測モードを含み、インター予測符号化モードであれば参照情報を含む。また、選択された符号化モードの予測誤差が選択され、変換量子化部１０８に出力される。変換量子化部１０８は入力された各信号の予測誤差に対して直交変換を行い、量子化を行って各信号の量子化係数を算出する。算出された量子化係数はエントロピー符号化部１０９及び逆量子化逆変換部１１２に入力される。エントロピー符号化部１０９では入力された符号化対象ブロックのブロックサイズに関する情報、符号化モードを符号化し、予測誤差の量子化係数を符号化して符号化データを得る。得られた符号化データは統合部１１０に入力され、符号化データフォーマットに合わせて統合し、ビットストリームを生成される。生成されたビットストリームは出力部１１１から出力される。
【００３９】
一方、逆量子化逆変換部１１２に入力された量子化係数は、逆量子化、逆変換を経て、各信号の予測誤差を再生する。再生された各信号の予測誤差は画素再生部１１３に入力される。画素再生部１１３では、符号化モードに基づいて符号化済みの各信号の画像を参照して各信号の予測画素値を生成する。生成された各信号の予測画素値は再生された各信号の予測誤差と加算され、復号画像の画素値を再生する。再生された画像データはフレームメモリ１１４に格納される。
【００４０】
図５は、実施形態１に係る画像符号化装置における符号化処理を示すフローチャートである。
【００４１】
ステップＳ５０１にて、線形補間可否決定部１０３は輝度補間可否情報を設定する。ステップＳ５０２にて、線形補間可否決定部１０３は色差補間可否情報を設定する。ステップＳ５０３にて、ヘッダ符号化部１０４はシーケンスヘッダを符号化する。この際、輝度補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。続いて、色差補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。ステップＳ５０４にて、符号化装置は符号化する画像データの１フレームを入力する。ステップＳ５０５にて、ブロック分割部１０２は入力された画像データを、まずは６４×６４画素ブロックに分割し、さらに必要に応じて細かいブロックに分割する。
【００４２】
ステップＳ５０６にて、イントラ予測部１０５はイントラ予測処理を行う。図６はイントラ予測処理の詳細な動作を表すフローチャートである。
【００４３】
最初に輝度信号についての処理を行う。ステップＳ６０１にて、輝度参照画素生成方法選択部３０９は輝度信号の各予測モードの参照画素補正処理の可否を表す輝度信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［０．．３４］を決定する。輝度信号の参照画素補正処理可否フラグは符号化対象ブロックの輝度信号のブロックサイズｎＴに基づいてそれぞれ決定する。
【００４４】
ステップＳ６０２にて、輝度線形補間可否判定部３１０はステップＳ５０１にて設定された符号化対象ブロックの輝度補間可否情報を判定する。輝度補間可否情報が可と設定されていればステップＳ６０３に進み、そうでなければステップＳ６０７に進む。ステップＳ６０３にて、輝度線形補間可否判定部３１０は符号化対象ブロックの輝度信号のブロックサイズｎＴが３２であるか否かを判定し、３２であればステップＳ６０４に進み、そうでなければステップＳ６０７に進む。ステップＳ６０４にて、輝度線形補間可否判定部３１０は符号化対象ブロックの輝度信号の参照画素である周辺の輝度信号で（１）式に従って輝度信号線形補間処理を行うか否かの判定を行う。（１）式がともに真であればステップＳ６０５に進み、そうでなければステップＳ６０７に進む。
【００４５】
ステップＳ６０５にて、輝度線形補間可否判定部３１０は参照画素線形補間処理を行うものとして、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを１とする。ステップＳ６０６にて、線形補間部３１１は符号化対象ブロックの輝度信号のイントラ予測を行うための周辺の画素値に対して参照画素線形補間処理を行う。
【００４６】
ステップＳ６０７にて、輝度線形補間可否判定部３１０は参照画素線形補間処理を行わないものとして、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを０とする。ステップＳ６０８にて、フィルタ部３１２は符号化対象ブロックの輝度信号のイントラ予測を行うための周辺の画素値に対してフィルタ処理を行う。
【００４７】
ステップＳ６０９にて、輝度信号予測モード決定部３１４は各予測モードに関して輝度信号の予測誤差を算出する。ステップＳ６１０にて、輝度信号予測モード決定部３１４は各イントラ予測モードの輝度信号の予測誤差を比較し、予測誤差が最小となるイントラ予測モードを当該の符号化対象ブロックの輝度信号のイントラ予測モードとする。また、その最小の予測誤差を符号化対象ブロックの輝度信号の予測誤差とする。
【００４８】
続いて色差信号についての処理を行う。ステップＳ６１１にて、色差参照画素生成方法選択部３１７は色差信号の各イントラ予測モードの参照画素補正処理の可否を表す色差信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［０．．３４］を決定する。色差信号の参照画素補正処理可否フラグは符号化対象ブロックの輝度信号のブロックサイズｎＴに基づいてそれぞれ決定する。
【００４９】
ステップＳ６１２にて、色差線形補間可否判定部３１８はステップＳ５０２にて設定された色差補間可否情報を判定する。色差補間可否情報が可と設定されていればステップＳ６１３に進み、そうでなければステップＳ６１７に進む。ステップＳ６１３にて、色差線形補間可否判定部３１８は符号化対象ブロックの輝度信号のブロックサイズｎＴが３２であるか否かを判定し、３２であればステップＳ６１４に進み、そうでなければステップＳ６１７に進む。ステップＳ６１４にて、色差線形補間可否判定部３１８は符号化対象ブロックの色差信号の参照画素である周辺の色差信号で（５）式に従って色差信号の参照画素線形補間処理を行うか否かの判定を行う。（５）式が全て真であればステップＳ６１５に進み、そうでなければステップＳ６１７に進む。
【００５０】
ステップＳ６１５にて、色差線形補間可否判定部３１８は色差信号の参照画素線形補間処理を行うものとして、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを１とする。ステップＳ６１６にて、線形補間部３１９および線形補間部３２０は符号化対象ブロックの色差信号のイントラ予測を行うための周辺の画素値に対して線形補間処理を行う。
【００５１】
ステップＳ６１７にて、色差線形補間可否判定部３１８は色差信号の参照画素線形補間処理を行わないものとして、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを０とする。ステップＳ６１８にて、フィルタ部３２１およびフィルタ部３２２は符号化対象ブロックの色差信号のイントラ予測を行うための周辺の画素値に対してフィルタ処理を行う。
【００５２】
ステップＳ６１９にて、色差信号予測モード決定部３２８は各予測モードに関して色差信号の予測誤差を算出する。ステップＳ６２０にて、色差信号予測モード決定部３２８は各イントラ予測モードの色差信号の予測誤差を比較し、予測誤差が最小となるイントラ予測モードを当該の符号化対象ブロックの色差信号のイントラ予測モードとする。また、その最小の予測誤差を符号化対象ブロックの色差信号の予測誤差とする。
【００５３】
図５に戻り、ステップＳ５０７にて、インター予測部１０６は符号化対象ブロックに対して他のフレームの画像データを参照して動き補償を行い、インター予測を行う。ステップＳ５０８にて、予測決定部１０７はステップＳ５０６のイントラ予測の結果、及びステップＳ５０７のインター予測の結果に基づいて符号化モードを決定する。ステップＳ５０９にて、エントロピー符号化部１０９は符号化モードの符号化を行う。ステップＳ５１０にて、変換量子化部１０８は符号化モードを選んだ時の予測誤差に対して、直交変換を行い、量子化を行って量子化係数を算出する。ステップＳ５１１にて、エントロピー符号化部１０９は得られた各信号の量子化係数をエントロピー符号化する。ステップＳ５１２にて、統合部１１０は各符号化データを統合してビットストリームを生成し、出力する。ステップＳ５１３にて、逆量子化逆変換部１１２はステップＳ５１０で算出した量子化係数を逆量子化して変換係数を算出し、逆直交変換を行い、予測誤差を再生する。ステップＳ５１４にて、画素再生部１１３はステップＳ５０８で決定された符号化モードに基づいて予測を行い、予測画像を求め、ステップＳ５１３で再生された予測誤差から画像を再生し、フレームメモリ１１４に出力する。ステップＳ５１５にて、符号化装置はブロック分割した全てのブロックの符号化処理が終わったか否かを判定する。全てのブロックの処理が終了していれば、ステップＳ５１６に進む。そうでなければ、ステップＳ５０５にて次のブロックを入力する。ステップＳ５１６にて、符号化装置は全てのフレームの符号化処理が終わったか否かを判定する。全てのフレームの符号化処理が終了していなければ、ステップＳ５０４にて次のフレームの画像データを入力する。そうでなければ符号化処理を終了する。
【００５４】
以上の構成と動作により、画像符号化において、輝度信号だけではなく色差信号のイントラ予測の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。輝度信号の参照画素線形補間処理の可否とは独立して色差信号の参照画素線形補間処理の可否を決定できるため、色差だけで生じていたノイズも軽減することが可能になる。
【００５５】
なお、本実施形態では画像信号は４：２：０、画素あたり８ビットとして説明を行ったが、これに限定されない。例えば４：２：２であったり、または４：４：４であったり、画素あたり１０ビットの画像データであっても構わない。また、分割されるブロックの最大サイズを６４×６４画素、線形補間処理を行うブロックサイズを３２×３２画素として説明したが、これに限定されない。また、正方形のブロックにも限定されず、長方形のブロックであっても構わない。
【００５６】
また、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、及び色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣは可否を表す１ビットの信号としたが、これに限定されず、図７に示すように複数の線形補間部を切り替える信号としてももちろん構わない。すなわち、輝度信号の線形補間処理を線形補間部３１１または補間処理の方法の異なる補間部７１１のいずれかを選択するように輝度線形補間可否判定部７１０が判定することが可能である。セレクタ７１３はフィルタ部３１２、線形補間部３１１、補間部７１１の入力を選択して輝度信号予測モード決定部３１４に入力する。色差に関しても同様である。線形補間部３１９または補間処理の方法の異なる補間部７１９、線形補間部３２０または補間処理の方法の異なる補間部７２０のいずれかを選択するように色差線形補間可否判定部７１８が判定することも可能である。セレクタ７２３はフィルタ部３２１、線形補間部３１９、補間部７１９の入力を選択して色差信号予測モード決定部３２８に入力する。セレクタ７２４はフィルタ部３２２、線形補間部３２０、補間部７２０の入力を選択して色差信号予測モード決定部３２８に入力する。このようにすることによって、最適な線形補間を適用することができる。
【００５７】
なお、本実施形態において、輝度信号のブロックサイズｎＴによって表２のようにし先差信号のｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］を決定したが、これに限定されず、色差信号のブロックサイズを用いて決定するようにしても構わない。
＜実施形態２＞
図８は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。
【００５８】
入力部８０１は実施形態１で生成されたビットストリームを読み込む。分離部８０２は入力されたビットストリームからヘッダの符号化データと各ブロックの符号化データを分離する。ヘッダ復号部８０３は分離されたヘッダの符号化データを復号し、復号に必要な画像のサイズ等の情報を復号する。また、ヘッダ復号部８０３は輝度補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。さらに、色差補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。
【００５９】
線形補間可否設定部８０４はこれら情報から各信号のシーケンス全体で線形補間処理の可否を設定する。エントロピー復号部８０５はブロック単位の符号化データを復号する。エントロピー復号部８０５は符号化モード及びそれぞれの予測に必要な情報を復号し、各信号の予測誤差の量子化係数を復号する。イントラ予測部８０６は復号されて得られた輝度信号のイントラ予測モードと色差信号のイントラ予測モードから復号済みの周囲の画素値を用いてイントラ予測を行い、予測画素値を算出する。インター予測部８０７は復号されて得られた動きベクトル、参照フレーム情報等の参照情報から復号済みのフレームの画素値を用いて動き補償による予測を行い、輝度信号の予測画素値と色差信号の予測画素値を算出する。逆量子化逆変換部８０８は量子化係数を入力し、逆量子化を行って直交変換係数を再生し、逆直交変換を行って輝度信号の予測誤差と色差信号の予測誤差を再生する。画素再生部８０９は入力された輝度信号の予測画素値と再生された輝度信号の予測誤差と加算して復号画像の輝度信号の画素値を再生する。同時に、入力された色差信号の予測画素値と再生された色差信号の予測誤差と加算して復号画像の色差信号の画素値を再生する。再生された各ブロックの画素値はフレームメモリ８１１とブロック統合部８１０に出力する。フレームメモリ８１１は再生された画像データを予測のための参照画素として格納する。ブロック統合部８１０はブロック単位で復号された画像データをまとめ、フレーム単位の画像を生成する。フレームメモリ８１１は復号された画像データを保持し、各種の予測画素値算出のための参照画素となる。画像出力部８１２は復号されて再生された画像データを外部に出力する。
【００６０】
上記画像復号装置における画像の復号動作を以下に説明する。入力部８０１はビットストリームを入力し、分離部８０２に入力する。分離部８０２ではまず、ビットストリームのヘッダの符号化データを分離し、ヘッダ復号部８０３に入力する。ヘッダ復号部８０３は復号する画像の種類、大きさなどの属性、符号化プロファイル等と輝度補間可否情報と、色差補間可否情報を符号化する。輝度補間可否情報は図２に記載したｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇの復号結果である。色差補間可否情報は図２に記載したｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇの復号結果である。輝度補間可否情報と色差補間可否情報は線形補間可否設定部８０４に入力され、保持される。
【００６１】
続いて、分離部８０２はブロック単位で符号化データをエントロピー復号部８０５に入力する。エントロピー復号部８０５は符号化モードや予測に必要な情報、ブロックサイズに関する情報を復号する。さらに、予測誤差の量子化係数を復号する。予測に必要な情報はイントラ予測部８０６及びインター予測部８０７に入力される。また、予測誤差の量子化係数は逆量子化逆変換部８０８に入力される。逆量子化逆変換部８０８に入力された量子化係数は、逆量子化、逆変換を経て、各信号の予測誤差を再生する。
【００６２】
一方、予測に必要な情報を入力して、イントラ予測部８０６はイントラ予測を行う。図９にイントラ予測部８０６の詳細なブロック図を示す。入力部９０１は図８のエントロピー復号部８０５から輝度信号のイントラ予測に必要な情報である輝度信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅを入力する。入力部９０２は図８の線形補間可否設定部８０４から輝度補間可否情報を入力する。入力部９０３は図８のエントロピー復号部８０５から復号するブロックのブロックサイズを入力する。入力部９０４は図８のフレームメモリ８１１から復号済みの画素で復号対象ブロックの画素を予測するために参照する画素値を入力する。入力部９０５は図８のエントロピー復号部８０５から色差信号のイントラ予測に必要な情報である色差信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣを入力する。入力部９０６は図８の線形補間可否設定部８０４から色差補間可否情報を入力する。メモリ９０７、９０８，９０９は図８のフレームメモリ８１１から復号済みの画素で復号対象ブロックの画素を予測するために参照する画素値を入力し保持する。メモリ９０７は輝度信号の画素値を保持し、メモリ９０８は色差信号（Ｃｂ）の画素値を保持し、メモリ９０９は色差信号（Ｃｒ）の画素値を保持する。
【００６３】
輝度線形補間可否判定部９１０は図３に記載した輝度線形補間可否判定部３１０と同様の機能を果たす。輝度信号に関して輝度補間可否情報と復号対象ブロックの輝度信号の参照画素の画素値から復号対象ブロックの輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを決定する。線形補間部９１１は図３の線形補間部３１１と同様に機能し、フィルタ部９１２は図３のフィルタ部３１２と同様に機能する。セレクタ９１３は図３に記載したセレクタ３１３と同様に輝度線形補間処理フラグｂｉＩｎｔＦｌａｇによって入力先を選択する。輝度信号予測部９１４は入力部９０１から入力された輝度信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅとセレクタ９１３の出力とメモリ９０７の出力を用いて、予測画素値を生成する。出力部９１５は生成された輝度信号の予測画素値を図８の画素再生部８０９に出力する。
【００６４】
色差線形補間可否判定部９１６は図３に記載した色差線形補間可否判定部３１８と同様の機能を果たす。色差信号に関して色差補間可否情報と復号対象ブロックの色差信号の参照画素の画素値から復号対象ブロックの色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを決定する。色差信号（Ｃｂ）に関して、線形補間部９１７は図３の線形補間部３１９と同様に機能し、フィルタ部９１９は図３のフィルタ部３２１と同様に機能する。セレクタ９２１は図３に記載したセレクタ３２３と同様に色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣによって入力先を選択する。色差信号（Ｃｒ）に関して、線形補間部９１８は図３の線形補間部３２０と同様に機能し、フィルタ部９２０は図３のフィルタ部３２２と同様に機能する。セレクタ９２２は図３に記載したセレクタ３２４と同様に色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣによって入力先を選択する。色差信号予測部９２３は入力部９０５から入力された色差信号のイントラ予測モードとセレクタ９２１、９２２の出力とメモリ９０８、９０９の出力を用いて、色差信号（Ｃｂ）と色差信号（Ｃｒ）の予測画素値を生成する。出力部９２４は生成された色差信号（Ｃｂ）と色差信号（Ｃｒ）の予測画素値を図８の画素再生部８０９に出力する。
【００６５】
以上の構成において、輝度線形補間可否判定部９１０は入力部９０２から入力された輝度補間可否情報と入力部９０３から入力されたブロックサイズ、及び、メモリ９０７から入力された復号対象ブロックの周囲の輝度信号の参照画素値を入力する。これらの値を用いて、輝度線形補間可否判定部３１０と同様に輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを算出する。線形補間部９１１は線形補間部３１１と同様にメモリ９０７から復号対象ブロックの周囲の輝度信号の参照画素値を読み出し、式（３）によって線形補間処理後の輝度信号の参照画素値を算出する。フィルタ部９１２はフィルタ部３１２と同様に３タップのフィルタ処理を行って、参照画素値を補正する。セレクタ９１３は輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部９１１の線形補間処理後の輝度信号を出力する。また、０であればフィルタ部９１２のフィルタ処理後の輝度信号を出力する。これらの補正後の輝度信号の参照画素は輝度信号予測部９１４に入力される。
【００６６】
輝度信号予測部９１４はセレクタ９１３から入力される参照画素補正処理された輝度信号の参照画素値を入力する。さらに、メモリ９０７から入力された輝度信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ、入力部９０３から復号対象ブロックの輝度信号のブロックサイズｎＴを入力する。輝度信号予測部９１４は輝度参照画素生成方法選択部３０９と同様に、まず、入力されたｉｎｔｒａＰｒｅｄＭｏｄｅからｍｉｎＤｉｓｔＶｅｒＨｏｒを算出する。輝度信号のブロックサイズｎＴと表１から得られるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈ［ｎＴ］より大きければ輝度信号の参照画素補正処理を行うこととし、セレクタ９１３からの出力を参照画素値として入力されたｉｎｔｒａＰｒｅｄＭｏｄｅに従ってイントラ予測を行う。そうでなければメモリ９０７から読み出された参照画素値を用いてｉｎｔｒａＰｒｅｄＭｏｄｅに従ってイントラ予測を行う。イントラ予測によって得られた復号対象ブロックの予測画素値は出力部９１５から出力される。
【００６７】
色差線形補間可否判定部９１６は入力部９０６から入力された色差補間可否情報と入力部９０３から入力されたブロックサイズ、及び、メモリ９０８、９０９から入力された復号対象ブロックの周囲の色差信号の参照画素値を入力する。これらの値を用いて、色差線形補間可否判定部３１８と同様に色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを算出する。線形補間部９１７は線形補間部３１９と同様にメモリ９０８から復号対象ブロックの周囲の色差信号（Ｃｂ）の参照画素値を読み出し、式（７）によって線形補間処理後の色差信号（Ｃｂ）の参照画素値を算出する。
【００６８】
フィルタ部９１９はフィルタ部３２１と同様に３タップのフィルタ処理を行って、色差信号（Ｃｂ）の参照画素値を補正する。セレクタ９２１は色差線形補間処理フラグｂｉＩｎｔＦｌａｇがＣ１であれば、線形補間部９１７の線形補間処理後の色差信号（Ｃｂ）を出力する。また、０であればフィルタ部９１９のフィルタ処理後の色差信号（Ｃｂ）を出力する。これらの補正後の色差信号（Ｃｂ）の参照画素は色差信号予測部９２３に入力される。と同時に線形補間部９１８は線形補間部３２０と同様にメモリ９０９から復号対象ブロックの周囲の色差信号（Ｃｒ）の参照画素値を読み出し、式（８）によって線形補間処理後の色差信号（Ｃｒ）の参照画素値を算出する。フィルタ部９２０はフィルタ部３２２と同様に３タップのフィルタ処理を行って、色差信号（Ｃｒ）の参照画素値を補正する。セレクタ９２２は色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣが１であれば、線形補間部９１８の線形補間処理後の色差信号（Ｃｒ）を出力する。また、０であればフィルタ部９２０のフィルタ処理後の色差信号（Ｃｒ）を出力する。これらの補正後の色差信号（Ｃｒ）の参照画素は色差信号予測部９２３に入力される。
【００６９】
色差信号予測部９２３はセレクタ９２１から入力される参照画素補正処理された色差信号（Ｃｂ）参照画素を入力し、セレクタ９２２から入力される参照画素補正処理された色差信号（Ｃｒ）参照画素を入力する。さらに、入力部９０５から入力された色差信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣ、入力部９０３から復号対象ブロックの色差信号のブロックサイズｎＴを入力する。色差信号予測部９２３は色差信号予測モード決定部３２８と同様に入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣからｍｉｎＤｉｓｔＶｅｒＨｏｒを算出し、ブロックサイズｎＴと表２から得られるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければ色差信号の参照画素補正処理を行うこととする。色差信号（Ｃｂ）に関してはセレクタ９２１からの出力を参照画素値として入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣに従ってイントラ予測を行う。ｍｉｎＤｉｓｔＶｅｒＨｏｒが小さければメモリ９０８から読み出された参照画素値を用いてｉｎｔｒａＰｒｅｄＭｏｄｅＣに従ってイントラ予測を行う。色差信号（Ｃｒ）に関しても同様で、ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければセレクタ９２２からの出力を参照画素値として入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣに従ってイントラ予測を行う。ｍｉｎＤｉｓｔＶｅｒＨｏｒが小さければメモリ９０９から読み出された参照画素値を用いてｉｎｔｒａＰｒｅｄＭｏｄｅＣに従ってイントラ予測を行う。イントラ予測によって得られた復号対象ブロックの色差信号（Ｃｂ）と色差信号（Ｃｒ）の予測画素値は出力部９２４から出力される。
【００７０】
図８に戻り、算出された輝度信号と各色差信号の予測画素値は画素再生部８０９に入力される。また、インター予測部８０７はエントロピー復号部８０５で復号されて得られた動きベクトル、参照フレーム情報等の参照情報を入力する。また、フレームメモリ８１１から復号済みのフレームの画素値を入力する。これらを用いて予測を行い、輝度信号の予測画素値と色差信号の予測画素値を算出して画素再生部８０９に入力する。画素再生部８０９はエントロピー復号部８０５で復号された符号化モードに従って、イントラ予測符号化モードであればイントラ予測部８０６の予測画素値を画素再生に用いる。また、インター予測符号化モードであればインター予測部８０７の予測画素値を画素再生に用いる。画素再生部８０９は入力された各信号の予測画素値と逆量子化逆変換部８０８で再生された各信号の予測誤差から画素値を再生する。再生された画素値はフレームメモリ８１１とブロック統合部８１０に入力される。フレームメモリ８１１は再生された画像データを予測のための参照画素として格納する。ブロック統合部８１０はブロック単位の画像データからフレーム単位の画像データを生成し、外部に出力する。
【００７１】
図１０は、実施形態２に係る画像復号装置における復号処理を示すフローチャートである。
【００７２】
ステップＳ１００１にて、分離部８０２がヘッダの符号化データを分離し、ヘッダ復号部がヘッダの符号化データを復号する。その中で、輝度補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。また、色差補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。
【００７３】
ステップＳ１００２にて、入力部８０１はフレーム単位の符号化データを入力する。  ステップＳ１００３にて、分離部８０２はブロック単位の符号化データを抽出する。ステップＳ１００４にて、エントロピー復号部８０５は復号対象ブロックの輝度信号のブロックサイズを生成する。ステップＳ１００５にて、エントロピー復号部８０５は復号対象ブロックの符号化モードを復号する。この際、イントラ予測符号化モードであれば、イントラ予測モードを、インター予測符号化モードであれば、各信号の動きベクトル、参照フレーム情報等の参照情報を復号する。ステップＳ１００６にて、エントロピー復号部８０５は復号対象ブロックの各信号の量子化係数を復号する。ステップＳ１００７にて、逆量子化逆変換部８０８はステップＳ１００６で生成された量子化係数に逆量子化を行って直交変換係数を再生し、逆直交変換を行って輝度信号の予測誤差と色差信号の予測誤差を再生する。
【００７４】
ステップＳ１００８にて、画素再生部８０９はステップＳ１００５で得られた符号化モードがイントラ予測符号化モードかインター予測符号化モードであるかを判定する。イントラ予測符号化モードであればステップＳ１０１０に進み、そうでなければステップＳ１００９に進む。ステップＳ１００９にて、インター予測部８０７はステップＳ１００５で復号された動きベクトル、参照フレーム情報等で動き補償予測を行い、予測画素値を算出する。
【００７５】
ステップＳ１０１０にて、イントラ予測部８０６は復号されたイントラ予測モード等でイントラ予測を行い、予測画素値を算出する。図１１に復号処理におけるイントラ予測の詳細なフローチャートを示す。図１１においては図６と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。ステップＳ１１０１において、輝度信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［ｉｎｔｒａＰｒｅｄＭｏｄｅ］を決定する。決定にあたっては、輝度信号予測部９１４は復号された輝度信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅと輝度信号のブロックサイズに基づいて決定する。ステップＳ６０２からステップＳ６０４の判定によってステップＳ６０５またはステップＳ６０７で輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを決定する。ｂｉＩｎｔＦｌａｇが１であれば、ステップＳ６０６で復号対象ブロックの参照画素値は線形補間処理で参照画素補正処理が行われた結果となる。ｂｉＩｎｔＦｌａｇが０であれば、ステップＳ６０８で復号対象ブロックの参照画素値はフィルタ処理で参照画素補正処理が行われた結果となる。
【００７６】
ステップＳ１１０２にて、輝度信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［ｉｎｔｒａＰｒｅｄＭｏｄｅ］が１であればステップＳ１１０３に進み、そうでなければステップＳ１１０４に進む。ステップＳ１１０３にて、輝度信号予測部９１４はステップＳ６０６またはステップＳ６０８で生成された参照画素補正処理が行われた輝度信号の参照画素値を用いる。イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅに従って輝度信号のイントラ予測を行い、輝度信号の予測画素値を生成する。ステップＳ１１０４にて、輝度信号予測部９１４は輝度信号の参照画素補正処理を行わず、入力された輝度信号の参照画素値を用いてイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅに従って輝度信号のイントラ予測を行い、輝度信号の予測画素値を生成する。
【００７７】
ステップＳ１１１１において、色差信号予測部９２３は色差信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｒａＰｒｅｄＭｏｄｅＣ］を決定する。決定にあたっては復号された色差信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣと色差信号のブロックサイズに基づいて決定する。ステップＳ６１２からステップＳ６１４の判定によってステップＳ６１５またはステップＳ６１７で色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを決定する。ｂｉＩｎｔＦｌａｇＣが１であれば、ステップＳ６１６で復号対象ブロックの参照画素値は線形補間処理で参照画素補正処理が行われた結果となる。ｂｉＩｎｔＦｌａｇＣが０であれば、ステップＳ６１８で復号対象ブロックの参照画素値はフィルタ処理で参照画素補正処理が行われた結果となる。
【００７８】
ステップＳ１１０５にて、色差信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｒａＰｒｅｄＭｏｄｅＣ］が１であれば、ステップＳ１１０６に進みそうでなければステップＳ１１０７に進む。ステップＳ１１０６にて、色差信号予測部９２３はステップＳ６１６またはステップＳ６１８で生成された参照画素補正処理が行われた色差信号の参照画素値を用いる。イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣに従って色差信号のイントラ予測を行い、色差信号の予測画素値を生成する。ステップＳ１１０７にて、色差信号予測部９２３は色差信号の参照画素補正処理を行わず、入力された色差信号の参照画素値を用いてイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣに従って色差信号のイントラ予測を行い、色差信号の予測画素値を生成する。
【００７９】
図１０に戻り、ステップＳ１０１１にて、画素再生部８０９はステップＳ１００８で判定された符号化モードに従って生成された各信号の予測画素値と再生された各信号の予測誤差それぞれとを加算して復号画像の各信号の画素値を再生する。
【００８０】
ステップＳ１０１２にて、復号装置は全てのブロック単位の符号化データの復号処理が終わったか否かを判定する。全てのブロックの復号処理が終了していれば、ステップＳ１０１３に進む。そうでなければ、ステップＳ１００３にて次のブロックの符号化データを抽出する。ステップＳ１０１３にて、復号装置は全てのフレームの復号処理が終わったか否かを判定する。全てのフレームの復号処理が終了していなければ、ステップＳ１００２にて次のフレームの符号化データを入力する。そうでなければ復号処理を終了する。
【００８１】
以上の構成と動作により、画像復号において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。輝度信号の線形補間処理の可否とは独立して色差信号の線形補間処理の可否を決定できるため、色差だけで生じていたノイズも軽減することが可能になる。
【００８２】
なお、本実施形態では画像信号は４：２：０、画素あたり８ビットとして説明を行ったが、これに限定されない。例えば４：２：２であったり、または４：４：４であったり、画素あたり１０ビットの画像データであっても構わない。また、分割されるブロックの最大サイズを６４×６４画素、線形補間処理を行うブロックサイズを３２×３２画素として説明したが、これに限定されない。また、正方形のブロックにも限定されず、長方形のブロックであっても構わない。
【００８３】
また、実施形態１において、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、及び色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを図７に示したように複数の線形補間部を切り替える信号とした符号化データの復号も可能である。図９のセレクタ９１３、セレクタ９２１、セレクタ９２２の入力として対応する補間部からの信号を選択するようにすることで実現できる。
【００８４】
＜実施形態３＞
以下、本発明の実施形態３である画像符号化装置について説明する。符号化装置の全体構成は図１のブロック図と同じである。本実施形態では画像データは輝度信号と色差信号が４：２：２の画像であるとして説明するが、これに限定されない。実施形態１とは主にヘッダ符号化部１０４とイントラ予測部１０５の構成、動作が異なる。
【００８５】
ブロック分割部１０２は読み込まれた画像データをブロック分割する。但し、実施形態１と異なり、本実施形態では輝度信号を６４×６４画素のブロックとし、それに付随する色差信号が３２×６４画素であるとする。但し、ブロックのサイズはこれに限定されない。さらに必要に応じて内部を細かいブロックに分割する。
【００８６】
線形補間可否決定部１０３は不図示のユーザが本画像符号化装置で符号化するシーケンスに対して、実施形態１と異なり、輝度信号と色差信号の両方に対して参照画素線形補間処理を同時に可能にするか否かを表す情報を補間可否情報とする。ヘッダ符号化部１０４はシーケンスのヘッダや各フレームのヘッダの符号化データを生成するが実施形態１とは異なり、前記補間可否情報を符号化する。また、イントラ予測部１０５は前記補間可否情報で制御される。
【００８７】
上記画像符号化装置における画像の符号化動作を以下に説明する。まず、符号化に先立ち、不図示のユーザは線形補間可否決定部１０３で補間可否情報を設定する。設定された補間可否情報はヘッダ符号化部１０４とイントラ予測部１０５に入力される。ヘッダ符号化部１０４は実施形態１と同様に入力される画像の種類、大きさなどの属性、符号化プロファイル等と補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図１２のようなビットストリームを生成する。補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【００８８】
続いて画像の符号化が行われる。入力された画像データはフレーム単位でブロック分割部１０２に入力される。ブロック分割部１０２では、輝度信号は６４×６４画素のブロックにまず分割され、色差信号は３２×６４画素に分割される。さらに、必要に応じてブロック内の特徴等によって四分木分割に従って細かいブロックに分割する。分割されたブロックとそのブロックサイズはイントラ予測部１０５とインター予測部１０６に入力される。
【００８９】
本実施形態にかかるイントラ予測部１０５の詳細なブロック図を図１３に示す。図１３において、実施形態１の図３のイントラ予測部と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。入力部１３０２は図１の線形補間可否決定部１０３から補間可否情報を入力する。線形補間可否判定部１３１０は符号化対象ブロックの輝度信号と色差信号の参照画素線形補間処理を行うか否かを決定する。線形補間可否判定部１３１０は輝度信号を用いて補間可否情報と符号化対象ブロックの輝度信号の参照画素の画素値から判定を行う。このブロック単位で輝度信号と色度信号の参照画素線形補間処理を行うか否かの情報を線形補間処理フラグｂｉＩｎｔＦｌａｇとする。線形補間処理フラグは輝度信号と色差信号に参照画素線形補間処理を行う場合はその値は１となり、行わない場合は０となる。符号化対象ブロックの輝度信号と色差信号の参照画素の画素値による判定については、実施形態１に記載した輝度信号による判定を用いることとする。すなわち、補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（１）式が共に真であるならば、輝度信号と色度信号の参照画素線形補間処理を行うこととし、線形補間処理フラグｂｉＩｎｔＦｌａｇを１とする。補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（１）式の少なくともいずれかが偽であれば、輝度信号と色差信号の線形補間処理を行わない。この時、線形補間処理フラグｂｉＩｎｔＦｌａｇを０とする。線形補間処理フラグｂｉＩｎｔＦｌａｇはセレクタ３１３、セレクタ１３２３、セレクタ１３２４に入力される。並行して、実施形態１と同様に、線形補間部３１１では輝度信号の参照画素の線形補間処理が行われ、フィルタ部３１２では輝度信号の参照画素のフィルタ処理が行われる。
【００９０】
色差参照画素生成方法選択部１３１７は入力された輝度信号のブロックサイズｎＴに基づいて、色差信号のイントラ予測モード毎に参照画素補正処理を行うか否かを判定する。本実施形態では４：２：２の信号としているため色差信号は（ｎＴ／２）×（ｎＴ）画素のブロックとなる。実施形態１と同様に色差信号の各イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣとし、ｍｉｎＤｉｓｔＶｅｒＨｏｒを算出する。このｍｉｎＤｉｓｔＶｅｒＨｏｒと表３で定義されるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］と比較する。
【００９１】
【表３】
2014143671.tif 000005
【００９２】
ｍｉｎＤｉｓｔＶｅｒＨｏｒが表３に示すｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければ色差信号の参照画素補正処理を行う。実施形態１と同様に色差参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｒａＰｒｅｄＭｏｄｅＣ］を決定する。
【００９３】
並行して、実施形態１と同様に、色差信号（Ｃｂ）に関して、線形補間部１３１９では参照画素の線形補間処理が行われ、フィルタ部３２１では参照画素のフィルタ処理が行われる。線形補間部１３１９はメモリ３０７から符号化対象ブロックの周囲の色差信号（Ｃｂ）の参照画素値を読み出す。読みだされた画素値をＣｂｐ（ｘ，ｙ）とし、線形補間処理後の画素値をＣｂｐ´（ｘ，ｙ）とすると
Ｃｂｐ´（−１，−１）＝Ｃｂｐ（−１，−１）
Ｃｂｐ´（３１，−１）＝Ｃｂｐ（３１，−１）
Ｃｂｐ´（−１，６３）＝Ｃｂｐ（−１，６３）
Ｃｂｐ´（ｘ，−１）＝Ｃｂｐ（−１，−１）＋（ｘ＋１）（Ｃｂｐ（３１，−１）−
Ｃｂｐ（−１，−１）＋１６）＞＞５  （但し、ｘ＝０〜３０）
Ｃｂｐ´（−１，ｙ）＝Ｃｂｐ（−１，−１）＋（ｙ＋１）（Ｃｂｐ（−１，６３）−
Ｃｂｐ（−１，−１）＋３２）＞＞６  （但し、ｙ＝０〜６２）  ・・・（９）
として求める。図１４（ｂ）は色差信号の配置の一例を表し、１６×３２のブロックが符号化対象ブロックとなる。
【００９４】
これら線形補間処理後の色差信号（Ｃｂ）とフィルタ処理後の色差信号（Ｃｂ）はセレクタ１３２３に入力される。セレクタ１３２３は線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部１３１９の線形補間処理後の色差信号（Ｃｂ）を出力する。また、０であればフィルタ部３２１のフィルタ処理後の色差信号（Ｃｂ）を出力する。これらの補正後の色差信号（Ｃｂ）の参照画素は色差信号予測モード決定部３２８に入力される。
【００９５】
同様に、色差信号（Ｃｒ）に関して、線形補間部１３２０では参照画素の線形補間処理が行われ、フィルタ部３２２では参照画素のフィルタ処理が行われる。線形補間部１３２０はメモリ３０８から符号化対象ブロックの周囲の色差信号（Ｃｒ）の参照画素値を読み出す。読みだされた画素値をＣｒｐ（ｘ，ｙ）とし、線形補間処理後の画素値をＣｒｐ´（ｘ，ｙ）とすると
Ｃｒｐ´（−１，−１）＝Ｃｒｐ（−１，−１）
Ｃｒｐ´（３１，−１）＝Ｃｒｐ（３１，−１）
Ｃｒｐ´（−１，６３）＝Ｃｒｐ（−１，６３）
Ｃｒｐ´（ｘ，−１）＝Ｃｒｐ（−１，−１）＋（ｘ＋１）（Ｃｒｐ（３１，−１）−
Ｃｒｐ（−１，−１）＋１６）＞＞５  （但し、ｘ＝０〜３０）
Ｃｒｐ´（−１，ｙ）＝Ｃｒｐ（−１，−１）＋（ｙ＋１）（Ｃｒｐ（−１，６３）−
Ｃｒｐ（−１，−１）＋３２）＞＞６（但し、ｙ＝０〜６２）  ・・・（１０）
として求める。
【００９６】
色差信号Ｃｂと同様に、線形補間処理後の色差信号（Ｃｒ）とフィルタ処理後の色差信号（Ｃｒ）はセレクタ１３２４に入力される。セレクタ１３２４は線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部１３２０の線形補間処理後の色差信号（Ｃｒ）を出力する。また、０であればフィルタ部３２２のフィルタ処理後の色差信号（Ｃｒ）を出力する。これらの補正後の色差信号（Ｃｒ）の参照画素は色差信号予測モード決定部３２８に入力される。
【００９７】
以下、輝度信号予測モード決定部３１４、色差信号予測モード決定部３２８は実施形態１と同様に機能する。すなわち、輝度信号のイントラ予測モードを出力部３１５から、その予測誤差を出力部３１６から外部に出力する。色差信号のイントラ予測モードを出力部３２９から、その其々の予測誤差を出力部３３０から外部に出力する。
【００９８】
図１に戻り、実施形態１で説明した通り、予測決定部１０７はイントラ予測部１０５とインター予測部１０６から入力された予測誤差等の情報から符号化モードを決定し、エントロピー符号化部１０９で符号化する。
【００９９】
図１５は、実施形態３に係る画像符号化装置における符号化処理を示すフローチャートである。同図において、図５と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。ステップＳ１５０１にて、線形補間可否決定部１０３は補間可否情報を設定する。ステップＳ１５０３にて、ヘッダ符号化部１０４はシーケンスヘッダを符号化する。この際、補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。ステップＳ１５０６にて、イントラ予測部１０５はイントラ予測処理を行う。図１６はイントラ予測処理の詳細な動作を表すフローチャートである。ステップＳ１６０２にて、線形補間可否判定部１３１０はステップＳ１５０１にて設定された符号化対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ６０３に進み、そうでなければステップＳ１６０７に進む。ステップＳ１６０５にて、線形補間可否判定部１３１０は線形補間処理を行うものとして、線形補間処理フラグｂｉＩｎｔＦｌａｇを１とする。ステップＳ１６０７にて、線形補間可否判定部１３１０は線形補間処理を行わないものとして、線形補間処理フラグｂｉＩｎｔＦｌａｇを０とする。ステップＳ１６１３にて線形補間可否判定部１３１０はステップＳ１６０５またはステップＳ１６０６にて設定された線形補間処理フラグｂｉＩｎｔＦｌａｇが１か否かを判定する。その値が１であればステップＳ６１６に進み、そうでなければステップＳ６１８に進む。
【０１００】
図１５に戻り、実施形態１と同様にインター予測、符号化モードの決定と符号化、予測誤差の符号化を行う。
【０１０１】
以上の構成と動作により、画像符号化において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。輝度信号の線形補間処理の可否と連動して色差信号の線形補間処理の可否を決定するため、判定の処理量を軽減することが可能になる。さらに、輝度信号だけ線形補間処理を行い、色差信号では線形補間処理を行わないような不整合が生じなくなり、復号画像でのより一層のノイズ低減可能になる。また、４：２：０の正方形のブロックだけではなく、４：２：２の長方形のブロックでも同様に疑似輪郭状のノイズを軽減することができる。
【０１０２】
なお、本実施形態では色差のブロックを縦長の３２×６４画素としたが、これに限定されず、６４×３２画素の横長に設定しても構わないし、その他のブロックサイズ、形状でも構わない。
【０１０３】
なお、ｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］の算出に表３を用いたが、表２を用いても構わないし、その他の条件を用いても構わない。また、図１６において、ステップＳ６１１を省略して色差信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇＣ［０．．３４］に輝度信号の参照画素補正処理可否フラグｆｉｌｔｅｒＦｌａｇ［０．．３４］をそのまま用いても構わない。
【０１０４】
また、本実施形態では色差信号の線形補間可否判定を線形補間可否判定部１３１０で行ったが、これに限定されない。図３のように色差線形補間可否判定部３１８を設け、入力部３０４からの色差補間可否情報の代わりに入力部３０２から入力される線形補間可否情報を用いる構成にしても構わない。
【０１０５】
＜実施形態４＞
以下、本発明の実施形態４である画像復号装置について説明する。本実施形態では、実施形態３で生成された符号化データの復号を例にとって説明する。画像復号装置の全体構成は図８のブロック図と同じである。
【０１０６】
入力部８０１は実施形態３で生成されたビットストリームを読み込む。分離部８０２は入力されたビットストリームからヘッダの符号化データと各ブロックの符号化データを分離する。ヘッダ復号部８０３は補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、補間可否情報を再生する。
【０１０７】
イントラ予測部８０６はイントラ予測を行う。図１７にイントラ予測部８０６の詳細なブロック図を示す。入力部１７０２は図８の線形補間可否設定部８０４から補間可否情報を入力する。入力された補間可否情報は線形補間可否判定部１７１０に入力される。線形補間可否判定部１７１０は図１３に記載した線形補間可否判定部１３１０と同様の機能を果たし、輝度信号を用いて補間可否情報と符号化対象ブロックの輝度信号の参照画素の画素値から線形補間処理フラグｂｉＩｎｔＦｌａｇを決定する。線形補間処理フラグｂｉＩｎｔＦｌａｇはセレクタ９１３、セレクタ１７２１、セレクタ１７２２に入力される。並行して、実施形態３と同様に、線形補間部９１１では輝度信号の参照画素の線形補間処理が行われ、フィルタ部９１２では参照画素のフィルタ処理が行われる。セレクタ９１３は線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部９１１の線形補間処理後の輝度信号を出力する。また、０であればフィルタ部９１２のフィルタ処理後の輝度信号を出力する。
【０１０８】
並行して色差信号の予測も行われる。線形補間部１７１７は線形補間部１３１９と同様にメモリ９０８から復号対象ブロックの周囲の色差信号（Ｃｂ）の参照画素値を読み出し、式（９）によって線形補間処理後の色差信号（Ｃｂ）の参照画素値を算出する。また、線形補間部１７１８は線形補間部１３２０と同様にメモリ９０９から復号対象ブロックの周囲の色差信号（Ｃｒ）の参照画素値を読み出し、式（１０）によって線形補間処理後の色差信号（Ｃｒ）の参照画素値を算出する。線形補間処理後の色差信号（Ｃｂ）とフィルタ処理後の色差信号（Ｃｂ）はセレクタ１７２１に入力される。セレクタ１７２１は線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部１７１７の線形補間処理後の色差信号（Ｃｂ）を出力する。また、０であればフィルタ部９１９のフィルタ処理後の色差信号（Ｃｂ）を出力する。これらの補正後の色差信号（Ｃｂ）の参照画素は色差信号予測部１７２３に入力される。同様に、線形補間処理後の色差信号（Ｃｒ）とフィルタ処理後の色差信号（Ｃｒ）はセレクタ１７２２に入力される。セレクタ１７２２は線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば、線形補間部１７１８の線形補間処理後の色差信号（Ｃｒ）を出力する。また、０であればフィルタ部９２０のフィルタ処理後の色差信号（Ｃｒ）を出力する。これらの補正後の色差信号（Ｃｒ）の参照画素は色差信号予測部１７２３に入力される。色差信号予測部１７２３では４：２：２の色差信号の予測を行う。実施形態２と同様に出力部９１５から輝度信号の予測画素値が、出力部９２４から各色差信号の予測誤差値が出力される。図８に戻り、実施形態２で説明した通り、画素再生部８０９で再生された予測誤差と算出された予測画素値から復号画像を再生する。
【０１０９】
図１８は、実施形態４に係る画像復号装置における復号処理を示すフローチャートである。同図において、図１０と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。ステップＳ１８０１にて、分離部８０２がヘッダの符号化データを分離し、ヘッダ復号部８０３がヘッダの符号化データを復号する。その中で、補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。ステップＳ１００２からステップＳ１００７にて、ブロックサイズの再生、符号化モードの復号、予測誤差の再生を行う。ステップＳ１８１０にて、イントラ予測部８０６は復号されたイントラ予測モード等でイントラ予測を行い、予測画素値を算出する。図１９に復号処理におけるイントラ予測の詳細なフローチャートを示す。図１９においては図１１と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
【０１１０】
ステップＳ１９０１にて、線形補間可否判定部１７１０はステップＳ１８０１にて復号された復号対象ブロックの補間可否情報を判定する。補間可否情報が可であればステップＳ６０３に進み、そうでなければステップＳ１６０７に進む。ステップＳ１９１２にて、線形補間可否判定部１７１０はステップＳ１８０１にて復号された復号対象ブロックの補間可否情報を判定する。補間可否情報が可であればステップＳ１１０６に進み、そうでなければステップＳ１１０７に進む。
【０１１１】
図１８に戻り、ステップＳ１０１１にて、画素再生部８０９はステップＳ１００８で判定された符号化モードに従って生成された各信号の予測画素値と再生された各信号の予測誤差それぞれと加算して復号画像の各信号の画素値を再生する。
【０１１２】
以上の構成と動作により、画像復号において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。輝度信号の線形補間処理の可否と連動して色差信号の線形補間処理の可否を決定するため、判定の処理量を軽減することが可能になる。また、４：２：０の正方形のブロックだけではなく、４：２：２の長方形のブロックでも同様に疑似輪郭状のノイズを軽減することができる。
【０１１３】
＜実施形態５＞
以下、本発明の実施形態５である画像符号化装置について説明する。符号化装置の全体構成は図１のブロック図と同じである。本実施形態では画像データは輝度信号と色差信号が４：２：０の画像であるとして説明するが、これに限定されない。実施形態１とは主に線形補間可否決定部１０３、ヘッダ符号化部１０４、イントラ予測部１０５の構成、動作が異なる。
【０１１４】
線形補間可否決定部１０３は輝度補間可否情報と色差補間可否情報を決定する。但し、輝度補間可否情報が可である場合のみ色差補間可否情報の可否を選択できるものとする。輝度補間可否情報が否である場合には色差補間可否情報は必ず否となる。
【０１１５】
ヘッダ符号化部１０４は入力される画像の種類、大きさなどの属性、符号化プロファイル等と輝度補間可否情報と、色差補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図２０のようなビットストリームを生成する。輝度補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。色差補間可否情報は輝度補間可否情報が可となった場合のみ、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。但し、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが０であれば、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇの値も０とし、この情報は符号化しない。実施形態１と同様に、ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【０１１６】
続いて画像の符号化が行われる。ブロック分割部１０２は実施形態１と同様にブロック分割を行い、そのブロックの画素値とブロックサイズをイントラ予測部１０５に入力する。
【０１１７】
イントラ予測部１０５では、符号化済みの周囲の画素を参照してイントラ予測を行い、最適なイントラ予測モードとイントラ予測の結果である予測誤差を出力する。図２１にイントラ予測部１０５の詳細なブロック図を示す。図２１において、実施形態１の図３のイントラ予測部と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
【０１１８】
色差線形補間可否判定部２１１８は図３の色差線形補間可否判定部３１８とは輝度線形補間可否判定部３１０から輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを入力することが異なる。この他に、色差線形補間可否判定部２１１８は入力部３０４から色差補間可否情報を入力し、入力部３０１から輝度信号のブロックサイズｎＴを入力する。色差線形補間可否判定部２１１８はさらにメモリ３０７から参照される周辺の色差信号（Ｃｂ）の画素値を、メモリ３０８から参照される周辺の色差信号（Ｃｒ）の画素値を入力する。色差線形補間可否判定部２１１８は、符号化対象ブロックの色差信号の参照画素線形補間処理を行うか否かを決定する。色差線形補間可否判定部２１１８は、色差補間可否情報、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、符号化対象ブロックの色差信号の参照画素の画素値、ブロックサイズｎＴから決定を行う。輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが１であり、色差補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の全てが真ならば色差信号（Ｃｂ、Ｃｒ）参照画素線形補間処理を行う。この時、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを１とする。色差補間可否情報が否であるか、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが０であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の少なくともいずれかが偽であれば、色差信号の線形補間処理を行わない。この時、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを０とする。このようにして決定された色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣはセレクタ３２３、セレクタ３２４に入力され、実施形態１と同様に入力先を選択する。
【０１１９】
図２２は実施形態５に係る画像符号化装置における符号化処理のフローチャートである。同図において、実施形態１の図５と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ２２０１にて、ステップＳ５０１で線形補間可否決定部１０３が輝度補間可否情報を可としていればステップＳ５０２に進み、そうでなければステップＳ２２０２に進む。ステップＳ５０２とステップＳ５０３にて、ヘッダ符号化部１０４は輝度補間可否情報と色差補間可否情報を符号化する。輝度補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして、色差補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。ステップＳ２２０２にて、線形補間可否決定部１０３は色差補間可否情報を否に設定する。ステップＳ２２０３にて、ヘッダ符号化部１０４はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇのみを符号化し、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇは符号化しない。また、ステップＳ２２０６にて、イントラ予測部１０５はイントラ予測処理を行う。図２３はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態１の図６と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ２３０１にて、色差線形補間可否判定部２１１８は入力された輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを判定し、その値が１であれば、ステップＳ６１３に進み、そうでなければステップＳ６１７に進む。以降、実施形態１と同様に色差信号のイントラ予測を行い、色差信号の予測誤差を算出する。図２２に戻り、以降は実施形態１と同様に符号化を行う。
【０１２０】
以上の構成と動作により、画像符号化において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。また、疑似輪郭状のノイズにおいてその画質において支配的な輝度信号の線形補間処理の可否に連動して色差信号の線形補間処理の可否を決定するため、画質に大きな差が生ぜずに判定の処理量を軽減することも可能になる。
【０１２１】
また、本実施形態では色差信号の線形補間可否判定を輝度線形補間可否判定部３１０が可の場合のみ行ったが、これに限定されず、図３と同じように構成にしても構わない。この場合、色差線形補間可否判定部２１１８は入力部３０４から入力される色差補間可否情報で動作が制御されるため、輝度信号で線形補間を行わなくても色差信号で行うような動作が可能になる。
【０１２２】
＜実施形態６＞
以下、本発明の実施形態６である画像復号装置について説明する。本実施形態では、実施形態５で生成された符号化データの復号を例にとって説明する。画像復号装置の全体構成は実施形態２の図８のブロック図と同じである。実施形態２とは主にヘッダ復号部８０３、イントラ予測部８０６の構成、動作が異なる。
【０１２３】
ヘッダ復号部８０３は輝度補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。その後、線形補間可否設定部８０４がその値に従って輝度補間可否情報を再生する。もし、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であれば、さらに色差補間可否情報であるｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。その後、線形補間可否設定部８０４がその値に従って色差補間可否情報として格納する。また、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であれば、ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇの値に０を設定する。線形補間可否設定部８０４は色差補間可否情報を否とする。
【０１２４】
イントラ予測部８０６はイントラ予測を行う。図２４にイントラ予測部８０６の詳細なブロック図を示す。同図においては、実施形態２の図９と同じ機能を果たすブロックにおいては同じ番号を付し、説明を省略する。
【０１２５】
色差線形補間可否判定部２４１６は図９の色差線形補間可否判定部９１６とは輝度線形補間可否判定部９１０から輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを入力することが異なる。色差線形補間可否判定部２４１６は入力部９０６から色差補間可否情報を入力し、入力部９０３から輝度信号のブロックサイズｎＴを入力する。また、メモリ９０８から参照される周辺の色差信号（Ｃｂ）の画素値を、メモリ９０９から参照される周辺の色差信号（Ｃｒ）の画素値を入力する。色差線形補間可否判定部２４１６は、符号化対象ブロックの色差信号の参照画素線形補間処理を行うか否かを決定する。色差線形補間可否判定部２４１６は、色差信号に関して色差補間可否情報、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、符号化対象ブロックの色差信号の参照画素の画素値に基づいて決定する。輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが１であり、色差補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の全てが真ならば色差信号（Ｃｂ、Ｃｒ）参照画素線形補間処理を行う。この時、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを１とする。色差補間可否情報が否であるか、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが０であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の少なくともいずれかが偽であれば、色差信号の線形補間処理を行わない。この時、色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣを０とする。このようにして決定された色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣはセレクタ９２１、セレクタ９２２に入力され、実施形態２と同様に入力先を選択する。
【０１２６】
図２５は実施形態６に係る画像復号装置における復号処理のフローチャートである。同図において、実施形態４の図１８と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ２５０１において、ヘッダ復号部８０３はステップＳ１８０１で復号した輝度補間可否情報を判断し、輝度補間可否情報が可であればステップＳ２５０２に進み、そうでなければステップＳ２５０３に進む。ステップＳ２５０２にて、ヘッダ復号部８０３はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、色差補間可否情報を再生する。ステップＳ２５０３にて、線形補間可否設定部８０４は色差補間可否情報を否とする。
【０１２７】
また、ステップＳ２５１０にて、イントラ予測部８０６はイントラ予測処理を行う。図２６はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態２の図１１と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ２６０１にて、色差線形補間可否判定部２１１８は入力された輝度線形補間処理フラグｂｉＩｎｔＦｌａｇを判定し、その値が１であれば、ステップＳ６１３に進み、そうでなければステップＳ６１７に進む。以降、実施形態１と同様に色差信号のイントラ予測を行い、色差信号の予測誤差を算出する。図２５に戻り、以降は実施形態２と同様に復号を行う。
【０１２８】
以上の構成と動作により、画像復号において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズが軽減される。また、疑似輪郭状のノイズにおいてその画質において支配的な輝度信号の線形補間処理の可否に連動して色差信号の線形補間処理の可否を決定する。このため、色差信号だけ線形補間処理を行い、輝度信号では線形補間処理を行わないような不整合が生じなくなり、復号画像でのより一層のノイズ低減可能になる。
【０１２９】
＜実施形態７＞
以下、本発明の実施形態７である画像符号化装置について説明する。符号化装置の全体構成は図１のブロック図と同じである。実施形態１とは主に線形補間可否決定部１０３、ヘッダ符号化部１０４、イントラ予測部１０５の構成、動作が異なる。
【０１３０】
本実施形態では色差補間可否情報を色差信号毎に設定する。すなわち、色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報に分離する。色差（Ｃｂ）補間可否情報をｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとする。色差（Ｃｒ）補間可否情報をｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇとする。線形補間可否決定部１０３は輝度補間可否情報、色差（Ｃｂ）補間可否情報、色差（Ｃｒ）補間可否情報を決定する。但し、輝度補間可否情報が可である場合のみ色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報の可否を選択できるものとする。輝度補間可否情報が否である場合は色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報は必ず否となる。ヘッダ符号化部１０４は入力される画像の種類、大きさなどの属性、符号化プロファイル等と輝度補間可否情報と色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図２７のようなビットストリームを生成する。輝度補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。色差（Ｃｂ）補間可否情報は輝度補間可否情報が可となった場合のみ、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。但し、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが０であれば、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇの値も０とし、この情報は符号化しない。同様に色差（Ｃｒ）補間可否情報は輝度補間可否情報が可となった場合のみ、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。但し、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが０であれば、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇの値も０とし、この情報は符号化しない。実施形態１と同様に、ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【０１３１】
続いて画像の符号化が行われる。ブロック分割部１０２は実施形態１と同様にブロック分割を行い、そのブロックの画素値とブロックサイズをイントラ予測部１０５に入力する。
【０１３２】
イントラ予測部１０５では、符号化済みの周囲の画素を参照してイントラ予測を行い、最適なイントラ予測モードとイントラ予測の結果である予測誤差を出力する。図２８にイントラ予測部１０５の詳細なブロック図を示す。図２８において、実施形態１の図３のイントラ予測部と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
入力部２８０１は色差（Ｃｂ）補間可否情報を入力する。入力部２８０２は色差（Ｃｒ）補間可否情報を入力する。
【０１３３】
色差線形補間可否判定部２８１８は図３の色差線形補間可否判定部３１８とは色差補間可否情報の代わりに、色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を入力することが異なる。また、セレクタ３２３とセレクタ３２４に個別に出力が行われる点も異なる。色差線形補間可否判定部２８１８は入力部２８０１から色差（Ｃｂ）補間可否情報を入力し、入力部２８０２から色差（Ｃｒ）補間可否情報を入力し、入力部３０１から輝度信号のブロックサイズｎＴを入力する。色差線形補間可否判定部２８１８はさらにメモリ３０７から参照される周辺の色差信号（Ｃｂ）の画素値を、メモリ３０８から参照される周辺の色差信号（Ｃｒ）の画素値を入力する。色差線形補間可否判定部２８１８は、符号化対象ブロックの色差信号の参照画素線形補間処理を行うか否かを決定する。色差線形補間可否判定部２８１８は、色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報、符号化対象ブロックの色差信号の参照画素の画素値、輝度信号のブロックサイズｎＴに基づいて決定する。
【０１３４】
色差（Ｃｂ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｂ）に関する２つの式が共に真ならば色差信号（Ｃｂ）は参照画素線形補間処理を行う。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。色差（Ｃｂ）補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｂ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｂ）の線形補間処理を行わない。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂはセレクタ３２３に入力される。
【０１３５】
同様に、  色差（Ｃｒ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｒ）に関する２つの式が共に真ならば色差信号（Ｃｒ）は参照画素線形補間処理を行う。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。色差（Ｃｒ）補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｒ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｒ）の線形補間処理を行わない。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒはセレクタ３２４に入力される。
【０１３６】
セレクタ３２３は色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂが１であれば、線形補間部３１９の線形補間処理後の色差信号（Ｃｂ）を出力する。また、０であればフィルタ部３２１のフィルタ処理後の色差信号（Ｃｂ）を出力する。これらの補正後の色差信号（Ｃｂ）の参照画素は色差信号予測モード決定部３２８に入力される。セレクタ３２４は色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒが１であれば、線形補間部３２０の線形補間処理後の色差信号（Ｃｒ）を出力する。また、０であればフィルタ部３２２のフィルタ処理後の色差信号（Ｃｒ）を出力する。これらの補正後の色差信号（Ｃｒ）の参照画素は色差信号予測モード決定部３２８に入力される。
【０１３７】
図２９は実施形態７に係る画像符号化装置における符号化処理のフローチャートである。同図において、実施形態１の図５と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。
【０１３８】
ステップＳ２９０１において、ステップＳ５０１で線形補間可否決定部１０３において輝度補間可否情報が可であればステップＳ２９０４に進み、そうでなければステップＳ２９０２に進む。ステップＳ２９０２にて、線形補間可否決定部１０３が色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を共に否に設定する。ステップＳ２９０３にて、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇのみを符号化する。ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇは符号化しない。ステップＳ２９０４にて、線形補間可否決定部１０３は色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を設定する。ステップＳ２９０５にて、ヘッダ符号化部１０４はシーケンスヘッダを符号化する。この際、輝度補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。続いて、色差（Ｃｂ）補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。さらに、色差（Ｃｒ）補間可否情報ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化される。
【０１３９】
また、ステップＳ２９０６にて、イントラ予測部１０５はイントラ予測処理を行う。図３０はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態１の図６と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。
【０１４０】
ステップＳ３０１２にて、色差線形補間可否判定部２８１８はステップＳ２９０２またはステップＳ２９０４にて設定された色差（Ｃｂ）補間可否情報を判定する。色差（Ｃｂ）補間可否情報が可と設定されていればステップＳ３０１３に進み、そうでなければステップＳ３０１７に進む。ステップＳ３０１３にて、色差線形補間可否判定部２８１８は符号化対象ブロックの輝度信号のブロックサイズｎＴが３２であるか否かを判定し、３２であればステップＳ３０１４に進み、そうでなければステップＳ３０１７に進む。ステップＳ３０１４にて、色差線形補間可否判定部２８１８は符号化対象ブロックの色差信号（Ｃｂ）の参照画素である周辺の色差信号（Ｃｂ）で（５）式の色差信号（Ｃｂ）に関する２式に従って色差（Ｃｂ）線形補間処理を行うか否かの判定を行う。（５）式の上２式が全て真であればステップＳ３０１５に進み、そうでなければステップＳ３０１７に進む。ステップＳ３０１５にて、色差線形補間可否判定部２８１８は色差（Ｃｂ）線形補間処理を行うものとして、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。ステップＳ３０１６にて、線形補間部３１９は符号化対象ブロックの色差信号（Ｃｂ）のイントラ予測を行うための周辺の画素値に対して線形補間処理を行う。ステップＳ３０１７にて、色差線形補間可否判定部２８１８は色差（Ｃｂ）線形補間処理を行わないものとして、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。ステップＳ３０１８にて、フィルタ部３２１は符号化対象ブロックの色差信号（Ｃｂ）のイントラ予測を行うための周辺の画素値に対してフィルタ処理を行う。
【０１４１】
ステップＳ３０１７にて、色差線形補間可否判定部２８１８はステップＳ２９０４にて設定された色差（Ｃｒ）補間可否情報を判定する。色差（Ｃｒ）補間可否情報が可と設定されていればステップＳ３０１８に進み、そうでなければステップＳ３０２２に進む。ステップＳ３０１８にて、色差線形補間可否判定部２８１８は符号化対象ブロックの輝度信号のブロックサイズｎＴが３２であるか否かを判定し、３２であればステップＳ３０１９に進み、そうでなければステップＳ３０２２に進む。ステップＳ３０１９にて、色差線形補間可否判定部２８１８は符号化対象ブロックの色差信号（Ｃｒ）の参照画素である周辺の色差信号（Ｃｒ）で（５）式の色差信号（Ｃｒ）に関する２式に従って色差（Ｃｒ）信号線形補間処理を行うか否かの判定を行う。（５）式の下２式が全て真であればステップＳ３０２０に進み、そうでなければステップＳ３０２２に進む。ステップＳ３０２０にて、色差線形補間可否判定部２８１８は色差（Ｃｒ）線形補間処理を行うものとして、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。ステップＳ３０２１にて、線形補間部３２０は符号化対象ブロックの色差信号（Ｃｒ）のイントラ予測を行うための周辺の画素値に対して線形補間処理を行う。ステップＳ３０２２にて、色差線形補間可否判定部２８１８は色差（Ｃｒ）線形補間処理を行わないものとして、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。ステップＳ３０２３にて、フィルタ部３２２は符号化対象ブロックの色差信号（Ｃｒ）のイントラ予測を行うための周辺の画素値に対してフィルタ処理を行う。以下、実施形態１と同様に色差信号のイントラ予測モードを決定し、各色差信号の予測誤差を算出する。図２９に戻り、以降は実施形態１と同様に符号化を行う。
【０１４２】
以上の構成と動作により、画像符号化において、輝度信号だけではなく色差信号に対して個別に参照画素に対して線形補間処理を行うことが可能になり、色差での疑似輪郭状のノイズがより軽減される。例えば、４：４：４に色差信号が拡張される時、Ｈ．２６４のように色差信号ではなく直接ＲＧＢの三原色がそれぞれＣｒ、Ｙ、Ｃｂとして扱うことができる。この時、ノイズに対して支配的な色に対してのみノイズ除去を行うことが可能になる。この場合、全部の色に対して処理を行わなくて済むので、処理量を軽減することができる。
【０１４３】
なお、本実施形態において、図２８に示したように色差線形補間可否判定部２８１２は色差信号（Ｃｂ）及び色差信号（Ｃｒ）の線形補間の可否の判定を１つにまとめて記述したが、これに限定されない。色差信号（Ｃｂ）用の線形補間可否判定部と色差信号（Ｃｒ）用の線形補間可否判定部を分けて構成しても構わない。
【０１４４】
＜実施形態８＞
以下、本発明の実施形態８である画像復号装置について説明する。本実施形態では、実施形態７で生成された符号化データの復号を例にとって説明する。画像復号装置の全体構成は実施形態２の図８のブロック図と同じである。実施形態２とは主にヘッダ復号部８０３、線形補間可否設定部８０４、イントラ予測部８０６の構成、動作が異なる。
【０１４５】
ヘッダ復号部８０３は輝度補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、輝度補間可否情報を再生する。線形補間可否設定部８０４は輝度補間可否情報を保持する。もし、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１、すなわち、輝度補間可否情報が可であれば、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。復号の結果である色差（Ｃｂ）補間可否情報は線形補間可否設定部８０４に保持される。同様にｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇも復号する。復号の結果である色差（Ｃｒ）補間可否情報は線形補間可否設定部８０４に保持される。また、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であれば、ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇの値に０を設定する。すなわち、色差（Ｃｂ）補間可否情報は否となる。同様にｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇの値に０を設定する。すなわち、色差（Ｃｒ）補間可否情報は否となる。線形補間可否設定部８０４はこれらの情報保持している。
【０１４６】
イントラ予測部８０６はイントラ予測を行う。図３１にイントラ予測部８０６の詳細なブロック図を示す。同図においては、実施形態２の図９と同じ機能を果たすブロックにおいては同じ番号を付し、説明を省略する。入力部３１０１は図８の線形補間可否設定部８０４から、色差（Ｃｂ）補間可否情報を入力する。入力部３１０２は図８の線形補間可否設定部８０４から、色差（Ｃｒ）補間可否情報を入力する。
【０１４７】
色差（Ｃｂ）線形補間可否判定部３１０３は色差信号（Ｃｂ）の参照画素線形補間処理を行うか否かを決定する。入力部３１０１から色差（Ｃｂ）補間可否情報を入力し、入力部９０３から輝度信号のブロックサイズｎＴを入力する。また、メモリ９０８から参照される周辺の色差信号（Ｃｂ）の画素値を入力する。線形補間可否判定部３１０３は、符号化対象ブロックの色差信号（Ｃｂ）の参照画素線形補間処理を行うか否かを決定する。線形補間可否判定部３１０３は、色差信号（Ｃｂ）に関して色差（Ｃｂ）補間可否情報、復号対象ブロックのブロックサイズ、符号化対象ブロックの色差信号の参照画素の画素値に基づいて決定する。色差（Ｃｂ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｂ）に関する２式が真ならば色差信号（Ｃｂ）参照画素線形補間処理を行う。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。色差（Ｃｂ）補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｂ）に関する２式の少なくともいずれかが偽であれば、色差信号（Ｃｂ）の線形補間処理を行わない。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。このようにして決定された色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂはセレクタ９２１に入力され、実施形態２と同様に入力先を選択する。
【０１４８】
同様に色差（Ｃｒ）線形補間可否判定部３１０４は色差信号（Ｃｒ）の参照画素線形補間処理を行うか否かを決定する。入力部３１０２から色差（Ｃｒ）補間可否情報を入力し、入力部９０３から輝度信号のブロックサイズｎＴを入力する。また、メモリ９０９から参照される周辺の色差信号（Ｃｒ）の画素値を入力する。線形補間可否判定部３１０４は、符号化対象ブロックの色差信号（Ｃｒ）の参照画素線形補間処理を行うか否かを決定する。線形補間可否判定部３１０４は、色差信号（Ｃｒ）に関して色差（Ｃｒ）補間可否情報、復号対象ブロックのブロックサイズ、符号化対象ブロックの色差信号の参照画素の画素値に基づいて決定する。色差（Ｃｒ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｒ）に関する２式が真ならば色差信号（Ｃｒ）参照画素線形補間処理を行う。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。色差（Ｃｒ）補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｒ）に関する２式の少なくともいずれかが偽であれば、色差信号（Ｃｒ）の線形補間処理を行わない。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。このようにして決定された色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒはセレクタ９２２に入力され、実施形態２と同様に入力先を選択する。以下、実施形態８と同様に復号処理、イントラ予測が行われ、復号画像を再生する。
【０１４９】
図３２は実施形態８に係る画像復号装置における復号処理のフローチャートである。同図において、実施形態４の図１８と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ３２０１において、ステップＳ１８０１で復号した輝度補間可否情報が可であればステップＳ３２０２に進み、そうでなければステップＳ３２０３に進む。ステップＳ３２０２にて、ヘッダ復号部８０３はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。その後、線形補間可否設定部８０４がその値に従って色差（Ｃｂ）補間可否情報を設定する。さらに、ヘッダ復号部８０３はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。その後、線形補間可否設定部８０４がその値に従って色差（Ｃｒ）補間可否情報を設定する。ステップＳ３２０３にて、線形補間可否設定部８０４は色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を共に否とする。
【０１５０】
また、ステップＳ３２１０にて、イントラ予測部８０６はイントラ予測処理を行う。図３３はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態２の図１１と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。
【０１５１】
ステップＳ３３０１にて、色差（Ｃｂ）線形補間可否判定部３１０３は色差（Ｃｂ）補間可否情報を判定する。色差（Ｃｂ）補間可否情報が可であれば、ステップＳ３３０２に進み、否であればステップＳ３３０３に進む。ステップＳ３３０２にて、色差（Ｃｂ）線形補間可否判定部３１０３は輝度信号のブロックサイズｎＴが３２か否かを判定する。輝度信号のブロックサイズｎＴが３２であればステップＳ３３０３に進み、そうでなければステップＳ３３０６に進む。
【０１５２】
ステップＳ３３０３にて、参照画素の色差信号（Ｃｂ）が（５）式の色差信号（Ｃｂ）に関する２つの式が共に真であればステップＳ３３０４に進み、そうでなければステップＳ３３０６に進む。ステップＳ３３０４にて、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。ステップＳ３３０５にて、色差信号（Ｃｂ）の参照画素補正処理として、線形補間処理を行う。実際にはセレクタ９２１が線形補間部９１７の出力を選択する。ステップＳ３３０６にて、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。ステップＳ３３０７にて、色差信号（Ｃｂ）の参照画素補正処理として、フィルタ処理を行う。実際にはセレクタ９２１がフィルタ部９１９の出力を選択する。ステップＳ３３０８にて、色差信号予測部９２３はステップＳ１１１１で決定した復号されたｉｎｔｅｒＰｒｅｄＭｏｄｅＣに従って得られたｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣ］が１か否かを判定する。ステップＳ３３０９にて、色差信号予測部９２３は補正処理をされた色差信号（Ｃｂ）の参照画素値を用いずにイントラ予測を行い、予測画素値を生成する。ステップＳ３３１０にて、色差信号予測部９２３は補正処理をされた色差信号（Ｃｂ）の参照画素値を用いてイントラ予測を行い、色差信号（Ｃｂ）の予測画素値を生成する。
【０１５３】
ステップＳ３３１１にて、色差（Ｃｒ）線形補間可否判定部３１０４は色差（Ｃｒ）補間可否情報を判定する。色差（Ｃｒ）補間可否情報が可であれば、ステップＳ３３１２に進み、否であればステップＳ３３１３に進む。
ステップＳ３３１２にて、色差（Ｃｒ）線形補間可否判定部３１０４は輝度信号のブロックサイズｎＴが３２か否かを判定する。ブロックサイズｎＴが３２であればステップＳ３３１３に進み、そうでなければステップＳ３３１６に進む。
【０１５４】
ステップＳ３３１３にて、参照画素の色差信号（Ｃｒ）が（５）式の色差信号（Ｃｒ）に関する２つの式が共に真であればステップＳ３３１４に進み、そうでなければステップＳ３３１６に進む。ステップＳ３３１４にて、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。ステップＳ３３１５にて、色差信号（Ｃｒ）の参照画素補正処理として、線形補間処理を行う。実際にはセレクタ９２２が線形補間部９１８の出力を選択する。ステップＳ３３１６にて、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。ステップＳ３３１７にて、色差信号（Ｃｒ）の参照画素補正処理として、フィルタ処理を行う。実際にはセレクタ９２２がフィルタ部９２０の出力を選択する。  ステップＳ３３１８にて、色差信号予測部９２３はステップＳ１１１１で決定した復号されたｉｎｔｅｒＰｒｅｄＭｏｄｅＣに従って得られたｆｉｌｔｅｒＦｌａｇＣ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣ］が１か否かを判定する。ステップＳ３３１９にて、色差信号予測部９２３は補正処理をされた色差信号（Ｃｒ）の参照画素値を用いずにイントラ予測を行い、色差信号（Ｃｒ）の予測画素値を生成する。ステップＳ３３２０にて、色差信号予測部９２３は補正処理をされた色差信号（Ｃｒ）の参照画素値を用いてイントラ予測を行い、色差信号（Ｃｒ）の予測画素値を生成する。
【０１５５】
以降、実施形態２と同様に色差信号のイントラ予測を行い、各色差信号の予測誤差を算出する。図３２に戻り、以降は実施形態２と同様に復号を行う。
【０１５６】
以上の構成と動作により、画像復号において、輝度信号だけではなく色差信号の参照画素に対して線形補間処理を行うことが可能になり、各色差信号での疑似輪郭状のノイズが軽減される。また、疑似輪郭状のノイズにおいてその画質において支配的な輝度信号の線形補間処理の可否に連動して色差信号の線形補間処理の可否を決定するため、輝度信号だけ線形補間処理を行う。これにより色差信号では線形補間処理を行わないような不整合が生じなくなり、復号画像でのより一層のノイズ低減可能になる。例えば、４：４：４に色差信号が拡張される時、Ｈ．２６４のように色差信号ではなく直接ＲＧＢの三原色がそれぞれＣｒ、Ｙ、Ｃｂとして扱うことができる。この時、ノイズに対して支配的な色に対してのみノイズ除去を行うことが可能になる。
【０１５７】
＜実施形態９＞
以下、本発明の実施形態９である画像符号化装置について説明する。符号化装置の全体構成は図１のブロック図と同じである。本実施形態では画像データは輝度信号と色差信号が４：４：４の画像であるとして説明するが、これに限定されない。実施形態１とは主に線形補間可否決定部１０３、ヘッダ符号化部１０４、イントラ予測部１０５の構成、動作が異なる。本実施形態では実施形態７と同様に色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を設ける。また、これを表す符号として、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇを用いる。線形補間可否決定部１０３は実施形態７と同様に輝度補間可否情報、色差（Ｃｂ）補間可否情報、色差（Ｃｒ）補間可否情報を決定する。但し、輝度補間可否情報、色差（Ｃｂ）補間可否情報、色差（Ｃｒ）補間可否情報はそれぞれ個別に選択できるものとする。ヘッダ符号化部１０４は入力される画像の種類、大きさなどの属性、符号化プロファイル等と輝度補間可否情報と色差（Ｃｂ）補間可否情報と色差（Ｃｒ）補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図３４のようなビットストリームを生成する。輝度補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。続いて、色差（Ｃｂ）補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。さらに、色差（Ｃｒ）補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。実施形態１と同様に、ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【０１５８】
続いて画像の符号化が行われる。ブロック分割部１０２は実施形態１と同様にブロック分割を行い、そのブロックの画素値とブロックサイズをイントラ予測部１０５に入力する。イントラ予測部１０５では、符号化済みの周囲の画素を参照してイントラ予測を行い、最適なイントラ予測モードとイントラ予測の結果である予測誤差を出力する。図３５にイントラ予測部１０５の詳細なブロック図を示す。図３５において、実施形態７の図２８のイントラ予測部と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
【０１５９】
色差（Ｃｂ）線形補間可否判定部３５０１は色差（Ｃｂ）補間可否情報を入力し、メモリ３０７から色差信号（Ｃｂ）の参照画素を入力する。これらの情報とブロックサイズから色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを決定する。色差（Ｃｂ）線形補間可否判定部３５０１は色差（Ｃｂ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｂ）に関する２つの式が共に真ならば色差信号（Ｃｂ）は参照画素線形補間処理を行うこととする。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。色差補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｂ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｂ）の線形補間処理を行わないこととする。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂはセレクタ３２３に入力される。
【０１６０】
また、色差（Ｃｒ）線形補間可否判定部３５０２は色差（Ｃｒ）補間可否情報を入力し、メモリ３０８から色差信号（Ｃｒ）の参照画素を入力する。これらの情報とブロックサイズから色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを決定する。色差（Ｃｒ）線形補間可否判定部３５０２は色差（Ｃｒ）補間可否情報が可であり、輝度信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｒ）に関する２つの式が共に真ならば色差信号（Ｃｒ）は参照画素線形補間処理を行うこととする。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。色差補間可否情報が否であるか、輝度信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｒ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｒ）の線形補間処理を行わないこととする。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒはセレクタ３２４に入力される。セレクタ３２３及びセレクタ３２４は実施形態７と同様に動作する。セレクタ３２３の出力は色差信号（Ｃｂ）予測モード決定部３５０３に入力され、セレクタ３２４の出力は色差信号（Ｃｒ）予測モード決定部３５０４に入力される。
【０１６１】
色差信号（Ｃｂ）予測モード決定部３５０３は実施形態７の色差信号予測モード決定部３２８とは色差信号（Ｃｂ）についてのみイントラ予測モードの決定、予測誤差の算出を行うことが異なる。予測モード決定部３５０３にはセレクタ３２３から補正処理がされた色差信号（Ｃｂ）の参照画素値が、メモリ３０７からは補正処理を行っていない色差信号（Ｃｂ）の参照画素値が入力される。また、色差参照画素生成方法選択部３１７からはイントラ予測モード毎に色差信号の参照画素補正処理を行うか否かを表すｆｉｌｔｅｒＦｌａｇＣ［０．．３４］が入力される。さらに、メモリ３２６から符号化対象ブロックの色差信号（Ｃｂ）の画素値が入力される。予測モード決定部３５０３は、予測モード毎に予測誤差を算出する。予測誤差の算出にあたっては色差信号（Ｃｂ）参照画素として参照画素補正処理を行った参照画素値かそのままの画素値を用いるかをｆｉｌｔｅｒＦｌａｇＣ［０．．３４］に従って選択する。選択された色差信号（Ｃｂ）の参照画素値を用いて、当該のイントラ予測モードに従って、参照画素値を用いて色差信号（Ｃｂ）の予測画素値を算出する。算出された色差信号（Ｃｂ）の予測画素値を比較し、最も小さい予測誤差を実現するイントラ予測モードを符号化対象ブロックの色差信号（Ｃｂ）のイントラ予測モードとする。この色差信号（Ｃｂ）のイントラ予測モードは出力部３５０５を介して図１の予測決定部１０７に出力される。この時の最小となった色差信号（Ｃｂ）の予測誤差は出力部３５０６を介して図１の予測決定部１０７に出力される。
【０１６２】
色差信号（Ｃｒ）予測モード決定部３５０４は実施形態７の色差信号予測モード決定部３２８とは色差信号（Ｃｒ）についてのみイントラ予測モードの決定、予測誤差の算出を行うことが異なる。予測モード決定部３５０４にはセレクタ３２４から補正処理がされた色差信号（Ｃｒ）の参照画素値が、メモリ３０８からは補正処理を行っていない色差信号（Ｃｒ）の参照画素値が入力される。また、色差参照画素生成方法選択部３１７からはイントラ予測モード毎に色差信号の参照画素補正処理を行うか否かを表すｆｉｌｔｅｒＦｌａｇＣ［０．．３４］が入力される。さらに、メモリ３２７から符号化対象ブロックの色差信号（Ｃｒ）の画素値が入力される。予測モード決定部３５０４は、イントラ予測モード毎に予測誤差を算出する。予測誤差の算出にあたっては色差信号（Ｃｒ）参照画素として参照画素補正処理を行った参照画素値かそのままの画素値を用いるかをｆｉｌｔｅｒＦｌａｇＣ［０．．３４］に従って選択する。選択された色差信号（Ｃｒ）の参照画素値を用いて、当該のイントラ予測モードに従って、参照画素値を用いて色差信号（Ｃｒ）の予測画素値を算出する。算出された色差信号（Ｃｒ）の予測画素値を比較し、最も小さい予測誤差を実現するイントラ予測モードを符号化対象ブロックの色差信号（Ｃｒ）のイントラ予測モードとする。この色差信号（Ｃｒ）のイントラ予測モードは出力部３５０７を介して図１の予測決定部１０７に出力される。この時の最小となった色差信号（Ｃｒ）の予測誤差は出力部３５０８を介して図１の予測決定部１０７に出力される。予測決定部１０７で符号化モードがイントラ符号化モードとなった場合、図１のエントロピー符号化部１０９は実施形態１と異なり、色差イントラ予測モードの代わりに、色差信号（Ｃｂ）のイントラ予測モードと色差信号（Ｃｒ）のイントラ予測モードを符号化する。
【０１６３】
図３６は実施形態９に係る画像符号化装置における符号化処理のフローチャートである。同図において、実施形態７の図２９と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ３６０１にて、線形補間可否決定部１０３は色差信号（Ｃｂ）の参照画素線形補間処理の可否を決定する。ステップＳ３６０２にて、線形補間可否決定部１０３は色差信号（Ｃｒ）の参照画素線形補間処理の可否を決定する。ステップＳ３６０３にて、ヘッダ符号化部１０４はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを符号化する。続けてｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇとｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇを符号化する。
【０１６４】
また、ステップＳ２９０６にて、イントラ予測部１０５はイントラ予測処理を行う。本実施形態のイントラ予測の動作は実施形態７と同じであるので説明を省略する。以降は実施形態１と同様に符号化を行う。
【０１６５】
以上の構成と動作により、画像符号化において、輝度信号と各色差信号に対して個別に参照画素に対して線形補間処理を行うことが可能になり、各信号で疑似輪郭状のノイズの影響が大きい信号で効果的にノイズが低減される。
【０１６６】
なお、本実施形態において色差信号のイントラ予測モードを色差信号（Ｃｂ）と色差信号（Ｃｒ）とに分けて符号化したが、これに限定されず、例えば図２８のように色差信号のイントラ予測モードを共通のものを使うことも可能である。
【０１６７】
＜実施形態１０＞
以下、本発明の実施形態１０である画像復号装置について説明する。本実施形態では、実施形態９で生成された符号化データの復号を例にとって説明する。画像復号装置の全体構成は実施形態２の図８のブロック図と同じである。実施形態２とは主にヘッダ復号部８０３、線形補間可否設定部８０４、エントロピー復号部８０５、イントラ予測部８０６の構成、動作が異なる。
【０１６８】
ヘッダ復号部８０３は輝度補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、輝度補間可否情報を再生する。線形補間可否設定部８０４は輝度補間可否情報を保持する。続けて、ヘッダ復号部８０３は色差（Ｃｂ）補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、色差（Ｃｂ）補間可否情報を再生する。線形補間可否設定部８０４は色差（Ｃｂ）補間可否情報を保持する。さらに、ヘッダ復号部８０３は色差（Ｃｂ）補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、色差（Ｃｒ）補間可否情報を再生する。線形補間可否設定部８０４は色差（Ｃｒ）補間可否情報を保持する。
【０１６９】
エントロピー復号部８０５は復号対象ブロックの符号化モードがイントラ符号化モードであれば、色差信号（Ｃｂ）のイントラ予測モードと色差信号（Ｃｒ）のイントラ予測モードを復号し、再生する。
【０１７０】
イントラ予測部８０６はイントラ予測を行う。図３７にイントラ予測部８０６の詳細なブロック図を示す。同図においては、実施形態８の図３１と同じ機能を果たすブロックにおいては同じ番号を付し、説明を省略する。入力部３７０１はエントロピー復号部８０５から再生された色差信号（Ｃｂ）のイントラ予測モードを入力する。入力部３７０２はエントロピー復号部８０５から再生された色差信号（Ｃｒ）のイントラ予測モードを入力する。
【０１７１】
色差信号（Ｃｂ）予測部３７０３は入力部９０３からブロックサイズｎＴを入力し、入力部３７０１から色差信号（Ｃｂ）のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｂを入力する。さらに、セレクタ９２１から色差信号（Ｃｂ）の参照画素補正処理を行った参照画素を入力し、メモリ９０８から復号対象ブロックの周辺の復号済みの色差信号（Ｃｂ）の参照画素値を入力する。色差信号（Ｃｂ）予測部３７０３は入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣｂからｍｉｎＤｉｓｔＶｅｒＨｏｒを算出し、ブロックサイズｎＴと表２から得られるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければ色差信号の参照画素補正処理を行うこととする。色差信号（Ｃｂ）に関してはセレクタ９２１からの出力を参照画素値として入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣｂに従ってイントラ予測を行う。ｍｉｎＤｉｓｔＶｅｒＨｏｒが小さければメモリ９０８から読み出された参照画素値を用いてｉｎｔｒａＰｒｅｄＭｏｄｅＣｂに従ってイントラ予測を行う。イントラ予測によって得られた色度信号（Ｃｂ）の予測画素値は出力部３７０５から図８の画素再生部８０９に出力される。
【０１７２】
同様に、色差信号（Ｃｒ）予測部３７０４は入力部９０３からブロックサイズｎＴを入力し、入力部３７０２から色差信号（Ｃｒ）のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｒを入力する。さらに、セレクタ９２２から色差信号（Ｃｒ）の参照画素補正処理を行った参照画素を入力し、メモリ９０９から復号対象ブロックの周辺の復号済みの色差信号（Ｃｒ）の参照画素値を入力する。色差信号（Ｃｒ）予測部３７０４は入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣｒからｍｉｎＤｉｓｔＶｅｒＨｏｒを算出し、ブロックサイズｎＴと表２から得られるｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］と比較する。ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓｈＣ［ｎＴ］より大きければ色差信号の参照画素補正処理を行うこととする。色差信号（Ｃｒ）に関してはセレクタ９２２からの出力を参照画素値として入力されたｉｎｔｒａＰｒｅｄＭｏｄｅＣｒに従ってイントラ予測を行う。ｍｉｎＤｉｓｔＶｅｒＨｏｒが小さければメモリ９０９から読み出された参照画素値を用いてｉｎｔｒａＰｒｅｄＭｏｄｅＣｒに従ってイントラ予測を行う。イントラ予測によって得られた色度信号（Ｃｒ）の予測画素値は出力部３７０６から図８の画素再生部８０９に出力される。以下、実施形態８と同様に復号処理が行われ、復号画像を再生する。
【０１７３】
図３８は実施形態１０に係る画像復号装置における復号処理のフローチャートである。同図において、実施形態４の図１８と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ３８０２にて、ヘッダ復号部８０３はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。続けて色差（Ｃｂ）補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｂ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。さらに、色差（Ｃｒ）補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｃｒ＿ｅｎａｂｌｅ＿ｆｌａｇを復号する。
【０１７４】
また、ステップＳ３８１０にて、イントラ予測部８０６はイントラ予測処理を行う。図３９はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態８の図３３と同じ機能を果たすブロックについては同じ番号を付して説明を省略する。ステップＳ３９０１にて、予測部３７０３はｉｎｔｅｒＰｒｅｄＭｏｄｅＣｂとブロックサイズｎＴから表２を用いて、ｆｉｌｔｅｒＦｌａｇＣｂ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣｂ］を算出する。ステップＳ３９０２にて、予測部３７０４はｉｎｔｅｒＰｒｅｄＭｏｄｅＣｒと輝度信号のブロックサイズｎＴから表２を用いて、ｆｉｌｔｅｒＦｌａｇＣｒ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣｒ］を算出する。
【０１７５】
ステップＳ３９０３にて、ステップＳ３９０１で得られたｆｉｌｔｅｒＦｌａｇＣｂ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣｂ］が１であればステップＳ３９０４に進み、そうでなければステップＳ３９０５に進む。ステップＳ３９０４にて、予測部３７０３は色差信号（Ｃｂ）の参照画素補正処理を行った参照画素を用いて、色差信号（Ｃｂ）のイントラ予測モードｉｎｔｅｒＰｒｅｄＭｏｄｅＣｂに従ってイントラ予測を行う。ステップＳ３９０５にて、予測部３７０３は色差信号（Ｃｂ）の参照画素補正処理を行わない参照画素値を用いて、色差信号（Ｃｂ）のイントラ予測モードｉｎｔｅｒＰｒｅｄＭｏｄｅＣｂに従ってイントラ予測を行う。
【０１７６】
ステップＳ３９０６にて、ステップＳ３９０２で得られたｆｉｌｔｅｒＦｌａｇＣｒ［ｉｎｔｅｒＰｒｅｄＭｏｄｅＣｒ］が１であればステップＳ３９０７に進み、そうでなければステップＳ３９０８に進む。ステップＳ３９０７にて、予測部３７０４は色差信号（Ｃｒ）の参照画素補正処理を行った参照画素を用いて、色差信号（Ｃｒ）のイントラ予測モードｉｎｔｅｒＰｒｅｄＭｏｄｅＣｒに従ってイントラ予測を行う。ステップＳ３９０８にて、予測部３７０４は色差信号（Ｃｒ）の参照画素補正処理を行わない参照画素値を用いて、色差信号（Ｃｒ）のイントラ予測モードｉｎｔｅｒＰｒｅｄＭｏｄｅＣｒに従ってイントラ予測を行う。図３８に戻り、以降は実施形態８と同様に復号を行う。
【０１７７】
以上の構成と動作により、画像符号化において、輝度信号と各色差信号に対して個別に参照画素に対して線形補間処理を行うことが可能になり、各信号での疑似輪郭状のノイズの影響が大きい信号で効果的にノイズが低減される。
【０１７８】
＜実施形態１１＞
以下、本発明の実施形態１１である画像符号化装置について説明する。符号化装置の全体構成は図１のブロック図と同じである。本実施形態では画像データは輝度信号と色差信号が４：４：４の画像であるとして説明するが、これに限定されない。実施形態１とは主に線形補間可否決定部１０３、ヘッダ符号化部１０４、イントラ予測部１０５の構成、動作が異なる。本実施形態では実施形態３と同様に輝度信号と色差信号の両方に対して参照画素線形補間処理を同時に可能にするか否かを表す情報を補間可否情報とする。また、これを表す符号は実施形態３と同様にｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇである。線形補間可否決定部１０３は実施形態３と同様に補間可否情報を決定する。ヘッダ符号化部１０４は入力される画像の種類、大きさなどの属性、符号化プロファイル等と補間可否情報を符号化する。これらを含むシーケンスパラメータセットの書式に従って符号化され、図１２のようなビットストリームを生成する。補間可否情報はｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇとして符号化される。実施形態１と同様に、ヘッダの符号化データは統合部１１０に入力され、符号化に先立って、出力部１１１から出力される。
【０１７９】
続いて画像の符号化が行われる。ブロック分割部１０２は実施形態１と同様にブロック分割を行い、そのブロックの画素値とブロックサイズをイントラ予測部１０５に入力する。
イントラ予測部１０５では、符号化済みの周囲の画素を参照してイントラ予測を行い、最適なイントラ予測モードとイントラ予測の結果である予測誤差を出力する。図４０にイントラ予測部１０５の詳細なブロック図を示す。図４０において、実施形態９の図３５のイントラ予測部と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
【０１８０】
色差（Ｃｂ）線形補間可否判定部４１０１は入力部１３０２から入力された補間可否情報を入力し、メモリ３０７から色差信号（Ｃｂ）の参照画素を入力する。これらの情報とブロックサイズから色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを決定する。色差（Ｃｂ）線形補間可否判定部４１０１は補間可否情報が可であり、色差信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｂ）に関する２つの式が共に真ならば色差信号（Ｃｂ）は参照画素線形補間処理を行う。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。補間可否情報が否であるか、色差（Ｃｂ）信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｂ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｂ）の線形補間処理を行わない。この時、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを０とする。色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂはセレクタ３２３に入力される。
【０１８１】
色差（Ｃｒ）線形補間可否判定部４１０２は入力部１３０２から入力された補間可否情報を入力し、メモリ３０８から色差信号（Ｃｒ）の参照画素を入力する。これらの情報とブロックサイズから色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを決定する。色差（Ｃｒ）線形補間可否判定部４１０２は補間可否情報が可であり、色差信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｒ）に関する２つの式が共に真ならば色差信号（Ｃｒ）は参照画素線形補間処理を行う。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを１とする。補間可否情報が否であるか、色差（Ｃｒ）信号のブロックサイズｎＴが３２以外であるか、（５）式の色差信号（Ｃｒ）に関する２つの式の少なくともいずれかが偽であれば、色差信号（Ｃｒ）の線形補間処理を行わない。この時、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒを０とする。色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒはセレクタ３２４に入力される。
【０１８２】
セレクタ３２３及びセレクタ３２４は実施形態９と同様に動作する。セレクタ３２３の出力は色差信号（Ｃｂ）予測モード決定部３５０３に入力され、セレクタ３２４の出力は色差信号（Ｃｒ）予測モード決定部３５０４に入力される。
【０１８３】
色差（Ｃｂ）参照画像生成方法選択部４１０３は入力された色差（Ｃｂ）信号のブロックサイズｎＴに基づいて、イントラ予測モード毎に参照画素補正処理を行うか否かを判定する。色差（Ｃｒ）参照画像生成方法選択部４１０４は入力された色差（Ｃｒ）信号のブロックサイズｎＴに基づいて、イントラ予測モード毎に参照画素補正処理を行うか否かを判定する。ブロックサイズｎＴとイントラ予測の方向の関係については非特許文献２の８．４．４．２．３章に記載されている方法を用いることができる。判定結果は色差信号（Ｃｂ）同様に、色差（Ｃｒ）参照画像生成方法選択部４１０４は入力された色差（Ｃｒ）信号のブロックサイズｎＴに基づいて、イントラ予測モード毎に参照画素補正処理を行うか否かを判定する。
【０１８４】
色差信号（Ｃｂ）予測モード決定部３５０３は実施形態９と同様に色差信号（Ｃｂ）についてのみイントラ予測モードの決定、予測誤差の算出を行う。また、色差信号（Ｃｒ）予測モード決定部３５０４は実施形態９と同様に色差信号（Ｃｒ）についてのみイントラ予測モードの決定、予測誤差の算出を行う。
【０１８５】
実施形態１１に係る画像符号化装置における符号化処理のフローチャートは実施形態３の図１５と同じである。ステップＳ１５０６のイントラ予測の処理の内容が異なる。図４１はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、実施形態９の図３０と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。
【０１８６】
ステップＳ４１０１にて、輝度線形補間可否判定部３１０はステップＳ１５０１にて設定された符号化対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ６０３に進み、そうでなければステップＳ６０７に進む。ステップＳ４１０２にて、色差（Ｃｂ）線形補間可否判定部４１０１はステップＳ１５０１にて設定された符号化対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ３０１３に進み、そうでなければステップＳ３０１７に進む。ステップＳ４１０３にて、色差（Ｃｒ）線形補間可否判定部４１０２はステップＳ１５０１にて設定された符号化対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ３０１８に進み、そうでなければステップＳ３０２２に進む。
【０１８７】
以上の構成と動作により、画像符号化において、線形補間の可否については輝度信号と各色差信号で統一して行うことができる。これにより、復号側での線形補間の機能の有無に応じて符号を切り替えることが可能になる。さらに線形補間を行うか否かの判定については輝度信号と各色差信号に対して個別に実施する。これにより、信号毎に参照画素に対して適宜線形補間処理を行うことが可能になる。すなわち、各信号で疑似輪郭状のノイズの影響が大きい信号に対して適応的にノイズが低減できる符号データを生成できる。
【０１８８】
なお、本実施形態において色差信号のイントラ予測モードを色差信号（Ｃｂ）と色差信号（Ｃｒ）とに分けて符号化したが、これに限定されず、例えば図２８の色差信号予測モード決定部３２８ように色差信号のイントラ予測モードを共通にすることも可能である。
【０１８９】
なお、本実施形態では補間可否情報をシーケンスパラメータセットに含めて符号化したが、これに限定されず、ピクチャパラメータセットやスライスヘッダ等のヘッダの符号化データに含めても良い。
【０１９０】
なお、本実施形態では４：４：４を例にとって説明したので、輝度信号と色差信号が同じブロックサイズである。この時、輝度参照画素生成方法選択部３０９の出力を色差（Ｃｂ）参照画像生成方法選択部４１０３の出力の代わりに色差信号（Ｃｂ）予測モード決定部３５０３に入力しても構わない。同様に、色差（Ｃｒ）参照画像生成方法選択部４１０４の出力の代わりに色差信号（Ｃｒ）予測モード決定部３５０４に入力しても構わない。
【０１９１】
なお、図４１においてステップＳ３９０１及びステップＳ３９０２の処理をステップＳ３３０１の前に行ったが、これに限定されない。ステップＳ３９０１の処理は例えば、ステップＳ３３０３の前に行っていれば良く、ステップＳ３３０２の後で行っても構わない。同様に、ステップＳ３９０２の処理は例えば、ステップＳ３３１３の前に行っていれば良く、ステップＳ３３１２の後で行っても構わない。
【０１９２】
なお、本実施形態では画像信号は４：４：４として説明を行ったが、これに限定されない。例えば４：２：０であったり、または４：２：２であったりしても構わない。また、分割されるブロックの最大サイズを６４×６４画素、線形補間処理を行うブロックサイズを３２×３２画素として説明したが、これに限定されない。また、正方形のブロックにも限定されず、長方形のブロックであっても構わない。
【０１９３】
また、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、及び各色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂ、ｂｉＩｎｔＦｌａｇＣｒは可否を表す１ビットの信号としたが、これに限定されない。多ビットの信号とし複数の線形補間部を切り替える信号としたり、補間を行わないことを表す信号としたりしてももちろん構わない。
【０１９４】
＜実施形態１２＞
以下、本発明の実施形態１２である画像復号装置について説明する。本実施形態では、実施形態１１で生成された符号化データの復号を例にとって説明する。本実施形態では画像データは輝度信号と色差信号が４：４：４の画像であるとして説明するが、これに限定されない。画像復号装置の全体構成は実施形態２の図８のブロック図と同じである。実施形態２とは主にヘッダ復号部８０３、線形補間可否設定部８０４、エントロピー復号部８０５、イントラ予測部８０６の構成、動作が異なる。
【０１９５】
ヘッダ復号部８０３は補間可否情報を表すｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅ＿ｆｌａｇを復号し、補間可否情報を再生する。線形補間可否設定部８０４は補間可否情報を保持する。
【０１９６】
エントロピー復号部８０５は復号対象ブロックの符号化モードがイントラ符号化モードであれば、輝度信号、色差信号（Ｃｂ）、色差信号（Ｃｒ）の各イントラ予測モードを復号し、再生する。
【０１９７】
イントラ予測部８０６はイントラ予測を行う。図４２にイントラ予測部８０６の詳細なブロック図を示す。同図においては、実施形態１０の図３７と同じ機能を果たすブロックにおいては同じ番号を付し、説明を省略する。入力部４３０２は実施形態４の図１７の入力部１７０２と同様に図８の線形補間可否設定部８０４から補間可否情報を入力する。入力された補間可否情報は輝度線形補間可否判定部９１０、色差（Ｃｂ）線形補間可否判定部４３０３、色差（Ｃｒ）線形補間可否判定部４３０４に入力される。
【０１９８】
色差（Ｃｂ）線形補間可否判定部４３０３は入力部４３０２から入力された補間可否情報と入力部９０３から入力されたブロックサイズ、及び、メモリ９０８から入力された復号対象ブロックの周囲の色差（Ｃｂ）信号の参照画素値を入力する。これらの値を用いて、実施形態１１の色差（Ｃｂ）線形補間可否判定部４１０１と同様に色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを算出する。すなわち、色差補間可否情報が可であり、輝度信号、色差信号のブロックサイズｎＴが３２であり、（５）式の色差信号（Ｃｂ）に関する２つの式が共に真ならば色差信号（Ｃｂ）に色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂを１とする。したがって、色差（Ｃｂ）信号で参照画素線形補間処理を行う。それ以外の条件ではｂｉＩｎｔＦｌａｇＣｂを０とし、色差（Ｃｂ）信号で参照画素線形補間処理を行わない。
【０１９９】
色差（Ｃｒ）線形補間可否判定部４３０４も同様に、入力部４３０２から入力された補間可否情報と入力部９０３から入力されたブロックサイズ、及び、メモリ９０９から入力された復号対象ブロックの周囲の色差（Ｃｒ）信号の参照画素値を入力する。これらを用いて、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒの値を算出する。
【０２００】
セレクタ９１３は図４０に記載したセレクタ３１３と同様に輝度線形補間処理フラグｂｉＩｎｔＦｌａｇによって入力先を選択する。すなわち、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇが１であれば入力先に線形補間部３１１の出力を選択し、０であれば入力先にフィルタ部３１２を選択する。セレクタ９２１は図３７に記載したセレクタ９２１と同様に色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂによって入力先を選択する。すなわち、色差（Ｃｂ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂが１であれば入力先に線形補間部３１９の出力を選択し、０であれば入力先にフィルタ部３２１を選択する。セレクタ９２２は図３７に記載したセレクタ９２２と同様に色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒによって入力先を選択する。すなわち、色差（Ｃｒ）線形補間処理フラグｂｉＩｎｔＦｌａｇＣｒが１であれば入力先に線形補間部３２０の出力を選択し、０であれば入力先にフィルタ部３２２を選択する。
【０２０１】
輝度信号予測部９１４は入力部９０１から入力された輝度信号のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅとセレクタ９１３の出力とメモリ９０７の出力を用いて、予測画素値を生成する。出力部９１５は生成された輝度信号の予測画素値を図８の画素再生部８０９に出力する。色差信号（Ｃｂ）予測部３７０３は入力部９０３からブロックサイズｎＴを入力し、入力部３７０１から色差信号（Ｃｂ）のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｂを入力する。さらに、セレクタ９２１から色差信号（Ｃｂ）の参照画素補正処理を行った参照画素を入力し、メモリ９０８から復号対象ブロックの周辺の復号済みの色差信号（Ｃｂ）の参照画素値を入力する。イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｂにしたがって、イントラ予測をおこない、色度信号（Ｃｂ）の予測画素値は出力部３７０５から図８の画素再生部８０９に出力される。色差信号（Ｃｒ）予測部３７０４は入力部９０３からブロックサイズｎＴを入力し、入力部３７０２から色差信号（Ｃｒ）のイントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｒを入力する。さらに、セレクタ９２２から色差信号（Ｃｒ）の参照画素補正処理を行った参照画素を入力し、メモリ９０９から復号対象ブロックの周辺の復号済みの色差信号（Ｃｒ）の参照画素値を入力する。イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅＣｒにしたがって、イントラ予測をおこない、色度信号（Ｃｒ）の予測画素値は出力部３７０６から図８の画素再生部８０９に出力される。
【０２０２】
実施形態１２に係る画像復号装置における復号処理のフローチャートは実施形態４の図１８と同じである。ステップＳ１８１０のイントラと予測の処理の内容が異なる。図４３はイントラ予測処理の詳細な動作を表すフローチャートである。同図において、図３９と同じ機能を果たすブロックについては同じ番号を付し、説明を省略する。ステップＳ４３０１にて、輝度線形補間可否判定部９１０はステップＳ１８０１にて設定された復号対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ６０３に進み、そうでなければステップＳ６０７に進む。ステップＳ４３０２にて、色差（Ｃｂ）線形補間可否判定部４３０３はステップＳ１８０１にて設定された復号対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ３３０２に進み、そうでなければステップＳ３３０６に進む。ステップＳ４３０３にて、色差（Ｃｒ）線形補間可否判定部４３０４はステップＳ１８０１にて設定された復号対象ブロックの補間可否情報を判定する。補間可否情報が可と設定されていればステップＳ３３１２に進み、そうでなければステップＳ３３１６に進む。
【０２０３】
以上の構成と動作により、画像復号において、線形補間の可否については輝度信号と各色差信号で統一して行うことができる。これにより、復号側での線形補間の機能の有無に応じて符号を切り替えることが可能になる。線形補間を行うか否かの判定については輝度信号と各色差信号に対して個別に実施する。これにより、各信号で参照画素に対して適宜線形補間処理を行うことが可能になる。すなわち、各信号で疑似輪郭状のノイズの影響が大きい信号に対して適応的にノイズが低減される。
【０２０４】
なお、本実施形態では補間可否情報をシーケンスパラメータセットに含めて符号化されたものを復号したが、これに限定されず、ピクチャパラメータセットやスライスヘッダ等のヘッダの符号化データに含めたものを復号しても良い。
【０２０５】
なお、図４３においてステップＳ３９０１及びステップＳ３９０２の処理をステップＳ３３０１の前に行ったが、これに限定されない。ステップＳ３９０１の処理は例えば、ステップＳ３３０３の前に行っていれば良く、ステップＳ３３０２の後で行っても構わない。同様に、ステップＳ３９０２の処理は例えば、ステップＳ３３１３の前に行っていれば良く、ステップＳ３３１２の後で行っても構わない。
【０２０６】
なお、本実施形態では画像信号は４：４：４として説明を行ったが、これに限定されない。例えば４：２：０であったり、または４：２：２であったりしても構わない。また、分割されるブロックの最大サイズを６４×６４画素、線形補間処理を行うブロックサイズを３２×３２画素として説明したが、これに限定されない。また、正方形のブロックにも限定されず、長方形のブロックであっても構わない。
【０２０７】
また、輝度線形補間処理フラグｂｉＩｎｔＦｌａｇ、及び各色差線形補間処理フラグｂｉＩｎｔＦｌａｇＣｂ、ｂｉＩｎｔＦｌａｇＣｒは可否を表す１ビットの信号としたが、これに限定されない。多ビットの信号とし複数の線形補間部を切り替える信号としたり、補間を行わないことを表す信号としたりしてももちろん構わない。
【０２０８】
なお、本実施形態において色差信号のイントラ予測モードを色差信号（Ｃｂ）と色差信号（Ｃｒ）とに分けて符号化されたものを復号したが、これに限定されない。例えば図３１の色差信号予測部９２３のように色差信号のイントラ予測モードを共通にすることも可能である。
【０２０９】
＜実施形態１３＞
上記各実施形態１〜１０において、図１、図３、図７、図８、図９、図１３、図１７、図２１、図２４、図２８、図３１、図３５、図３７、図４０、図４２に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
【０２１０】
図４４は、上記各実施形態１〜１０に係る画像符号化装置及び画像復号装置（以下、画像処理装置）に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【０２１１】
ＣＰＵ４００１は、ＲＡＭ４００２やＲＯＭ４００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態１〜５に係る画像処理装置が行うものとして上述した各処理を実行する。すなわち、ＣＰＵ４００１は、図１、図３、図７、図８、図９、図１３、図１７、図２１、図２４、図２８、図３１、図３５、図３７、図４０、図４２に示した各処理部として機能することになる。
【０２１２】
ＲＡＭ４００２は、外部記憶装置４００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）４００７を介して、外部から取得したデータなどを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ４００２は、ＣＰＵ４００１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ４００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【０２１３】
ＲＯＭ４００３は、本コンピュータの設定データや、ブートプログラムなどを格納する。
【０２１４】
操作部４００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ４００１に対して入力することができる。
出力部４００５は、ＣＰＵ４００１による処理結果を表示する。また、出力部４００５は、例えば液晶ディスプレイで構成される。
【０２１５】
外部記憶装置４００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置４００６には、ＯＳ（オペレーティングシステム）や、図１、図６に示した各部の機能をＣＰＵ４００１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置４００６には、処理対象としての各画像が保存されていても良い。
【０２１６】
外部記憶装置４００６に保存されているコンピュータプログラムやデータは、ＣＰＵ４００１による制御に従って適宜、ＲＡＭ４００２にロードされ、ＣＰＵ４００１による処理対象となる。
【０２１７】
Ｉ／Ｆ４００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機部を接続することができ、本コンピュータはこのＩ／Ｆ４００７を介して様々な情報を取得したり、送出したりすることができる。
バス４００８は、上述の各部を繋ぐ。
【０２１８】
上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ４００１が中心となってその制御を行う。
【０２１９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014143671.tif 000006
【図２】
2014143671.tif 000007
【図３】
2014143671.tif 000008
【図４】
2014143671.tif 000009
【図５】
2014143671.tif 000010
【図６】
2014143671.tif 000011
【図７】
2014143671.tif 000012
【図８】
2014143671.tif 000013
【図９】
2014143671.tif 000014
【図１０】
2014143671.tif 000015
【図１１】
2014143671.tif 000016
【図１２】
2014143671.tif 000017
【図１３】
2014143671.tif 000018
【図１４】
2014143671.tif 000019
【図１５】
2014143671.tif 000020
【図１６】
2014143671.tif 000021
【図１７】
2014143671.tif 000022
【図１８】
2014143671.tif 000023
【図１９】
2014143671.tif 000024
【図２０】
2014143671.tif 000025
【図２１】
2014143671.tif 000026
【図２２】
2014143671.tif 000027
【図２３】
2014143671.tif 000028
【図２４】
2014143671.tif 000029
【図２５】
2014143671.tif 000030
【図２６】
2014143671.tif 000031
【図２７】
2014143671.tif 000032
【図２８】
2014143671.tif 000033
【図２９】
2014143671.tif 000034
【図３０】
2014143671.tif 000035
【図３１】
2014143671.tif 000036
【図３２】
2014143671.tif 000037
【図３３】
2014143671.tif 000038
【図３４】
2014143671.tif 000039
【図３５】
2014143671.tif 000040
【図３６】
2014143671.tif 000041
【図３７】
2014143671.tif 000042
【図３８】
2014143671.tif 000043
【図３９】
2014143671.tif 000044
【図４０】
2014143671.tif 000045
【図４１】
2014143671.tif 000046
【図４２】
2014143671.tif 000047
【図４３】
2014143671.tif 000048
【図４４】
2014143671.tif 000049