(57)【特許請求の範囲】
【請求項１】
プライマリコンポーネント信号と、その他の１以上のコンポーネント信号からなるセカンダリコンポーネント信号とを有する映像信号について、符号化済みのプライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行うイントラ予測装置であって、
予め定められた複数のイントラ予測モードから決定されたプライマリ予測モードに基づいてプライマリコンポーネント信号の予測画像を生成するプライマリ予測画像生成部と、
前記プライマリ予測モードが示す予測方向に応じて、前記予測式の係数導出に用いる参照画素の位置を決定し、該参照画素の位置を示す参照画素位置情報を生成する参照画素選択部と、
前記参照画素位置情報が示す、前記プライマリコンポーネント信号の画素及び前記セカンダリコンポーネント信号の画素から、前記予測式の係数を導出する係数導出部と、
前記係数導出部により導出された係数を代入した予測式を用いて前記セカンダリコンポーネント信号のイントラ予測を行い、セカンダリコンポーネント信号の予測画像を生成する第１セカンダリ予測画像生成部と、
を備えることを特徴とするイントラ予測装置。
【請求項２】
前記参照画素選択部は、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、０度を含む範囲である、第１の角度以上第２の角度未満である場合には、前記参照画素の位置を、予測対象ブロックの上側に隣接する一行の画素とし、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、４５度を含む範囲である、前記第２の角度以上第３の角度未満である場合には、前記参照画素の位置を、前記一行の画素の一部、及び、予測対象ブロックの左側に隣接する一列の画素の一部とし、
前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、９０度を含む範囲である、前記第３の角度以上第４の角度未満である場合には、前記参照画素の位置を、前記一列の画素とする
ことを特徴とする、請求項１に記載のイントラ予測装置。
【請求項３】
予め定められた複数のイントラ予測モードから決定されたセカンダリ予測モードに基づいてセカンダリコンポーネント信号の予測画像を生成する第２セカンダリ予測画像生成部と、
前記第１セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像、及び前記第２セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像のうち、いずれか一方を選択して出力するセカンダリ予測画像選択部と、
を更に備えることを特徴とする、請求項１又は２に記載のイントラ予測装置。
【請求項４】
請求項１から３のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化装置。
【請求項５】
請求項１から３のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号装置。
【請求項６】
コンピュータを、請求項１から３のいずれか一項に記載のイントラ予測装置として機能させるためのイントラ予測プログラム。
【請求項７】
コンピュータを、請求項４に記載の符号化装置として機能させるための符号化プログラム。
【請求項８】
コンピュータを、請求項５に記載の復号装置として機能させるための復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロック単位でイントラ予測（画面内予測）を行い、予測対称ブロックの予測画像を生成するイントラ予測装置、符号化装置、復号装置、及びプログラムに関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ/ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）においては、予測対象ブロック（符号化対象ブロック）をイントラ予測により符号化する場合は、復号済みの周囲のブロックを用いてイントラ予測を行って予測画像を生成し、原画像と予測画像との差分を符号化することが知られている（例えば、非特許文献１参照）。イントラ予測にあたっては、予め設定された予測方向のうち、最適なものを選択して予測を行うとともに、選択された予測方向を示すイントラ予測モード（以下、単に「予測モード」ともいう）を符号化して伝送する。
【０００３】
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測は、４×４画素単位、８×８画素単位、又は１６×１６画素単位で行われ、予め設定された複数種類の予測モードの中から最適な予測モードを選択する。図８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式において、８×８画素単位でイントラ予測する場合のイントラ予測モードを示す図である。図中の斜線付きの丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。図８（ａ）の予測モード０では垂直方向予測、図８（ｂ）の予測モード１では水平方向予測、図８（ｃ）の予測モード２ではＤＣ予測、図８（ｄ）の予測モード３では対角左下方向予測、図８（ｅ）の予測モード４では対角右下方向予測、図８（ｆ）の予測モード５では垂直右方向予測、図８（ｇ）の予測モード６では水平下方向予測、図８（ｈ）の予測モード７では垂直左方向予測、図８（ｉ）の予測モード８では水平上方向予測を行う。このように、予測モードは予測方向に対応付けられている。なお、輝度信号のイントラ予測には上記の予測モード０〜８までが設定されているが、色差信号のイントラ予測には上記の予測モード０〜３のみが設定されている。
【０００４】
次世代の圧縮符号化方式として規格化が進められているＨＥＶＣ（High-Efficiency Video Coding）方式でもイントラ予測を行うことが知られている（例えば、非特許文献２参照）。図９は、非特許文献２に開示されている、ＨＥＶＣ方式におけるイントラ予測モードを示す図である。図面の便宜上、図８の矢印は予測方向を示しているが、図９の矢印は参照方向（予測方向と逆方向）を示している。また、図９中の数字は予測モードを表している。ＨＥＶＣ方式の予測モードは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の９種類に比べて、３４種類に増加している。
【０００５】
また、カラー画像（ＲＧＢ画像やＹＣｂＣｒ画像）の符号化においては、例えばＹＣｂＣｒ画像を符号化する場合、１つの輝度信号（Ｙ）及び２つの色差信号（Ｃｂ，Ｃｒ）を符号化する。このとき、上述したような同一画面内の同一コンポーネント信号を用いてイントラ予測する技法の他に、同一画面内の異なるコンポーネント信号（輝度信号と色差信号）を用いてイントラ予測する技法が知られている（例えば、非特許文献３参照）。非特許文献３に記載の技法では、輝度信号から色差信号を予測する予測式を導出し、導出した予測式を用いて、復号済みの輝度信号から色差信号を予測する。なお、予測式の復号側への伝送は不要である。
【０００６】
図１０は、異なるコンポーネント信号間における予測式を用いたイントラ予測を説明する図である。輝度信号の画像サイズと色差信号の画像サイズが異なる場合には、輝度信号を色差信号と同一の画像サイズとなるようにダウンサンプリングする。図１０では、２Ｎ×２Ｎ画素の輝度信号ＲｅｃＬをＮ×Ｎ画素の色差信号ＲｅｃＣと同一の画像サイズとなるようにダウンサンプリングした信号ＲｅｃＬ’を生成する。
【０００７】
そして、色差信号の予測対象ブロックに隣接する復号済みの画素ＲｅｃＣ（ｉ）と、該画素に対応する位置（異なるコンポーネント信号間で同位置）にある輝度信号の復号済みの画素ＲｅｃＬ’（ｉ）とを用いて、次式（１）（２）により、予測式に用いられる係数α，βを導出する。次式（３）の予測式に導出した係数α，βを代入することにより、輝度信号から色差信号の予測値ＰｒｅｄＣを算出することができる。ここで、Ｉは隣接画素（参照画素）の数を表し、ｉは隣接画素の番号を表す。図１０に示すように予測対象ブロックのサイズが８×８画素の場合、Ｉ＝１６、ｉ＝０〜１５である。なお、色差信号Ｃｂ，Ｃｒの各々について、式（１）〜（３）を用いてイントラ予測する。
【０００８】
【数１】
0005898452.tif 000002
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】大久保  榮、他３名、「改訂三版  Ｈ．２６４／ＡＶＣ教科書」、インプレスＲ＆Ｄ、2008年12月26日
【非特許文献２】T.Wiegand, W-J Han, B Bross, J-R.Ohm, G.J.Sullivan, “WD3:Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603
【非特許文献３】JCT-VC E266 Chroma intra prediction by reconstructed luma samples (Samusung, LG)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した、同一画面内で異なるコンポーネント信号間で予測式を用いてイントラ予測する技法では、予測対象ブロック（符号化対象ブロック）と該予測対象ブロックに隣接する隣接画素との相関が高いという前提でイントラ予測を行っている。しかし、一般に必ずしも予測対象ブロックと隣接画素との相関が高いとは限らず、両者の相関が低い場合には確度（信頼度）の高いイントラ予測を行うことができなかった。
【００１１】
本発明の目的は、上記問題を解決するため、予測対象ブロックと該予測対象ブロックの隣接画素との相関を考慮した予測式を用いてイントラ予測を行うことにより、イントラ予測の確度を向上させることが可能なイントラ予測装置、符号化装置、復号装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
符号化済みのコンポーネント信号（例えば、輝度信号）をプライマリコンポーネント信号、予測対象とするその他の１以上のコンポーネント信号（例えば、色差信号）をセカンダリコンポーネント信号とする。上記課題を解決するため、本発明に係るイントラ予測装置は、プライマリコンポーネント信号のイントラ予測に用いられた隣接画素を用いて予測式を導出する。多くのイントラ予測においては特定の一方向に同じ値が続くという予測が用いられるため、選択されたイントラ予測の予測モードから予測対象ブロックに相関の高い隣接画素の位置を推定することができる。したがって、予測対象ブロックに対して予測方向の逆方向に存在する隣接画素だけを用いることにより、予測対象ブロックの予測に適した予測式を導出することができる。
【００１３】
すなわち、本発明に係るイントラ予測装置は、プライマリコンポーネント信号（例えば、輝度信号）と、その他の１以上のコンポーネント信号からなるセカンダリコンポーネント信号（例えば、色差信号）とを有する映像信号について、符号化済みのプライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行うイントラ予測装置であって、予め定められた複数のイントラ予測モードから決定されたプライマリ予測モードに基づいてプライマリコンポーネント信号の予測画像を生成するプライマリ予測画像生成部と、前記プライマリ予測モードが示す予測方向に応じて、前記予測式の係数導出に用いる参照画素の位置を決定し、該参照画素の位置を示す参照画素位置情報を生成する参照画素選択部と、前記参照画素位置情報が示す、前記プライマリコンポーネント信号の画素及び前記セカンダリコンポーネント信号の画素から、前記予測式の係数を導出する係数導出部と、前記係数導出部により導出された係数を代入した予測式を用いて前記セカンダリコンポーネント信号のイントラ予測を行い、セカンダリコンポーネント信号の予測画像を生成する第１セカンダリ予測画像生成部と、を備えることを特徴とする。
【００１４】
さらに、本発明に係るイントラ予測装置において、前記参照画素選択部は、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、０度を含む範囲である、第１の角度以上第２の角度未満である場合には、前記参照画素の位置を、予測対象ブロックの上側に隣接する一行の画素（後述する図２に示す例では、隣接画素ａ１〜ａ８）とし、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、４５度を含む範囲である、前記第２の角度以上第３の角度未満である場合には、前記参照画素の位置を、前記一行の画素の一部、及び、予測対象ブロックの左側に隣接する一列の画素（後述する図２に示す例では、隣接画素ｂ１〜ｂ８）の一部とし、前記プライマリ予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、０度を含む範囲である、前記第３の角度以上第４の角度未満である場合には、前記参照画素の位置を、前記一列の画素とすることを特徴とする。
【００１５】
さらに、本発明に係るイントラ予測装置において、予め定められた複数のイントラ予測モードから決定されたセカンダリ予測モードに基づいてセカンダリコンポーネント信号の予測画像を生成する第２セカンダリ予測画像生成部と、前記第１セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像、及び前記第２セカンダリ予測画像生成部により生成されたセカンダリコンポーネント信号の予測画像のうち、いずれか一方を選択して出力するセカンダリ予測画像選択部と、を更に備えることを特徴とする。
【００１６】
また、上記課題を解決するため、本発明に係る符号化装置は、上述したイントラ予測装置を備えることを特徴とする。
【００１７】
また、上記課題を解決するため、本発明に係る復号装置は、上述したイントラ予測装置を備えることを特徴とする。
【００１８】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述したイントラ予測装置、符号化装置又は復号装置として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮した予測式を用いてイントラ予測を行うことにより、イントラ予測の確度を向上させることができるようになる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例に係る符号化側のイントラ予測装置の第１の構成例を示すブロック図である。
【図２】予測式の係数を導出する際に用いる参照画素を示す図である。
【図３】本発明の一実施例に係る符号化側のイントラ予測装置の第２の構成例を示すブロック図である。
【図４】本発明の一実施例に係る符号化装置の構成例を示すブロック図である。
【図５】本発明の一実施例に係る復号側のイントラ予測装置の第１の構成例を示すブロック図である。
【図６】本発明の一実施例に係る復号側のイントラ予測装置の第２の構成例を示すブロック図である。
【図７】本発明の一実施例に係る復号装置の構成例を示すブロック図である。
【図８】ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測モードを示す図である。
【図９】ＨＥＶＣ方式におけるイントラ予測モードを示す図である。
【図１０】異なるコンポーネント信号間における予測式を用いたイントラ予測を説明する図である。
【発明を実施するための形態】
【００２１】
本発明に係るイントラ予測装置は、プライマリコンポーネント信号と、その他の１以上のコンポーネント信号からなるセカンダリコンポーネント信号とを有する映像信号について、プライマリコンポーネント信号及び係数で表される予測式を用いて、セカンダリコンポーネント信号のイントラ予測を行う。以下に説明する本発明の実施例では、プライマリコンポーネント信号が輝度信号であり、セカンダリコンポーネント信号が色差信号である場合を例に説明する。なお、色差信号はＣｂ信号及びＣｒ信号からなり、色差信号Ｃｂ，Ｃｒの各々について予測式を用いてイントラ予測を行うが、以下の実施例では、色差信号Ｃｂ，Ｃｒのいずれに対しても適用可能であるため、両者を区別せずに色差信号と称する。
【００２２】
［符号化側のイントラ予測装置］
図１は、本発明の一実施例に係る符号化側のイントラ予測装置の第１の構成例を示すブロック図である。図１に示すように、符号化側のイントラ予測装置１は、輝度予測画像生成部（プライマリ予測画像生成部）１０と、参照画素選択部１１と、ダウンサンプリング部１２と、メモリ１３と、係数導出部１４と、第１色差予測画像生成部（第１セカンダリ予測画像生成部）１５と、を備える。
【００２３】
符号化側のイントラ予測装置１は、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う。この点を明示するために、図１（ａ）では、輝度信号についてイントラ予測を行う処理部のみ実線で示し、図１（ｂ）では、色差信号についてイントラ予測を行う処理部のみ実線で示している。つまり、イントラ予測装置１は、図１（ａ）に示すように、入力される輝度信号について輝度予測画像生成部１０によりブロック単位でイントラ予測を行い、輝度信号の予測モードである輝度予測モード、輝度信号の予測画像である輝度予測画像を生成する。その後、図１（ｂ）に示すように、入力される色差信号について参照画素選択部１１、ダウンサンプリング部１２、メモリ１３、係数導出部１４、及び第１色差予測画像生成部１５によりブロック単位でイントラ予測を行い、色差信号の予測画像である色差予測画像を生成する。なお、イントラ予測装置１が符号化装置に組み込まれた場合、後述するようにイントラ予測装置１には、輝度信号及び色差信号として、それぞれの局部復号画像が入力される。
【００２４】
輝度予測画像生成部１０は、輝度信号（プライマリコンポーネント信号）について、予測対象ブロックの周囲のブロックであって予測モードを決定済みのブロック（以下、「参照ブロック」という）の画像を参照し、予め定められた複数の予測モードから最適な予測モードである輝度予測モード（プライマリ予測モード）を決定し、決定した輝度予測モードを外部に出力する。輝度予測画像生成部１０に入力される輝度信号及び輝度予測画像生成部１０から出力される輝度予測モードは、その後に行われる色差信号のイントラ予測にも用いられる。
【００２５】
輝度予測画像生成部１０は、輝度予測モードを既知の手法により決定することができる。例えば、各予測モードに基づいて予測画像を求め、符号化コストを最小とする輝度予測モードをＲ−Ｄ最適化（Rate-Distortion Optimization）により決定する。ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式により８×８画素単位でイントラ予測する場合には、図８に示した予測モード０〜８の中から予測対象ブロックの輝度予測モードを決定し、ＨＥＶＣ方式によりイントラ予測する場合には、図９に示した予測モード０〜３３の中から予測対象ブロックの輝度予測モードを決定する。
【００２６】
また、輝度予測画像生成部１０は、決定した輝度予測モードに基づく予測画像である輝度予測画像を生成し、生成した輝度予測画像を外部に出力する。例えば、輝度予測モードが図８に示した予測モード０であった場合、輝度予測画像生成部１０は、予測対象ブロックの上側に隣接する画素をそれぞれ予測対象ブロックの同じ列の画素の予測値とした輝度予測画像を生成する。
【００２７】
参照画素選択部１１は、色差信号の予測対象ブロックと同一フレームの同一位置における輝度信号のブロックについて、輝度予測画像生成部１０により生成された輝度予測モードを取得する。そして、取得した輝度予測モードが示す予測方向に応じて、予測式の係数α，βを導出する際に用いる参照画素の位置を決定し、決定した参照画素の位置を示す参照画素位置情報を生成して係数導出部１４に出力する。
【００２８】
図２は、予測式の係数α，βを導出する際に用いる参照画素を示す図である。ここでは、予測対象ブロックのブロックサイズが８×８画素の場合、すなわち８×８画素単位でイントラ予測する場合を示している。このとき、予測対象ブロックの上側に隣接する隣接画素をａ１〜ａ８とし、予測対象ブロックの左側に隣接する隣接画素をｂ１〜ｂ８とする。参照画素選択部１１は、輝度予測画像生成部１０から入力される輝度信号の予測モードが示す予測方向に応じて、係数α，βを導出する際に用いる参照画素の位置を、隣接画素ａ１〜ａ８及びｂ１〜ｂ８の中から選択する。
【００２９】
例えば、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式において図８に示した予測モード０〜８が予め設定されている場合には、参照画素選択部１１は、次のように参照画素の位置を決定する。なお、予測方向の垂直下方向に対して反時計回り方向の角度は、予測方向が左斜め下方向のとき−４５度、下方向のとき０度、右斜め下方向のとき４５度、右方向のとき９０度となる。
・輝度信号の予測モードが、参照画素の平均値を予測値とする予測モード（予測モード２）である場合には、隣接画素ａ１〜ａ８及びｂ１〜ｂ８の全てを参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、０度を含む所定の範囲内（第１の角度以上第２の角度未満）である場合（予測モード３，７，０）には、隣接画素ａ１〜ａ８を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、４５度を含む所定の範囲内（前記第２の角度以上第３の角度未満）である場合（予測モード５，４，６）には、隣接画素ａ１〜ａ４及びｂ１〜ｂ４を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、９０度を含む所定の範囲内（前記第３の角度以上第４の角度未満）である場合（予測モード１，８）には、隣接画素ｂ１〜ｂ８を参照画素と決定する。
【００３０】
また、ＨＥＶＣ方式において図９に示した予測モード０〜３３が予め設定されている場合には、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の場合と同様に、参照画素選択部１１は次のように参照画素の位置を選択する。
・輝度信号の予測モードが、参照画素の平均値を予測値とする予測モードである場合（予測モード２）には、隣接画素ａ１〜ａ８及びｂ１〜ｂ８の全てを参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、０度を含む所定の範囲内（第１の角度以上第２の角度未満）である場合（予測モード６，２５，１３，２４，５，２３，１２，２２，０，２１，１１，２０，４）には、隣接画素ａ１〜ａ８を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、４５度を含む所定の範囲内（前記第２の角度以上第３の角度未満）である場合（予測モード１９，１０，１８，３，２６，１４，２７）には、隣接画素ａ１〜ａ４及びｂ１〜ｂ４を参照画素と決定する。
・輝度信号の予測モードが示す予測方向の、垂直下方向に対して反時計回り方向の角度が、９０度を含む所定の範囲内（前記第３の角度以上第４の角度未満）である場合（予測モード７，２８，１５，２９，１，３０，１６，３１，８，３２，１７，３３，９）には、隣接画素ｂ１〜ｂ８を参照画素と決定する。
【００３１】
なお、方向性を持ったイントラ予測が用いられなかった場合（例えば、上述した参照画素の平均値を予測値とするイントラＤＣ予測や、動き補償予測が用いられた場合）には、隣接画素ａ１〜ａ８及びｂ１〜ｂ８の全てを参照画素と決定する。また、上述した例では輝度予測モードが示す予測方向の角度を、２７０度を含む所定の範囲、３１５度を含む所定の範囲、及び０度を含む所定の範囲の３つに分類したが、より細かく分類して参照画素の位置を決定するようにしてもよい。
【００３２】
ダウンサンプリング部１２は、外部から入力される輝度信号の画像サイズを色差信号と同一の画像サイズにダウンサンプリングし、ダウンサンプリングされた輝度信号をメモリ１３に出力する。例えば、Ｙ，Ｃｂ，Ｃｒのフォーマットが４：２：２である場合には、輝度信号の画像サイズを水平方向に１／２にダウンサンプリングする。Ｙ，Ｃｂ，Ｃｒのフォーマットが４：１：１である場合には、輝度信号の画像サイズを水平方向に１／４にダウンサンプリングする。Ｙ，Ｃｂ，Ｃｒのフォーマットが４：２：０である場合には、輝度信号の画像サイズを水平方向に１／２にダウンサンプリングし、垂直方向に１／２にダウンサンプリングする。なお、Ｙ，Ｃｂ，Ｃｒのフォーマットが４：４：４である場合には、ダウンサンプリングを行わない。
【００３３】
メモリ１３は、外部から入力される色差信号、及びダウンサンプリング部１２から入力されるダウンサンプリングされた輝度信号を記憶する。
【００３４】
係数導出部１４は、参照画素選択部１１から入力される参照画素位置情報に基づいて、メモリ１３から色差信号の予測対象ブロックに隣接する復号済みの画素ＲｅｃＣ（ｉ）と、該画素に対応する位置にある輝度信号の復号済みの画素ＲｅｃＬ’（ｉ）とを取得し、上記の式（１）（２）により係数α，βを導出し、導出した係数α，βを第１色差予測画像生成部１５に出力する。
【００３５】
予測式を用いてイントラ予測を行う従来の技法では、ＲｅｃＣ（ｉ）、ＲｅｃＬ’（ｉ）として予測対象ブロックの隣接画素ａ１〜ａ８及びｂ１〜ｂ８の全てを用いて、上記の式（１）（２）により係数α，βを導出していた。しかし、本発明に係るイントラ予測装置１では、ＲｅｃＣ（ｉ）、ＲｅｃＬ’（ｉ）として、隣接画素ａ１〜ａ８及びｂ１〜ｂ８のうち、参照画素選択部１１によって選択された参照画素のみを用いて、上記の式（１）（２）により係数α，βを導出するため、上記の予測式（３）を、予測対象ブロックと該予測対象ブロックの隣接画素との相関を考慮したものとすることができる。
【００３６】
第１色差予測画像生成部１５は、係数導出部１４から入力される係数α，βと、メモリ１３から取得したダウンサンプリングされた輝度信号ＲｅｃＬ’［ｘ，ｙ］とを用いて、上記の式（３）の予測式により色差信号の予測画像である色差画像を生成し、生成した色差画像を外部に出力する。
【００３７】
図３は、本発明の一実施例に係る符号化側のイントラ予測装置の第２の構成例を示すブロック図である。図３に示すように、符号化側のイントラ予測装置２は、輝度予測画像生成部１０と、参照画素選択部１１と、ダウンサンプリング部１２と、メモリ１３と、係数導出部１４と、第１色差予測画像生成部１５と、第２色差予測画像生成部（第２セカンダリ予測画像生成部）１６と、色差予測画像選択部１７と、を備える。第２の構成例のイントラ予測装置２は、図１に示した第１の構成例のイントラ予測装置１と比較して、第２色差予測画像生成部１６、及び色差予測画像選択部１７を更に備える点が相違するが、その他の点は同様である。よって、図１に示した第１の構成例のイントラ予測装置２と同じ構成要素には同一の参照番号を付して説明を省略する。なお、図３では各処理ブロックを全て実線で示しているが、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う点は、図１に示した第１の構成例のイントラ予測装置１と同様である。
【００３８】
第１色差予測画像生成部１５は、生成した色差予測画像を外部ではなく、色差予測画像選択部１７に出力する。
【００３９】
第２色差予測画像生成部１６は、色差信号について、参照ブロックの画像を参照し、予め定められた複数の予測モードから最適な予測モードである色差予測モードを決定し、決定した色差予測モードを色差予測画像選択部１７に出力する。第２色差予測画像生成部１６は、色差予測モードを既知の手法により決定することができる。例えば、各予測モードに基づいて予測画像を求め、符号化コストを最小とする色差予測モードをＲ−Ｄ最適化により決定する。例えば、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式により８×８画素単位でイントラ予測する場合には、図８に示した予測モードの中から予測対象ブロックの色差予測モードを決定し、ＨＥＶＣ方式によりイントラ予測する場合は図９に示した予測モードの中から予測対象ブロックの色差予測モードを決定する。
【００４０】
また、第２色差予測画像生成部１６は、決定した色差予測モードに基づく予測画像である色差予測画像を生成し、生成した色差予測画像を色差予測画像選択部１７に出力する。
【００４１】
色差予測画像選択部１７は、第１色差予測画像生成部１５から入力される色差予測画像と、第２色差予測画像生成部１６から入力される色差予測画像のうち、いずれか一方、例えばＲ−Ｄ最適化により符号化コストが小さくなるほうの色差予測画像を選択し、選択した色差予測画像を外部に出力する。なお、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式やＨＥＶＣ方式で予め設定されている予測モードの一つを予測式に基づく予測モードに差し替えることにより、従来の方式に対してモード数が増加しないようにしてもよい。
【００４２】
このように、符号化側のイントラ予測装置１，２は、参照画素選択部１１により、輝度予測画像生成部１０が生成する輝度予測モードが示す予測方向に応じて参照画素位置情報を生成し、係数導出部１４により、参照画素位置情報が示す輝度信号の画素及び色差信号の画素から予測式の係数α，βを導出し、第１色差予測画像生成部１５により、係数α，βを代入した予測式を用いて色差信号のイントラ予測を行って色差予測画像を生成する。このため、イントラ予測装置１，２は、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮したイントラ予測を行うことができ、イントラ予測の確度を向上させることができるようになる。
【００４３】
また、符号化側のイントラ予測装置２は、予め定められた複数の予測モードから決定された色差予測モードに基づいて色差予測画像を生成する第２色差予測画像生成部１６と、第１色差予測画像生成部１５により生成された色差予測画像、及び第２色差予測画像生成部１６により生成された色差予測画像のうちいずれか一方を選択して出力する色差予測画像選択部１７と、を更に備える。このため、イントラ予測装置２は、相関を考慮した予測式に基づく色差予測画像と、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式による色差予測画像のうち、適したほうを選択することができるので、よりイントラ予測の確度を向上させることができるようになる。
【００４４】
なお、上述したイントラ予測装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置１，２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００４５】
［符号化装置］
次に、上述したイントラ予測装置１又は２を備える符号化装置について説明する。図４は、本発明の一実施例に係る符号化装置の構成を示すブロック図であり、ここではＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号化装置にイントラ予測装置１又は２を適用した例を示している。図４に示すように、符号化装置２０は、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、メモリ２７と、イントラ予測装置１，２と、動き補償部２８と、切替えスイッチ２９と、可変長符号化部３０とを備える。符号化装置２０は、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号について符号化を行った後に、色差信号について符号化を行う。よって、以下に説明する符号化装置２０の各処理ブロックは、輝度信号について処理した後に、色差信号について処理する点に留意されたい。
【００４６】
減算部２１は、輝度信号及び色差信号からなる映像信号（輝度信号又は色差信号）と、切替えスイッチ２９を介してイントラ予測装置１，２又は動き補償部２８から入力される予測画像（輝度予測画像又は色差予測画像）とを差分し、差分画像を直交変換部２２に出力する。
【００４７】
直交変換部２２は、減算部２１から入力される差分画像に対してブロック単位で直交変換を施し、得られる直交変換係数を量子化部２３に出力する。
【００４８】
量子化部２３は、直交変換部２２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、量子化された直交変換係数を逆量子化部２４及び可変長符号化部３０に出力する。
【００４９】
逆量子化部２４は、量子化部２３から入力される量子化された直交変換係数に対して逆量子化処理を行い、得られる直交変換係数を逆直交変換部２５に出力する。
【００５０】
逆直交変換部２５は、逆量子化部２４から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Inverse Discrete Cosine Transform）処理を施し、逆直交変換した画像を加算部２６に出力する。
【００５１】
加算部２６は、逆直交変換部２５から入力される逆直交変換した画像と、切替えスイッチ２９を介してイントラ予測装置１，２又は動き補償部２８から入力される予測画像（輝度予測画像又は色差予測画像）とを加算して局部復号画像を生成し、生成した局部復号画像をメモリ２７に出力する。符号化装置２０は、輝度信号について処理した後に色差信号について処理するので、色差信号のｎ番目のブロックを符号化する際には、メモリ２７には、色差信号の（ｎ−1）番目のブロックまでの局部復号画像、及び輝度信号のｎ番目のブロックまでの局部復号画像が記憶されている。
【００５２】
イントラ予測装置１，２は、メモリ２７に記憶された局部復号画像を参照し、上述したように輝度信号のイントラ予測画像を生成した後に、色差信号のイントラ予測画像を生成する。生成されたイントラ予測画像は切替えスイッチ２９を介して減算部２１及び加算部２６に出力される。また、イントラ予測装置１は輝度予測モードを生成して可変長符号化部３０に出力し、イントラ予測装置２は輝度予測モード及び色差予測モードを生成して可変長符号化部３０に出力する。
【００５３】
動き補償部２８は、映像信号に対して、メモリ２７に記憶された過去及び／又は未来のピクチャ（フレーム）を参照し、ＳＳＤ（Sum of Squared Difference）法やＳＡＤ（Sum of Absolute intensity Difference）法を用いたブロックマッチングにより動きベクトルを生成し、生成した動きベクトルを可変長符号化部３０に出力する。ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。
【００５４】
動き補償部２８は、メモリ２７に記憶された復号画像に対し、生成した動きベクトルを用いて動き補償を行ってインター予測（画面間予測）したインター予測画像を生成し、生成したインター予測画像を切替えスイッチ２９を介してインター予測画像を減算部２１及び加算部２６に出力する。
【００５５】
切替えスイッチ２９は、イントラ予測装置１，２から入力されるイントラ予測画像と、動き補償部２８から入力されるインター予測画像とを切替えて、減算部２１及び加算部２６に出力する。
【００５６】
可変長符号化部３０は、量子化部２３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施し、得られる符号化データを外部に出力する。また、可変長符号化部３０は、イントラ予測装置１，２から入力される予測モード、及び動き補償部２８から入力される動きベクトルの情報も可変長符号化処理を施し、得られる符号化データを外部に出力する。
【００５７】
このように、符号化装置２０はイントラ予測装置１又は２を備えるため、イントラ予測の確度を向上させることができ、それに伴い符号化効率を向上させることができるようになる。
【００５８】
なお、上述した符号化装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００５９】
［復号側のイントラ予測装置］
次に、復号側のイントラ予測装置について説明する。図５は、本発明の一実施例に係る復号側のイントラ予測装置の第１の構成例を示すブロック図である。図５に示すように、復号側のイントラ予測装置３は、輝度予測画像生成部１０と、参照画素選択部１１と、ダウンサンプリング部１２と、メモリ１３と、係数導出部１４と、第１色差予測画像生成部１５と、を備える。
【００６０】
復号側のイントラ予測装置３は、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う。この点を明示するために、図５（ａ）では、輝度信号についてイントラ予測を行う処理部のみ実線で示し、図５（ｂ）では、色差信号についてイントラ予測を行う処理部のみ実線で示している。つまり、イントラ予測装置３は、図５（ａ）に示すように、入力される輝度信号について輝度予測画像生成部１０によりブロック単位でイントラ予測を行い、輝度信号の予測画像である輝度予測画像を生成する。その後、図１（ｂ）に示すように、入力される色差信号について参照画素選択部１１、ダウンサンプリング部１２、メモリ１３、係数導出部１４、及び第１色差予測画像生成部１５によりブロック単位でイントラ予測を行い、色差信号の予測画像である色差予測画像を生成する。なお、イントラ予測装置３が復号装置に組み込まれた場合、後述するようにイントラ予測装置３には、輝度信号及び色差信号として、それぞれの復号画像が入力される。
【００６１】
図５に示す復号側のイントラ予測装置３は、図１に示した符号化側のイントラ予測装置１と比較して、輝度予測画像生成部１０が輝度予測モードを生成しない点、及び参照画素選択部１１が外部から入力される輝度予測モードを用いて参照画素位置情報を生成する点が相違するが、他のブロックの機能は、符号化側のイントラ予測装置１と同様である。
【００６２】
つまり、輝度予測画像生成部１０は符号化側から取得した輝度予測モードに基づく輝度予測画像を生成し、生成した輝度予測画像を外部に出力する。輝度予測画像生成部１０に入力される輝度信号及び輝度予測モードは、その後に行われる色差信号のイントラ予測にも用いられる。
【００６３】
参照画素選択部１１は、符号化側から取得した輝度予測モードに基づいて、予測式の係数α，βを導出する際に用いる参照画素の位置を選択し、参照画素の選択位置を示す参照画素位置情報を係数導出部１４に出力する。
【００６４】
ダウンサンプリング部１２は、符号化側から取得した輝度信号の画像サイズを、符号化側から取得した色差信号と同一の画像サイズにダウンサンプリングし、ダウンサンプリングされた輝度信号をメモリ１３に出力する。メモリ１３は、色差信号、及びダウンサンプリング部１２から入力されるダウンサンプリングされた輝度信号を記憶する。
【００６５】
係数導出部１４は、参照画素選択部１１から入力される参照画素位置情報に基づいて、メモリ１３から色差信号の予測対象ブロックに隣接する復号済みの画素ＲｅｃＣ（ｉ）と、該画素に対応する位置にある輝度信号の復号済みの画素ＲｅｃＬ’（ｉ）とを取得し、上記の式（１）（２）により係数α，βを導出し、導出した係数α，βを第１色差予測画像生成部１５に出力する。色差予測画像生成部１５は、係数導出部１４から入力される係数α，βと、メモリ１３から取得したダウンサンプリングされた輝度信号ＲｅｃＬ’［ｘ，ｙ］とを用いて、上記の式（３）の予測式により色差予測画像を生成し、生成した色差予測画像を外部に出力する。
【００６６】
図６は、本発明の一実施例に係る復号側のイントラ予測装置の第２の構成例を示すブロック図である。図６に示すように、復号側のイントラ予測装置４は、輝度予測画像生成部１０と、参照画素選択部１１と、ダウンサンプリング部１２と、メモリ１３と、係数導出部１４と、第１色差予測画像生成部１５と、第２色差予測画像生成部１６と、色差予測画像選択部１７と、を備える。第２の構成例の復号側のイントラ予測装置４は、図５に示した第１の構成例の復号側のイントラ予測装置３と比較して、第２色差予測画像生成部１６、及び色差予測画像選択部１７を更に備える点が相違するが、その他の点は同様である。よって、図５に示した第１の構成例の復号側のイントラ予測装置３と同じ構成要素には同一の参照番号を付して説明を省略する。なお、図６では各処理ブロックを全て実線で示しているが、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号についてイントラ予測を行った後に、色差信号についてイントラ予測を行う点は、図５に示した復号側の第１の構成例のイントラ予測装置３と同様である。
【００６７】
第１色差予測画像生成部１５は、生成した色差予測画像を外部ではなく、色差予測画像選択部１７に出力する。
【００６８】
第２色差予測画像生成部１６は、符号化側から取得した色差予測モードに基づいて色差予測画像を生成し、生成した色差予測画像を色差予測画像選択部１７に出力する。
【００６９】
色差予測画像選択部１７は、第１色差予測画像生成部１５から入力される色差予測画像と、第２色差予測画像生成部１６から入力される色差予測画像のうち、符号化側から入力される色差予測モードに基づいていずれか一方を選択して外部に出力する。つまり、色差予測モードが、予測式を用いて色差予測画像を生成する予測モードであった場合には第１色差予測画像生成部１５から入力される色差予測画像を選択し、それ以外の予測モードであった場合には第２色差予測画像生成部１６から入力される色差予測画像を選択する。なお、色差予測モードが、予測式を用いて色差予測画像を生成する予測モードであった場合には第２色差予測画像生成部１６による色差予測画像の生成を行わず、それ以外の予測モードであった場合には第１色差予測画像生成部１５による色差予測画像の生成を行わないようにしてもよい。
【００７０】
このように、復号側のイントラ予測装置３，４は、符号化側のイントラ予測装置１，２と同様に、参照画素選択部１１により、輝度予測画像生成部１０が生成する輝度予測モードが示す予測方向に応じて参照画素位置情報を生成し、係数導出部１４により、参照画素位置情報が示す輝度信号の画素及び色差信号の画素から予測式の係数α，βを導出し、第１色差予測画像生成部１５により、係数α，βを代入した予測式を用いて色差信号のイントラ予測を行って色差予測画像を生成する。このため、イントラ予測装置３，４は、予測対象ブロックと該予測対象ブロックに隣接する参照画素との相関を考慮したイントラ予測を行うことができ、イントラ予測の確度を向上させることができるようになる。
【００７１】
また、復号側のイントラ予測装置４は、予め定められた複数のイントラ予測モードから決定された色差予測モードに基づいて色差予測画像を生成する第２色差予測画像生成部１６と、第１色差予測画像生成部１５により生成された色差予測画像、及び第２色差予測画像生成部１６により生成された色差予測画像のうちいずれか一方を選択して出力する色差予測画像選択部１７と、を更に備える。このため、イントラ予測装置４は、相関を考慮した予測式に基づく色差予測画像と、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式による色差予測画像のうち、適したほうを選択することができるので、よりイントラ予測の確度を向上させることができるようになる。
【００７２】
なお、上述したイントラ予測装置３，４として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置３，４の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００７３】
［復号装置］
次に、上述したイントラ予測装置３又は４を備える復号装置について説明する。図７は、本発明の一実施例の復号装置の構成を示すブロック図であり、ここではＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の復号装置にイントラ予測装置３又は４を適用した例を示している。図７に示すように、復号装置４０は、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、メモリ４５と、イントラ予測装置３，４と、動き補償部４６と、切替えスイッチ４７とを備える。復号装置４０は、所定の単位ブロック（例えば、マクロブロック）ごとに、輝度信号について復号を行った後に、色差信号について復号を行う。よって、以下に説明する復号装置４０の各処理ブロックは、輝度信号について処理した後に、色差信号について処理する点に留意されたい。
【００７４】
可変長復号部４１は、符号化された直交変換係数に対して可変長復号処理を施して逆量子化部４２に出力し、符号化された予測モードに対して可変長復号処理を施してイントラ予測装置３，４に出力し、符号化された動きベクトルに対して可変長復号処理を施し、動き補償部４６に出力する。
【００７５】
逆量子化部４２は、可変長復号部４１から入力される量子化された直交変換係数に対して逆量子化処理を施し、得られる差分画像の直交変換係数を逆直交変換部４３に出力する。
【００７６】
逆直交変換部４３は、逆量子化部４２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる差分画像を加算部４４に出力する。
【００７７】
加算部４４は、逆直交変換部４３から得られる差分画像と、切替えスイッチ４７を介してイントラ予測装置３，４又は動き補償部４６から入力される予測画像とを加算し、復号画像をメモリ４５及び外部に出力する。メモリ４５には、輝度信号のあるブロックを復号する際には、輝度信号の一つ前のブロックまでの復号画像が記憶されている。また、色差信号のあるブロックを復号する際には、色差信号の一つ前のブロックまでの復号画像、及び同一フレームの輝度信号の復号画像が記憶されている。
【００７８】
イントラ予測装置３，４は、メモリ４５に記憶された復号画像を入力し、可変長復号部４１から入力される予測モードに基づいて輝度信号のイントラ予測画像を生成した後に、色差信号のイントラ予測画像を生成する。生成されたイントラ予測画像は、切替えスイッチ４７を介して加算部４４に出力される。
【００７９】
動き補償部４６は、メモリ４５に記憶された復号フレーム画像を参照し、可変長復号部４１から得られる動きベクトルを用いてインター予測画像を生成し、生成したインター予測画像を切替えスイッチ４７を介して加算部４４に出力する。
【００８０】
切替えスイッチ４７は、イントラ予測装置３，４から入力されるイントラ予測画像と、動き補償部４６から入力されるインター予測画像とを切替えて加算部４４に出力する。
【００８１】
このように、復号装置４０はイントラ予測装置３又は４を備えるため、イントラ予測の確度を向上させることができ、それに伴い復号画像の画質を向上させことができるようになる。
【００８２】
なお、上述した復号装置４０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置４０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００８３】
上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【００８４】
例えば、上述の実施例では、プライマリコンポーネント信号が輝度信号であり、セカンダリコンポーネント信号が色差信号である場合を例に説明したが、入力される映像信号がＲＧＢ信号である場合には、プライマリコンポーネント信号をＧ信号とし、セカンダリコンポーネント信号をＲ信号及びＢ信号として、同様に予測式を用いてＧ信号からＲ信号及びＢ信号のイントラ予測を行うことができる。また、入力される映像がマルチスペクトル信号のように多数のコンポーネント信号からなる場合でも、同様に予測式を用いてプライマリコンポーネント信号からセカンダリコンポーネント信号のイントラ予測を行うことができる。
【００８５】
また、上述の実施例ではプライマリコンポーネント信号がセカンダリコンポーネント信号より解像度が高い（画素数が多い）場合を例にしたためダウンサンプリング部１２を備えたが、プライマリコンポーネント信号がセカンダリコンポーネント信号より解像度が低い（画素数が少ない）場合はダウンサンプリング部１２の代わりにアップサンプル部を備えることで、同様に予測式を用いてプライマリコンポーネント信号からセカンダリコンポーネント信号のイントラ予測を行うことができる。
【産業上の利用可能性】
【００８６】
このように、本発明によれば、イントラ予測確度の確度を向上させることが可能となるので、映像信号をイントラ予測して符号化又は復号する任意の用途に有用である。
【符号の説明】
【００８７】
１，２  符号化側のイントラ予測装置
３，４  復号側のイントラ予測装置
１０    輝度予測画像生成部（プライマリ予測画像生成部）
１１    参照画素選択部
１２    ダウンサンプリング部
１３    メモリ
１４    係数導出部
１５    第１色差予測画像生成部（第１セカンダリ予測画像生成部）
１６    第２色差予測画像生成部（第２セカンダリ予測画像生成部）
１７    色差予測画像選択部
２０    符号化装置
２１    減算部
２２    直交変換部
２３    量子化部
２４，４２  逆量子化部
２５，４３  逆直交変換部
２６，４４  加算部
２７，４５  メモリ
２８，４６  動き補償部
２９，４７  切替えスイッチ
３０    可変長符号化部
４０    復号装置
４１    可変長復号部
【図１】
0005898452.tif 000003
【図２】
0005898452.tif 000004
【図３】
0005898452.tif 000005
【図４】
0005898452.tif 000006
【図５】
0005898452.tif 000007
【図６】
0005898452.tif 000008
【図７】
0005898452.tif 000009
【図８】
0005898452.tif 000010
【図９】
0005898452.tif 000011
【図１０】
0005898452.tif 000012