(57)【特許請求の範囲】
【請求項１】
入力された符号化対象の画像信号の一画面領域を所定の矩形領域毎に分割し、符号化対象領域を、分割された前記矩形領域において処理すべき対象となっている矩形領域とし、前記符号化対象領域に属する画像の原信号に対して、前記処理すべき対象となっている矩形領域の周囲の矩形領域の復号信号を利用して所定の面内予測を行うと共に予測信号を生成する画像符号化装置であって、
前記符号化対象領域の前記一画面領域における位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、
前記矩形領域のうち所定の一の矩形領域に属する画像の原信号に対して、その矩形領域の周囲の矩形領域の復号信号を用いて前記所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって前記所定の一の矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、
前記所定の一の矩形領域における画像の原信号から、前記予測手段から供給された前記予測信号を減算することにより残差信号を生成するとともに、前記予測手段から供給された前記予測方法を示す情報に基づいて、前記複数の予測方法のうち未使用の予測方法を特定し、特定した予測情報を予測補助情報として前記予測手段に供給して予測信号を生成させる処理を繰り返し、未使用の予測方法がなくなったら、前記複数の予測方法に対応して得られた複数の残差信号から、所定の評価方法に基づいて残差信号を選択する残差信号生成・選択手段と、
前記所定の一の矩形領域における選択された残差信号に対して直交変換を施して直交変換係数情報を生成し、その直交変換係数情報に対して量子化を施して量子化後情報を生成する量子化後情報生成手段と、
前記所定の一の矩形領域における前記量子化後情報に対してエントロピー符号化を行う符号化手段と、
前記量子化後情報に対して、逆量子化及び逆直交変換を施して復号残差信号を生成する復号残差信号生成手段と、
前記所定の一の矩形領域における前記復号残差信号と前記予測信号とを加算して前記所定の一の矩形領域における復号信号を生成する加算手段と、
前記処理位置制御手段からの前記処理位置制御信号に基づき、既に前記予測信号を生成し、符号化を行った前記矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段と、
を有し、
前記再予測制御手段により前記予測信号生成手段、前記残差信号生成・選択手段、前記量子化後情報生成手段、前記復号残差信号生成手段及び前記加算手段を制御して、最初の前記所定の一の矩形領域として前記符号化対象領域を設定してその符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号を生成させ、続いて前記所定の一の矩形領域として前記符号化対象領域の周囲の矩形領域のうち符号化が完了していない一の矩形領域を設定して、その矩形領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号を生成させた後、前記符号化対象領域の符号化済みの画像信号に対して、前記復号信号を生成した前記符号化対象領域の周囲の矩形領域の当該復号信号を用いて、その符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号をそれぞれ更新した後、前記符号化手段による再符号化を行わせることを特徴とする画像符号化装置。
【請求項２】
前記再予測制御手段は、
前記符号化対象領域の周囲の矩形領域のうち符号化が完了していないすべての周囲の矩形領域を順次に設定して、各矩形領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号をそれぞれ生成した後、前記符号化対象領域の符号化済みの画像信号に対して、前記符号化対象領域の周囲の各矩形領域の当該復号信号を利用して、その符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号をそれぞれ更新した後、前記符号化手段による再符号化を行わせることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記再予測制御手段は、
前記符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号の更新と、前記符号化対象領域の周囲の矩形領域のうち符号化が完了していない周囲の矩形領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号の更新とを、設定した回数だけ繰り返し行わせることを特徴とする請求項２記載の画像符号化装置。
【請求項４】
入力された符号化対象の画像信号の一画面領域を所定の矩形領域毎に分割し、符号化対象領域を、分割された前記矩形領域において処理すべき対象となっている矩形領域とし、前記符号化対象領域に属する画像の原信号に対して、前記処理すべき対象となっている矩形領域の周囲の矩形領域の復号信号を利用して所定の面内予測を行うと共に予測信号を生成する動作をコンピュータにより実行させる画像符号化プログラムであって、
前記コンピュータを、
前記符号化対象領域の前記一画面領域における位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、
前記矩形領域のうち所定の一の矩形領域に属する画像の原信号に対して、その矩形領域の周囲の矩形領域の復号信号を用いて前記所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって前記所定の一の矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、
前記所定の一の矩形領域における画像の原信号から、前記予測手段から供給された前記予測信号を減算することにより残差信号を生成するとともに、前記予測手段から供給された前記予測方法を示す情報に基づいて、前記複数の予測方法のうち未使用の予測方法を特定し、特定した予測情報を予測補助情報として前記予測手段に供給して予測信号を生成させる処理を繰り返し、未使用の予測方法がなくなったら、前記複数の予測方法に対応して得られた複数の残差信号から、所定の評価方法に基づいて残差信号を選択する残差信号生成・選択手段と、
前記所定の一の矩形領域における選択された残差信号に対して直交変換を施して直交変換係数情報を生成し、その直交変換係数情報に対して量子化を施して量子化後情報を生成する量子化後情報生成手段と、
前記所定の一の矩形領域における前記量子化後情報に対してエントロピー符号化を行う符号化手段と、
前記量子化後情報に対して、逆量子化及び逆直交変換を施して復号残差信号を生成する復号残差信号生成手段と、
前記所定の一の矩形領域における前記復号残差信号と前記予測信号とを加算して前記所定の一の矩形領域における復号信号を生成する加算手段と、
前記処理位置制御手段からの前記処理位置制御信号に基づき、既に前記予測信号を生成し、符号化を行った前記矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段と
して機能させ、前記再予測制御手段により、最初の前記所定の一の矩形領域として前記符号化対象領域を設定してその符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号を生成し、続いて前記所定の一の矩形領域として前記符号化対象領域の周囲の矩形領域のうち符号化が完了していない一の矩形領域を設定して、その矩形領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号を生成した後、前記符号化対象領域の符号化済みの画像信号に対して、前記復号信号を生成した前記符号化対象領域の周囲の矩形領域の当該復号信号を利用して、その符号化対象領域における前記予測信号、前記残差信号、前記量子化後情報、前記復号残差信号及び前記復号信号をそれぞれ更新した後、前記符号化手段による再符号化を行わせることを特徴とする画像符号化プログラム。
【請求項５】
符号化対象の画像信号の一画面領域を所定の矩形領域毎に分割し、符号化対象領域を、分割された前記矩形領域において処理すべき対象となっている矩形領域とし、前記符号化対象領域に属する画像の原信号に対して、前記処理すべき対象となっている矩形領域の周囲の矩形領域の復号信号を利用して所定の面内予測を行って符号化して得られた符号化ビットストリームに対して復号動作を行って、復号した画像信号を出力する画像復号装置であって、
前記符号化ビットストリームから、前記各矩形領域における残差信号に対して直交変換及び逆量子化を施して得られた量子化後情報を少なくとも復号するエントロピー復号手段と、
復号された前記量子化後情報に対して、逆量子化及び逆直交変換処理を施して各矩形領域の復号残差信号を生成する復号残差信号生成手段と、
復号信号を生成する復号対象の矩形領域の位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、
前記処理位置制御手段よりの処理位置制御信号に基づき現在復号対象となっている矩形領域の位置を特定し、その復号対象となっている矩形領域の周囲の領域の復号信号を用いて所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって前記矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、
前記予測信号と前記復号残差信号とを加算して前記復号信号を生成する加算手段と、
既に前記予測信号を生成した矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段と
を有し、前記再予測制御手段により前記予測手段、前記復号残差信号生成手段及び前記加算手段を制御して、前記復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号を生成させ、続いて前記復号対象となっている矩形領域の周囲の矩形領域のうち復号が完了していない一の矩形領域を設定して、その矩形領域における前記予測信号、前記復号残差信号及び前記復号信号を生成させた後、前記復号対象となっている矩形領域の画像信号に対して、前記復号信号を生成した前記周囲の矩形領域の当該復号信号を用いて、その復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号をそれぞれ更新することを特徴とする画像復号装置。
【請求項６】
前記再予測制御手段は、
前記復号対象となっている矩形領域の周囲の矩形領域のうち復号が完了していないすべての周囲の矩形領域を順次に設定して、各矩形領域における前記予測信号、前記復号残差信号及び前記復号信号をそれぞれ生成した後、前記復号対象となっている矩形領域の復号済みの画像信号に対して、前記復号対象となっている矩形領域の周囲の各矩形領域の当該復号信号を用いて、その復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号をそれぞれ更新することを特徴とする請求項５記載の画像復号装置。
【請求項７】
前記再予測制御手段は、
前記復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号の更新と、前記復号対象となっている矩形領域の周囲の矩形領域のうち復号が完了していない周囲の矩形領域における前記予測信号、前記復号残差信号及び前記復号信号の更新とを、設定した回数だけ繰り返し行わせることを特徴とする請求項６記載の画像復号装置。
【請求項８】
請求項１記載の画像符号化装置又は請求項４記載の画像符号化プログラムで動作するコンピュータにより生成された符号化ビットストリームに対して復号動作を行って、復号した画像信号を出力する画像復号処理をコンピュータに実行させる画像復号プログラムであって、
前記コンピュータを、
前記符号化ビットストリームから、前記各矩形領域における残差信号に対して直交変換及び逆量子化を施して得られた量子化後情報を少なくとも復号するエントロピー復号手段と、
復号された前記量子化後情報に対して、逆量子化及び逆直交変換処理を施して各矩形領域の復号残差信号を生成する復号残差信号生成手段と、
復号信号を生成する復号対象の矩形領域の位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、
前記処理位置制御手段よりの処理位置制御信号に基づき現在復号対象となっている矩形領域の位置を特定し、その復号対象となっている矩形領域の周囲の領域の復号信号を用いて所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって前記矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、
前記予測信号と前記復号残差信号とを加算して前記復号信号を生成する加算手段と、
既に前記予測信号を生成した矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段と
して機能させ、前記再予測制御手段により前記予測手段、前記復号残差信号生成手段及び前記加算手段を制御して、前記復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号を生成させ、続いて前記復号対象となっている矩形領域の周囲の矩形領域のうち復号が完了していない一の矩形領域を設定して、その矩形領域における前記予測信号、前記復号残差信号及び前記復号信号を生成させた後、前記復号対象となっている矩形領域の画像信号に対して、前記復号信号を生成した前記周囲の矩形領域の当該復号信号を用いて、その復号対象となっている矩形領域における前記予測信号、前記復号残差信号及び前記復号信号をそれぞれ更新することを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化プログラム、画像復号装置及び画像復号プログラムに係り、特に画像に対して面内符号化を行う際に、符号化対象となっている矩形領域の周囲に存在する符号化済みの矩形領域に対して局部復号を行うことで復号信号を生成し、この復号信号を利用しながら面内予測を行うことで予測信号を生成し、その結果を符号化及び復号に適用する画像符号化装置、画像符号化プログラム、画像復号装置及び画像復号プログラムに関する。
【背景技術】
【０００２】
ディジタル放送やネットワークを介した様々な動画像配信サービスが一般的となり、より高画質・高品質の動画像をより多く記録したいという要求から、更なる動画像の符号化効率向上が望まれている。
【０００３】
近年、従来の符号化技術の符号化効率を大幅に向上させたＭＰＥＧ−４ ＡＶＣ（以後、ＡＶＣもしくはＨ.２６４）などの新たな符号化方法を導入したものも存在し、これらを導入することでより効果的な情報の符号化を行うことができる。
【０００４】
上述のような符号化方法では、面内符号化（以後、イントラ符号化）を行う際に、符号化の処理対象となっている矩形領域（以後、ブロック）の周囲に存在する符号化済みブロックに対して局部復号を行うことで復号信号を生成し、この復号信号を用いて面内予測（以後、イントラ予測）を行うことで予測信号を生成する。その後、符号化対象となっているブロック内の信号成分と、生成した予測信号との差分によって得られる残差信号に対して、所定の直交変換および量子化を行うことで、符号化効率の改善を図っている（例えば、特許文献１参照）。
【０００５】
【特許文献１】特許第３７３４４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の動画像符号化であるＡＶＣでは、符号化の処理単位として多くのブロックサイズが利用できる。例えば、マクロブロック単位のブロックサイズは、横方向Ｍ画素、縦方向Ｎ画素（Ｍ，Ｎは自然数）をＭｘＮ画素と表記するものとすると、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素をもつブロックが利用できる。また、サブマクロブロック単位のブロックサイズは、８ｘ８画素、８ｘ４画素、４ｘ８画素、４ｘ４画素をもつブロックが利用できる。
【０００７】
ＡＶＣにおける符号化順序は、特にことわりがない場合には、図９（Ａ）が示すようなマクロブロック単位のラスタ順で処理が行われる。また、イントラ予測を行う場合の符号化の処理単位であるブロックは、輝度成分や色差成分などの符号化対象に応じて、１６ｘ１６画素（図９（Ｅ））、８ｘ８画素（図９（Ｃ））、４ｘ４画素（図９（Ｂ），（Ｄ））のブロックサイズが利用できる。ＡＶＣにおけるイントラ予測の処理順序においても、図９（Ｂ），（Ｃ），（Ｄ）の矢印の順序が示すようなラスタ順で処理が行われる。
【０００８】
ＡＶＣのイントラ予測では、予測対象となっているブロックに隣接するブロックで、かつ、既に符号化済みのブロックに対して局部復号を行うことで復号信号を生成し、この復号信号を利用して予測信号を生成する。
【０００９】
ここで、従来のイントラ予測では、符号化順序がラスタ順である場合には、図１０（Ａ）が示すように、符号化対象ブロックを基準として左、上、右上、左上のブロックが符号化済みのブロックであり、これらのブロック以外のブロックからは、局部復号によって得られる復号信号を利用して、符号化対象ブロックの予測信号を生成することができない。つまり、符号化順序において、既に処理されたブロックの復号信号は予測処理に利用できるが、まだ処理されていないブロックからは、局部復号ができないために復号信号が得られず、結果として予測処理に利用できないということになる。よって、従来のイントラ予測における予測方向は、図１０（Ｃ）が示すように限定された方向となり、周囲の画素からイントラ予測を行おうとした場合に、必ずしも十分な予測結果が得られないという問題がある。
【００１０】
本発明は以上の点に鑑みなされたもので、符号化順序によって予測方向が制限され、予測信号の精度が低下する問題を回避し、より精度の高い予測信号を生成することが可能な画像符号化装置、画像符号化プログラム、画像復号装置及び画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、第１の発明は、入力された符号化対象の画像信号の一画面領域を所定の矩形領域毎に分割し、符号化対象領域を、分割された矩形領域において処理すべき対象となっている矩形領域とし、符号化対象領域に属する画像の原信号に対して、処理すべき対象となっている矩形領域の周囲の矩形領域の復号信号を利用して所定の面内予測を行うと共に予測信号を生成する画像符号化装置であって、
符号化対象領域の一画面領域における位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、矩形領域のうち所定の一の矩形領域に属する画像の原信号に対して、その矩形領域の周囲の矩形領域の復号信号を用いて所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって所定の一の矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、所定の一の矩形領域における画像の原信号から、予測手段から供給された予測信号を減算することにより残差信号を生成するとともに、予測手段から供給された予測方法を示す情報に基づいて、複数の予測方法のうち未使用の予測方法を特定し、特定した予測情報を予測補助情報として予測手段に供給して予測信号を生成させる処理を繰り返し、未使用の予測方法がなくなったら、複数の予測方法に対応して得られた複数の残差信号から、所定の評価方法に基づいて残差信号を選択する残差信号生成・選択手段と、所定の一の矩形領域における選択された残差信号に対して直交変換を施して直交変換係数情報を生成し、その直交変換係数情報に対して量子化を施して量子化後情報を生成する量子化後情報生成手段と、所定の一の矩形領域における量子化後情報に対してエントロピー符号化を行う符号化手段と、量子化後情報に対して、逆量子化及び逆直交変換を施して復号残差信号を生成する復号残差信号生成手段と、所定の一の矩形領域における復号残差信号と予測信号とを加算して所定の一の矩形領域における復号信号を生成する加算手段と、処理位置制御手段からの処理位置制御信号に基づき、既に予測信号を生成し、符号化を行った矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段と、を有し、再予測制御手段により予測信号生成手段、残差信号生成・選択手段、量子化後情報生成手段、復号残差信号生成手段及び加算手段を制御して、最初の所定の一の矩形領域として符号化対象領域を設定してその符号化対象領域における予測信号、残差信号、量子化後情報、復号残差信号及び復号信号を生成させ、続いて所定の一の矩形領域として符号化対象領域の周囲の矩形領域のうち符号化が完了していない一の矩形領域を設定して、その矩形領域における予測信号、残差信号、量子化後情報、復号残差信号及び復号信号を生成させた後、符号化対象領域の符号化済みの画像信号に対して、復号信号を生成した符号化対象領域の周囲の矩形領域の当該復号信号を用いて、その符号化対象領域における予測信号、残差信号、量子化後情報、復号残差信号及び復号信号をそれぞれ更新した後、符号化手段による再符号化を行わせることを特徴とする。
【００１２】
また、上記の目的を達成するため、第２の発明は、第１の発明の各構成手段を、コンピュータにより実行させる画像符号化プログラムである。
【００１３】
また、上記の目的を達成するため、第３の発明は、符号化対象の画像信号の一画面領域を所定の矩形領域毎に分割し、符号化対象領域を、分割された矩形領域において処理すべき対象となっている矩形領域とし、符号化対象領域に属する画像の原信号に対して、処理すべき対象となっている矩形領域の周囲の矩形領域の復号信号を用いて所定の面内予測を行って符号化して得られた符号化ビットストリームに対して復号動作を行って、復号した画像信号を出力する画像復号装置であって、
符号化ビットストリームから、各矩形領域における残差信号に対して直交変換及び逆量子化を施して得られた量子化後情報を少なくとも復号するエントロピー復号手段と、復号された量子化後情報に対して、逆量子化及び逆直交変換処理を施して各矩形領域の復号残差信号を生成する復号残差信号生成手段と、復号信号を生成する復号対象の矩形領域の位置を管理し、この位置を示すための処理位置制御信号を出力する処理位置制御手段と、処理位置制御手段よりの処理位置制御信号に基づき現在復号対象となっている矩形領域の位置を特定し、その復号対象となっている矩形領域の周囲の領域の復号信号を用いて所定の面内予測を行うと共に、予め定められた複数の予測方法のうち、供給された予測補助情報に基づいて特定される予測方法によって矩形領域における予測信号を生成し、生成した予測信号と、この予測信号の生成に用いた予測方法を示す情報とを出力する予測手段と、予測信号と復号残差信号とを加算して復号信号を生成する加算手段と、既に予測信号を生成した矩形領域に対して、再度予測処理を実行するか否かを所定のルールに基づいて制御する再予測制御手段とを有し、再予測制御手段により予測手段、復号残差信号生成手段及び加算手段を制御して、復号対象となっている矩形領域における予測信号、復号残差信号及び復号信号を生成させ、続いて復号対象となっている矩形領域の周囲の矩形領域のうち復号が完了していない一の矩形領域を設定して、その矩形領域における予測信号、復号残差信号及び復号信号を生成させた後、復号対象となっている矩形領域の画像信号に対して、復号信号を生成した周囲の矩形領域の当該復号信号を用いて、その復号対象となっている矩形領域における予測信号、復号残差信号及び復号信号をそれぞれ更新することを特徴とする。
【００１４】
また、上記の目的を達成するため、第４の発明は、第２の発明の各構成手段を、コンピュータにより実行させる画像復号プログラムである。
【発明の効果】
【００１５】
第１の発明によれば、符号化対象の周囲の領域の復号信号を、符号化対象領域の面内予測に利用することで、従来制限されていた面内予測の予測方向を増やすことが可能となり、従来の面内予測によって得られる予測信号よりも予測精度の高い予測信号を生成することができる。
【００１６】
また、第１の発明によれば、面内予測の予測方向を増やし、従来の予測信号よりも予測精度の高い予測信号を生成し、以前生成した予測信号を更新することで、その後の処理で得られる新たな残差信号の信号振幅が抑制されるため、本発明の画像符号化方法によって得られる符号化ビットストリームの符号化効率を向上させることができる。
【００１７】
また、第２の発明によれば、第１の発明の画像符号化装置の符号化動作を、同様の符号化動作を記述した画像符号化プログラムによってコンピュータの動作を制御することで、コンピュータに第１の発明の画像符号化装置と同様な符号化動作を実現させることができる。
【００１８】
また、第３の発明によれば、第１の発明又は第２の発明により生成された符号化ビットストリームから、正しく符号化結果を復号することができる。
【００１９】
更に、第４の発明によれば、第３の発明の画像復号装置の復号動作を、同様の復号動作を記述した画像復号プログラムによってコンピュータの動作を制御することで、コンピュータに第３の発明の画像復号装置と同様な復号動作を実現させることができる。
【発明を実施するための最良の形態】
【００２０】
次に、発明を実施するための最良の形態について図面を併せ参照して詳細に説明する。
【００２１】
（画像符号化装置）
まず、本発明の画像符号化装置の一実施の形態について図面を参照して説明する。
【００２２】
図１は、本発明になる画像符号化装置の一実施の形態のブロック図を示す。図１に示すように、本実施の形態の画像符号化装置１００は、ピクチャ格納メモリ１０２、再予測制御器１０４、処理位置制御器１０６、復号ピクチャ格納メモリ１０７、予測器１０９、予測ピクチャ格納メモリ１１０、減算器１１１、差分ピクチャ格納メモリ１１２、残差制御器１１３、直交変換器１１５、量子化器１１６、スイッチ１１７、逆量子化器１１８、逆直交変換器１１９、加算器１２０、エントロピー符号化器１２１、を少なくとも備えた構成である。
【００２３】
次に、図１に示す本発明の一実施の形態の画像符号化装置１００の各構成部分の詳細について説明する。
【００２４】
説明を簡単にするため、以後、イントラ予測を行う際の処理単位を４ｘ４画素のブロック（矩形領域）であるものとして話を進めるが、イントラ予測のブロックサイズを特に限定するものではなく、８ｘ８画素、１６ｘ１６画素などの様々なブロックサイズによってイントラ予測を行うような構成であっても構わない。
【００２５】
ピクチャ格納メモリ１０２は、入力された符号化対象となる画像信号の一画面領域、または動画像信号の一画面領域を入力信号として取得し、符号化対象ピクチャとして格納する機能を有する。格納した符号化対象ピクチャは、所定の矩形領域、つまり所定の大きさをもつブロックに分割されたものとしてピクチャ格納メモリ１０２内で扱われる。ここでは４ｘ４画素のブロックサイズのブロックとして扱われる。
【００２６】
また、ピクチャ格納メモリ１０２は、外部の各手段およびピクチャ格納メモリ１０２内の状態から得られる、面内の各ブロックに属する情報を管理する機能と、ブロックに属する情報を必要とする各手段に供給する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは原信号に相当する。また、ブロックのサイズ、指定されたブロックの状態、ブロックの利用履歴、指定されたブロックの周囲のブロックの状態などの情報が含まれるようにすると更によい。ここでは、ピクチャ格納メモリ１０２は、少なくとも符号化対象となっているブロックに属する原信号を減算器１１１に供給する機能を有する。
【００２７】
更に、ピクチャ格納メモリ１０２は、後述する処理位置制御器１０６から現在符号化対象となっているブロックの位置を特定するための処理位置制御信号を取得する機能を有する。
【００２８】
再予測制御器１０４は、既にイントラ予測を行ったブロックに対して再度イントラ予測を行うかどうかを制御する機能を有する。再予測制御器１０４は、イントラ予測の再予測の制御を所定のルールに基づいて行う機能を有すると良い構成となる。また、必要であればイントラ予測の再予測の制御を行うためのルールを特定するための再予測制御情報１０３を取得する機能を有すると更に良い構成となる。ここで、再予測制御情報１０３は、符号化出力の際に別途所定のエントロピー符号化が行われ、出力符号１２２と共に符号化ビットストリームとして出力されるようにすると更に良い構成となる。
【００２９】
また、再予測制御器１０４は、イントラ予測の再予測の制御を行うための再予測制御情報１０３を取得し、それに基づいて再予測制御信号を生成して予測器１０９、残差制御器１１３に供給する機能を有する。また、再予測制御器１０４は、処理位置制御器１０６から現在符号化対象となっているブロックの位置を特定するための処理位置制御信号を取得する機能を有する。更に、再予測制御器１０４は、イントラ予測の再予測の必要性に応じて符号化出力を制御するために、スイッチ１１７を切り替えるための制御信号をスイッチ１１７に供給する機能を有する。
【００３０】
処理位置制御器１０６は、処理位置制御情報１０５に基づいて、処理するブロックの順序、符号化対象となっているブロックの位置、符号化対象となっているブロックの周囲のブロックの符号化の状態を管理し、少なくとも符号化対象となっているブロックの位置を特定するための処理位置制御信号を生成して、ピクチャ格納メモリ１０２、再予測制御器１０４、復号ピクチャ格納メモリ１０７、予測器１０９、予測ピクチャ格納メモリ１１０、差分ピクチャ格納メモリ１１２、残差制御器１１３に供給する機能を有する。ここで、処理位置制御信号には、符号化対象となっているブロックの周囲のブロックの符号化の状態を含むようにするとよい。
【００３１】
また、処理位置制御器１０６は、処理するブロックの順序を決定するための処理位置制御情報１０５を取得し、取得した処理位置制御情報１０５に基づいて処理するブロックの順序を決定する機能を有すると更に良い構成となる。ここで、処理位置制御情報１０５は、符号化出力の際に別途所定のエントロピー符号化が行われ、出力符号１２２と共に符号化ビットストリームとして出力されるようにすると更に良い構成となる。
【００３２】
復号ピクチャ格納メモリ１０７は、処理位置制御器１０６から処理位置制御信号を取得し、符号化対象となっているブロックの位置を特定する機能を有する。また、復号ピクチャ格納メモリ１０７は、加算器１２０から復号信号を含むブロックを取得し、符号化対象となっているブロックの位置の復号結果として格納する機能を有する。ここで、復号ピクチャ格納メモリ１０７は、同一のブロックの位置に対して、複数の復号信号を含むブロックを関連付けて格納することができる機能を有するようにすることが望ましい。これは、再予測処理によって面内の同一の位置において、異なる予測方法に基づいて生成された予測信号と復号残差信号から復号信号が生成され、復号ピクチャ格納メモリ１０７に供給される場合があるためである。
【００３３】
また、復号ピクチャ格納メモリ１０７は、外部の各手段および復号ピクチャ格納メモリ１０７内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは復号信号に相当する。また、各ブロックにおいて、符号化が完了しているかを示す情報が含まれると良い構成となる。更に、復号ピクチャ格納メモリ１０７は、予測器１０９に対し、要求された面内の位置のブロックに属する情報を供給する機能を有する。
【００３４】
予測器１０９は、再予測制御器１０４から再予測制御信号を取得する機能を有する。取得した再予測制御信号に基づいて、現在符号化対象となっているブロックに対して再予測を行うかどうか特定する機能を有する。また、予測器１０９は、処理位置制御器１０６から、符号化対象となっているブロックの位置を特定するために必要となる処理位置制御信号を取得し、取得した処理位置制御信号に基づいて、現在符号化対象となっているブロックの面内の位置を特定する機能を有する。また、必要であれば、処理位置制御器１０６から、処理位置制御信号として符号化対象となっているブロックの周囲のブロックの符号化の状態を取得する機能を有すると更に良い構成となる。
【００３５】
また、予測器１０９は、イントラ予測を行う際に必要となる復号信号を取得するため、復号ピクチャ格納メモリ１０７から符号化対象となっているブロックの周囲のブロックで、かつ、利用可能な復号信号が存在するブロックに属する情報を取得する機能を有する。また、必要であれば、予測器１０９は、予測ピクチャ格納メモリ１１０から符号化対象となっているブロックの周囲のブロックで、利用可能な予測信号が存在するブロックに属する情報を取得する機能を有すると更に良い構成となる。更に、予測器１０９は、残差制御器１１３から予測補助情報を取得し、取得した予測補助情報に基づいてイントラ予測を行う際の予測方法を特定する機能を有する。
【００３６】
また、予測器１０９は、取得した符号化対象となっているブロックの周囲のブロックで利用可能な復号信号に基づいて、特定された予測方法で符号化対象となっているブロックの予測信号を生成する機能を有する。また、予測器１０９は、生成した予測信号を含む、符号化対象となっているブロックに属する情報を、予測ピクチャ格納メモリ１１０に供給する機能を有する。ここで、供給するブロックに属する情報として、取得した予測補助情報を追加することで、生成した予測信号がどのような予測方法によって生成されたものかを特定することができ、更に良い構成となる。
【００３７】
更に、予測器１０９は、残差制御器１１３から、残差信号が選択されたことを示す信号と、選択された残差信号を含むブロックに属する情報に含まれる予測補助情報を取得する機能を有する。予測器１０９は、残差信号が選択されたことを示す信号を取得すると、予測ピクチャ格納メモリ１１０から予測補助情報に関連付けられた予測信号を含むブロックを取得する機能を有する。
【００３８】
また更に、予測器１０９は、予測ピクチャ格納メモリ１１０から取得した、予測補助情報に対応する予測信号を含むブロックを、加算器１２０に供給する機能を有する。ここで、予測補助情報に対応する予測信号を含むブロックを予測ピクチャ格納メモリ１１０から取得できなかった場合には、取得した予測補助情報に基づいて再度予測方法を特定し、予測信号を生成した後に、生成した予測信号を含むブロックを、加算器１２０に供給する機能を有するようにすると更に良い構成となる。
【００３９】
予測ピクチャ格納メモリ１１０は、処理位置制御器１０６から符号化対象となっているブロックの位置を特定するために必要となる処理位置制御信号を取得する機能を有する。また、予測ピクチャ格納メモリ１１０は、予測器１０９から予測信号を含むブロックを取得し、符号化対象となっているブロックの位置の予測結果として格納する機能を有する。ここで、予測ピクチャ格納メモリ１１０は、同一のブロックの位置に対して、複数の予測信号を含むブロックを関連付けて格納することができる機能を有するようにすることが望ましい。これは、予測器１０９によって面内の同一の位置において、異なる予測方法に基づいて生成された予測信号が供給される場合があるためである。
【００４０】
また、予測ピクチャ格納メモリ１１０は、外部の各手段および予測ピクチャ格納メモリ１１０内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは予測信号に相当する。また、各ブロックにおいて、符号化が完了しているかを示す情報が含まれると良い構成となる。
【００４１】
更に、予測ピクチャ格納メモリ１１０は、予測器１０９、減算器１１１に対し、要求された面内の位置のブロックに属する情報を供給する機能を有する。通常、予測器１０９に対しては、符号化対象となっているブロックに属する情報が供給されるが、予測器１０９から予測補助情報を伴ってブロックの要求があった場合には、予測補助情報に関連付けられたブロックに属する情報が供給されるようにすると良い。
【００４２】
減算器１１１は、ピクチャ格納メモリ１０２から、符号化対象となっているブロックに属する原信号を取得する機能と、予測ピクチャ格納メモリ１１０から、符号化対象となっているブロックに属する予測信号を取得する機能とを有する。また、減算器１１１は、取得した原信号から取得した予測信号を減算することで残差信号を生成し、生成した残差信号を含むブロックを差分ピクチャ格納メモリ１１２に供給する機能を有する。
【００４３】
差分ピクチャ格納メモリ１１２は、処理位置制御器１０６から処理位置制御信号を取得し、符号化対象となっているブロックの位置を特定する機能を有する。また、差分ピクチャ格納メモリ１１２は、減算器１１１から残差信号を含むブロックを取得し、符号化対象となっているブロックの位置の減算結果として格納する機能を有する。
【００４４】
ここで、差分ピクチャ格納メモリ１１２は、同一のブロックの位置に対して、複数の残差信号を含むブロックを関連付けて格納することができる機能を有するようにすることが望ましい。これは、予測器１０９において、面内の同一の位置に対するイントラ予測を行う際に、異なる予測方法に基づいて生成された予測信号によるものであり、この複数の異なる予測信号を含むブロックが減算器１１１に供給されることによって異なる残差信号が生成され、差分ピクチャ格納メモリ１１２に供給される場合があるためである。
【００４５】
また、差分ピクチャ格納メモリ１１２は、外部の各手段および差分ピクチャ格納メモリ１１２内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは残差信号に相当する。また、各ブロックにおいて、符号化が完了しているかを示す情報が含まれると良い構成となる。また、同一のブロックの位置に対して関連付けられた複数のブロックを判別するための情報として予測補助情報が各ブロックに属する情報として含まれると良い構成となる。差分ピクチャ格納メモリ１１２は、残差制御器１１３に対し、要求された面内の位置のブロックに属する情報を供給する機能を有する。
【００４６】
残差制御器１１３は、再予測制御器１０４から再予測制御信号を取得する機能を有する。また、残差制御器１１３は、処理位置制御器１０６から処理位置制御信号を取得し、符号化対象となっているブロックの位置を特定する機能を有する。また、残差制御器１１３は、差分ピクチャ格納メモリ１１２から、符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を取得する機能を有する。また、残差制御器１１３は、取得した符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を解析し、予測器１０９のイントラ予測においてまだ行われていない予測方法を特定し、特定された予測方法を特定するための予測補助情報１０８を生成して予測器１０９に供給する機能を有する。ここで、全てのイントラ予測の予測方法から生成された残差信号の中から最も情報量が少ない予測方法を特定した予測制御情報１０８である最終的な予測補助情報１１４は、符号化出力の際に別途所定のエントロピー符号化が行われ、出力符号１２２とともに符号化ビットストリームとして出力されるようにすると更に良い構成となる。
【００４７】
また、残差制御器１１３は、取得した符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を解析し、解析の結果新たな予測方法によって予測信号を生成する必要がないと判断した場合には、取得した複数の残差信号を比較し、複数の残差信号の中で最も情報量が少ないものを選択する機能を有する。残差制御器１１３は、選択された残差信号を含むブロックを直交変換器１１５に供給する機能を有する。また、残差制御器１１３は、残差信号を選択後、予測器１０９に対して、残差信号が選択されたことを示す信号と、選択された残差信号を含むブロックに属する情報に含まれる予測補助情報１０８を供給する機能を有する。
【００４８】
直交変換器１１５は、残差制御器１１３から選択された残差信号を含むブロックを取得し、取得したその残差信号に対して所定の直交変換を行い、直交変換係数情報を生成する機能を有する。また、直交変換器１１５は、生成した直交変換係数情報を量子化器１１６に供給する機能を有する。
【００４９】
量子化器１１６は、直交変換器１１５から直交変換係数情報を取得し、取得したその直交変換係数情報に対して所定の量子化パラメータに基づいて量子化を行い、量子化後情報を生成する機能を有する。また、量子化器１１６は、生成した量子化後情報を、スイッチ１１７を介してエントロピー符号化器１２１、逆量子化器１１８に供給する。
【００５０】
スイッチ１１７は、再予測制御器１０４からスイッチを切り替えるための制御信号を取得し、制御信号に従ってスイッチの接続および切断を行う機能を有する。スイッチ１１７の端子には、量子化器１１６から量子化後情報が供給され、スイッチが接続されている場合には、エントロピー符号化器１２１に対して、量子化後情報が供給される。
【００５１】
逆量子化器１１８は、量子化器１１６から量子化後情報を取得し、取得したその量子化後情報に対して、所定の量子化パラメータに基づいて逆量子化を行い、復号直交変換係数情報を生成する機能を有する。また、逆量子化器１１８は、生成した復号直交変換係数情報を、逆直交変換器１１９に供給する機能を有する。
【００５２】
逆直交変換器１１９は、逆量子化器１１８から復号直交変換係数情報を取得し、取得したその復号直交変換係数情報に対して所定の逆直交変換を行うことで、復号残差信号を生成する機能を有する。また、逆直交変換器１１９は、生成した復号残差信号を含むブロックを加算器１２０に供給する機能を有する。
【００５３】
加算器１２０は、予測器１０９から予測信号を含むブロックと、逆直交変換器１１９から復号残差信号を含むブロックを取得し、取得した予測信号と復号残差信号とを加算することで復号信号を生成する機能を有する。また、加算器１２０は、生成した復号信号を含むブロックを復号ピクチャ格納メモリ１０７に供給する機能を有する。
【００５４】
エントロピー符号化器１２１は、量子化器１１６から供給される量子化後情報を、スイッチ１１７を介して取得し、取得したその量子化後情報に対して、所定のエントロピー符号化を行い、符号化ビットストリームを生成する。また、エントロピー符号化器１２１は、生成した符号化ビットストリームを出力信号として出力する機能を有する。
【００５５】
次に、図７、図８、図１０を用いて、予測器１０９における、イントラ予測の処理順序、及び選択されるイントラ予測方法の詳細について説明する。
【００５６】
図７は、本発明のイントラ予測を行うブロックの順序及び再予測処理の様子を示した概念図である。本発明では、所定のブロック数を符号化の単位として処理を進める。ここでは、説明を簡単にするため、図７に示すように、ブロック０、ブロック１Ａ、ブロック１Ｂ、ブロック２の４つのブロックを符号化の単位として扱うものとするが、この処理単位は特に限定されるものではなく、横４ブロック、縦４ブロックなどといった、ＭｘＮブロック（Ｍ，Ｎは整数）であっても構わない。また、ここではブロック０を符号化対象となっているブロックとし、それ以外のブロック１Ａ，１Ｂ，２は、周囲のブロックであるものとする。図７中の（０／０）、（０／１Ａ）などは、本発明のイントラ予測において、（再予測回数／現在予測を行っているブロック）を示している。
【００５７】
まず、図７の（０／０）に示すように、符号化を行おうとしている４つのブロックのうち、左上のブロックであるブロック０を符号化対象となっているブロックとし、それ以外の３つのブロックは周囲のブロックであるとする。この符号化対象となっているブロック０に対して、イントラ予測を行おうとした場合に利用できる復号信号は、周囲のブロックであるブロック１Ａ，１Ｂ，２はまだ符号化されていないため利用することができない。
【００５８】
よって、図７の（０／０）中の符号化済み領域に記された丸印の復号信号を用いて予測信号を生成する。この場合、例えば、従来の符号化であるＡＶＣのイントラ予測で利用する予測方向、及び予測方法を利用することで、ブロック０の予測信号を生成する。ここで、ＡＶＣのイントラ予測では、モード０からモード８までの９つの予測モード（予測方法）が存在する。予測の方向は、図１０（Ｃ）で示されるような８方向が利用できる。また、それぞれの予測方法は、図１０（Ｄ）から図１０（Ｌ）で示されるように、ブロックに隣接する復号信号を用いてブロック内の予測信号を生成するとよい。このようにしてブロック０の予測信号を求め、ブロック０に対して符号化及び復号を行うことで、ブロック０の復号信号が周囲のブロックで利用できるようにする。
【００５９】
ここで、予測信号を求める際に、通常は、すべての予測モード、つまり予測方法を試行することで全ての予測モードにおける予測信号を生成し、後段で得られる残差信号をそれぞれ生成する。この全ての予測モードから生成された残差信号の中から、最も情報量が少ないものを選択することで、最終的な予測方法が選択されることが望ましい。
【００６０】
次に、図７の（０／１Ａ）のように、ブロック１Ａに対して同様にイントラ予測を行う。イントラ予測を進める順序は、ここでは説明を簡単にするために、「ブロック０、ブロック１Ａ、ブロック１Ｂ、ブロック２」の順で説明を進めるが、ブロック１Ａとブロック１Ｂが逆の順序であっても構わない。ブロック１Ａに対しても同様に通常の図１０が示すようなイントラ予測方法によって予測信号を求め、ブロック１Ａに対して符号化及び復号を行うことで、ブロック１Ａの復号信号が周囲のブロックで利用できるようにする。同様に、図７の（０／１Ｂ）、（０／２）において、ブロック１Ｂ、ブロック２に対しても同様なイントラ予測を行い、復号信号を利用できるようにする。
【００６１】
ここまでの処理で、符号化対象となっているブロックであるブロック０、及びその周囲のブロックであるブロック１Ａ，１Ｂ，２の復号信号が利用できるようになったため、次に、図７の（１／０）に示すように、ブロック０に対して、周囲のブロックから新たに利用できる復号信号を用いて、再びイントラ予測を行う。ここで、利用するイントラ予測の方法を、例えば、従来の符号化であるＡＶＣのイントラ予測で利用する予測方向、及び予測方法を利用することで、ブロック０の予測信号を更新するようにする。
【００６２】
また、図８に示すように、新たな予測モードを追加するようにしてもよい。下、右、右下のブロックの復号信号が予測に利用できるようになったことから、図８では、ＡＶＣのイントラ予測に存在する、モード０からモード８までの９つの予測モードを参考に、上下左右対称の予測方向に基づいたモードを図８（Ｄ）〜（Ｌ）に示すようなモード９からモード１７として用意して利用するようにしても構わない。この再予測により、ブロック０の予測信号を更新し、符号化及び復号することで復号信号を更新する。なお、再予測処理の場合の予測方向を図８（Ｃ）に示す。
【００６３】
更新されたブロック０の復号信号を用いて、図７の（１／１Ａ）に示すように、ブロック１Ａに対して再びイントラ予測を行う。このように、更新された復号信号を利用することで、予測モードの決定や、生成される予測信号の精度を高めることができるようになる。同様に、図７の（１／１Ｂ）、（１／２）において、ブロック１Ｂ、ブロック２に対しても同様に再度イントラ予測を行い、復号信号を更新する。
【００６４】
また、図７の（Ｎ／０）から（Ｎ／２）に示すように、イントラ予測をＮ回繰り返して再予測により予測信号を符号化対象のブロックとその周囲のブロックとで更新を繰り返すことで、従来のイントラ予測よりも精度の高い予測信号を生成することができるようになる。
【００６５】
次に、図１のブロック図に示す本発明になる画像符号化装置の一実施の形態の動作を図２のフローチャートに従って説明する。
【００６６】
まず、入力信号として入力された符号化対象となる画像信号（本明細書において、画像信号には、動画像信号、静止画像信号、連続する静止画像信号などが含まれる）の一画面領域である符号化対象ピクチャが、ピクチャ格納メモリ１０２に格納される。また、再予測制御器１０４は、再予測処理が完了するまで符号化出力を制限するために、スイッチ１１７を切断する（ステップＳ１０１）。
【００６７】
続いて、処理位置制御器１０６は、符号化対象となるブロックの位置を特定し（ステップＳ１０２）、ピクチャ格納メモリ１０２、再予測制御器１０４、復号ピクチャ格納メモリ１０７、予測器１０９、予測ピクチャ格納メモリ１１０、差分ピクチャ格納メモリ１１２、残差制御器１１３に処理位置制御信号をそれぞれ供給することで、各手段の符号化対象となるブロックの位置を確定する。
【００６８】
続いて、残差制御器１１３は、差分ピクチャ格納メモリ１１２から、符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を取得し、更にその取得した符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を解析し、予測器１０９のイントラ予測においてまだ行われていない予測方法を特定する。そして、残差制御器１１３は、特定された予測方法を特定するための、予測補助情報１０８を予測器１０９に供給する。これにより、予測器１０９は、残差制御器１１３から予測補助情報１０８を取得する（ステップＳ１０３）。
【００６９】
その後、取得した予測補助情報に基づいてイントラ予測を行う際の予測方法を特定する。すなわち、予測器１０９は、再予測制御器１０４から再予測制御信号を取得し、現在符号化対象となっているブロックに対して再予測を行うかどうか特定する。ここでは、再予測の必要があると判断されたものとして話を進める。また、必要であれば、予測器１０９は、処理位置制御器１０６から、処理位置制御信号として符号化対象となっているブロックの周囲のブロックの符号化の状態を取得する。
【００７０】
予測器１０９は、イントラ予測を行う際に必要となる復号信号を取得するため、復号ピクチャ格納メモリ１０７から符号化対象となっているブロックの周囲のブロックで、かつ利用可能な復号信号が存在するブロックに属する情報を取得することで、予測に利用できる画素を取得する（ステップＳ１０４）。また、必要であれば、予測器１０９は、予測ピクチャ格納メモリ１１０から符号化対象となっているブロックの周囲のブロックで、利用可能な予測信号が存在するブロックに属する情報を取得する。予測器１０９は、取得した符号化対象となっているブロックの周囲のブロックで利用可能な復号信号に基づいて、特定された予測方法で符号化対象となっているブロックの予測信号を生成することで予測処理を行う（ステップＳ１０５）。その後、予測器１０９は、生成した予測信号を含む、符号化対象となっているブロックに属する情報を、予測ピクチャ格納メモリ１１０に供給する。
【００７１】
予測ピクチャ格納メモリ１１０は、予測器１０９から予測信号を含むブロックを取得し、符号化対象となっているブロックの位置の予測結果として格納する。続いて、減算器１１１は、ピクチャ格納メモリ１０２から、符号化対象となっているブロックに属する原信号を取得する。また、予測ピクチャ格納メモリ１１０から、符号化対象となっているブロックに属する予測信号を取得する。減算器１１１は、これら取得した原信号から取得した予測信号を減算し、残差信号を生成することで差分処理を行う（ステップＳ１０６）。減算器１１１は、生成した残差信号を含むブロックを差分ピクチャ格納メモリ１１２に供給する。差分ピクチャ格納メモリ１１２は、減算器１１１から残差信号を含むブロックを取得し、符号化対象となっているブロックの位置の減算結果として格納する。
【００７２】
その後、残差制御器１１３は、差分ピクチャ格納メモリ１１２から、符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を取得する。残差制御器１１３は、取得した符号化対象となっているブロックの位置に関連付けられた複数のブロックに属する情報を解析し、予測器１０９のイントラ予測において全ての予測方法、ここでは全ての予測モードを試行したか（ステップＳ１０７）を判定する。
【００７３】
残差制御器１１３において、全ての予測モードを試行していないと判断された場合（ステップＳ１０７でＮＯ）、予測器１０９のイントラ予測においてまだ行われていない予測方法を特定し、特定された予測方法を特定するための予測補助情報１０８を予測器１０９に供給することで、予測補助情報１０８を更新する（ステップＳ１０８）。その後、ステップＳ１０３に戻り、異なる予測方法による予測処理を行う。
【００７４】
残差制御器１１３において、全ての予測モードを試行した場合（ステップＳ１０７でＹＥＳ）、取得した複数の残差信号を比較し、複数の残差信号の中で最も情報量が少ないものを選択する（ステップＳ１０９）。その後、残差制御器１１３は、選択された残差信号を含むブロックを直交変換器１１５に供給する。また、残差制御器１１３は、残差信号を選択後、残差信号が選択されたことを示す信号と、選択された残差信号の予測モードを示す最終的な予測補助情報１１４を出力する。
【００７５】
その後、再予測制御器１０４は、再予測処理が必要であるか判定する（ステップＳ１１０）。ここで、必要であれば、再予測制御情報１０３に基づいて再予測処理が必要であるかを判定する。再予測制御器１０４において、再予測処理が必要でないと判定された場合（ステップＳ１１０でＮＯ）、再予測制御器１０４は、符号化出力を行うことができるように、スイッチ１１７を接続する（ステップＳ１１１）。
【００７６】
その後、直交変換器１１５は、残差制御器１１３から選択された残差信号を含むブロックを取得し、取得した残差信号に対して所定の直交変換を行い（ステップＳ１１２）、直交変換係数情報を生成し、量子化器１１６に供給する。量子化器１１６は、直交変換器１１５から直交変換係数情報を取得し、取得した直交変換係数情報に対して所定の量子化パラメータに基づいて量子化を行い（ステップＳ１１３）、生成した量子化後情報を、スイッチ１１７を介してエントロピー符号化器１２１に供給する。
【００７７】
エントロピー符号化器１２１は、量子化器１１６から供給される量子化後情報を、スイッチ１１７を介して取得し、取得した量子化後情報に対して、所定のエントロピー符号化を行い（ステップＳ１１４）、生成した符号化ビットストリームを出力信号１２２として出力する。その後、ステップＳ１１７の逆量子化処理に進む。
【００７８】
再予測制御器１０４において、再予測処理が必要であると判定された場合（ステップＳ１１０でＹＥＳ）、直交変換器１１５は、残差制御器１１３から選択された残差信号を含むブロックを取得し、取得した残差信号に対して所定の直交変換を行い（ステップＳ１１５）、直交変換係数情報を生成し、量子化器１１６に供給する。量子化器１１６は、直交変換器１１５から直交変換係数情報を取得し、取得した直交変換係数情報に対して所定の量子化パラメータに基づいて量子化を行い（ステップＳ１１６）、生成した量子化後情報を逆量子化器１１８に供給する。
【００７９】
その後、逆量子化器１１８は、量子化器１１６から量子化後情報を取得し、取得した量子化後情報に対して、所定の量子化パラメータに基づいて逆量子化を行い（ステップＳ１１７）、生成した復号直交変換係数情報を、逆直交変換器１１９に供給する。逆直交変換器１１９は、逆量子化器１１８から復号直交変換係数情報を取得し、取得した復号直交変換係数情報に対して所定の逆直交変換を行うことで（ステップＳ１１８）、復号残差信号を生成し、その復号残差信号を含むブロックを加算器１２０に供給する。
【００８０】
その後、加算器１２０は、予測器１０９から予測信号を含むブロックを取得すると共に、逆直交変換器１１９から復号残差信号を含むブロックを取得し、取得した予測信号と復号残差信号とを加算する（ステップＳ１１９）ことで復号信号を生成する。
【００８１】
その後、復号ピクチャ格納メモリ１０７は、加算器１２０から復号信号を含むブロックを取得し、符号化対象となっているブロックの位置の復号結果として格納することで、次のイントラ予測処理に備える。そして、処理位置制御器１０６は、面内の符号化処理が完了したかどうかを判定する（ステップＳ１２０）。
【００８２】
処理位置制御器１０６において、面内処理がまだ完了していないと判断した場合（ステップＳ１２０でＮＯ）、ステップＳ１０１に戻り、本実施の形態の画像符号化処理を継続する。一方、処理位置制御器１０６において、面内処理が既に完了したと判断した場合（ステップＳ１２０でＹＥＳ）、本実施の形態の画像符号化処理を終了する。
【００８３】
このようにしてエントロピー符号化器１２１から出力された出力信号１２２は、符号化ビットストリームとして蓄積媒体やネットワークによる伝送により配信され、端末装置によって再生されることになる。端末装置で再生する場合には、配信された符号化ビットストリームは端末装置の復号装置によって復号化された後に再生される。
【００８４】
このように、本実施の形態の画像符号化装置によれば、まず、符号化対象領域の原信号から、利用可能な周囲の復号信号を用いて所定の面内予測によって得た予測信号を減算して残差信号を生成し、所定の符号化及び復号を行って復号残差信号を生成する。生成した復号残差信号と、既に得られている予測信号とを加算して復号信号を生成する。この符号化対象領域の復号信号と、利用可能な復号信号が存在する周囲の領域の復号信号とを新たに利用して、符号化対象の周囲の領域の予測信号を所定の面内予測によって生成する。続いて、符号化対象の周囲の領域の原信号から、生成した予測信号を減算して残差信号を生成し、所定の符号化及び復号を行って復号残差信号を生成する。更に、生成した復号残差信号と、生成した予測信号とを加算することで、符号化対象の周囲の領域の復号信号を得る。
【００８５】
本実施の形態では、このようにして得られた符号化対象の周囲の領域の復号信号を、符号化対象領域の面内予測に利用することで、従来制限されていた面内予測の予測方向を増やすことが可能となり、従来の面内予測によって得られる予測信号よりも予測精度の高い予測信号を生成することが可能となる。また、面内予測の予測方向を増やし、従来の予測信号よりも予測精度の高い予測信号を生成し、以前生成した予測信号を更新することで、その後の処理で得られる新たな残差信号の信号振幅が抑制されるため、得られる符号化ビットストリームの符号化効率を向上につながる。
符号化対象の周囲の領域の復号信号を、符号化対象領域の面内予測に利用することで、従来制限されていた面内予測の予測方向を増やすことが可能となり、従来の面内予測によって得られる予測信号よりも予測精度の高い予測信号を生成することができ、以前生成した予測信号を更新することで、その後の処理で得られる新たな残差信号の信号振幅が抑制されるため、本実施の形態によって得られる符号化ビットストリームの符号化効率を向上させることができる。
【００８６】
また、本実施の形態によれば、更新された符号化対象領域の予測信号を用いて復号信号を更新し、この更新した復号信号と、利用可能な復号信号が存在する周囲の領域の復号信号を用いて、符号化対象の周囲の領域の面内予測を行うことで、より予測精度の高い新たな予測信号を生成することが可能となる。
【００８７】
また、本実施の形態によれば、符号化対象領域の予測信号と、符号化対象の周囲の領域の予測信号を順次繰り返して更新することで、予測信号の精度を向上させることができる。これにより、符号化対象領域の予測信号及び符号化対象領域の周囲の領域の予測信号よりも、得られる予測信号の予測精度が向上するため、その後の処理で得られる新たな残差信号の信号振幅が抑制されるため、本実施の形態によって得られる符号化ビットストリームの符号化効率を更に向上させることができる。
【００８８】
（画像符号化プログラム）
図３は、本発明になる画像符号化プログラムの一実施の形態により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置３００は、各種の情報を入力するための入力装置３０１と、各種の情報を出力するための出力装置３０２と、本発明の一実施の形態の画像符号化プログラムにより動作する中央処理制御装置３０３と、外部記憶装置３０４と、中央処理制御装置３０３による演算処理の際の作業領域などに用いる一時記憶装置３０５と、外部と通信するための通信装置３０６とが、双方向のバス３０７により接続された構成とされている。
【００８９】
中央処理制御装置３０３は、一実施の形態の画像符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置３０６により取り込まれ、図１に示した、再予測制御器１０４に相当する再予測制御手段３０８、処理位置制御器１０６に相当する処理位置制御手段３０９、予測器１０９に相当する予測手段３１０、残差制御器１１３に相当する残差制御手段３１１、直交変換器１１５に相当する直交変換手段３１２、量子化器１１６に相当する量子化手段３１３、逆量子化器１１８に相当する逆量子化手段３１４、逆直交変換器１１９に相当する逆直交変換手段３１５、エントロピー符号化器１２１に相当するエントロピー符号化手段３１６、減算器１１１に相当する減算手段３１７、加算器１２０に相当する加算手段３１８の各機能を少なくとも有し、図１に示した画像符号化装置と同様の動作をソフトウェア処理により実行する。
【００９０】
これにより、この実施の形態の画像符号化プログラムにおいても、図１に示した画像符号化装置と同様に、ＡＶＣなどのイントラ予測と同様にして符号化対象となっていたブロックの周囲のブロックから復号信号を利用できるようにし、その後再度最初に符号化対象となっていたブロックのイントラ予測をやり直すことで、最初に行ったイントラ予測によって生成した予測信号よりも、より精度の高い予測信号を生成する。これにより、符号化対象となっていたブロックを予測に利用する周囲のブロックに対しても、イントラ予測をやり直すことで、符号化対象となっていたブロックの周囲のブロックの予測信号も精度を向上できるため、結果として符号化効率を向上させることができる。更に、このようなイントラ予測の再予測を繰り返し行うことで、符号化対象となっていたブロックとその周囲のブロックの予測信号の精度を相互に向上させることができる。
【００９１】
（画像復号装置）
次に、本発明の画像符号化装置又は本発明の画像符号化プログラムによって動作するコンピュータによって生成された符号化ビットストリームを取得して復号を行う、本発明の画像復号装置の一実施の形態について、図４及び図５を用いて説明する。
【００９２】
図４は、本発明になる画像復号装置の一実施の形態のブロック図を示す。図４に示すように、本実施の形態の復号装置４００は、エントロピー復号器４０２、再予測制御器４０４、処理位置制御器４０６、スイッチ４０７、逆量子化器４０８、逆直交変換器４０９、差分ピクチャ格納メモリ４１０、加算器４１１、予測ピクチャ格納メモリ４１３、予測器４１４、復号ピクチャ格納メモリ４１５、を少なくとも備えるように構成される。
【００９３】
エントロピー復号器４０２は、入力信号４０１として、本発明の一実施の形態の画像符号化装置又は本発明の一実施の形態の画像符号化プログラムによって動作するコンピュータによって生成された符号化ビットストリームを取得する機能を有する。また、エントロピー復号器４０２は、取得した符号化ビットストリームに対して所定のエントロピー復号を行い、復号量子化後情報を生成する機能と、生成した復号量子化後情報をスイッチ４０７を介して逆量子化器４０８に供給する機能とを有する。
【００９４】
再予測制御器４０４は、既にイントラ予測を行ったブロックに対して再度イントラ予測を行うかどうかを制御する機能を有する。再予測制御器４０４は、イントラ予測の再予測の制御を所定のルールに基づいて行う機能を有すると良い構成となる。また、必要であれば再予測制御器４０４は、イントラ予測の再予測の制御を行うためのルールを特定するための再予測制御情報４０３を符号化ビットストリームから復号して取得する機能を有すると更に良い構成となる。再予測制御器４０４は、イントラ予測の再予測を制御するための信号である再予測制御信号を予測器４１４に供給する機能と、処理位置制御器４０６から現在復号対象となっているブロックの位置を特定するための処理位置制御信号を取得する機能と、イントラ予測の再予測の必要性に応じて復号の入力を制御するために、スイッチ４０７を切り替えるための制御信号をスイッチ４０７に供給する機能とを有する。
【００９５】
処理位置制御器４０６は、処理するブロックの順序、復号対象となっているブロックの位置、復号対象となっているブロックの周囲のブロックの復号の状態を管理し、少なくとも復号対象となっているブロックの位置を特定するための処理位置制御信号を、再予測制御器４０４、差分ピクチャ格納メモリ４１０、予測ピクチャ格納メモリ４１３、予測器４１４、復号ピクチャ格納メモリ４１５にそれぞれ供給する機能を有する。ここで、処理位置制御信号には、復号対象となっているブロックの周囲のブロックの復号の状態を含むようにすると良い。また、処理位置制御器４０６は、処理するブロックの順序を決定するための処理位置制御情報４０５を符号化ビットストリームから復号して取得し、取得した処理位置制御情報４０５に基づいて処理するブロックの順序を決定する機能を有すると更に良い構成となる。
【００９６】
スイッチ４０７は、再予測制御器４０４からスイッチを切り替えるための制御信号を取得し、その制御信号に従ってスイッチの接続及び切断を行う機能を有する。スイッチ４０４の端子には、エントロピー復号器４０２から復号量子化後情報が供給され、スイッチが接続されている場合には、逆量子化器４０８に対して、供給された復号量子化後情報をそのまま出力する。
【００９７】
逆量子化器４０８は、エントロピー復号器４０２からスイッチ４０７を介して復号量子化後情報を取得し、取得した復号量子化後情報に対して、所定の量子化パラメータに基づいて逆量子化を行い、復号直交変換係数情報を生成する機能を有する。逆量子化器４０８は、生成した復号直交変換係数情報を、逆直交変換器４０９に供給する。
【００９８】
逆直交変換器４０９は、逆量子化器４０８から復号直交変換係数情報を取得し、取得した復号直交変換係数情報に対して所定の逆直交変換を行うことで、復号残差信号を生成する機能を有する。逆直交変換器４０９は、生成した復号残差信号を含むブロックを差分ピクチャ格納メモリ４１０に供給する。
【００９９】
差分ピクチャ格納メモリ４１０は、処理位置制御器４０６から処理位置制御信号を取得し、復号対象となっているブロックの位置を特定する機能を有する。また、差分ピクチャ格納メモリ４１０は、逆直交変換器４０９から復号残差信号を含むブロックを取得し、復号対象となっているブロックの位置の結果として格納する機能を有する。また、差分ピクチャ格納メモリ４１０は、外部の各手段及び差分ピクチャ格納メモリ４１０内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは残差信号に相当する。また、各ブロックにおいて、復号が完了しているかを示す情報が含まれると良い構成となる。差分ピクチャ格納メモリ４１０は、加算器４１１に対し、要求された面内の位置のブロックに属する情報を供給する機能を有する。
【０１００】
加算器４１１は、予測器４１４から予測信号を含むブロックと、差分ピクチャ格納メモリ４１０から復号残差信号を含むブロックを取得し、取得したそれら予測信号と復号残差信号とを加算することで復号信号を生成する機能を有する。加算器４１１は、生成した復号信号を含むブロックを復号ピクチャ格納メモリ４１５に供給する。
【０１０１】
予測ピクチャ格納メモリ４１３は、処理位置制御器４０６から、復号対象となっているブロックの位置を特定するために必要となる処理位置制御信号を取得すると共に、予測器４１４から予測信号を含むブロックを取得し、復号対象となっているブロックの位置の予測結果を格納する機能を有する。ここで、予測ピクチャ格納メモリ４１３は、同一のブロックの位置に対して、複数の予測信号を含むブロックを関連付けて格納することができる機能を有するようにすることが望ましい。これは、予測器４１４によって面内の同一の位置において、異なる予測方法に基づいて生成された予測信号が供給される場合があるためである。
【０１０２】
また、予測ピクチャ格納メモリ４１３は、外部の各手段及び予測ピクチャ格納メモリ４１３内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは予測信号に相当する。また、各ブロックにおいて、復号が完了しているかを示す情報が含まれると良い構成となる。予測ピクチャ格納メモリ４１３は、予測器４１４に対し、要求された面内の位置のブロックに属する情報を供給する。通常、予測器４１４に対しては、復号対象となっているブロックに属する情報が供給されるが、予測ピクチャ格納メモリ４１３は、予測器４１４から予測補助情報を伴ってブロックの要求があった場合には、予測補助情報に関連付けられたブロックに属する情報が供給されるようにすると良い。
【０１０３】
予測器４１４は、再予測制御器４０４から再予測制御信号を取得し、取得した再予測制御信号に基づいて、現在復号対象となっているブロックに対して再予測を行うかどうか特定する機能を有する。また、予測器４１４は、処理位置制御器４０６から、復号対象となっているブロックの位置を特定するために必要となる処理位置制御信号を取得し、取得した処理位置制御信号に基づいて、現在復号対象となっているブロックの面内の位置を特定する機能を有する。また、必要であれば、予測器４１４は、処理位置制御器４０６から、処理位置制御信号として復号対象となっているブロックの周囲のブロックの復号の状態を取得する機能を有すると更に良い構成となる。
【０１０４】
更に、予測器４１４は、イントラ予測を行う際に必要となる復号信号を取得するため、復号ピクチャ格納メモリ４１５から復号対象となっているブロックの周囲のブロックで、かつ、利用可能な復号信号が存在するブロックに属する情報を取得する機能を有する。また、必要であれば、予測器４１４は、予測ピクチャ格納メモリ４１３から復号対象となっているブロックの周囲のブロックで、利用可能な予測信号が存在するブロックに属する情報を取得する機能を有すると更に良い構成となる。
【０１０５】
また、更に、予測器４１４は、符号化ビットストリームを復号して得られた予測補助情報を取得し、取得した予測補助情報に基づいてイントラ予測を行う際の予測方法を特定する機能を有する。更に、予測器４１４は、取得した復号対象となっているブロックの周囲のブロックで利用可能な復号信号に基づいて、特定された予測方法で復号対象となっているブロックの予測信号を生成する機能を有する。また、生成した予測信号を含む、復号対象となっているブロックに属する情報を、予測ピクチャ格納メモリ４１３に供給する機能を有する。ここで、供給するブロックに属する情報として、取得した予測補助情報を追加することで、生成した予測信号がどのような予測方法によって生成されたものかを特定することができ、更に良い構成となる。
【０１０６】
また、予測器４１４は、必要に応じて、予測ピクチャ格納メモリ４１３から予測補助情報に関連付けられた予測信号を含むブロックを取得する機能を有すると良い。予測器４１４は、予測ピクチャ格納メモリ４１３から取得した、予測補助情報に対応する予測信号を含むブロックを、加算器４１１に供給する機能を有すると良い。ここで、予測補助情報に対応する予測信号を含むブロックを予測ピクチャ格納メモリ４１３から取得できなかった場合には、予測器４１４は、取得した予測補助情報に基づいて再度予測方法を特定し、予測信号を生成した後に、生成した予測信号を含むブロックを、加算器４１１に供給する機能を有するようにすると更に良い構成となる。
【０１０７】
復号ピクチャ格納メモリ４１５は、処理位置制御器４０６から処理位置制御信号を取得し、復号対象となっているブロックの位置を特定する機能を有する。また、復号ピクチャ格納メモリ４１５は、加算器４１１から復号信号を含むブロックを取得し、復号対象となっているブロックの位置の復号結果として格納する機能を有する。ここで、復号ピクチャ格納メモリ４１５は、同一のブロックの位置に対して、複数の復号信号を含むブロックを関連付けて格納することができる機能を有するようにすることが望ましい。これは、再予測処理によって面内の同一の位置において、異なる予測方法に基づいて生成された予測信号と復号残差信号から復号信号が生成され、復号ピクチャ格納メモリ４１５に供給される場合があるためである。
【０１０８】
また、復号ピクチャ格納メモリ４１５は、外部の各手段及び復号ピクチャ格納メモリ４１５内の状態から得られる、面内の各ブロックに属する情報を管理する機能を有する。ここで、ブロックに属する情報は、少なくともブロック内の画像信号、ここでは復号信号に相当する。また、各ブロックにおいて、復号が完了しているかを示す情報が含まれると良い構成となる。更に、復号ピクチャ格納メモリ４１５は、予測器４１４に対し、要求された面内の位置のブロックに属する情報を供給する機能を有する。
【０１０９】
次に、図４の本発明の画像復号装置の一実施の形態の動作を図５のフローチャートに従って説明する。
【０１１０】
まず、処理位置制御器４０６は、処理するブロックの順序を決定するための処理位置制御情報４０５を符号化ビットストリームから復号して取得し、取得した処理位置制御情報４０５に基づいて処理するブロックの順序を決定する。処理位置制御器４０６は、少なくとも復号対象となっているブロックの位置を特定するための処理位置制御信号を、再予測制御器４０４、差分ピクチャ格納メモリ４１０、予測ピクチャ格納メモリ４１３、予測器４１４、復号ピクチャ格納メモリ４１５にそれぞれ供給する。
【０１１１】
再予測制御器４０４は、必要であればイントラ予測の再予測の制御を行うためのルールを特定するための再予測制御情報４０３を符号化ビットストリームから復号して取得する。また、再予測制御器４０４は、処理位置制御器４０６から現在復号対象となっているブロックの位置を特定するための処理位置制御信号を取得する。更に、再予測制御器４０４は、イントラ予測の再予測の必要性に応じて復号の入力を制御するために、スイッチ４０７を切り替えるための制御信号をスイッチ４０７に供給する。その後、スイッチ４０７は、再予測制御器４０４から通知された制御信号に応じて、スイッチを接続する（ステップＳ２０１）。
【０１１２】
エントロピー復号器４０２は、入力信号４０１として、本発明の一実施の形態の画像符号化装置もしくは本発明の一実施の形態の画像符号化プログラムによって動作するコンピュータによって生成された符号化ビットストリームを取得する。エントロピー復号器４０２は、取得した符号化ビットストリームに対して所定のエントロピー復号を行い（ステップＳ２０２）、復号量子化後情報を生成する。エントロピー復号器４０２は、生成した復号量子化後情報を、スイッチ４０７を介して逆量子化器４０８に供給する。
【０１１３】
逆量子化器４０８は、エントロピー復号器４０２からスイッチ４０７を介して復号量子化後情報を取得し、取得した復号量子化後情報に対して、所定の量子化パラメータに基づいて逆量子化を行い（ステップＳ２０３）、生成した復号直交変換係数情報を、逆直交変換器４０９に供給する。
【０１１４】
逆直交変換器４０９は、逆量子化器４０８から復号直交変換係数情報を取得し、取得した復号直交変換係数情報に対して所定の逆直交変換を行い（ステップＳ２０４）、生成した復号残差信号を含むブロックを差分ピクチャ格納メモリ４１０に供給する。
【０１１５】
差分ピクチャ格納メモリ４１０は、処理位置制御器４０６から処理位置制御信号を取得し、復号対象となっているブロックの位置を特定する。また、差分ピクチャ格納メモリ４１０は、逆直交変換器４０９から復号残差信号を含むブロックを取得し、復号対象となっているブロックの位置の結果として格納する。
【０１１６】
予測器４１４は、再予測制御器４０４から取得した再予測制御信号に基づいて、現在復号対象となっているブロックに対して再予測を行うかどうか特定する。また、予測器４１４は、処理位置制御器４０６から、復号対象となっているブロックの位置を特定するために必要となる処理位置制御信号を取得し、取得した処理位置制御信号に基づいて、現在復号対象となっているブロックの面内の位置を特定する（ステップＳ２０５）。
【０１１７】
続いて、予測器４１４は、符号化ビットストリームを復号して得られた予測補助情報を取得し（ステップＳ２０６）、取得した予測補助情報に基づいてイントラ予測を行う際の予測方法を特定する。続いて、予測器４１４は、復号ピクチャ格納メモリ４１５から復号対象となっているブロックの周囲のブロックで、かつ、利用可能な復号信号が存在するブロックに属する情報を取得することで、イントラ予測を行う際に必要となる復号信号、つまり予測に利用できる画素を取得する（ステップＳ２０７）。
【０１１８】
また、必要であれば、予測器４１４は、予測ピクチャ格納メモリ４１３から復号対象となっているブロックの周囲のブロックで、利用可能な予測信号が存在するブロックに属する情報を取得する。予測器４１４は、取得した復号対象となっているブロックの周囲のブロックで利用可能な復号信号に基づいて、特定された予測方法で復号対象となっているブロックの予測信号を生成することで、予測処理を行う（ステップＳ２０８）。また、予測器４１４は、生成した予測信号を含む、復号対象となっているブロックに属する情報を、予測ピクチャ格納メモリ４１３に供給する。
【０１１９】
また、予測器４１４は、必要に応じて、予測ピクチャ格納メモリ４１３から予測補助情報に関連付けられた予測信号を含むブロックを取得し、その予測補助情報に対応する予測信号を含むブロックを、加算器４１１に供給する。ここで、予測器４１４は、予測補助情報に対応する予測信号を含むブロックを予測ピクチャ格納メモリ４１３から取得できなかった場合には、取得した予測補助情報に基づいて再度予測方法を特定し、予測信号を生成した後に、生成した予測信号を含むブロックを、加算器４１１に供給する。
【０１２０】
加算器４１１は、予測器４１４から予測信号を含むブロックと、差分ピクチャ格納メモリ４１０から復号残差信号を含むブロックを取得してそれらを加算することで（ステップＳ２０９）、復号信号が生成される。復号ピクチャ格納メモリ４１５は、処理位置制御器４０６から処理位置制御信号を取得し、復号対象となっているブロックの位置を特定する。また、復号ピクチャ格納メモリ４１５は、加算器４１１から復号信号を含むブロックを取得し、復号対象となっているブロックの位置の復号結果として格納する。
【０１２１】
その後、再予測制御器４０４は、再予測制御情報４０３に基づいて、現在復号対象となっているブロックに対して再予測処理が必要か否かを判断する（ステップＳ２１０）。再予測制御器４０４において、再予測処理が必要であると判断した場合（ステップＳ２１０でＹＥＳ）、再予測制御器４０４は、スイッチ４０７に対してスイッチを切断するための制御信号を供給し、スイッチ４０７を切断する（ステップＳ２１１）。その後、ステップＳ２０５に戻って、予測処理を継続する。
【０１２２】
再予測制御器４０４において、再予測処理が必要でないと判断した場合（ステップＳ２１０でＮＯ）、処理位置制御器４０６が、現在の復号の状態を確認し、面内の復号処理が完了したかどうかを判断する（ステップＳ２１２）。処理位置制御器４０６において、面内処理がまだ完了していないと判断した場合（ステップＳ２１２でＮＯ）、ステップＳ２０１に戻り、スイッチ４０７の接続処理の後、所定の復号処理を継続する。
【０１２３】
一方、処理位置制御器４０６において、面内処理が完了したと判断した場合（ステップＳ２１２でＹＥＳ）、復号ピクチャ格納メモリ４１５に格納されている復号ピクチャを出力信号４１６として出力し、復号処理を終了する。
【０１２４】
このように、本実施の形態の画像復号装置によれば、復号対象となっているブロックのイントラ予測を行う際に、復号対象となっているブロックと、その周囲のブロックに注目し、まず復号対象となっているブロックに対して、左、左上、上、右上のブロックの復号信号を予測処理に利用して所定のイントラ予測を行うと共に、残差信号を得るために所定の復号を行うことで、復号対象となっているブロックの復号信号を生成する。
【０１２５】
続いて、この復号対象のブロックの復号信号を利用して、復号対象となっているブロックの周囲のブロックに対しても順に所定のイントラ予測を行うと共に、残差信号を得るための所定の復号を行う。その後、復号対象のブロックにおいて、周囲のブロックの復号信号が利用可能となることから、この周囲の復号信号を利用することで再度イントラ予測をやり直すことで、より精度の高い予測信号を再度生成し、残差信号と加算することで復号信号を得ることができる。従って、本発明の画像符号化装置によって符号化した符号化ビットストリームであっても、本実施の形態の画像復号装置により正しく復号することができ、全体として符号量が少なくても、品質の良い復号画像を得ることができる。
【０１２６】
（画像復号プログラム）
図６は、本発明になる画像復号プログラムの一実施の形態により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置６００は、各種の情報を入力するための入力装置６０１と、各種の情報を出力するための出力装置６０２と、本発明の一実施の形態の画像復号プログラムにより動作する中央処理制御装置６０３と、外部記憶装置６０４と、中央処理制御装置６０３による演算処理の際の作業領域などに用いる一時記憶装置６０５と、外部と通信するための通信装置６０６とが、双方向のバス６０７により接続された構成とされている。
【０１２７】
中央処理制御装置６０３は、本発明の一実施の形態の画像復号プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置６０６により取り込まれ、図４に示した、エントロピー復号器４０２に相当するエントロピー復号手段６０８、再予測制御器４０４に相当する再予測制御手段６０９、処理位置制御器４０６に相当する処理位置制御手段６１０、逆量子化器４０８に相当する逆量子化手段６１１、逆直交変換器４０９に相当する逆直交変換手段６１２、予測器４１４に相当する予測手段６１３、加算器４１１に相当する加算手段６１４の各機能を少なくとも有し、図４に示した一実施の形態の画像復号装置と同様の動作をソフトウェア処理により実行する。
【０１２８】
これにより、本実施の形態の画像復号プログラムにより、図４に示した一実施の形態の画像復号装置と同様に、本発明の画像符号化装置によって符号化した符号化ビットストリームであっても、正しく復号することができ、全体として符号量が少なくても、品質の良い復号画像を得ることができる。
【０１２９】
なお、以上の実施の形態の説明では、イントラ予測の予測モードなどの方法は、Ｈ.２６４／ＡＶＣ符号化または復号装置や、その方法、そのプログラムをベースとして説明したが、本発明では、これに限らず、異なるイントラ予測方法、直交変換、量子化、逆量子化、逆直交変換、エントロピー符号化など、ＭＰＥＧ１やＭＰＥＧ２やＭＰＥＧ４等の他の符号化方式または復号装置等の構成要素を用いて、イントラ予測を行う際に、周囲のブロックの復号信号を生成した後に、再度符号化対象のブロックの予測信号を再予測によって更新する符号化方式、装置または復号方式、装置等であれば適用可能である。
【０１３０】
また、本発明の画像復号装置は、画質は劣化するが、図１の画像符号化装置や図３のコンピュータで符号化して得られた符号化ビットストリーム以外の符号化ビットストリームにも適用可能である。
【図面の簡単な説明】
【０１３１】
【図１】本発明の画像符号化装置の一実施の形態のブロック図である。
【図２】本発明の画像符号化装置の一実施の形態の動作説明用フローチャートである。
【図３】本発明の画像符号化プログラムの一実施の形態により動作する情報処理装置の一例の構成図である。
【図４】本発明の画像復号装置の一実施の形態のブロック図である。
【図５】本発明の画像復号装置の一実施の形態の動作説明用フローチャートである。
【図６】本発明の画像復号プログラムの一実施の形態により動作する情報処理装置の一例の構成図である。
【図７】本発明のイントラ予測を行うブロックの順序及び再予測処理の様子を示した概念図である。
【図８】本発明のイントラ予測方法において、新たに追加されたイントラ予測のモードおよび予測方向の一例を示した概念図である。
【図９】従来のイントラ予測を行う場合の、ブロックの処理順序を示した概念図である。
【図１０】従来のイントラ予測方法におけるイントラ予測のモードおよび予測方向を示した概念図である。
【符号の説明】
【０１３２】
１００  画像符号化装置
１０１、４０１  入力信号
１０２  ピクチャ格納メモリ
１０３、４０３  再予測制御情報
１０４、４０４  再予測制御器
１０５、４０５  処理位置制御情報
１０６、４０６  処理位置制御器
１０７、４１５  復号ピクチャ格納メモリ
１０８、１１４、４１２  予測補助情報
１０９、４１４  予測器
１１０、４１３  予測ピクチャ格納メモリ
１１１  減算器
１１２、４１０  差分ピクチャ格納メモリ
１１３  残差制御器
１１５  直交変換器
１１６  量子化器
１１７、４０７  スイッチ
１１８、４０８  逆量子化器
１１９、４０９  逆直交変換器
１２０、４１１  加算器
１２１  エントロピー符号化器
１２２、４１６  出力信号
４００  画像復号装置
４０２  エントロピー復号器
【図１】
0004831114.tif 000002
【図２】
0004831114.tif 000003
【図３】
0004831114.tif 000004
【図４】
0004831114.tif 000005
【図５】
0004831114.tif 000006
【図６】
0004831114.tif 000007
【図８】
0004831114.tif 000008
【図１０】
0004831114.tif 000009
【図７】
0004831114.tif 000010
【図９】
0004831114.tif 000011