(57)【要約】  データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっているため、効率の良い復号処理が行える。
2010082231.tif 000002
【特許請求の範囲】
【請求項１】
データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する、画像処理装置。
【請求項２】
データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、
前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含むデコード方法。
【請求項３】
データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
【請求項４】
前記ベクトル情報によるベクトルを逓倍する逓倍部を更に有し、
前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する、請求項３記載のフレーム内復号装置。
【請求項５】
前記予測信号生成部は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して、前記予測画像データを生成する請求項３記載のフレーム内復号装置。
【請求項６】
前記画素位置計算部は、所定の範囲内で画素位置を計算する請求項３記載のフレーム内復号装置。
【請求項７】
所定の範囲は、前記データストリームから抽出された信号に基づいて設定される請求項６記載のフレーム内復号装置。
【請求項８】
前記データストリームは静止画又は動画のデータストリームである、請求項３記載のフレーム内画像復号装置。
【請求項９】
データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、
前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、
前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含むフレーム内復号方法。
【請求項１０】
データストリームより予測ブロックを示すベクトル情報を抽出する第１処理と、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第２処理と、
前記ベクトル情報によるベクトルを逓倍する第３処理と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する第４処理と、
前記第４処理により計算された画素位置の画素データと、前記第２処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第５処理と、
前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第６処理と、を含むフレーム内復号方法。
【請求項１１】
画像データを複数のブロックに分割し、
符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、
前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、
前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する画像符号化装置において、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備えるフレーム内符号化装置。
【請求項１２】
フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在するフレーム間復号装置において、
データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
【請求項１３】
データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、
前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像又は静止画のフレーム内を復号するフレーム内復号装置、さらにはその復号手法をフレーム内の予測符号化に適用したフレーム内符号化装置などの符号化・復号技術に関する。
【背景技術】
【０００２】
従来、動画像符号化の分野の技術では、MPEG（Moving Picture Experts Group）により規格化されたMPEG-2、MPEG-4や、ITU-T（International Telecommunication Union、Telecommunication  Standardization Sector）が規格化したH.264（上記MPEG-4 Part.10と共通文書）規格に代表される符号化方式が知られている。【０００３】
動画像の符号化は、大きく分けて、時間的に前後の画像（以下、符号化あるいは復号処理における、動画像を構成する１枚の画面を「画像」と称する。「画像」は、プログレッシブ信号、インターレース信号における「フレーム」、「フィールド」のいずれをも示すことができ、例えば、符号化がフレーム単位で行われているときは「画像」は「フレーム」を示し、処理がフィールド単位の場合は「フィールド」を示す。なお、符号化分野において一般名称化している「フレーム間」、「フレーム間」、「フレームメモリ」は、このまま用いるが、インターレース信号の「フレーム」に特定したものではなく、その時の処理モードによって「フレーム」「フィールド」いずれをも意味する）からの差分を符号化するフレーム間符号化と、１つの画像を単独で符号化するフレーム内符号化がある。一般に、フレーム内符号化した画像の符号量は、フレーム間符号化した画像の符号量よりも大きくなる。しかし、フレーム内符号化は、映像コンテンツ（シーケンス）の先頭に必要な他、再生時のランダムアクセス性の向上や、エラー時の復帰用に必要な方式であり、通常、０．５秒から２秒間隔、すなわち１５フレームから６０フレームごとに周期的に選択される。【０００４】
符号化処理は画像を細分化したブロック（通常１６画素×１６ライン、ＭＰＥＧでは「マクロブロック」と呼ぶ。以下、「ブロック」は、本発明の処理を行う処理単位の総称として用いる。もし、本発明の処理単位が、ＭＰＥＧにおけるマクロブロックのサイズと異なる場合は、マクロブロックと明確に区別するために上記定義のブロックを「サブブロック」と称することもある）が処理単位となる。フレーム内符号化では、ブロック毎に、同一画像内にありかつ既に符号化された画像信号（画素）の値を用いて予測信号が生成され、符号化するブロックの信号と予測信号との差分値が、直交変換および量子化され、符号に変換されて、符号化処理が行われる。同時に、予測信号を生成する上での識別信号があわせて符号化される。【０００５】
下記非特許文献１および２には、予測信号の生成方法として図１に示す８種類の方法と、符号化するブロックの周囲画素の平均値を用いる方法との、９種類の方法が示されている。図１に示された方法では、これから符号化される符号化ブロック２００の予測信号として、画像の内容の方向に応じて８方向の予測方法を定義している。例えば図１の（１）は画像の内容が縦方向に相関が強い、すなわち縦線の場合に好適な方法であり、符号化ブロック２００に隣接する符号化済みである信号２１１をコピー方向２１２の方向に繰返しコピーすることによって予測信号を生成する。ここで、予測に用いる画素信号２１１は縦方向が１画素幅、横方向がブロックの横方向と同一画素数の領域である。同様に、図１の（２）〜（８）は符号化済みである信号（それぞれ斜線部分）から矢印の方向に画素信号値をコピーすることにより予測信号を生成する。図１の（２）〜（８）のいずれの予測に用いる画素信号（斜線部）の領域は１画素幅であり、符号化済みの画素信号の領域に属し、かつ、未符号化領域と接している（該当画素の８近傍のいずれかに、未復号領域に属する画素が存在する）。符号化のこれらの処理にあわせて、どの方向の予測を用いたかを示す識別信号を符号化する。【０００６】
特許文献１及び特許文献２には、予測方法として、ベクトル（以下、特に指定のない場合、画面内の画素位置を示す情報を単に「ベクトル」あるいは「予測ベクトル」と称する。いわゆる動き補償フレーム間符号化に用いる「動きベクトル」と区別することが必要な場合は「画面内ベクトル」と称する）を用いて予測信号を生成する位置を指示する方法が示されている。図２において、１画像が符号化済み領域１３０と未符号化領域１４０からなり、符号化ブロック１００を符号化するときに、予測信号とするに好適なブロック信号（予測ブロック１１０）を符号化済み領域１３０から選択し、その位置を符号化ブロック１００からの２次元相対位置（予測ベクトル１２０）にて示す。図ではブロックの左上の画素（小さな四角にて図示）の相対位置にてベクトル１２０を示している。このとき、符号化ブロック１００内の各画素信号は、対応する予測ブロック１２０内の画素信号との差分がとられ、この差分信号が直交変換・量子化された信号と、予測ベクトルとが符号化される。復号処理の場合もそれと同様であり、未符号化領域１４０を未復号領域とし、符号化ブロック１００を復号対象とする復号化ブロックとし、符号化済み領域１３０を復号済み領域とし、ベクトル情報によって復号済み領域から得られる予測信号に、差分情報を加えて再生画像を形成すればよい。【０００７】
また、特許文献１及び特許文献２では、図３に示すように、予測ブロック１１０と符号化ブロック１００が重なっている場合の予測方法を示している。このとき、予測ブロック１１０の右下部分（重複部２００）は符号化処理が済んでいないため、予測信号となるデータが存在しない。特許文献１では、この重複部２００の信号として、固定値（例えば、灰色を表す信号値）、周囲画素２１０の画素値の平均値、周囲画素２１０から予測した信号値（例えば図１（２）の方法）を示している。ここで、周囲画素２１０は、符号化済み領域１３０に属し、かつ、重複部２００と接している（該当画素の８近傍のいずれかに、重複部画素に属する画素が存在する）。図３において復号処理の場合には、復号済み領域１３０の予測ブロック１１０と未復号領域１４０における復号対象の符号化ブロック１００との重なり部分２００は、復号処理が済んでいないため、予測信号となるデータが存在しないことになる。【０００８】
【非特許文献１】ITU-T H.264、 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video、 Advanced video coding for generic audiovisualservices
【非特許文献２】ISO/IEC 14496-10、Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding （非特許文献１と同一の内容）
【特許文献１】米国特許出願公開第２００３／０２０２５８８号明細書
【特許文献２】特開平６−３５１００１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記、非特許文献１，２の予測手法は、符号化済み領域（復号済み領域）の画像と符号化ブロック内の画像が連続しており（例えば、符号化済み領域（復号済み領域）の画像と符号化ブロック内を結ぶ直線やエッジの画像）、かつ、その方向が図１の８方向と一致した時に予測効率が向上する。逆に、例えば周期的な離散パターンのように連続でない画像や、連続の方向が図１の８方向に一致しない場合には符号化効率圧縮率が向上しない問題があった。【００１０】
一方、特許文献１の手法においては、画像に周期的なバターンが存在した場合にも対応ができ、また、その方向も細かく指定することができるが、以下の課題がある。すなわち、図３のように符号化ブロック１００と予測ブロック１１０が重複した場合に、重複部の処理が非特許文献１，２の手法と同様の手法をとっているため、符号化効率（圧縮率）が向上しない。一般に、画像信号は画素間の距離が近い程、相関が高くなっており、符号化ブロック１００の近傍に最適な予測ブロック１１０が存在する確率が高いが、特許文献１の手法、あるいは、特許文献１の手法と非特許文献１，２を組み合わせた手法では、予測ベクトル１２０の大きさが小さくなるほど、予測があたらない重複領域２００が大きくなるという問題があった。【００１１】
本発明の目的は、予測ベクトルを用いて、符号化ブロックの近傍から予測信号を生成した場合においても、予測効率を低下させない画像符号化及び復号技術を提供することにある。【００１２】
更に具体的な目的は、予測ブロックと符号化ブロックとの重なり部分に対する予測効率を向上させることができ、画質の向上に資することができる画像符号化及び復号技術を提供することにある。【００１３】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１４】
本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。【００１５】
すなわち、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。この手段は、画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっている、という点に着眼している。
【発明の効果】
【００１６】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。【００１７】
すなわち、フレーム内符号化の予測効率を向上させることができ、その結果、差分信号のデータ量（例えば予測誤差電力）を低減し、該当画像の符号量を低減させることがでる。一般に、フレーム内符号化はフレーム間符号化に比べ符号量が多いため、映像ストリーム全体としても、符号量を削減することができ、一定の画質を得るための符号量が減少する効果、あるいは一定の符号量により高画質な映像を再生する効果がある。
【図面の簡単な説明】
【００１８】
【図１】図１は従来のフレーム内予測を示す図である。
【図２】図２は従来のベクトルを用いたフレーム内予測を示す図である。
【図３】図３はベクトルと用いたフレーム内予測において、符号化ブロックと予測ブロックに重複があることを示す図である。
【図４】図４は本発明における、符号化ブロックと予測ブロックとの重複部の処理を示す図である。
【図５】図５は本発明における、予測ベクトルの位置による分類を示す図である。
【図６】図６は本発明における、予測ベクトルの位置に応じた重複部の処理を示す図である。
【図７】図７は本発明の第１の実施形態による画像復号装置のブロック構成図である。
【図８】図８は図７における予測信号生成回路１０４０の詳細ブロック構成図である。
【図９】図９は図８の予測信号生成回路１０４０の変形例の詳細ブロック構成図である。
【図１０】図１０は本発明の第２の実施形態による予測信号生成アルゴリズムのフローチャートである。
【図１１】図１１は本発明における、予測ベクトルの位置による他の１つの分類を示す図である。
【図１２】図１２は図１１における領域（Ｆ）（Ｇ）における予測信号生成処理を示す図である。
【図１３】図１３は本発明における、復号済み領域の変形例を示す図である。
【図１４】図１４は図１３における領域（Ｆ’）（Ｇ’）（Ｄ’）における予測信号生成処理を示す図である。
【図１５】図１５は本発明の処理を行うブロックの処理順を示す図である。
【図１６】図１６は本発明のハーフペル予測を示す図である。
【図１７】図１７は図１６の処理を実現する予測信号生成回路のブロック構成図である。
【図１８】図１８は図１７の処理のタイミングチャートである。
【図１９】図１９は第３の実施形態による画像符号化装置のブロック構成図である。
【図２０】図２１は本発明によるストリームの構成図である。
【図２１】図２０は本発明を適用した光ディスク再生装置のブロック構成図である。
【符号の説明】
【００１９】
１００  符号化ブロック
１１０  予測ブロック
１２０  予測ベクトル
１３０  復号済み領域
１４０  未復号領域
２００  重複領域
１００１  画像復号装置
１０１０  入力データストリーム
１０２０  復号回路
１０３０  予測ベクトル
１０４０  予測信号生成回路
１０８０  予測信号
１２００  ベクトル逓倍回路
１２５０  制御回路
１４６０  ブロックメモリ
３０００  ハーフペル処理回路
【発明を実施するための最良の形態】
【００２０】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。【００２１】
〔１〕本発明の代表的な実施の形態に係る画像処理装置（図７，８，９）は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する。【００２２】
上記によれば、予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、復号未済みの当該重なり部分に代えて、復号処理が終了している部分の画素情報を、予測信号として用いるから、予測効率の向上、符号量の低減、及び高画質化を可能にする。また、前記ベクトル情報による距離の逓倍によって復号処理が終了している部分の画素情報を取得するからその制御が容易である。復号だけでなく、符号化のローカルデコードにも容易に適用できる。【００２３】
〔２〕本発明の代表的な実施の形態に係るデコード方法（図１０）は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含む。【００２４】
〔３〕本発明の別の実施の形態に係るフレーム内復号装置（図７，８，９）は、データストリーム（１０１０）より予測ブロックを示すベクトル情報を抽出する抽出部（１０２０）と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部（１２５０）と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部（１３００，１３２０，１４００，１４２０）と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部（１４５０，１４６０）と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。【００２５】
〔４〕項３のフレーム内復号装置は、前記ベクトル情報によるベクトルを逓倍する逓倍部（１２００）を更に有し、前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する。【００２６】
〔５〕項３のフレーム内復号装置において、前記予測信号生成部（１４６１，３０００）は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して予測画像データを生成する（図１７、ハーフペル）。【００２７】
〔６〕項３のフレーム内復号装置において、前記画素位置計算部は、所定の範囲内で画素位置を計算する（図１４、アクセス範囲の制限）。【００２８】
〔７〕項６のフレーム内復号装置において、所定の範囲は、前記データストリームから抽出された信号に基づいて設定される（データストリームによるアクセス範囲の指定）。【００２９】
〔８〕項３のフレーム内復号装置において、前記データストリームは静止画又は動画のデータストリームである。【００３０】
〔９〕本発明の別の実施の形態に係るデコード方法（図１０）は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含む。【００３１】
〔１０〕更に具体的なデコード方法（図１０）は、データストリームより予測ブロックを示すベクトル情報を抽出する第１処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第２処理と、前記ベクトル情報によるベクトルを逓倍する第３処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域のある画素位置を計算する第４処理と、前記第４処理により計算された画素位置の画素データと、前記第２処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第５処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第６処理と、を含む。【００３２】
〔１１〕本発明の更に別の実施の形態に係る画像符号化装置（図１９、エンコーダ）は、画像データを複数のブロックに分割し、符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する。この画像符号化装置は、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備える。【００３３】
〔１２〕本発明の更に別の実施の形態に係るフレーム内復号装置は、フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在する装置である。このフレーム間復号装置は、データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。【００３４】
〔１３〕本発明の更に別の実施の形態に係るフレーム内復号装置（予測信号の変形を可能にする）は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。【００３５】
２．実施の形態の詳細
実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。【００３６】
実施形態の詳細な説明に先立ち、本発明の原理を概説する。以下においてはフレーム内の復号を主体として説明する。【００３７】
図４は、本発明の原理を説明するために、図３の予測ブロック１１０と、符号化されている復号対象としての符号化ブロック（以下単に符号化ブロックとも称する）１００を分離して、さらに、生成する予測信号１３０とあわせて描いたものである。予測ブロック１１０のうち２１０の領域は未復号領域に属する欠損領域である。欠損領域は、すなわち、符号化領域の左上部の領域２２０と同一の領域である。従って、予測ブロックによる予測が正しく行われているとすると、符号化ブロックの中の領域２２０の予測信号は予測ブロック内の領域２００に該当する。すなわち、領域２２０と領域２００の画素毎の差分信号が小さく、２つの領域のデータが類似している。一方、先に説明したように、欠損領域２１０の信号と領域２２０の信号は同一であることから、欠損領域２１０と予測ブロック内の領域２００が類似していることになる。本発明では、これらの性質を利用して、以下のように予測信号１３０を生成する。（１）復号済み領域の信号が存在する領域（領域２００および領域２３０）は該当する画素信号を予測信号とする、（２）未復号領域に該当する領域（領域２２０）は領域２００の信号をコピーして予測信号とする。【００３８】
これは、すなわち、予測ブロック内の領域２２０は、ベクトル１２１により示されるように本来のベクトル１２０の２倍のベクトルの位置からの予測に該当する。【００３９】
図５、６はベクトルの指し示す位置と、その時の予測信号の生成方法を図示したものである。符号化ブロックを水平Ｗ画素、垂直Ｗ画素としたときに、ベクトルの指し示す位置が、図５の領域５００、５１０、５２０、５３０、５４０にあるときに、予測ブロック内に欠損領域が生じる。これらの領域を順に（Ａ）,（Ｂ），（Ｃ），（Ｄ），（Ｅ）とした時の、それぞれの領域における予測信号の生成例を示したものが図６である。なお、図５ではベクトルの指し示す位置として、符号化ブロックの左上の画素（四角にて図示）に対応する画素の位置として表示している。なお、ベクトルが領域５９０（Ｈ）を示しているときには予測ブロックに欠損領域は生じないため、従来の予測方法が適用できる。【００４０】
図６の（Ａ）（Ｂ）（Ｅ）は、ベクトルが図５領域５００、５１０、５４０を示している場合の例である。この例では、予測信号は２０１、２１１、２１２の３つの領域に別れる。領域２０１は予測ブロック内の復号済み領域部の画素信号１１１。領域２１１は、領域２１１の位置から本来の予測ベクトル１２０を２倍にした動きベクトル１２１により指し示される位置、すわなち、領域１１１の該当部分。領域２１２は同様に領域２１２の位置から予測ベクトル１２０の３倍のベクトル１２２により指し示される領域１１１の該当部分である。領域２１１および領域２１２の予測信号は、それぞれ、予測ブロック上記例では本来の予測ベクトルの３倍までのベクトルを使用する例を示したが、３倍ベクトルの位置の画素が未復号領域である場合には、以下、４倍、５倍と逓倍数を増やして行き、復号済み領域の画素に該当する最小の逓倍数を使用する。【００４１】
ここで、図６において、（Ｃ）（Ｄ）のパターンの場合は、（Ａ）（Ｂ）（Ｅ）の場合と特性が異なる。（Ａ）（Ｂ）（Ｅ）の場合は、予測ブロックの領域２１１、領域２１２を生成するときに、それぞれベクトルを２倍、３倍した画素を使用したが、実質的には予測ブロックの領域２０１の信号を利用することができた。しかし、（Ｃ）（Ｄ）の場合は、領域２００の信号はそのまま使用することはできず、復号済み領域の該当する領域１１２および領域１１３の信号を取得する必要がある。これは、予測ベクトルが図５の領域５２０、５３０に該当する場合であり、符号化ブロックの右側すなわち図５領域５３０の下部が未復号領域であることに起因する。【００４２】
図７は本発明によるフレーム内画像復号装置の一実施の形態の構成を示すブロック図である。【００４３】
入力されるデータストリーム１０１０には、画像を構成する各ブロック毎に予測ベクトルと、予測信号に対する差分信号の情報が含まれている。復号回路１０２０ではデータストリーム１０１０より予測ベクトル１０３０と、差分情報１１００を抽出する。差分情報１１００は逆量子化回路１１１０、逆直交変換回路１１２０にて差分信号１１２５に変換される。これと並行して、本発明による予測信号生成回路１０４０では、予測ベクトル１０３０をもとに、フレームメモリ１０７０の復号済み領域の指定アドレス１０５０を生成し、該当アドレスの画素信号１０６０を取得し、図５，６を用いて説明した原理に従い予測ブロックの画素信号１０８０を生成する。生成した予測ブロックの画素信号１０８０は画像再生回路１１３０において、差分信号１１２５に加算され、該当するブロックの画像が再生される。再生された画像はフレームメモリ１０７０に書き込まれ、以降のブロックの画像再生時の予測画像生成の候補として使用される。１画面分の復号処理が終了したのち、生成された画像の信号は出力信号１１５０として出力され、テレビなどの表示装置などに表示される。【００４４】
図８は図７における予測信号生成回路１０４０の詳細回路である。予測信号生成回路１０４０内では、画素位置情報生成回路１３００により、符号化ブロック内におけるこれから処理を行う画素の画素位置情報１３１０が生成される。ここで生成される位置情報１３１０は、ブロック内の水平画素位置Ｘと垂直画素位置Ｙの情報であり、たとえば、ブロック左上の画素ではＸ＝０、Ｙ＝０となる。ベクトル逓倍回路１２００では、入力された予測ベクトル１０３０を信号１２１０により指示される倍数（Ｎ倍）にした逓倍ベクトル１２３０を生成する。初期状態でのＮの値は１である。逓倍ベクトル１２３０（初期状態では予測ベクトル１０３０と同じ）は加算回路１３２０にて画素位置情報１３１０と加算され、予測ブロックの画素位置１３３０が計算される。このとき、予測ベクトルの水平成分をＶｘ、垂直成分をＶｙとすると、逓倍ベクトルの水平成分Ｎ×Ｖｘと水平画素位置情報Ｘ、垂直成分Ｎ×Ｖｙと垂直画素位置情報Ｙが、それぞれ独立に加算され、予測ブロックの画素位置は、符号化ブロックの左上の画素を基準に、水平Ｘ＋Ｎ×Ｖｘ、垂直Ｙ＋Ｎ×Ｖｙ となる。なお、これらの値は負の値にもなり得る。【００４５】
一方で、制御回路１２５０は、初期状態では逓倍信号１２１０として１（Ｎ＝１）を出力している。制御回路１２５０は逓倍ベクトル１２３０と画素位置情報１３１０から、該当する予測ブロックの画素が復号済み領域にあるか否かを判定する。判定は以下の方法にて行う。
Ｘ＋Ｎ×Ｖｘ＜０ かつ Ｙ＋Ｎ×Ｖｙ＜Ｗｙ−１ の時、復号済み領域、
Ｘ＋Ｎ×Ｖｘ＞＝０ かつ Ｙ＋Ｎ×Ｖｙ＜０     の時、復号済み領域、
上記以外の時、未復号領域、
ここでＷｘはブロックの水平方向の大きさ、Ｗｙは垂直方向の大きさである。【００４６】
判定結果が「未復号領域」であった場合、制御回路１２５０は、判定結果が「復号済み領域」となるまで逓倍信号１２１０を歩進させる。すなわち、例えば図６において、（Ａ）〜（Ｅ）いずれの場合においても、画素が領域２１１にあるときにはＮ＝２を、画素が領域２１２にあるときにはＮ＝３を出力する。【００４７】
予測ブロックの画素位置１３３０は、画面内における該当ブロックのブロック位置生成回路１４００の生成するブロック位置１４１０と、アドレス生成回路１４２０において加算され、さらに、フレームメモリ上の該当アドレス１０５０に変換される。変換されたアドレス１０５０の指し示す画素信号１０６０が入力されると、画素信号は一旦バッファ１４５０に蓄えられた後、適切なタイミングに予測信号１０８０として出力される。【００４８】
１つの画素の処理が終了すると、画素位置情報生成回路１３００は、符号化ブロック内におけるこれから処理を行う画素の画素位置情報１３１０を次の画素位置へ歩進させ、制御回路１２５０は逓倍信号１２１０を１（Ｎ＝１）にリセットし、次の画素の処理を行う。【００４９】
ブロック内の全ての画素の処理が終了すると、ブロック位置生成回路１４００は、ブロック位置１４１０を次のブロック位置に歩進させる。【００５０】
図８の説明において、逓倍回路１２００において、動きベクトルのＮ倍の計算をすると説明したが、逓倍回路１２００に乗算器を備える必要はない、なぜならば、逓倍（Ｎの値）は１，２，３と１ずつ歩進するため、逓倍回路内に、一旦予測ベクトルを保持しておき、逓倍数が１増えたときには、保持しているベクトル値に、予測ベクトルを加算することにより実現できる。これにより回路の低減を図ることができる。【００５１】
また、逓倍回路１２００部の代わりに、ベースとなるベクトルの大きさと逓倍数Ｎを入力とし、入力に該当する新しいベクトルを出力する変換テーブルを配置してもよい。変換テーブルを用いることにより非線形処理、すなわち、ある一定範囲ではベースのベクトルを逓倍し、それ以外の範囲では異なる倍率や固定値（クリッピング）する処理を行うことも可能となる。【００５２】
なお、予測信号を生成するための画素位置が、画面外の位置を指す場合は、以下の方法のいずれかを予め定めておくことにより対応する。【００５３】
（１）画面外の画素を参照する予測を禁止する（符号化側にて制限を行い、復号側は特別な対応は行わない）。【００５４】
（２）画面外の画素を参照する場合は、予め定められた所定の方法により該当画素を生成する。例えば、ＭＰＥＧ−４のように、参照する座標（ｘ、ｙ）がｘ＜０となった（画面左端外）時には、（０、ｙ）の画素を用いる。【００５５】
（３）画面外の画素を参照する状態では、別の予測画素生成方法を用いる（図１４（Ｄ’）の説明参照）。【００５６】
図９は図７の予測信号生成回路１０４０の別の実施の形態である。図８の予測信号生成回路と異なる点は、バッファ１４５０の変わりに、ブロックメモリ１４６０が設置されている点である。図６の説明において、図６（Ａ）（Ｂ）（Ｅ）において説明した、欠損領域の予測信号生成のときに、予測ブロックの領域２０１の信号を利用する実施の形態である。すなわち、予測ブロックの信号をブロックメモリ１４６０に蓄え、予測ブロック内の画素アクセスにて済む予測の場合には、フレームメモリ１０７０のアクセスを行わずに、ブロックメモリ１４６０に蓄えられた信号を出力するものである。【００５７】
図９において、フレームメモリ１０７０にアクセスして得られた信号、すなわち復号済み領域から取得する信号１０６０は、ブロックメモリ１４６０のブロック内の位置に対応したアドレスに格納される。このとき、制御回路１３０１は逓倍信号１２１０として０（Ｎ＝０）を出力することにより、ブロックメモリのアドレス１３３０は、ブロック内の画素位置情報１３１０と同一になり、所定の位置に信号１０６０を書き込むことができる。【００５８】
一方読み出しのとき、復号済み領域から取得された画素の場合は、上記書き込み時と同様にＮ＝０としてブロックメモリより読み出す。未復号領域の画素を出力する場合は、本来フレームメモリから読み出す時のＮの値より１減じた値を逓倍数１２１０としてブロックメモリのアドレス１３３０を生成することにより、一旦読み込んだ画素、すなわち図７領域２１１の該当位置のデータを読み出すことができる。これにより、フレームメモリ１０７０へのアクセス数を低減することができ、フレームメモリのアクセスに伴う電力削減や、フレームメモリのバス幅の低減を図ることができる。また、ブロックメモリへのアクセスが、フレームメモリのアクセスに比べて高速である場合には、処理時間の短縮あるいは、動作周波数の低周波数化を行うことができ、さらに電力低減に寄与する。【００５９】
なお、図６の（Ｃ）（Ｄ）の場合は、該当データがブロックメモリ内に存在しないため、一部条件を除いて図９におけるフレームメモリ１０７０へのアクセスは省略できない。【００６０】
以上の実施の形態の説明は本発明をハードウェアにて実装した例であるが、本発明はソフトウェアにて実装することも可能である。図１０により、本発明による予測画素生成アルゴリズムを説明する。【００６１】
図１０は本発明における１つのブロックの予測画素信号を生成するためのアルゴリズムのフローチャートである。ブロック内の１つの画素を処理するにあたり、１５００にて変数ＶＥＣに入力された予測ベクトルの値を保持する。１５１０において、変数ＶＥＣの値（ベクトル値）と該当画素の位置を加算し予測信号位置を得る。このとき、画素位置、予測信号位置いずれも２次元の座標であり、ベクトル値との加算においては、水平成分、垂直成分それぞれ独立に計算される。計算された予測画素位置を用いて予測画素位置が復号済み領域であるか否かを調査する。調査の方法は図８の説明時に示した不等式により実施する。予測画素位置が復号済み領域内でなければ、１５４０にて変数ＶＥＣに予測ベクトル値を加える。すなわち、ハードウェアの説明時に用いた逓倍数ＮをＮ＋１に歩進させる処理に対応する。新たなＶＥＣを用いて、再度、復号済み領域内外の判定を行い、予測画素位置が復号済み領域内になるまで処置１５４０にてＶＥＣを変更続ける（Ｎを歩進する）。予測画素位置が復号済み領域内になったと判定処理１５３０にて判定されると、１５５０において、予測画素位置の信号を読出し、読み出した画素を該当画素の予測信号とする。これらの処理をブロック内の全ての画素に対して実施し、判定１５６０において、ブロック内全画素の処理が終了した時点で、１つのブロックの予測画素信号生成処理を終了する。【００６２】
図１１および図１２は、本発明の変形例を説明する図である。図１１では、図５では対応していなかった、図１１領域６００（Ｆ）および領域６１０（Ｇ）の処理を許可する変形例である。（Ｆ）（Ｇ）においては、予測ベクトルが図の下方向となるため、既に説明した予測ベクトルを逓倍する方法では対応ができない。【００６３】
図１２は、予測ベクトルが下方向を向いた時、すなわち、予測ベクトルが図１１領域６００および領域６１０を指し示した時の処理の説明図である。図１２において、丸印は復号済み領域の画素を、四角印は符号化ブロック内の画素の位置を表す。図１２の（Ｆ）の場合、図の符号化ブロック１００のＡからＭに対応する予測画像は、復号済み領域の画素ａからｌ（エル）にて生成可能である。しかし、符号化ブロック１００のＰ，Ｑ，Ｒ，Ｓに対応する画素を求めるときには、復号済み領域を指し示すようになるまで、予測ベクトルを下記の式に従い縮退していく。
Ｖｘ’＝ｍａｘ（Ｖｘ／（２＾Ｎ）、１）
Ｖｙ’＝Ｖｙ／（２＾Ｎ）
ここで、ｍａｘ（ｕ、ｖ）はｕとｖの大きい方の値を返し、”／”は少数を０方向に切り捨てる除算、２＾Ｎは２のＮ乗である。【００６４】
なお、図１１において、水平方向右がＸのプラス方向、垂直方向下がＹのプラス方向とする。すなわち、領域６００および領域６１０を示す予測ベクトルの場合は、Ｖｘ＜０、Ｖｙ＞０となる。【００６５】
Ｎの値を１から１つずつ歩進して行き、Ｖｘ’、Ｖｙ’により指し示す画素が復号済み領域の画素を示すようになったときの画素信号を予測信号とする。たとえば、図１２の（Ｆ）の画素Ｐの例では、初期の予測ベクトル１２０が（Ｖｘ，Ｖｙ）＝（−３、１）とすると、Ｎ＝１のときに縮退ベクトル１４１は（Ｖｘ’，Ｖｙ’）＝（１，０）となり、画素ｌ（エル）を指し示すため、画素ｌの値を予測値とする。
予測ベクトルが領域６１０の場合も、図１２の（Ｇ）に示すように、同様な処理にて予測信号を生成する。図１２の（Ｇ）の例では、予測ベクトル１２０が（Ｖｘ，Ｖｙ）＝（−５、２）とすると、画素ＫはＮ＝１のときに縮退ベクトル１４２が（Ｖｘ’，Ｖｙ’）＝（−２，１）となり、画素ｈが予測画素となり、画素ＰはＮ＝２の時に縮退ベクトル１４３が（Ｖｘ’，Ｖｙ’）＝（−１，０）となり、画素ｔが予測画素となる。【００６６】
このように、縮退させたベクトルを使用することにより、予測ベクトルが図１１領域６００および領域６１０を指し示した時、周期的な画像パターンへの対応はできなくなるが、画面右上方向に向いた連続性のある画像（直線等）の予測は正しく行うことができ、先の実施の形態よりも、より高い符号化効率が得られる。【００６７】
図１３および図１４は本発明の別の実施の形態を説明する図である。図５、図１１では、符号化ブロック左側では、符号化ブロック下辺と復号済み領域の境界は垂直方向にて同じ高さで、また、右方向では復号済み領域は無限に連続していると仮定していた。しかし、実際の符号化・復号においては、図１３に示すように、符号化ブロック下辺と復号済み領域の境界の垂直位置が異なったり、復号済み領域右側が制限される場合がある。左側垂直位置ずれは、例えば、図１３の符号化ブロックを符号化１００した次に、符号化ブロックの下部分を先に符号化した場合に該当する（この場合、図１０のｄＹ＝Ｗとなる）。また、右側制限は画面端に該当する。【００６８】
図１４の（Ｆ’）（Ｇ’）は予測ベクトルが領域６２０および領域６３０の時の例である。この場合は以下の方法により予測ブロックの画素信号を計算する。【００６９】
ステップ１： 下記式に従いＮ0を１、２、・・・と歩進させ、該当する画素が復号済み領域の画素であるか否かを判定する。復号済み領域に属する画素であれば、その画素の信号値を予測値とし、以下の全てのステップ２を省略する。
Ｖｘ’＝Ｎ0×Ｖｘ
Ｖｙ’＝Ｎ0×Ｖｙ
ステップ１にて、Ｎ0が下記の不等式を満たしたとき、ステップ１を終了してステップ２に移行する。
Ｎ0×Ｖｙ＋Ｙ ＞ Ｗ＋ｄＹ 
ここで、Ｘは処理画素の符号化ブロック内におけるブロック左上画素からの水平相対位置、Ｙは垂直相対位置である。【００７０】
ステップ２：上記不等式を満たすＮ0に対して、ブロック左上画素から相対的に以下の位置の画素値を予測値とする。
（−１、ｍｉｎ（Ｗ＋ｄＹ−１、Ｙ＋（Ｖｙ×（１＋Ｘ））／（−Ｖｘ）））
ここで、ｍｉｎ（ａ，ｂ）はａ，ｂのうちの小さい方の値を返す。また、領域（Ｆ’）（Ｇ’）ではＶｘ＜０である。【００７１】
上記式は、図１４の（Ｆ’）（Ｇ’）において、例えば、符号化ブロック内画素１５１の場合、画素１５１から予測ベクトル１２０の方向に延長した点が、復号済み領域と最初に交差する画素１５３に該当する。また、符号化ブロック内画素１５２の予測画素信号は、画素１５２から予測ベクトル１２０の延長方向に復号済み領域が存在しない、すなわち、上記式のｍｉｎの（）内にてＷ＋ｄＹ−１の項が選択され、画素１５４が用いられる。【００７２】
図１４の（Ｄ’）は動きベクトルが領域（Ｄ’）にあるときの予測画素信号生成を説明している。図１４の（Ｄ’）の例では、本来、領域２１１および領域２１２の予測として使われる領域２１５および領域２１６が未復号領域に属している。この場合は、領域２１１および領域２１２に、領域１１０の画素値を予測値として用いる。【００７３】
図１４の（Ｄ’）は、画面右端がある場合など不可抗力にて右側の復号済み領域が制限される場合を説明したが、画面右方向への画素アクセスを制限するために、図１３における右側境界６６０を仮想的に設けることも可能である。図１３において、ｄＸの値を常に固定値（例えば８）とすることにより、１つのブロックに対する、予測信号の生成に用いる画素の範囲を制限することができ、メモリアクセスの付加を軽減することができる。【００７４】
予測信号の生成に用いる画素の制限範囲は、例えば入力されるデータストリームに記述される。復号の処理に先立ち、ストリームより制限範囲の情報が抽出され、抽出された制限範囲の情報が以降のストリームの復号処理にて用いられる。このように、データストリームに制限範囲を記述することにより、データストリームを復号する装置の処理能力に応じて、制限範囲を変えることができる。例えば、処理能力の高い復号装置にて再生されるデータストリームでは、より広い制限範囲を設定し符号化効率を向上させることが可能となる。なお、制限範囲の情報は、図２０のストリーム情報４０００あるいはフレーム情報４１００に記述さる。ストリーム情報４０００に記述された場合は、該当ストリーム全体において同じ制限範囲がとられ、フレーム情報４１００に記述された場合は、フレーム毎に制限範囲を変えることができる。【００７５】
図１５は、ブロック予測の順序を示した図である。ＭＰＥＧ等の画像符号化では、輝度信号が１６画素×１６ラインのマクロブロックが符号化処理単位となる。図１５は本発明による画面内ベクトル予測を行うブロック（サブブロック）サイズがマクロブロックよりも小さい場合の処理順序を示している。図１５は、サブブロックサイズがマクロブロックの縦横１／４、すなわち４画素×４ラインの例を示している。図１５の（１）では、マクロブロック内のサブブロックを図中に示したように、左上から右方向にスキャンする例である。また、図１５の（２）はサブブロックの処理を８画素×８ライン毎に完結させるスキャン順であり、それぞれ、サブブロック４，８，１２が終了した時点でこれらを含む８画素×８ラインのデータが揃うため、８画素×８ライン単位の処理と併用したときの処理効率が高くなる。一方、図１５の（１）、例えばサブブロック５の予測信号を作成する場合、該当サブブロックの右方向（図１３領域６５０（Ｄ’））に該当する部分はサブブロック２，３、となるのに対し、図１５の（２）の同位置サブブロック３の予測信号を作成する場合、領域Ｄ’に該当する領域はサブブロック２の左端１画素幅の領域のみとなり、図１５の（２）の方が、高い予測効率を実現可能である。【００７６】
予測ベクトルの情報はサブブロック毎に復号される。隣接したサブブロックでは予測ベクトルも類似していることが多いため、予測ベクトル情報は、隣接したサブブロックの予測ベクトルとの差分が送られる。例えば、図１５の（１）のサブブロック６においては、隣接し、かつ、既に復号済みのサブブロックとしてサブブロック５、サブブロック２、サブブロック３のベクトルが用いられる。これら３つのサブブロックのベクトルをそれぞれ（Ｖａｘ，Ｖａｙ）（Ｖｂｘ，Ｖｂｙ）（Ｖｃｘ，Ｖｃｙ）とした時に、これから復号するサブブロック６のべクトルの予測信号（Ｖｐｘ，Ｖｐｙ）は以下となる。
Ｖｐｘ＝Ｍｅｄｉａｎ（Ｖａｘ、Ｖｂｘ、Ｖｃｘ）
Ｖｐｙ＝Ｍｅｄｉａｎ（Ｖａｙ、Ｖｂｙ、Ｖｃｙ）
ここでＭｅｄｉａｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃを大きい順に並べたときの２番目（中央）の値である。【００７７】
このベクトルの予測信号（Ｖｐｘ，Ｖｐｙ）に、復号された差分信号を加えて予測ベクトル信号が得られる。なお、サブブロックがマクロブロックの境界に位置する場合（例、サブブロック１）は、周辺マクロブロックのサブブロックの予測ベクトルを保持しておき、それらを用いてベクトルの予測信号を生成して予測ベクトル値を得る。また、マクロブロックが画面境界に接しており、該当する位置のサブブロックが存在しない場合は、存在しないベクトル値を（０，０）とすることにより同様に求められる。なお、該当する位置のサブブロックが存在しない場合は、存在しないサブブロック数が１つの場合は存在しないベクトルを（０，０）とし、存在しないサブブロック数が２の時は存在するサブブロック（１つ）のベクトルを予測信号とし、存在しないサブブロック数が３（１つも存在しない）場合は予測信号を（０、０）にしてもよい。【００７８】
図１６および図１７は、予測ブロックの信号値を計算する変形例である。図１６および図１７では、ＭＰＥＧ等の動き補償フレーム間予測において使用されるハーフペル予測に相当する予測、すなわち画素間隔の１／２の精度のベクトルを使用する例である。【００７９】
図１６は、画面内ベクトルがハーフペル精度の場合の処理の例である。ベクトル１２０は図においては（−２．５、−１．５）に相当し、例えば符号化ブロック１００内の画素Ａの予測画素の位置は画素位置７００になる。このときの予測信号値Ａ’は以下となる。
Ａ’＝（ａ＋ｂ＋ｆ＋ｇ＋２）＞＞２
ここで、ａ，ｂ，ｆ，ｇはそれぞれ図１６に示した画素の信号値、＞＞はビットシフト演算である。＞＞２は２ビット右シフト即ち１／４の演算を意味する。上式における＋２は１／４の除算を行ったときその商が（ａ＋ｂ＋ｆ＋ｇ）＞＞２に対して四捨五入されるようにするためのものである。【００８０】
ブロックの重複部では、例えば画素位置７０１、すなわち画素Ｔの予測信号値Ｔ’は以下となる。
Ｔ’＝(Ａ’＋Ｂ’＋Ｆ’＋Ｇ’＋２)＞＞２
Ａ’，Ｂ’，Ｆ’，Ｇ’は画素Ａ，Ｂ，Ｆ，Ｇの各画素の予測値である。【００８１】
ハーフペル予測を行う場合、予測に必要な画素は、整数精度のベクトルを用いた予測の場合に比べ、水平あるいは垂直あるいは水平垂直双方において、１画素幅分多くの画素を用いる。このため、先に説明した予測画素生成方法の各種判定においては、１つの予測画素を生成するために必要な画素がすべて復号済み領域内にあることを判定基準とする必要がある。【００８２】
図１７は図１６の処理を行う予測信号生成回路１０４１のブロック図、図１８は図１６の処理を行う時の図予測信号生成回路１０４１の動作タイミングチャートである。画素位置情報生成回路１３０１は図１８タイミングチャートの信号１３１０に示す画素位置情報を出力する。図１６の例の場合、符号化ブロックのサイズは４画素×４ラインであるため、図８、図９の回路の場合は画素位置情報１３１０は水平・垂直成分ともに０から３の範囲の値となるが、ハーフペル予測処理を行うためには、図１６に図示したように符号化ブロックのサイズよりも水平・垂直それぞれ１画素大きい領域の情報が必要となる。この入力により予測信号生成回路１０４１は、先に図８、図９において説明した処理と同様な処理を行い、その結果、図１６の予測信号生成に係わる復号済み領域の画素、すなわち、画素ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｑ、ｒ、ｓ、ｕ、ｗ、ｚを図１８の１０６０に示したタイミングに得る。これらの画素信号１０６０はブロックメモリ１４６１に格納される。ブロックメモリ１４６１は、例の場合５画素×５ラインの２５画素分の容量を持ち、２系統の入力（１０６０、３０２１）のうちいずれかの信号を書き込み、独立した２系統の信号（３０４０、３０７０）を同時に出力する。なお、２系統の入力のいずれの情報を書き込みかを選択する信号線等は省略してある。また、ここで「同時」との意味は、たとえば図１８の時刻３１００から時刻３１１０の処理単位期間において、読出しあるいは書き込みの処理が完了するとの意味であり、上記の単位期間を複数の期間（例えば３期間）に区切り、それぞれの期間において、書き込み、読出し１、読出し２を順次に行っても構わない。【００８３】
ブロックメモリ１４６１からは、図１８の３０４０および３０７０に示したタイミングにて書き込まれた２つの画素信号が読み出される、例えば時刻３１００においては、信号３０４０には、図１６の画素ａの信号、図３０７０には画素ｆの信号が読み出される。これらの信号は遅延回路３０５０、３０８０にてそれぞれ処理単位期間遅延され、信号３０６０、３０９０になる。すなわち、時刻３１１０には、信号３０６０、３０４０、３０９０、３０７０には、それぞれ画素ａ，ｂ，ｆ，ｇの信号が出力されており、ハーフペル処理回路３０００においてはこの４画素を用いて、図１６の画素Ａの予測に用いる予測信号Ａ’が予測信号１０８０として生成される。なお、予測ベクトルの水平、垂直いずれか一方の成分がちょうど整数精度の値であった場合、上記４画素のうち必要な２画素が使われ、また、水平・垂直双方が整数精度であった場合は信号３０６０のみが使用される。このように予測ベクトルの水平・垂直の一方あるいは双方が整数精度の信号であった場合は、予測信号生成に使用しない画素が存在するためこれらの画素はフレームメモリから読み出さなくても構わない。【００８４】
生成された予測信号１０８０は、予測信号として出力されるとともに、そのうち、他の予測信号の生成に必要な信号は遅延回路３０２０において必要な時間（この例では処理単位期間の５倍）遅延された後に信号３０２１として、ブロックメモリ１４６１に書き込まれる。書き込まれるタイミングは図１８の３０２１に示すタイミングであり、画素ｍに引き続きき、ちょうど図１６の画面上で連続する画素位置のタイミングとして書き込まれる。なお、信号３０２１から書き込まれる信号は画素Ａ’、Ｂ’、Ｆ’、Ｇ’、Ｋ’、Ｌ’である。これらの信号３０２１経由で書き込まれた信号も、信号１０６０経由で書き込まれた信号と同様に以降の予測信号生成処理に用いられる。【００８５】
こうしたハーフペル予測では、予測位置としてより正確な精度を指定できるため、予測効率がより向上する。また、符号化ブロックと予測ブロックの重複部分が大きい場合、予測ブロックの右下部分の画素（例えば、図１６、図１８の１０８０ではＭ’、Ｐ’、Ｓ’、Ｔ’）は、実在の画素ではないため他の予測信号に比べ誤差が含まれる確率が高くなるが、本発明の手法では、例えば画素Ｔの予測信号Ｔ’の生成にはＡ’、Ｂ’、Ｆ’、Ｇ’が用いられ、さらに、これらの信号を生成には画素ａ、ｂ、ｃ、ｆ、ｇ、ｈ、ｋ、ｌ、ｍの９画素の信号が用いられるため、個々の画素による予測の誤差が低減され、予測効率の低下を防止している。【００８６】
図１９は本発明の第２の実施の形態であり、本発明を符号化装置に適用した時の構成を示している。【００８７】
入力された画像信号２０１０はブロックに分割され入力される。入力された信号２０１０は、差分回路２０２０において、後述する予測信号２２００と画素毎に差分がとられ、以降、直交変換回路２０３０、量子化回路２０４０にて信号２１００に変換された後、符号回路２０５０にて符号に変換されデータストリーム２０６０として出力される。同時に、信号２１００は、逆量子化回路２１１０、逆直交変換回路２１２０にて差分信号に逆変換された後、加算回路２１３０において、先の予測信号２２００と画素毎に加算され、復号装置で得られるものと同一の画像信号（ローカルデコード画像）が得られる。ローカルデコード画像はフレームメモリ２１４０に書き込まれ、以降の予測信号２２００生成処理に用いる。【００８８】
予測信号２２００は、予測モード決定回路２１５０において、以下のように生成される。入力された画像信号（符号化ブロック）２０１０は予測モード決定回路２１５０に入力される。予測モード決定回路２１５０は、該当する符号化ブロックの予測信号の候補となる予測ベクトルを複数用意し、これらを予測候補ベクトル２２２０として順次、予測信号生成回路２２４０に入力する。予測信号生成回路は既に先の実施の形態において説明した予測信号生成回路１０４０、１０４１と同じ処理を行い、フレームメモリの符号化済み領域（先の実施の形態の復号済み領域に相当）の画素信号から、指定された予測候補ベクトルによる予測信号２２３０を生成する。予測モード決定回路２１５０は入力信号２０１０（符号化ブロック信号）と、予測ブロック信号（２２３０）を画素毎に差分をとり、予測誤差を計算する。そして、全ての予測候補ベクトルの予測誤差を計算した後に、最も予測誤差の小さい（最も類似した）ものを予測ベクトル２１６０とするとともに、予測ベクトル２１６０に対応する予測信号２２００を出力する。なお、予測ベクトル２１６０は符号回路２０５０において、データストリーム２０６０に情報が重畳される。【００８９】
なお、最も予測誤差の小さい予測ベクトル２１６０を計算する際に、予測信号はフレームメモリ２１４０に格納されたローカルデコード画像を用いたが、ローカルデコード画像のかわりに、入力された画像信号２０１０を用いても構わない。ただし、この場合も、予測信号２２００は、復号装置における誤差の蓄積を防止するために、ローカルデコード画像から生成する必要がある。入力画像を用いて最適なベクトルの探索方法は、高画質の符号化であるほど、ローカルデコード画像と入力画像が近くなるため予測の効率が高くなる。また、あるブロックを処理する場合、ベクトルの探索にローカルデコード画像を使用すると、その直前に符号化処理されたブロックのローカルデコード画像生成が完了、すなわち、直前のブロックの符号化処理が全て完了するまで、次のブロックのベクトルの探索を開始できない。一方、ベクトルの探索に入力画像を使用すると、直前のブロックの符号化処理完了を待つことなく、次のベクトル探索を開始できるため、ベクトル探索処理と、それ以降の符号化処理の並列実行が可能となり、各処理に許容される処理許容時間が長くなる（例えばベクトル探索処理とそれ以降の符号化処理が同じ時間かかるとすると、これらを並列処理することにより、処理許容時間は２倍になる）。処理許容時間が長くなると、同一の処理をより低いクロック周波数で実行できるため、消費電力が小さくなり、また、回路の削減が可能となる。また、同じクロック周波数で実行すると、単位時間により多くの画素を処理できるため、より解像度の高い画像の処理、あるいは、よりフレームレートの高い画像の処理、あるいは、複数の画像の同時処理、あるいはこれらの組み合わせを実現することができる。【００９０】
図２０は図１９の符号化装置２００１の生成するデータストリーム２０６０の構成例であり、図７の入力データストリーム１０１０に該当する。データストリームは階層的になっており、最上位階層ではストリーム全体にかかわる情報４０００に引き続き、フレームデータが配置される。フレームデータ、例えばフレームデータ４００２は、図２０中段にあるようにマクロブロック（MB）データ４１００〜４１０４から構成され、先頭にフレーム情報４１００が配置される。MBデータ、例えば４１０２は図２０下段にあるように、マクロブロックのモード情報 MBモード情報４２００から始まる。MBモードが本発明で示した方法のモードである場合には、予測信号を生成するためのベクトル情報が所定数配置される（４２０１〜４２０４）。このベクトルの数は、例えば図１５のようにマクロブロックが１６分割されている場合には１６個のベクトルとなる。分割数はMB情報にて指定される。所定数のベクトルに引き続き、マクロブロックの差分情報が配置される。【００９１】
図２１は本発明を適用した機器の例であり、映像を記録した光ディクスの再生装置のブロック図である。本発明により生成されたデータストリームは光ディスク１に記録されている。光ディスクドライブ２は光ディスク１から読み出された映像のデータストリーム１０１０をデコーダ１００１に供給する。デコーダ１００１は先に示した方法により入力データストリーム１０１０から再生した映像情報を、出力信号１１５０として出力する。出力された出力信号１１５０はモニタ３にて再生される。【００９２】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。【００９３】
既に説明した実施の形態、および各実施の形態の変形例に対して、下記の変形例、あるいは下記の変形例の組み合わせを適用する場合も本発明に含まれる。【００９４】
本実施の形態は、フレーム内符号化に適用した例を示しているが、フレーム間符号化とフレーム内符号化が混在する符号化および復号にも適用可能である。【００９５】
さらに、フレーム間符号化における、フレーム内符号化モードのブロックにも適用可能である。すなわち、フレーム間符号化において、あるブロック（またはマクロブロック）が、動き補償フレーム間予測による予測よりも、本発明による画面内ベクトル予測の方が好適であると判断されたブロックは、画面内ベクトル予測を選択した情報をデータストリームに付加した上で、本発明の実施の形態に示した方法にて、同一画面にて既に符号化された領域の画素を用いて予測信号を生成し、その差分信号を変換・符号処理する。これにより、該当ブロックを通常のフレーム内符号化する場合に比べ、少ない符号量にて符号化することが可能になる。この場合、ベクトルの予測信号生成において、隣接するブロックの予測ベクトルが存在しない場合は図１５の項にて説明した符号方法が適用できる。【００９６】
また、復号処理においては、画面内ベクトル予測を選択した情報をデータストリームから抽出して判定した後、該当ブロックを本実施の形態と同様に復号処理することができる。この時、該当ブロックが画面内ベクトル予測により符号化されたことは、図２０のMBモード４２００に示される。【００９７】
本発明は、動画像符号化だけでなく、静止画符号化にも適用することができる。【００９８】
本発明の実施の形態では、プログレッシブ画像を前提に説明したが、インターレース信号へも適用可能である。このとき、実施の形態において「画像」がフレーム画像、あるいはフィールド画像を示すこととなる。【００９９】
フレーム画像単位の符号化、あるいは復号において、ブロック（マクロブロック）毎に、フレームモードとフィールドモードを切り替えて処理をするフレーム／フィールド適応符号化と、本発明を組み合わせることも可能である。本発明の画面内ベクトルとして、フレームベクトル（フレーム単位のブロックを示すベクトル）／フィールドベクトル（フィールド単位のブロックを示すベクトル）を切り替えて使用することにより実施の形態をそのまま適用することが可能である。フレームベクトル／フィールドベクトルを切り替える信号は、ブロック（サブブロック）毎につけても構わないし、マクロブロック全体で１つの切替信号を指定しても構わない、さらに、マクロブロックの符号化モード情報に連動しても構わない。【０１００】
インターレース信号におけるフレーム画像では、時刻の異なる１つのフィールド画像を１ライン毎に配置して画面を構成しているため、画面に動きがあると、画面内のエッジ部等が１ライン毎に交互に櫛型にずれる画像となる。本発明では、こうした周期的なパターンを効率よく予測することができるため、周期的パターンに対応していない従来方法に比べ、より符号化効率が高くなる。【０１０１】
先の実施の形態では、予測ブロックは、そのまま予測信号として使用することを前提としているが、以下の場合も本発明に含まれる。【０１０２】
（１）予測ブロックの信号に係数を掛け予測信号とする。これは、画面内での輝度変化に対応するもので、例えば、周期的パターンの画像が照明の関係で徐々に暗くなっている画像の場合においても、予測効率を落とすことがない。また、この処理を重複部の予測画素に適用することにより、より高い予測効率を実現することができる。【０１０３】
（２）予測ブロックの信号に拡大あるいは縮小の処理を施し予測信号とする。拡大・縮小の倍率に従って、予測ブロックのサイズを変える必要がある（２倍に拡大する場合は、予測ブロックの大きさは通常の１／２でよい）。予測ブロックの拡大・縮小は、画像内の物体の幅（線幅）等が変化している場合に、より高い符号化効率が得られる。また、より大きなブロックで処理を行っても画像の変換に対応できるため、符号化効率が低下することなく、逆に予測ベクトルを符号化するオーバーヘッドが小さくなり、符号化効率が向上する。【０１０４】
（３）予測ブロックの信号を回転して予測信号とする。回転は任意角度の回転と、角度を限定した回転が可能である。例えば角度を、９０度、１８０度、２７０度に限定することにより、回転処理は任意角度に比べ容易となり、また、回転の度数を表す情報の符号量も小さくなる。予測ブロックの回転は、縦横複雑な模様が組み合わさった画像や、樹木の細かい葉のような様々な方向を向いた不定形の物体が含まれる画像の符号化に対して有効である。
【産業上の利用可能性】
【０１０５】
本発明は動画や静止画に対する符号化・復号技術に広く適用することができる。
【図１】
2010082231.tif 000003
【図２】
2010082231.tif 000004
【図３】
2010082231.tif 000005
【図４】
2010082231.tif 000006
【図５】
2010082231.tif 000007
【図６】
2010082231.tif 000008
【図７】
2010082231.tif 000009
【図８】
2010082231.tif 000010
【図９】
2010082231.tif 000011
【図１０】
2010082231.tif 000012
【図１１】
2010082231.tif 000013
【図１２】
2010082231.tif 000014
【図１３】
2010082231.tif 000015
【図１４】
2010082231.tif 000016
【図１５】
2010082231.tif 000017
【図１６】
2010082231.tif 000018
【図１７】
2010082231.tif 000019
【図１８】
2010082231.tif 000020
【図１９】
2010082231.tif 000021
【図２０】
2010082231.tif 000022
【図２１】
2010082231.tif 000023
【国際調査報告】
2010082231.tif 000024
2010082231.tif 000025
2010082231.tif 000026