(57)【特許請求の範囲】
【請求項１】
複数のフィールドで構成される動画像信号に対し、フィールド間の動き補償予測を行う動画像符号化装置において、
符号化対象ピクチャで、符号化に用いるベクトルに制限を設ける符号化対象ピクチャ制限領域を決定する符号化対象ピクチャ制限領域決定手段と、
符号化に用いる1枚あるいは複数の参照ピクチャで、前記符号化対象ピクチャ制限領域に属する各符号化ブロックが輝度の予測画像生成のために用いる参照画像に制限を設けた輝度参照制限領域と、前記符号化対象ピクチャ制限領域に属する各符号化ブロックが色差の予測画像生成のために用いる参照画像に制限を設けた色差参照制限領域を、各参照ピクチャが過去に符号化された際の前記符号化対象ピクチャ制限領域と等しいか、その前記符号化対象ピクチャ制限領域の一部を選択するよう参照ピクチャ毎に決定する参照制限領域決定手段と、
前記符号化対象ピクチャ制限領域に属する前記符号化ブロックを符号化する際に、前記符号化ブロックの動きベクトルにより生成される輝度および色差の両方の予測画像が、前記輝度参照制限領域及び前記色差参照制限領域の画素のみから構成されるよう、前記符号化ブロックの位置に対する参照制限領域の位置と、前記符号化ブロックのパリティと参照ピクチャのパリティの組合せから、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるように、動き予測で選択を禁止する選択禁止ベクトルを決定する選択禁止ベクトル決定手段と、
前記選択禁止ベクトルを除外して、動き予測により動きベクトルを決定する動きベクトル決定手段を備えることを特徴とする動画像符号化装置。
【請求項２】
請求項１において、前記選択禁止ベクトル決定手段は、符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの上から下に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第一の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう選択禁止ベクトルを決定する第二の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第二の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第一の選択手段を備えることを特徴とする動画像符号化装置。
【請求項３】
請求項１において、前記選択禁止ベクトル決定手段は、
符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの下から上に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第三の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第四の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第四の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第二の選択手段を備えることを特徴とする動画像符号化装置。
【請求項４】
請求項１において、前記選択禁止ベクトル決定手段は、
符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの中央から上下に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと、参照ピクチャのパリティが等しいとき前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第五の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第六の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第七の選択禁止ベクトル決定サブ手段と、
前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第六の選択禁止ベクトル決定サブ手段を選択し、前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第七の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第三の選択手段を備えることを特徴とする動画像符号化装置。
【請求項５】
複数のフィールドで構成される動画像信号に対し、フィールド間の動き補償予測を行う動画像符号化方法において、
符号化対象ピクチャで、符号化に用いるベクトルに制限を設ける符号化対象ピクチャ制限領域を決定する符号化対象ピクチャ制限領域決定を行うステップと、
符号化に用いる1枚あるいは複数の参照ピクチャで、前記符号化対象ピクチャ制限領域に属する各符号化ブロックが輝度の予測画像生成のために用いる参照画像に制限を設けた輝度参照制限領域と、前記符号化対象ピクチャ制限領域のブロックが色差の予測画像生成のために用いる参照画像に制限を設けた色差参照制限領域を、各参照ピクチャが過去に符号化された際の前記符号化対象ピクチャ制限領域と等しいか、その前記符号化対象ピクチャ制限領域の一部を選択するよう参照ピクチャ毎に決定する参照制限領域決定を行うステップと、
前記符号化対象ピクチャ制限領域に属する前記符号化ブロックを符号化する際に、前記符号化ブロックの動きベクトルにより生成される輝度および色差の両方の予測画像が、前記輝度参照制限領域及び前記色差参照制限領域の画素のみから構成されるよう、前記符号化ブロックの位置に対する参照制限領域の位置と、前記符号化ブロックのパリティと参照ピクチャのパリティの組合せから、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるように、動き予測で選択を禁止する選択禁止ベクトルを決定するステップと、
前記選択禁止ベクトルを除外して、動き予測により動きベクトルを決定するステップを有することを特徴とする動画像符号化方法。
【請求項６】
請求項５において、前記選択禁止ベクトルを決定するステップは、
符号化対象ピクチャ制限領域決定ステップにより決定される符号化対象ピクチャ制限領域がピクチャの上から下に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定ステップで決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第一の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定ステップで決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう選択禁止ベクトルを決定する第二の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第二の選択禁止ベクトル決定サブステップを選択して前記選択禁止ベクトルを出力する第一の選択ステップを有することを特徴とする動画像符号化方法。
【請求項７】
請求項５において、前記選択禁止ベクトルを決定するステップは、
符号化対象ピクチャ制限領域決定ステップにより決定される符号化対象ピクチャ制限領域がピクチャの下から上に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定ステップで決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第三の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定ステップで決定された領域内
で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第四の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第四の選択禁止ベクトル決定サブステップを選択して前記選択禁止ベクトルを出力する第二の選択ステップを有することを特徴とする動画像符号化方法。
【請求項８】
請求項５において、前記選択禁止ベクトルを決定するステップは、
符号化対象ピクチャ制限領域決定ステップにより決定される符号化対象ピクチャ制限領域がピクチャの中央から上下に順次領域を拡大していく場合、
前記符号化対象ピクチャの前記符号化ブロックのパリティと、参照ピクチャのパリティが等しいとき前記参照制限領域決定ステップで決定された領域以外を指すベクトルを前記選択禁止ベクトルとして決定する第五の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定ステップで決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第六の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定ステップで決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第七の選択禁止ベクトル決定サブステップと、
前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第六の選択禁止ベクトル決定サブステップを選択し、前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第七の選択禁止ベクトル決定サブステップを選択して前記選択禁止ベクトルを出力する第三の選択ステップを有することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィールド間予測モードを有する動画像符号化装置及び動画像装復号装置に係わる。
【背景技術】
【０００２】
動画像データは、一般に、データ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
代表的な動画像符号化方式として、ISO/IEC MPEG-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。図１は、動画像符号化装置の概略を説明する図である。まず、入力画像100と過去の符号化画像である参照ピクチャ104を用いて動きベクトル決定手段101で動きベクトル105を生成する。予想画像生成手段102では、この動きベクトル105と参照ピクチャ104を用いて、予測画像103を生成する。この予測画像103と入力画像100との予測誤差を減算手段106にてブロック単位に生成し、生成されたブロック単位の予測誤差が直交変換手段107、量子化手段108にて圧縮され、動きベクトル105とともにエントロピー符号化手段でビットストリームが生成される。また、量子化手段108の出力は逆量子化手段110、逆直交変換手段111にて予測誤差を伸張し、予測画像103と加算手段112にて加算され符号化された画像が再生され、参照画像蓄積手段113に参照ピクチャとして蓄積される。このような動画像符号化方式を用いてリアルタイム通信を行う場合、符号化と復号化における低遅延を実現する必要がある。
以下に、MPEG-2の低遅延符号化方式について説明する。MPEG-2は、I,P,Bの3種類のピクチャを規定している。Iピクチャは他のピクチャの符号化画像及び予測を用いず、自ピクチャ内の情報のみで画像を復元できるピクチャである。Pピクチャは過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは過去と未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは未来のピクチャを予測に用いるため、その符号化に先駆けて、予測に用いられる未来のピクチャを符号化しておく必要がある。そこで、符号化順にピクチャの並び替えを行う。ここで低遅延を実現するための方式では、ピクチャの並び替えの遅延を省くためにBピクチャを用いない。
また、動画像符号化の処理単位はピクチャを16×16画素のブロックに分割したマクロブロックで行われるマクロブロックには、ピクチャ内符号化を行うイントラマクロブロックと、ピクチャ間符号化を行うインターマクロブロックがある。ここで低遅延を実現するための方式では、あるマクロブロックを水平に並べたマクロブロックライン(スライス)内のデータをすべて、イントラマクロブロックとして符号化するイントラスライスを用いる。図２にて、このイントラスライスを説明する。各ピクチャ210a-210cは、Pピクチャで符号化する。ここで、ピクチャごとに、イントラスライスを適用するマクロブロックライン位置を213aの第０マクロブロックラインから213bの第Ｎマクロブロックライン、213cの第（Ｎ＋１）マクロブロックラインと徐々にずらしていくことで、一定周期でピクチャ全体をイントラスライスで巡回させる。その結果、巡回後はピクチャ全体のリフレッシュ(219a,b)が可能であり、伝送エラーで発生したエラーからの復帰や、映像ストリームを途中から復号することが可能となる。さらに、Iピクチャを用いないことで、バッファサイズを減少させることができ、バッファによる遅延を軽減することができる。
しかし、この際、Ｐピクチャのイントラスライス以外のスライスに属するマクロブロックが制限なくベクトルを用いて動き補償を行う場合、イントラスライスがピクチャ全体を巡回しても、まだイントラスライスで符号化されていない未リフレッシュ領域にエラーが発生した場合にエラーが空間方向に伝播してしまい、最悪の場合、エラーが画面に残り続けてしまう、という恐れがある。図３を用いて、従来技術の問題を説明する。この図の例では、参照ピクチャ311の未リフレッシュ領域320に復号エラーを含んでいる場合を示している。この際、符号化ピクチャ312において、符号化対象ブロック317の動きベクトル305が参照ピクチャ311の復号エラーを含む未リフレッシュ領域320を指し、この領域の画素を用いて予測画像316を生成した場合、図１の通り予測画像を含んだ画像は次ピクチャ以降の参照画像として使用されることから、復号エラーがイントラスライスによリ既にリフレッシュされた領域319bに伝播してしまう。この問題を解決するため、特公平６−１０１８４１号公報（特許文献１）では、イントラスライスで符号化が行われたスライスについて、あらかじめ定められた時間だけ、動き補償禁止ラインを設け、非ゼロの動きベクトルを用いた動き補償を禁止することにより、エラーが伝播しない方法が開示されている。図４は、この従来技術を説明するものである。この従来技術では、符号化ピクチャ４１２において、直前の符号化ピクチャである参照ピクチャ４１１でイントラスライス413aとして符号化された領域に属する符号化対象ブロック417は、符号化ピクチャ412においては、ゼロベクトル(0,0)のみ許容する、というものである。この結果、符号化対象ブロック417の予測画像416は、参照ピクチャ411のイントラスライスを構成する画素のみから構成され、未リフレッシュ領域420の画素を用いないことが保障されることから、未リフレッシュ領域の符号化誤差などの伝播を抑制することができる。
【特許文献１】特公平６−１０１８４１号公報
【特許文献２】特許第３７９１９２２号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
背景技術で説明した特許文献1に開示されている技術を、動画像符号化の国際標準ITU-T H.264(以下 H.264)に適用する場合、H.264の符号化方式固有の問題のため、未リフレッシュ領域に復号エラーがあった場合、エラーの空間方向への伝播が防げない恐れがある、という問題があった。H.264で従来技術を適用した際の課題について説明する。
前述のとおり、特許文献1では、イントラスライスで符号化が行われたスライスについて、あらかじめ定められた時間だけ、動きゼロのベクトルのみを行うというベクトル制限を行っている。ここでITU-T H.264においては、特許第３７９１９２２号（特許文献２）に開示される通りフィールドで構成される動画像を符号化する時の仕組みとして、輝度成分の動きベクトルから色差成分の動きベクトルを生成する際に、符号化ピクチャと参照ピクチャのパリティに依存する計算方法が採用されている。H.264における色差ベクトルの導出方法は、符号化ピクチャと参照ピクチャの両フールドが同じパリティの場合、符号化ピクチャがトップフィールドで参照ピクチがボトムフィールドの場合、及び符号化ピクチャがボトムフィールドで参照ピクチャがトップフィールドの場合、の３種類の場合で、計算方法が異なる。
符号化ピクチャがボトムフィールドで参照ピクチャがトップフィールドの場合には、輝度ベクトルから色差ベクトルの計算式は以下に表される。
MVCy=MVy/2+1/4                                          (式１)
また、符号化ピクチャがトップフィールドで参照ピクチャがボトムフィールドの場合の輝度ベクトルから色差ベクトルの計算式は以下に表される。
MVCy=MVy/2 - 1/4                                        (式２)
また、符号化ピクチャと参照ピクチャのパリティが等しい場合の輝度ベクトルから色差ベクトルの計算式は以下に表される。
MVCy=MVy/2                                              (式３)
ここで、MVCyは色差ベクトル垂直方向成分、MVyは輝度ベクトル垂直方向成分である。なお、従来のMPEG-2などの符号化では、色差ベクトルは、パリティなどに関わらず、輝度ベクトルの1/2の値、すなわち式３相当の値が用いられている。
ここで、H.264のフィールド符号化時で、且つ、符号化ピクチャがボトムフィールドで、参照ピクチャがトップフィールドの場合に、イントラスライス時のエラー伝播抑止のために、特許文献1に開示されているの技術を用いた場合、未リフレッシュ領域に復号エラーが含まれていた場合にリフレッシュ領域に誤差が伝播してしまう恐れがある。以下に、その理由を説明する。特許文献1 に従うと、イントラスライスの次のフレームでは、ベクトルゼロ(0,0)を選択する。この場合、輝度ベクトルの垂直成分MVｙは０であるので、式１に従い、色差ベクトルの垂直成分MVCyは
MVCy=MVy/2+1/4 =(0/2)+1/4 = 1/4                         (式４)
となる。すなわち、色差ベクトルは、(0、1/4)と下向きのベクトルとなる。この場合、図５の通り、輝度成分の予測ブロック516は、輝度の未リフレッシュ領域520の画素を用いることなく予測ブロックを生成することができるが、色差に関しては、色差の予測ブロック518は、1/4画素相当分だけ色差の未リフレッシュ領域521を跨いでいる。その結果、色差の予測画像は復号エラーを含む領域を参照してしまい、色差成分で誤差が伝播してしまう恐れがあった。
【課題を解決するための手段】
【０００４】
本発明は、上記の問題を解決するためになされたものである。
本発明の構成図を図６に説明する。
【０００５】
本発明では、複数のフィールドで構成される動画像信号に対し、フィールド間の動き補償予測を行う動画像符号化装置であって、
符号化対象ピクチャで、符号化に用いるベクトルに制限を設ける符号化対象ピクチャ制限領域を決定する符号化対象ピクチャ制限領域決定手段と、
符号化に用いる1枚あるいは複数の参照ピクチャで、前記符号化対象ピクチャ制限領域に属する各符号化ブロックが輝度の予測画像生成のために用いる参照画像に制限を設けた輝度参照制限領域と、前記符号化対象ピクチャ制限領域に属する各符号化ブロックが色差の予測画像生成のために用いる参照画像に制限を設けた色差参照制限領域を、各参照ピクチャが過去に符号化された際の前記符号化対象ピクチャ制限領域と等しいか、その前記符号化対象ピクチャ制限領域の一部を選択するよう参照ピクチャ毎に決定する参照制限領域決定手段と、
前記符号化対象ピクチャ制限領域に属する前記符号化ブロックを符号化する際に、前記符号化ブロックの動きベクトルにより生成される輝度および色差の両方の予測画像が、前記輝度参照制限領域及び前記色差参照制限領域の画素のみから構成されるよう、前記符号化ブロックの位置に対する参照制限領域の位置と、前記符号化ブロックのパリティと参照ピクチャのパリティの組合せから、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるように、動き予測で選択を禁止する選択禁止ベクトルを決定する選択禁止ベクトル決定手段と、
前記選択禁止ベクトルを除外して、動き予測により動きベクトルを決定する動きベクトル決定手段を備えるものである（請求項１）。
【０００６】
本発明に係わる選択禁止ベクトル決定手段（図７）は、符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの上から下に順次領域を拡大していく場合、前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第一の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう選択禁止ベクトルを決定する第二の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第二の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第一の選択手段を備える（請求項２）。
【０００７】
本発明に係わる選択禁止ベクトル決定手段（図８）は、符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの下から上に順次領域を拡大していく場合、前記符号化対象ピクチャの前記符号化ブロックのパリティと参照ピクチャのパリティが等しいとき、及び前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第三の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第四の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第四の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第二の選択手段を備える（請求項３）。
【０００８】
本発明に係わる選択禁止ベクトル決定手段（図９）は、符号化対象ピクチャ制限領域決定手段により決定される符号化対象ピクチャ制限領域がピクチャの中央から上下に順次領域を拡大していく場合、前記符号化対象ピクチャの前記符号化ブロックのパリティと、参照ピクチャのパリティが等しいとき前記参照制限領域決定手段で決定された領域以外を指すベクトルを選択禁止ベクトルとして決定する第五の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第六の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に、前記参照制限領域決定手段で決定された領域内で、輝度ベクトルから生成される色差ベクトルが参照制限領域内となるよう前記選択禁止ベクトルを決定する第七の選択禁止ベクトル決定サブ手段と、前記符号化対象ピクチャの前記符号化ブロックがトップフィールドで参照ピクチャがボトムフィールドのとき、前記第六の選択禁止ベクトル決定サブ手段を選択し、前記符号化対象ピクチャの前記符号化ブロックがボトムフィールドで参照ピクチャがトップフィールドのとき、前記第七の選択禁止ベクトル決定サブ手段を選択して前記選択禁止ベクトルを出力する第三の選択手段を備える（請求項４）。
【０００９】
また、請求項５乃至請求項８は、前述の装置と同様の作用をもたらす方法である。
【発明の効果】
【００１０】
本発明によれば、H.264のようにパリティに依存して色差ベクトルの計算方法が変わるような場合に、復号エラーが未リフレッシュに発生した場合でも、ミスマッチを起すことなく画面全体のリフレッシュを行うことができる。
【発明を実施するための最良の形態】
【００１１】
まず、請求項１、２を適用した場合の実施例を用いて説明する。
【００１２】
図１０は実施例の構成図である。図１と同じ機能を構成する各手段については、図１と同じ採番で示し、説明を省略する。まず、符号化対象ピクチャ制限領域決定手段 1030は、符号化画像の中で、符号化に用いるベクトルに制限を設ける符号化対象ピクチャ制限領域1022を設定する。
【００１３】
また、参照制限領域決定手段 1031は、符号化に用いる1枚あるいは複数の参照ピクチャ毎に、現符号化対象の符号化対象ピクチャ制限領域1022に属する各符号化ブロックが輝度の予測画像生成のために用いる参照画像に制限を設けた輝度参照制限領域1024と、前記符号化対象ピクチャ制限領域のブロックが色差の予測画像生成のために用いる参照画像に制限を設けた色差参照制限領域1025を、各参照ピクチャが過去に符号化された際に設定された符号化対象ピクチャ制限領域と等しいか、その符号化対象ピクチャ制限領域の一部を選択するよう参照ピクチャ毎に決定する。
【００１４】
この符号化対象ピクチャ制限領域決定手段1030と参照制限領域決定手段1031が、どのように領域を設定するかの例を、図１１を用いて説明する。なお、符号化対象ピクチャ制限領域と参照制限領域は、輝度及び色差に対して、全く同一の方法で作用するため、図１１では輝度、色差について区別していない。
【００１５】
この図の例では、時刻０にトップフィールドのピクチャ０、時刻1にボトムフィールドのピクチャ１、時刻２にトップフィールドのピクチャ２が符号化される。また、時刻１では、符号化対象のピクチャ１の参照画像としてピクチャ０が用いられ、時刻２では、符号化対象のピクチャ２の参照画像としてピクチャ０とピクチャ１が用いられることを示している。
【００１６】
まず、符号化対象ピクチャ制限領域決定手段1030の動作について説明する。符号化対象ピクチャ制限領域に属するマクロブロックでは、後述の通り、過去の参照ピクチャの中で未リフレッシュ領域の画素を参照しない、とする。さらに、ピクチャの符号化が進むと共に、未リフレッシュ領域を減ずるように制御していく。その結果、ピクチャの符号化が進む共に、この符号化対象ピクチャ制限領域を順次拡大してく。
【００１７】
図１１の場合では、ピクチャ０では符号化対象ピクチャ制限領域1022aは１マクロブロックライン幅であり、ピクチャ１では符号化対象ピクチャ制限領域1022bは２マクロブロックライン幅、ピクチャ２では符号化対象ピクチャ制限領域1022cは３マクロブロックラインと、順次符号化対象ピクチャ制限領域が上から下に拡大するよう符号化対象ピクチャ制限領域決定手段1030は制御を行う。そして、この符号化対象ピクチャ制限領域が全画面をカバーし終わった際には、ピクチャ上から未リフレッシュ領域がなくなり、復号エラーなどから完全に復帰できることになる。
【００１８】
次に、参照制限領域決定手段1031の動作について説明する。参照制限領域決定手段は、参照制限領域を、各参照ピクチャが過去に符号化された際に設定された符号化対象ピクチャ制限領域と等しいか、その符号化対象ピクチャ制限領域の一部を選択する。
【００１９】
図１１の場合では、参照制限領域決定手段は、時刻０において、ピクチャ０に設定された符号化対象ピクチャ制限領域1022aを、時刻１、時刻2では、それぞれ参照制限領域1024aとして設定する。また、時刻１においては、参照制限領域決定手段は、ピクチャ１に設定された符号化対象ピクチャ制限領域1022bを、時刻2では、参照制限領域1024bとして設定する。
【００２０】
なお、本実施例では、時刻１のピクチャ１の符号化対象ピクチャ制限領域1022bと時刻２のピクチャ１の参照制限領域1024bは等しいとしているが、参照制限領域1024bは符号化対象ピクチャ制限領域1022bの一部であってもよい。
【００２１】
そして、前述の選択禁止ベクトル決定手段1032により、符号化ピクチャがピクチャ１であり参照ピクチャがピクチャ０であるときに定義される動きベクトル1130aにより生成される輝度及び色差の両方の予測画像が、参照制限領域1024aの画素のみから構成されるよう、動きベクトル1130aを制限する。
【００２２】
また、選択禁止ベクトル決定手段1032は、符号化ピクチャがピクチャ２であり参照ピクチャがピクチャ０であるときに定義される動きベクトル1130bにより生成される輝度及び色差の両方の予測画像が、参照制限領域1024aの画素のみから構成されるよう、動きベクトル1130bを制限する。
【００２３】
同様に、選択禁止ベクトル決定手段1032は符号化ピクチャがピクチャ２であり参照ピクチャがピクチャ１であるときに定義される動きベクトル1130cにより生成される輝度及び色差の両方の予測画像が、参照制限領域1024bの画素のみから構成されるよう、動きベクトル1130cを制限する。
【００２４】
このように選択禁止ベクトル決定手段1032を制御することにより、符号化対象ピクチャ制限領域に属するマクロブロックは、過去に未リフレッシュ領域の参照を一切用いていない領域に属する画素のみから予測を行うことが保証されることから、未リフレッシュ領域に復号エラーなどが発生した場合でも、確実にエラー画像からの復帰が実現できることになる。
【００２５】
なお、特許文献１（特公平６−１０１８４１号公報』では、連続する2ピクチャの符号化対象ピクチャ制限領域の差分領域に相当する逐次的な拡大領域についてはイントラスライスにより符号化している。しかし、映像が上から下に動いている場合など、良い予測を与える画像が参照ピクチャの参照制限領域に存在する場合もあることから、逐次的な拡大領域についてはベクトルを用いたフレーム間予測符号化が可能であり、イントラスライスであることは必須ではない。
【００２６】
次に、図１２を用いて、符号化画像がボトムで参照画像がトップの際に、輝度成分のベクトルが参照制限領域の予測位置を指し示しているにもかかわらず、色差ベクトルが未リフレッシュ領域の画素を参照してしまう場合について説明する。
【００２７】
ITU-T H.264に開示されているとおり、符号化画像がボトムで参照画像がトップの際には、式１のとおり、色差のベクトルは、従来のMPEG-2などで導出されるベクトルに比べて、1/4だけ正方向にシフトした値となる。なお、ITU-T H.264では、輝度の予測は1/4画素精度、色差の予測は色差成分における1/8画素精度で行われる。
【００２８】
図１２の(a)は、符号化画像がボトムかつ参照画像がトップであり、輝度ベクトルが、輝度未フレッシュ領域1220との境界で輝度参照制限領域1224に属する整数画素位置1240aを予測の位置として参照している場合に、色差ベクトルが指し示すべき予測の位置を表したものである。これは、たとえば、図１１の動きベクトル1130aの場合のようにボトムフィールドのピクチャ１からトップフィールドのピクチャ０を指し示している場合に相当する。この場合、色差ベクトルが指し示す位置1250aは、図のように輝度の位置1240aから色差成分で1/4画素ずれた位置を指す。この1250aの位置の色差の予測値を作成するためには、ITU-T H.264に従うと、色差参照制限領域1225に属する色差画素1260aだけでなく、色差の未リフレッシュ領域1221に属する色差画素1260bが必要である。
【００２９】
今、求めるべき色差の予測画素1250aの値をX、画素1260aの画素値をA、1260bの画素値をBとすると、1250aは1260aと1260bの１：３の内分点なので、H.264標準に従うと
X＝(６・A ＋ ２・Ｂ ＋ ４) >> 3                              （式４）
で求められる。なお式中の「＞＞３」は、値を右に3ビットシフトすることを示し、８で割ることとほぼ等価である(値が負の場合の取り扱いが除算とは異なる)。
また、図１２の(b)は、符号化画像がボトムかつ参照画像がトップであり、輝度ベクトルが前述の1240aに対して輝度画素制度で1/4画素分上の位置を予測の位置1240bとして参照している場合に、色差ベクトルが指し示すべき予測の位置を表したものである。この場合も、色差ベクトルが指し示す位置1250bは、図のように輝度の位置1240bから色差成分で1/4画素ずれた位置を指す。この場合は、予測画素1250bの値Ｙを求めるためには、
Y＝(７・A ＋ Ｂ ＋ ４) >> 3                                         （式５）
で求められる。すなわち、符号化画像がボトムかつ参照画像がトップの場合には、1240a及び1240bの位置を参照するベクトルが存在するとき、色差の予測画像を生成するために、色差の未リフレッシュ領域に属する画素を参照する必要がある。この場合、選択禁止ベクトル決定手段において、1240a、1240bを参照する可能性のあるベクトルを禁止するよう作用させる必要がある。
【００３０】
次に、輝度成分のベクトルが輝度参照制限領域より内側の予測位置を指し示しているにもかかわらず、輝度の予測値を生成するのに、輝度の未リフレッシュ領域の画素を参照してしまう場合について、図１３を用いて説明する。
【００３１】
まず、輝度ベクトルが示す予測の位置が整数画素位置の場合、すなわち1340a及び1340eの場合には、予測生成に用いる画素は、対応する参照ピクチャの画素位置のみを予測に用いる。このため、予測の位置が1340a及び1340eの場合には、輝度参照領域1324のみの画素1370e及び1370dのみを予測値としてそれぞれ用いることから、これらの両予測位置を指し示すベクトルは選択可能である。
【００３２】
これに対し、輝度ベクトルが示す予測の位置が1340b、1340c、1340dの場合には、これらの予測位置に対応する画素の予測値を生成するために、参照ピクチャの画素において、1370b、1370c、1370d、1370e、1370f、1370gの画素が必要である。たとえば、1340cの位置の画素の予測値をZ、1370b、1370c、1370d、1370e、1370f、1370gの各画素の値をRefB、RefC 、RefD 、RefE 、RefF 、RefGとした場合、Zの値は、H.264に従い、以下のように求められる。
【００３３】
Z =（RefB − ５・RefC＋２０・RefD ＋
２０・RefE −５・RefF ＋RefG + 16）>> ５             ・・ （式６）
ここで、画素1370f、1370gは輝度の未リフレッシュ領域1320に属す。よって、ベクトルにより1340b、1340c、1340dの予測位置を参照するには、予測値生成に輝度の未リフレッシュ領域の画素を用いる必要がある。このことから、このことから、選択禁止ベクトル決定手段において、1340b、1340c、1340dを参照する可能性のあるベクトルを禁止するように作用させる。
同様に輝度ベクトルが示す予測の位置が1340f、1340g、1340hの場合には、これらの予測位置に対応する画素の予測値を生成するために、参照ピクチャの画素において、1370a、1370b、1370c、1370d、1370e、1370fの画素が必要である。この場合、1370fが輝度の未リフレッシュ領域1320に属す。よって、ベクトルにより1340f、1340g、1340hの予測位置を参照するには、予測値生成に輝度の未リフレッシュ領域の画素を用いる必要がある。このことから、このことから、選択禁止ベクトル決定手段において、1340f、1340g、1340hを参照する可能性のあるベクトルも、同様に禁止するように作用させる必要がある。
次に、前述の図１２及び図１３で説明した、色差及び輝度での参照禁止すべき画素位置が存在する事象を用いて、選択禁止ベクトル決定手段1032を説明する。
【００３４】
図１４は、選択禁止ベクトル決定手段の第一の実施例の形態を説明する図である。この選択禁止ベクトル決定手段には、符号化ブロックのパリティ1034、参照ピクチャのパリティ1035を入力として、第一の選択禁止ベクトル決定サブ手段1441あるいは第二の選択禁止ベクトル決定サブ手段1442のいずれかを選択して選択禁止ベクトル1036を選択する第一の選択手段1440を備える。
【００３５】
この第一の選択手段は、図中のテーブルに従い、符号化ブロックのパリティ1034と参照ピクチャのパリティ1035が等しいとき、及び符号化ブロックのパリティ1034がトップであり、参照ピクチャのパリティ1035がボトムである場合に、第一の選択禁止ベクトル決定サブ手段を選択し、符号化ブロックのパリティ1034がボトムであり、参照ピクチャのパリティ1035がトップである場合に第二の選択禁止ベクトル決定サブ手段を選択するように作用する。
【００３６】
次に、第一及び第二の選択禁止ベクトル決定サブ手段が、輝度及び色差の未リフレッシュ領域から、どのように選択禁止ベクトルを導出するかについて説明する。
【００３７】
選択禁止ベクトルを導出するにあたって、まず、使用を禁止すべき予測の位置について説明する。図１５は、第一及び第二の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置を説明する図である。
【００３８】
まず、第一の選択禁止ベクトル決定サブ手段は、符号化ブロックのパリティ1034と参照ピクチャのパリティ1035が等しいとき、及び符号化ブロックのパリティ1034がトップであり、参照ピクチャのパリティ1035がボトムである場合に、選択禁止ベクトルを求めるものである。このパリティ条件の場合、参照位置が図１３の輝度参照制限領域1324を指している場合においては、色差の予測を生成するために色差未リフレッシュ領域の画素が参照されることは決してない。このことから、本条件の場合には、第一の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置1536aは、図１５(a)で示したとおり、予測位置が輝度未リフレッシュ領域1320に属するもの、及び、図１３で示した1340b、1340c、1340d、1340f、1340g、1340h を統合したものである。
【００３９】
次に、第二の選択禁止ベクトル決定サブ手段は、符号化ブロックのパリティ1034がボトムであり、参照ピクチャのパリティ1035がトップである場合に、選択禁止ベクトルを求めるものである。このパリティ条件の場合、図１２で示したとおり、参照位置が1240a及び1240bの場合には、色差の予測を生成するために色差未リフレッシュ領域の画素を使用してしまうことから、これらの参照は禁止すべきである。このことから、本条件の場合には、第二の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置1536bは、図１５(b)で示したとおり、予測位置が輝度未リフレッシュ領域1320に属するもの、図１２で示した1240a、1240b、及び、図１３で示した1340b、1340c、1340d、1340f、1340g、1340h を統合したものである。ここで、画素1550は、第一と第二の選択禁止ベクトル決定サブ手段とで使用の可否が異なる画素位を示している。
【００４０】
次に、第一及び第二の選択禁止ベクトル決定サブ手段が、図１５で説明した使用を禁止すべき予測の位置、符号化対象ピクチャ制限領域、及び符号化ブロックの位置から、どのように選択禁止ベクトルを導出するかについて説明する。
【００４１】
図１６(a)は、図１１において、トップフィールドである符号化ピクチャ２を符号化するにあたり、ボトムフィールドであるピクチャ１を参照する場合を示したものである。この場合、参照制限領域はピクチャの上から２マクロブロックライン分であり、符号化対象ピクチャ制限領域はピクチャの上から３マクロブロックラインである場合を示す。パリティ条件から判断して、第一の選択手段は、第一の選択禁止ベクトル決定サブ手段を択する。この場合、第一の選択禁止ベクトル決定サブ手段が、どのように選択禁止ベクトルを導出するのか、図１６、図１７を用いて説明する。
【００４２】
図１７は、図１６(a)の場合のマクロブロックA(1650a)、B(1650b)、C(1650c)と、未リフレッシュ領域1120b、参照制限領域1024bとの関係を元に、第一の選択禁止ベクトル決定サブ手段が、どのように選択禁止ベクトルを求めるか、示したものである。図中の輝度ライン番号とは、ピクチャの一番上の画素ラインを０とし、画素ラインが増えるにしたがって昇順に番号を振った、画素の垂直方向の座標である。
【００４３】
図１７(a) はマクロブロックA についての選択禁止ベクトルを求める図である。選択禁止ベクトル1770aは、予測を禁止する画素の位置1736と、マクロブロックA (1650a)の下端画素 1760aとの垂直方向差分をもつベクトルを全て禁止する。この例の場合、マクロブロックの下端画素1760aのｙ座標は47であり、予測を禁止する画素の位置は、29.25以上 29.75以下、30.25以上30.75以下、及び31.25以上のものである。よって、第一の選択禁止ベクトル決定サブ手段は、禁止すべきベクトルとして、ベクトルのｙ成分が、この両者の差分である、−17.75 以上 −17.25以下、−16.75以上 −16.25以下、及び−15.75以上のものを導出する。
【００４４】
同様に、マクロブロックBについては、選択禁止ベクトル1770bは、予測を禁止する画素の位置1736と、マクロブロックB (1650b)の下端画素 1760bとの垂直方向差分をもつベクトルを全て禁止する。この例の場合、マクロブロックの下端画素1760bのｙ座標は３１であり、予測を禁止する画素の位置は、同様に、29.25以上29.75以下、30.25以上30.75以下、及び31.25より大きいものである。よって、第一の選択禁止ベクトル決定サブ手段は、禁止すべきベクトルとして、ベクトルのｙ成分が、この両者の差分である、−1.75 以上 −1.25以下、及び、−0.75以上 −0.25以下、及び0.25以上のものを導出する。
【００４５】
同様に、マクロブロックCについては、選択禁止ベクトル1770cは、予測を禁止する画素の位置1736と、マクロブロックC(1650c)の下端画素 1760cとの垂直方向差分をもつベクトルを全て禁止する。この例の場合、マクロブロックの下端画素1760cのｙ座標は１５であり、予測を禁止する画素の位置は、同様に、29.25以上 29.75以下、30.25以上30.75以下及び31.25以上のものである。よって、第一の選択禁止ベクトル決定サブ手段は、禁止すべきベクトルとして、ベクトルのｙ成分が、この両者の差分である、14.25 以上 14.75以下、及び、15.25以上 15.75以下、及び16.25以上のものを導出する。
【００４６】
また、図１６(a)のマクロブロックDについては、このマクロブロックDは符号化対象ピクチャ制限領域1022cに属さないため、マクロブロックA〜Cのようなベクトル制限は設ける必要がない。
【００４７】
図１６(b)は、図１１において、ボトムフィールドである符号化ピクチャ１を符号化するにあたり、トップフィールドであるピクチャ０を参照する場合を示したものである。この場合、参照制限領域1024aはピクチャの上から１マクロブロックライン分であり、符号化対象ピクチャ制限領域1022bはピクチャの上から２マクロブロックラインである場合を示す。パリティ条件から判断して、第一の選択手段は、第二の選択禁止ベクトル決定サブ手段を択する。この場合、第二の選択禁止ベクトル決定サブ手段が、どのように選択禁止ベクトルを導出するのか、図１６、図１８を用いて説明する。
【００４８】
図１８は、図１６(b)の場合のマクロブロックＥ(1650e)、F(1650f)と、未リフレッシュ領域1120a、参照制限領域1024aとの関係を元に、第二の選択禁止ベクトル決定サブ手段が、どのように選択禁止ベクトルを求めるか、を示したものである。図中の輝度ライン番号とは、ピクチャの一番上の画素ラインを０とし、画素ラインが増えるにしたがって昇順に番号を振った、画素の垂直方向の座標である。
【００４９】
図１８(e) はマクロブロックEについての選択禁止ベクトルを求める図である。選択禁止ベクトル1870eは、予測を禁止する画素の位置1836と、マクロブロックE(1650e)の下端画素 1860eとの垂直方向差分をもつベクトルを全て禁止する。この例の場合、マクロブロックの下端画素1860eのｙ座標は31であり、予測を禁止する画素の位置は、13.25以上13.75以下、及び14.25以上のものである。よって、第二の選択禁止ベクトル決定サブ手段は、禁止すべきベクトルとして、ベクトルのｙ成分が、この両者の差分である、−17.75 以上 −17.25以下、及び−16.75以上のものを導出する。
【００５０】
図１８(f) はマクロブロックFについての選択禁止ベクトルを求める図である。選択禁止ベクトル1870fは、予測を禁止する画素の位置1836と、マクロブロックF(1650f)の下端画素 1860fとの垂直方向差分をもつベクトルを全て禁止する。この例の場合、マクロブロックの下端画素1860fのｙ座標は１５であり、予測を禁止する画素の位置は、13.25 以上13.75以下、及び14.25以上のものである。よって、第二の選択禁止ベクトル決定サブ手段は、禁止すべきベクトルとして、ベクトルのｙ成分が、この両者の差分である、−1.75 以上 −1.25以下、及び−0.75以上のものを導出する。
【００５１】
また、図１６(b)のマクロブロックGについては、このマクロブロックGは符号化対象ピクチャ制限領域1022bに属さないため、マクロブロックE、Fのようなベクトル制限は設ける必要がない。
【００５２】
そして、図１１において、前術のような方法で選択禁止ベクトル決定手段 1032で選択禁止ベクトル1036を導出した後、この選択禁止ベクトルにしたがって、動きベクトル決定手段1001において、動き推定を行う際に、ベクトル選択禁止ベクトルを除外した範囲で最適な動きベクトル1005を求める。そして、この動きベクトル1005は予想画像生成手段に渡され、予測画像を生成するのに使用されると共に、エントロピー符号化手段に送られ、動きベクトル自体の符号化を行う。
【００５３】
第一の実施例において、以上の構成によれば、符号化対象ピクチャ制限領域が、符号化が進むに応じて上から下に拡大させる場合において、H.264のようにパリティに依存して色差ベクトルの計算方法が変わるような場合でも、未リフレッシュ領域の画素を用いることなく、リフレッシュを行うことができる。
【００５４】
図１９は、第二の実施例における符号化ピクチャ制限領域と参照制限領域を説明する図である。これは、請求項３の選択禁止ベクトル決定手段の第二の発明の形態に対応する。
【００５５】
この実施例の場合には、ピクチャ０では符号化対象ピクチャ制限領域1922aは１マクロブロックライン幅であり、ピクチャ１では符号化対象ピクチャ制限領域1922bは２マクロブロックライン幅、ピクチャ２では符号化対象ピクチャ制限領域1922cは３マクロブロックラインと、順次符号化対象ピクチャ制限領域が下から上に拡大するよう符号化対象ピクチャ制限領域決定手段1030は制御を行う。そして、この符号化対象ピクチャ制限領域が全画面をカバーし終わった際には、ピクチャ上から未リフレッシュ領域がなくなり、復号エラーなどから完全に復帰できることになる。
【００５６】
この場合、第一の実施例の場合とは異なり、符号化画像がトップで参照画像がボトムの際に、色差ベクトルが未リフレッシュ領域の画素を使用してしまう。これは、式２により、このパリティ条件の場合には、色差でベクトルが1/4シフトしてしまうためである。
【００５７】
図２０の(a)は、符号化画像がトップかつ参照画像がボトムであり、輝度ベクトルが、輝度未フレッシュ領域2020との境界で輝度参照制限領域2024に属する整数画素位置2040aを予測の位置として参照している場合に、色差ベクトルが指し示すべき予測の位置を表したものである。これは、たとえば、図１９の動きベクトル1930cの場合のようにトップフィールドのピクチャ２からボトムフィールドのピクチャ１を指し示している場合に相当する。この場合、色差ベクトルが指し示す位置2050aは、図のように輝度の位置2040aから色差成分で上に1/4画素ずれた位置を指す。この2050aの位置の色差の予測値を作成するためには、ITU-T H.264に従うと、色差参照制限領域2025に属する色差画素2060aだけでなく、色差の未リフレッシュ領域2021に属する色差画素2060bが必要である。
【００５８】
今、求めるべき色差の予測画素2050aの値をX、画素2060aの画素値をA、2060bの画素値をBとすると、2050aは2060aと2060bの１：３の内分点なので、H.264標準に従うと
X＝(６・A ＋ ２・Ｂ ＋ ４) >> 3                              （式７）
で求められる。なお式中の「＞＞３」は、値を右に3ビットシフトすることを示し、８で割ることとほぼ等価である(値が負の場合の取り扱いが除算とは異なる)。
また、図１２の(b)は、符号化画像がボトムかつ参照画像がトップであり、輝度ベクトルが前述の1240aに対して輝度画素制度で1/4画素分上の位置を予測の位置として参照している場合に、色差ベクトルが指し示すべき予測の位置を表したものである。この場合も、色差ベクトルが指し示す位置1250bは、図のように輝度の位置2040bから色差成分で1/4画素ずれた位置を指す。この場合も、予測画素2050bの値Ｙを求めるためには、
Y＝(７・A ＋ Ｂ ＋ ４) >> 3                                         （式８）
で求められる。すなわち、符号化画像がボトムかつ参照画像がトップの場合には、2040a及び2040bの位置を参照するベクトルが存在するとき、色差の予測画像を生成するために、色差の未リフレッシュ領域に属する画素を参照する必要がある。この場合、選択禁止ベクトル決定手段において、2040a、2040bを参照する可能性のあるベクトルを禁止するよう作用させる必要がある。
【００５９】
また、輝度については、輝度ベクトルが示す予測の位置、輝度の未リフレッシュ領域、及び参照画像で予測生成に用いる輝度成分の画像は、図１３を上限反転させたものである。
【００６０】
上記の事実を踏まえ、第二の実施例の動作を、図８を用いて説明する。この選択禁止ベクトル決定手段には、符号化ブロックのパリティ634、参照ピクチャのパリティ635を入力として、第三の選択禁止ベクトル決定サブ手段841あるいは第四の選択禁止ベクトル決定サブ手段842のいずれかを選択して選択禁止ベクトル636を選択する第二の選択手段1440を備える。
【００６１】
この第二の選択手段は、図中のテーブルに従い、符号化ブロックのパリティ634と参照ピクチャのパリティ635が等しいとき、及び符号化ブロックのパリティ634がボトムであり、参照ピクチャのパリティ635がトップである場合に、第三の選択禁止ベクトル決定サブ手段を選択し、符号化ブロックのパリティ634がトップであり、参照ピクチャのパリティ635がボトムである場合に第四の選択禁止ベクトル決定サブ手段を選択するように作用する。
【００６２】
そして、第三の選択禁止ベクトル決定サブ手段は、図２１（ａ）で示した、第三の選択禁止ベクトル決定サブ手段が使用を禁止すべき予測の位置2136aを用いて、符号が反転したことを除き、図１６(a)及び図１８を用いて実施例１で説明したのとほぼ同等の方法で、選択禁止ベクトルを導出する。また、第四の選択禁止ベクトル決定サブ手段は、図２１（ｂ）で示した、第四の選択禁止ベクトル決定サブ手段が使用を禁止すべき予測の位置2136bを用いて、符号が反転したことを除き、図１６(b)及び図１８を用いて実施例１で説明したのとほぼ同等の方法で、選択禁止ベクトルを導出する。
【００６３】
第二の実施例において、以上の構成によれば、符号化対象ピクチャ制限領域が、符号化が進むに応じて下から上に拡大させる場合において、H.264のようにパリティに依存して色差ベクトルの計算方法が変わるような場合でも、未リフレッシュ領域の画素を用いることなく、リフレッシュを行うことができる。
【００６４】
図２２は、第三の実施例における符号化ピクチャ制限領域と参照制限領域を説明する図である。これは、請求項４の選択禁止ベクトル決定手段の第三の発明の形態に対応する。
【００６５】
この実施例の場合には、ピクチャ０では符号化対象ピクチャ制限領域2222aは１マクロブロックライン幅で、画像の中央付近にあり、ピクチャ１では符号化対象ピクチャ制限領域2222bは２マクロブロックライン幅、ピクチャ２では符号化対象ピクチャ制限領域2222cは３マクロブロックラインと、順次符号化対象ピクチャ制限領域が中央から上下に拡大するよう符号化対象ピクチャ制限領域決定手段1030は制御を行う。そして、この符号化対象ピクチャ制限領域が全画面をカバーし終わった際には、実施例１、実施例２と同様にピクチャ上から未リフレッシュ領域がなくなり、復号エラーなどから完全に復帰できることになる。
【００６６】
この実施例の場合、参照制限領域と未リフレッシュ領域との境界が、第一の実施例のように参照制限領域が上で未リフレッシュ領域が下のケースと、第二の実施例のように、参照制限領域が下で未リフレッシュ領域が上のケースの双方を含むことになる。このことから、第三の実施例の場合、図２３（ａ）で示した、第五の選択禁止ベクトル決定サブ手段が使用を禁止すべき予測の位置2336a、図２３（ｂ）で示した、第六の選択禁止ベクトル決定サブ手段が使用を禁止すべき予測の位置2336b、図２３（ｃ）で示した、第七の選択禁止ベクトル決定サブ手段が使用を禁止すべき予測の位置2336cを用いて、第一及び第二の実施例のように、選択禁止ベクトルを求めることができる。
【００６７】
そして、各選択禁止ベクトル決定サブ手段の選択については、図９に従い、符号化ブロックのパリティと、参照ピクチャのパリティが等しいときに第五の選択禁止ベクトル決定サブ手段を選択し、符号化ブロックのパリティがトップであり、参照ピクチャのパリティがボトムである場合に第六の選択禁止ベクトル決定サブ手段を選択し、符号化ブロックのパリティがボトムであり、参照ピクチャのパリティがトップである場合に第七の選択禁止ベクトル決定サブ手段を選択するように、符号化ブロックのパリティと参照ピクチャのパリティにしたがって、第三の選択手段で選択するよう作用させる。
【００６８】
第三の実施例において、以上の構成によれば、符号化対象ピクチャ制限領域が、符号化が進むに応じて中央から上下に拡大させる場合において、H.264のようにパリティに依存して色差ベクトルの計算方法が変わるような場合でも、未リフレッシュ領域の画素を用いることなく、リフレッシュを行うことができる。
【図面の簡単な説明】
【００６９】
【図１】従来の動画像符号化装置を説明する図
【図２】従来のイントラスライスを説明する図
【図３】イントラスライスでベクトル制限が必要な理由を説明する図
【図４】従来技術のベクトル制限方法を説明する図
【図５】符号化画像のパリティがボトムで参照画像のパリティがトップの時H.264でゼロベクトルで予  測した時に輝度と色差で予測に使用される領域を説明する図
【図６】本発明の構成を説明する図
【図７】選択禁止ベクトル決定手段の第一の発明の形態を説明する図
【図８】選択禁止ベクトル決定手段の第二の発明の形態を説明する図
【図９】選択禁止ベクトル決定手段の第三の発明の形態を説明する図
【図１０】実施例の構成を説明する図
【図１１】符号化対象ピクチャ制限領域と参照制限領域を説明する図
【図１２】符号化画像がボトムで参照画像がトップの際に、色差ベクトルが未リフレッシュ領域の画素を使用する場合を説明する図
【図１３】輝度ベクトルが未リフレッシュ領域の画素を使用する場合を説明する図
【図１４】選択禁止ベクトル決定手段の第一の実施例の形態を説明する図
【図１５】第一の実施例で選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置を説明する図
【図１６】参照制限領域、符号化対象ピクチャ制限領域、及び符号化ブロックの位置の関係を示す図
【図１７】第一の選択禁止ベクトル決定サブ手段 の動作を説明する図
【図１８】第二の選択禁止ベクトル決定サブ手段 の動作を説明する図
【図１９】第二の実施例における符号化対象ピクチャ制限領域と参照制限領域を説明する図
【図２０】符号化画像がトップで参照画像がボトムの際に、色差ベクトルが未リフレッシュ領域の画素を使用する場合を説明する図
【図２１】第二の実施例で選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置を説明する図
【図２２】第三の実施例における符号化対象ピクチャ制限領域と参照制限領域を説明する図
【図２３】第三の実施例で選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置を説明する図
【符号の説明】
【００７０】
100           入力画像
101           動きベクトル決定手段
102           予測画像生成手段
103           予測画像
104           参照ピクチャ
105           動きベクトル
106           減算手段
107           直交変換手段
108           量子化手段
109           エントロピー符号化手段
110           逆量子化手段
111           逆直交変換手段
112           加算手段
113           参照画像蓄積手段
210a-210c     ピクチャ
213a-213c     イントラスライス
219a-219b     リフレッシュ済み領域
305           動きベクトル
311           参照ピクチャ
312           符号化ピクチャ
313a-313b     イントラスライス
316           予測画像
317           符号化対象ブロック
319a-319b     リフレッシュ済み領域
320           未リフレッシュ領域
405           動きベクトル
411           参照ピクチャ
412           符号化ピクチャ
413a-413b     イントラスライス
415           動き補償禁止ライン
416           予測画像
417           符号化対象ブロック
420           未リフレッシュ領域
516           ベクトル(0,0)で輝度成分で予測で使用される予測ブロック領域
518           ベクトル(0,0)で色差成分で予測で使用される予測ブロック領域
520           輝度の未リフレッシュ領域
521           色差の未リフレッシュ領域
601           動きベクトル決定手段
605           動きベクトル
622           符号化対象ピクチャ制限領域
624           輝度参照制限領域
625           色差参照制限領域
630           符号化対象ピクチャ制限領域決定手段
631           参照制限領域決定手段
632           選択禁止ベクトル決定手段
633           符号化ブロックの位置
634           符号化ブロックのパリティ
635           参照ピクチャのパリティ
636           選択禁止ベクトル
732           第一の発明の形態の選択禁止ベクトル決定手段
740           第一の発明の形態の選択手段
741           第一の選択禁止ベクトル決定サブ手段
742           第二の選択禁止ベクトル決定サブ手段
832           第二の発明の形態の選択禁止ベクトル決定手段
840           第二の発明の形態の選択手段
841           第三の選択禁止ベクトル決定サブ手段
842           第四の選択禁止ベクトル決定サブ手段
932           第三の発明の形態の選択禁止ベクトル決定手段
940           第三の発明の形態の選択手段
941           第五の選択禁止ベクトル決定サブ手段
942           第六の選択禁止ベクトル決定サブ手段
943           第七の選択禁止ベクトル決定サブ手段
1000          符号化ブロック
1001          動きベクトル決定手段
1002          予測画像生成手段
1003          予測画像
1004          参照ピクチャ
1005          動きベクトル
1022          符号化対象ピクチャ制限領域
1024          輝度参照制限領域
1025          色差参照制限領域
1030          符号化対象ピクチャ制限領域決定手段
1031          参照制限領域決定手段
1032          選択禁止ベクトル決定手段
1033          符号化ブロックの位置
1034          符号化ブロックのパリティ
1035          参照ピクチャのパリティ
1036          選択禁止ベクトル
1022a-1022c   符号化対象ピクチャ制限領域
1024a-1024b   参照制限領域
1120a-1120b   未リフレッシュ領域
1130a-1130c   動きベクトル
1220          輝度の未リフレッシュ領域
1221          色差の未リフレッシュ領域
1224          輝度参照制限領域
1225          色差参照制限領域
1240a-1240b   輝度ベクトルが指す予測の位置
1250a-1250b   色差ベクトルが指す予測の位置
1260a-1260b   参照画像で予測に用いる色差の画素
1320          輝度の未リフレッシュ領域
1324          輝度参照制限領域
1340a-1340h   輝度ベクトルが指す予測の位置
1370a-1370g   参照画像の画素位置
1440          第一の実施例の選択手段
1441          第一の選択禁止ベクトル決定サブ手段
1442          第二の選択禁止ベクトル決定サブ手段
1536a         第一の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
1536b         第二の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
1550          第一と第二の選択禁止ベクトル決定サブ手段とで使用の可否が異なる画素位置
1650a-1650g   マクロブロック
1736          予測を禁止する画素の位置
1760a-1760c   マクロブロックの下端画素
1770a-1770c   選択禁止ベクトル
1836          予測を禁止する画素の位置
1860e-1860f   マクロブロックの下端画素
1870e-1870f   選択禁止ベクトル
1922a-1922c   符号化対象ピクチャ制限領域
1924a-1924b   参照制限領域
1920a-1920b   未リフレッシュ領域
1930a-1930c   動きベクトル
2020          輝度の未リフレッシュ領域
2021          色差の未リフレッシュ領域
2024          輝度参照制限領域
2025          色差参照制限領域
2040a-2040b   輝度ベクトルが指す予測の位置
2050a-2050b   色差ベクトルが指す予測の位置
2060a-2060b   参照画像で予測に用いる色差の画素
2136a         第三の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
2136b         第四の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
2222a-2222c   符号化対象ピクチャ制限領域
2224a-2224b   参照制限領域
2220a-2220b   未リフレッシュ領域
2230a-2230c   動きベクトル
2336a         第五の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
2336b         第六の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
2336c         第七の選択禁止ベクトル決定サブ手段により使用を禁止すべき予測の位置
【図１】
0004678015.tif 000002
【図２】
0004678015.tif 000003
【図３】
0004678015.tif 000004
【図４】
0004678015.tif 000005
【図５】
0004678015.tif 000006
【図６】
0004678015.tif 000007
【図７】
0004678015.tif 000008
【図８】
0004678015.tif 000009
【図９】
0004678015.tif 000010
【図１０】
0004678015.tif 000011
【図１１】
0004678015.tif 000012
【図１２】
0004678015.tif 000013
【図１３】
0004678015.tif 000014
【図１４】
0004678015.tif 000015
【図１５】
0004678015.tif 000016
【図１６】
0004678015.tif 000017
【図１７】
0004678015.tif 000018
【図１８】
0004678015.tif 000019
【図１９】
0004678015.tif 000020
【図２０】
0004678015.tif 000021
【図２１】
0004678015.tif 000022
【図２２】
0004678015.tif 000023
【図２３】
0004678015.tif 000024