(57)【要約】本発明は、参照画像（I_REF）の基準ブロック（RFBL）を変更する方法に関する。すなわち、本方法は、基準ブロック（RFBL）を第一の係数のセット（REF(u,v)）も変換すること（TRF）、１以上の重み（TR(u,v)）により第一の係数のセット（REF(u,v)）を変更すること、変更された第一の係数のセットを逆変換すること（ITR）を含み、前記重み（TR(u,v)）は、現在の画像（I_CUR）の１以上の更なる画素及び参照画像（I_REF）の１以上の更なる基準画素により決定される。現在の画像の更なる画素及び参照画像の更なる基準画素を使用することで、フェージングの影響を反映するように、スペクトルの重みを決定することができる。特に、参照フレームが、そのうちの１つが前記参照フレームにより予測される２つのクロスフェードされているフレームから構成される場合、スペクトル領域の重み付けは、２つのフレームの関連性を分離することができる。
2011530919.tif 000002
【特許請求の範囲】
【請求項１】
参照画像の基準画素からなる基準ブロックを変更する方法であって、
変更された基準ブロックは、現在の画像の画素からなるブロックを予測するために使用され、
当該方法は、
前記基準ブロックを第一の係数のセットに変換するステップと、
前記第一の係数のセットを１以上の重みにより変更するステップと、
変更された第一の係数のセットに逆変換を施すステップとを含み、
前記重みは、前記現在の画像の更なる画素と前記参照画像の更なる基準画素とにより決定される、
ことを特徴とする方法。
【請求項２】
前記ブロックは、前記更なる画素により予測され、
前記基準ブロックは、前記更なる基準画素により予測され、
前記予測されたブロック及び前記予測された基準ブロックを使用して、前記重みが決定される、
請求項１記載の方法。
【請求項３】
前記予測された基準ブロックは、前記更なる基準画素と共に第二の係数のセットに変換され、
前記予測されたブロックは、前記更なる画素と共に第三の係数のセットに変換され、
前記第二の係数のセットと前記第三の係数のセットにより前記重みが決定される、
請求項１又は２記載の方法。
【請求項４】
前記第二の係数のセットのうちのある係数について、該係数が第一の閾値を超えるかを調べ、第三の係数のセットのうちの対応する係数について、該係数が前記第一の閾値と同じ又は異なる閾値を超えるかを調べるステップと、
調べられた係数の少なくとも１つが前記閾値を超えない場合、対応する重みをゼロとして決定するステップと、
調べられた係数の少なくとも１つが前記閾値を超える場合、対応する重みを、第二の係数のセットのうちの係数を、前記第三の係数のセットのうちの対応する係数で割ったとき商として決定するステップと、
を更に含む請求項３記載の方法。
【請求項５】
参照画像の基準ブロックによりある画像のあるブロックを符号化又は復号化する方法であって、
当該方法は、
請求項１乃至４の何れかに従って前記基準ブロックを変更するステップと、
前記ブロックを符号化又は復号化するために前記あるブロックの予測として、変更された基準ブロックを使用するステップと、
を含むことを特徴とする方法。
【請求項６】
参照画像により現在の画像を符号化又は復号化する装置であって、
前記参照画像の基準ブロックを含む基準領域を第一の係数のセットに変換する手段と、
１以上の重みを決定する手段と、
前記１以上の重みにより前記第一の係数のセットを重み付けする手段と、
重み付けされた第一の係数のセットを、符号化又は復号化のために使用される変更された基準ブロックを含む変更された基準領域に逆変換する手段とを備え、
前記重みは、前記現在の画像の１以上の更なる画素及び前記参照画像の１以上の更なる基準画素により決定される、
ことを特徴とする装置。
【請求項７】
前記重みを決定する手段は、前記更なる画素により前記現在の画像のブロックを予測し、前記更なる基準画素により前記基準ブロックを予測し、前記予測されたブロックと前記予測された基準ブロックを使用して前記重みを決定する、
請求項６記載の装置。
【請求項８】
前記変換する手段は、前記更なる基準画素と共に前記予測された基準ブロックを第二の係数のセットに変換し、
前記変換する手段は、前記更なる画素と共に前記予測されたブロックを第三の係数のセットに変換し、
前記変換する手段は、前記第二の係数のセットと前記第三の係数のセットとにより前記重みを決定する、
請求項６又は７記載の装置。
【請求項９】
前記第二の係数のセットのうちのある係数が第一の閾値を超えるかを調べ、前記第三の係数のセットのうちの対応する係数が前記第一の閾値と同じ又は異なる閾値を超えるかを調べる手段と、
ある値を対応する重みに割り当てる手段とを更に備え、調べられた係数のうちの少なくとも１つが対応する閾値を超えない場合に、前記値をゼロとし、前記調べられた係数のうちの少なくとも１つが対応する閾値を超える場合に、前記第二の係数のセットのうちの係数を前記第三の係数のセットの前記対応する係数で割ったときの商に比例する前記値が割り当てられる、
請求項８記載の装置。
【請求項１０】
前記重みの数は、前記第一の係数のセットの係数の数に対応する、
請求項６乃至９のいずれか記載の装置、又は請求項１乃至５のいずれか記載の方法。
【請求項１１】
前記基準ブロックは、前記更なる基準画素と共に変換される、
請求項６乃至１０のいずれか記載の装置、又は請求項１乃至５のいずれか記載の方法。
【請求項１２】
ある画像の符号化されたブロックを担持する信号又は記録媒体であって、
前記ブロックは、請求項５に従って符号化される、
ことを特徴とする信号又は記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照画像の基準ブロックを変更する方法に関する。  
また、本発明は、変更された基準ブロックにより画像のブロックを符号化又は復号化する方法、並びに対応する装置に関する。
【０００２】
さらに、本発明は、変更された基準ブロックにより符号化されたブロックを担持する記録媒体又は信号に関する。
【背景技術】
【０００３】
クロスフェードされている画像及びフェージングされていない画像を含む画像系列において、フェージングされていない画像のうちの１つによりクロスフェードされている画像の１つをインター予測すること、逆に、クロスフェードされている画像のうちの１つによりフェージングされていない画像の１つをインター予測することは困難である。これは、フェージングされていない画像は、クロスフェードされている画像とは著しく異なるためである。従って、前記クロスフェードされている画像のうちの１つと前記フェージングされていない画像のうちの１つとの間の残差を符号化することは、高いビットレートを必要とする。
【０００４】
H.264-AVC映像符号化規格は、参照画像を重み付けし、２以上の係る重み付けされた異なる参照画像の合計として予測を形成することで参照画像を変更することを提案している。参照画像のうちの１つがクロスフェードを含む場合、対応する重みは負である場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
H.264-AVC映像符号化規格は、どのように重みを決定すべきかを規定していない。従って、重みは、サイド情報として送信される必要がある。  
クロスフェードの場合に符号化効率を改善することができる参照画像の変更方法及び装置が必要とされている。
【課題を解決するための手段】
【０００６】
上記目的は、参照画像の基準画素からなる基準ブロックを変更する方法により達成され、前記変更された基準ブロックは、現在の画像の画素からなるブロックを予測するために専用とされるものであり、当該方法は、請求項１の特徴を含むものである。
【０００７】
すなわち、当該方法は、基準ブロックを第一の係数のセットに変換し、第一の係数のセットを１以上の重みにより変更し、変更された第一の係数のセットを逆変換することを含むものであり、前記重みは、現在の画像の１以上の更なる画素と、参照画像の１以上の更なる基準画素とにより決定される。
【０００８】
現在の画像の更なる画素と参照画像の更なる基準画素とを使用することで、スペクトルの重みがフェージングの影響を反映するようにスペクトルの重みを決定することが可能となる。特に、参照フレームが、そのうちの１つが前記参照フレームにより予測される２以上のクロスフェードされているフレームから構成されている場合、スペクトル領域における重みは、混合されたフレームの関連性を分けるのを可能にする。
【０００９】
当該方法の更なる実施の形態では、前記ブロックは、前記更なる画素により予測され、前記基準ブロックは、前記更なる基準画素により予測され、前記予測されたブロック及び前記予測された基準ブロックは、前記重みを決定するために更に使用される。
【００１０】
当該方法の更なる実施の形態では、前記予測された基準ブロックは、前記更なる基準画素と共に第二の係数のセットに変換され、前記予測されたブロックは、前記更なる画素と共に第三の係数のセットに変換され、前記第二の係数のセットと前記第三の係数のセットにより重みが決定される。
【００１１】
当該方法の更なる実施の形態は、第二の係数のセットのうちの係数について、該係数がある閾値を超えるかを調べ、第三の係数のセットのうちの対応する係数について、該係数が前記閾値を超えるかを調べることを含む。調べられた係数の少なくとも１つが前記閾値を超えない場合、対応する重みはゼロであるとして決定される。さもなければ、対応する重みは、第二の係数のセットのうちの係数を第三の係数のセットのうちの対応する係数で割ったときの商として決定される。
【００１２】
また、本発明は、参照画像の基準ブロックにより、ある画像のブロックを符号化又は復号化する方法に関する。当該方法は、参照画像の基準ブロックを変更して前記変更された基準ブロックを前記ブロックを符号化又は復号化するためのブロックの予測として使用する方法の実施の形態のうちの１つに従って、基準ブロックを変更することを含む。
【００１３】
これは、特に、クロスフェードに特有のサイド情報を必要とすることなしに、クロスフェードブロックにより予測されるブロックの復号化を可能にする。
【００１４】
本発明は、変更された参照画像により画像を符号化又は復号化する装置に関する。
【００１５】
当該装置は、参照画像の基準ブロックを第一の係数のセットに変換する手段、１以上の重みを決定する手段、第一の係数のセットを前記重みにより重み付けする手段、重み付けされた第一の係数のセットを逆変換する手段を有するものであり、前記重みは、現在の画像の１以上の更なる画素及び参照画像の１以上の更なる基準画素により決定される。
【００１６】
当該装置の更なる実施の形態では、前記重みを決定する手段は、前記更なる画素により前記ブロックを予測し、前記更なる基準画素により前記基準ブロックを予測し、前記予測されたブロックと前記予測された基準ブロックとを更に使用して前記重みを決定するように適合される。
【００１７】
当該装置の更なる実施の形態では、前記変換する手段は、前記予測された基準ブロックを前記更なる基準画素と共に第二の係数のセットに変換し、前記変換する手段は、前記予測されたブロックを前記更なる画素と共に第三の係数のセットに変換し、前記変換する手段は、前記第二の係数のセットと前記第三の係数のセットとにより重みを決定する。
【００１８】
当該装置の前記更なる実施の形態は、前記第二の係数のセットのうちの係数がある閾値を超えるかを調べ、前記第三の係数のセットのうちの係数が前記閾値を超えるかを調べる手段、及びある値を対応する重みに割り当てる手段を有する。調べられた係数のうちの少なくとも１つが前記閾値を超えない場合、前記値はゼロである。さもなければ、前記値は、第二の係数のセットのうちの係数を前記第三の係数のセットのうちの対応する係数で割ったときの商に比例する。
【００１９】
決定された重みの数は、第一の係数のセットにおける係数の数に対応する場合がある。
【００２０】
さらに、前記基準ブロックは、前記更なる基準画素と共に変換される。
【００２１】
さらに、本発明は、ある画像の符号化されたブロックを担持する記録媒体又は信号に関するものであり、前記ブロックは、参照画像の基準ブロックにより、ある画像のブロックを符号化又は復号化する前記方法に従って符号化される。
【図面の簡単な説明】
【００２２】
本発明の例示的な実施の形態は、添付図面において例示され、以下の説明において更に詳細に説明される。
【図１】基準ブロックを変更する方法の例示的な概念図である。
【図２】基準ブロック又は現在のブロックの中間的な予測の例示的な実施の形態を示す図である。
【図３】基準ブロックを変更する本発明の方法の例示的な実施の形態により再構成される、２つのフェージングを受けた画像のうちの例示的なクロスフェードされた画像とフェージングを受けた画像を示す図である。
【発明を実施するための形態】
【００２３】
図１は、基準ブロックを変更する方法の例示的な概要を示す図である。
【００２４】
参照画像I_REFにおけるn×m画素からなる基準領域REFA1は、基準ブロックRFBL、及び参照画像のI_REFの更なる基準画素を含む。たとえば幾つかの基準ブロックを含む基準領域REFA1は、変換TRFにより第一の係数のセットREF1(u,v)、u＝0...n-1、v=0…m-1に変換される。第一の係数のセットREF1(u,v)は、次いで、１以上の重みTR(u,v)により重み付けされる。変換TRFは、離散コサイン変換、ウェーブレット変換又は他のスペクトル変換である場合がある。好ましくは、それぞれの係数は、個々に重み付けされ、すなわち係数当たり１つの重みが存在し、これにより最大の重み付けのフレキシビリティが提供される。しかし、２以上の係数について共通の重みは、計算量が制限される場合に有利な場合がある。
【００２５】
前記重みTR(u,v)を決定するため、基準領域RFRA1に含まれる更なる基準画素により基準ブロックRFBLの基準の予測PRFBが生成される。次いで、基準予測PRFB及び更なる画素を含む仮想的な基準領域RFRA2が形成される。すなわち、仮想的な基準領域RFRA2は、基準ブロックRFBLが前記基準の予測PRFBにより置き換えられる点で基準領域RFRA1とは異なる。仮想的な基準領域RFRA2は、基準領域RFRA1に適用されるのと同じ変換TRFにより変換される。これにより、第二の係数のセットREF2(u,v)、u=0...n-1、v=0…m-1が得られる。
【００２６】
重みを決定することは、現在の画像I_CURに含まれる現在のブロックCRBLの現在の予測PCRBを生成することを更に含み、前記現在のブロックCRBLは、前記参照画像I_REFによりインター符号化される。現在の予測PCRBは、現在の領域CRRA1に含まれる更なる現在の画素により形成され、現在の領域は、前記現在の予測PCRBを更に含み、現在の画像I_CURに含まれる。前記現在の予測PCRBは、前記基準の予測PFRBが前記更なる基準の画素から形成されるのと同じやり方で前記更なる画素から形成される。現在の領域CRRA1は、垂直及び水平方向の拡大において第二の基準の領域RFRA2に対応する。
【００２７】
次いで、現在の予測PCRB及び更なる現在の画素とを含む仮想的な現在の領域CRRA2が形成される。すなわち、仮想的な現在の領域CRRA2は、現在のブロックCRBLが前記現在の予測PCRBにより置き換えられる点で現在の領域CRRA1とは異なる。仮想的な現在の領域CRRA2は、基準の領域RFRA1及び仮想的な基準の領域RFRA2に適用されたのと同じ変換TRFにより変換される。これにより、第三の係数のセットCURR(u,v)、u=0...n-1、v=0...m-1が得られる。
【００２８】
第二の係数のセット及び第三の係数のセットにより、重みのセットTR(u,v)のセットが決定される。好ましくは、重みTR(u,v)は、以下のようにu=0...n-1、v=0...m-1について決定される。
【００２９】
【数１】
2011530919.tif 000003
この場合、thrf及びthcrは、自由に選択可能な閾値であり、好ましくは１に設定される。
【００３０】
好ましくは、第一の係数のセットREF1(u,v)におけるそれぞれの係数について、重みのセットTR(u,v)における対応する重みが存在する。次いで、第一の係数のセットREF(u,v)におけるそれぞれの係数とその対応する重みとを、u=0...n-1、v=0...m-1について乗算することで、変更された係数のセットMREF(u,v)が形成される。
【００３１】
【数２】
2011530919.tif 000004
前記変更された係数のセットMREF(u,v)は、変更された基準の画素の変更された基準の領域MRRAに逆変換ITRされる。
【００３２】
変更された基準の画素からなる変更された基準の領域MRRAは、変更された画素からなる変更された基準のブロックMRFBを含み、このブロックは、基準の領域RFRAにおける基準のブロックの相対的な位置に対応する相対的な位置で、変更された基準の領域MRRAに位置される。変更された基準の領域MRRAにおける変更された画素のブロックの相対的な位置は、仮想的な基準の領域RFRA2における基準の予測PRFBの相対的な位置に対応する。
【００３３】
前記変更された基準のブロックMRFBは、次いで、前記現在のブロックCRBLのインター符号化の環境における予測として使用される。
【００３４】
すなわち、変更された基準のブロックMRFBは、前記現在のブロックCRBLのインター符号化用のエンコーダ及びインター符号化されたブロックをデコードするデコーダにおけるのと同じ方法で決定されることが好ましい。
【００３５】
これを可能にするため、現在のブロックCRBLがデコードされたときに、重みTR(u,v)を決定するために使用される更なる現在の画素が既にデコードされていることが必要である。画像の左上の頂点から右下の頂点へのシリアルなデコードでは、現在のブロックの左へのブロック、左上のブロック及び右の境界へのブロックは、既にデコードされており、現在のブロックCRBLの下側の境界は、図１に示されるように現在の領域CRRA1の右の境界と下側の境界とにそれぞれ一致している。
【００３６】
あるサンプルを１つの画素として、ある列、ある行又はある長方形における２以上の画素からなる機能として考える。有効な機能は、平均又は中間であり、これらは更に重み付けされる場合がある。次いで、現在の予測PCRB及び基準の予測PRFBは、現在の画像I_CUR又は参照画像I_REFのそれぞれのサンプルにより決定される場合があり、サンプルは、現在のブロックの上側境界又は基準ブロックの左の境界に隣接する。
【００３７】
前記隣接するサンプルは、平均され、結果として得られる平均は、基準の予測PRFBにおいて、現在の予測PCRBにおける全ての画素のそれぞれに割り当てられる場合がある。
【００３８】
又は、現在の予測PCRBにおけるある画素は、決定されることとなる画素と同じ列に位置される隣接するサンプルのうちの１つと、決定されることとなる画素と同じ行に位置される隣接するサンプルのうちの１つとの平均として決定される。
【００３９】
予測の概念は、図２に示される。たとえば、画素１１は、サンプルCとサンプルiiiの平均として決定され、両方のサンプルは、サンプルがブロックの左の境界に隣接する場合に、対応する行における２以上の画素を通して平均することで決定されるか、サンプルがブロックの上側の境界に隣接する場合に、対応する列における２以上の画素を通して平均することで決定される。同様に、画素８は、サンプルDとサンプルiiの平均として決定され、画素２は、サンプルBとサンプルiの平均として決定される。実施の形態では、画素１１は、現在のブロックCRBLの左上のブロックの画素の矩形から形成される、サンプルA及びiにより決定されず、サンプルQにより決定される。
【００４０】
本発明は、クロスフェードされている画像がクロスフェードされている２以上の画像のうちの１つについて基準として使用される場合に特に有効である。これは、図３に例示的に示される。右の画像は、スペクトル領域における本発明の重み付けにより左の２つの画像の例示的なクロスフェードから生成される。
【図１】
2011530919.tif 000005
【図２】
2011530919.tif 000006
【図３】
2011530919.tif 000007
【手続補正書】
【提出日】平成23年2月15日(2011.2.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
参照画像の基準画素からなる基準ブロックを変更する方法であって、
変更された基準ブロックは、現在の画像の画素からなるブロックを予測するために使用され、
当該方法は、
前記基準ブロックを第一の係数のセットに変換するステップと、
前記第一の係数のセットを１以上の重みにより変更するステップと、
変更された第一の係数のセットに逆変換を施すステップとを含み、
前記ブロックは、前記現在の画像の更なる画素により予測され、
前記基準ブロックは、前記参照画像の更なる基準画素により予測され、
前記予測された基準ブロックは、前記更なる基準画素と共に第二の係数のセットに変換され、
前記予測されたブロックは、前記更なる画素と共に第三の係数のセットに変換され、
前記第二の係数のセットと前記第三の係数のセットにより前記重みが決定され、
当該方法は、
前記第二の係数のセットのうちのある係数について、該係数が第一の閾値を超えるかを調べ、第三の係数のセットのうちの対応する係数について、該係数が前記第一の閾値と同じ又は異なる閾値を超えるかを調べるステップと、
調べられた係数の少なくとも１つが前記第一の閾値又は前記第一の閾値と同じ又は異なる閾値を超えない場合、対応する重みをゼロとして決定するステップと、
調べられた係数の少なくとも１つが前記第一の閾値又は前記第一の閾値と同じ又は異なる閾値を超える場合、対応する重みを、第二の係数のセットのうちの前記係数を、前記第三の係数のセットのうちの前記対応する係数で割ったとき商として決定するステップと、
を更に含むことを特徴とする方法。
【請求項２】
参照画像の基準ブロックにより現在の画像のブロックを符号化又は復号化する方法であって、
当該方法は、
請求項１記載の前記基準ブロックを変更するステップと、
前記現在の画像のブロックを符号化又は復号化するために前記あるブロックの予測として、変更された基準ブロックを使用するステップと、
を含むことを特徴とする方法。
【請求項３】
参照画像により現在の画像を符号化又は復号化する装置であって、
前記参照画像の基準ブロックを含む基準領域を第一の係数のセットに変換する手段と、
１以上の重みを決定する手段と、
前記１以上の重みにより前記第一の係数のセットを重み付けする手段と、
重み付けされた第一の係数のセットを、符号化又は復号化のために使用される変更された基準ブロックを含む変更された基準領域に逆変換する手段とを備え、
前記重みを決定する手段は、前記現在の画像の更なる画素により前記現在の画像のブロックを予測し、前記参照画像の更なる基準画素により前記基準ブロックを予測し、予測されたブロックと予測された基準ブロックとを使用して前記重みを決定し、
前記変換する手段は、前記更なる基準画素と共に前記予測された基準ブロックを第二の係数のセットに変換し、前記更なる画素と共に前記予測されたブロックを第三の係数のセットに変換し、
当該装置は、
前記第二の係数のセットのうちのある係数が第一の閾値を超えるかを調べ、前記第三の係数のセットのうちの対応する係数が前記第一の閾値と同じ又は異なる閾値を超えるかを調べる手段と、
ある値を対応する重みに割り当てる手段であって、調べられた係数のうちの少なくとも１つが対応する閾値を超えない場合に前記値をゼロとし、前記調べられた係数のうちの少なくとも１つが対応する閾値を超える場合に、前記第二の係数のセットのうちの前記係数を前記第三の係数のセットの前記対応する係数で割ったときの商に比例する前記値を割り当てる手段とを更に備える、
ことを特徴とする装置。
【請求項４】
前記重みの数は、前記第一の係数のセットの係数の数に対応する、
請求項３記載の装置。
【請求項５】
前記基準ブロックは、前記更なる基準画素と共に変換される、
請求項３又は４記載の装置。
【請求項６】
現在の画像の符号化されたブロックを担持する信号又は記録媒体であって、
前記現在の画像の符号化されたブロックは、請求項２記載の方法に従って符号化される、
ことを特徴とする信号又は記録媒体。
【請求項７】
前記重みの数は、前記第一の係数のセットの係数の数に対応する、
請求項１又は２記載の方法。
【請求項８】
前記基準ブロックは、前記更なる基準画素と共に変換される、
請求項１、２又は７記載の方法。
【国際調査報告】
2011530919.tif 000008
2011530919.tif 000009
2011530919.tif 000010