(57)【要約】  多視点符号化および復号の方法ならびに装置が本明細書で開示される。多視点ビデオ画像を符号化するプロセスでは、補助参照情報を使用する画像のフレーム番号および視点識別子情報がコードストリーム内に書き込まれ、復号器に送信される。したがって、復号により復号器は、補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得し、フレーム番号および視点識別子情報により規定された画像に適用される補助参照情報を決定することができる。さらに、画像の誤りは補助参照情報により隠匿されうる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報は、視点識別子情報により復号器で決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
2010525637.tif 000002
【特許請求の範囲】
【請求項１】
多視点ビデオ画像を符号化するように構成された多視点符号化の方法であって、多視点ビデオ画像情報を符号化し、前記情報をコードストリーム内に書き込むプロセスは、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を前記コードストリーム内に書き込み、前記コードストリームを復号器に送信するステップ
をさらに備える、方法。
【請求項２】
前記補助参照情報は復号し表示するのに役立つ情報を備える、請求項1に記載の方法。
【請求項３】
前記補助参照情報は反復参照フレーム指標情報および参照フレームのうちの少なくとも1つを備える、請求項1に記載の方法。
【請求項４】
多視点符号化の装置であって、多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットを備え、
補助参照情報ならびにこの種の参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
前記多視点画像符号化ユニットおよび前記補助参照情報符号化ユニットの前記符号化動作により取得された前記コードストリームを復号器に送信するように構成された送信ユニットと
をさらに備える、装置。
【請求項５】
多視点ビデオ画像を復号するように構成された多視点復号の方法であって、前記多視点ビデオ画像情報を復号するプロセスは、
補助参照情報ならびに補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号するステップ
をさらに備える、方法。
【請求項６】
前記補助参照情報は復号し表示するのに役立つ情報を備える、請求項5に記載の方法。
【請求項７】
前記補助参照情報は反復参照フレーム指標情報または参照フレームを備える、請求項5に記載の方法。
【請求項８】
多視点ビデオ画像を復号するように構成された多視点復号の方法であって、前記多視点ビデオ画像情報を復号するプロセスは、
補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号するステップと、
前記取得されたフレーム番号および視点識別子情報により前記フレーム番号および前記視点識別子によって規定された前記画像に適用される前記補助参照情報を決定するステップと、
前記補助参照情報により前記規定された画像の誤りを隠匿するステップと
をさらに備える、方法。
【請求項９】
前記補助参照情報により前記規定された画像の前記誤りを隠匿するステップは、下記の方法、すなわち
決定された反復参照フレーム指標情報により前記規定された画像の前記誤りを隠匿するステップ、または
規定された復号された参照フレームにより前記規定された画像の前記誤りを隠匿するステップ
のうちの少なくとも1つを備える、請求項6に記載の方法。
【請求項１０】
多視点復号の装置であって、多視点ビデオ画像を復号するように構成された多視点画像復号ユニットを備え、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報を取得するために前記コードストリーム受信ユニットによって受信された前記コードストリームを復号するように構成された補助参照情報復号ユニットと
をさらに備える、装置。
【請求項１１】
多視点復号の装置であって、多視点ビデオ画像を復号するように構成された多視点画像復号ユニットを備え、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報を取得するために前記コードストリーム受信ユニットによって受信された前記コードストリームを復号するように構成された補助参照情報復号ユニットと、
この種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報により前記規定された画像に適用される前記補助参照情報を決定するように構成された補助参照情報決定ユニットであって、前記フレーム番号および前記視点識別子情報は前記補助参照情報復号ユニットによって取得される、補助参照情報決定ユニットと、
前記補助参照情報決定ユニットによって決定された前記補助参照情報により前記補助参照情報を使用する前記画像の誤りを隠匿するように構成された誤り隠匿ユニットと
をさらに備える、装置。
【請求項１２】
前記誤り隠匿ユニットは少なくとも1つの下記のユニット、すなわち
前記補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により前記規定されたフレームの前記誤りを隠匿するように構成された前記反復参照フレーム指標情報に基づいた誤り隠匿ユニット、または
前記補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定された前記フレームの前記誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニット
を備える、請求項11に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化および復号の技術に関し、具体的には多視点符号化および復号の技術に関する。
【背景技術】
【０００２】
マルチメディア通信技術の急速な開発に伴い人々は、従来の固定視点映像および2次元(2D)映像にもはや満足しない。娯楽、教育、観光および外科医学などの多くの応用分野では人々は、多視点ビデオ、自由視点ビデオ、および3次元(3D)ビデオを必要とする。
【０００３】
この種の要求を満たすために複数のカメラが、様々な観点および様々な位置から同一の場面の1群のビデオ信号を同時に取得することができる。このビデオ信号群は「多視点ビデオ」と呼ばれる。その後、取得されたビデオ信号は符号化され送信される。この種の1群のビデオ信号を符号化するプロセスは「多視点ビデオ符号化」と呼ばれる。
【０００４】
本発明を実現するプロセスでは発明者は、多視点ビデオ符号化および符号化された信号を復号器に送信するプロセスでいくつかのデータが、チャネルの混雑および帯域幅の変化により消失または破損されうることを見出す。その結果、復号器は符号化されたデータを受信した後にこの種のデータをリストアすることができず、データを正しく復号することができない。
【発明の概要】
【課題を解決するための手段】
【０００５】
多視点符号化および復号の方法ならびに装置が、符号化および復号の性能を効果的に向上するために本発明の一実施形態で開示される。
【０００６】
多視点符号化方法が、多視点ビデオ画像を符号化するために本明細書で開示される。多視点ビデオ画像情報を符号化し、情報をコードストリーム内に書き込むプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報がコードストリーム内に書き込まれ、コードストリームは復号器に送信される。
【０００７】
多視点符号化装置が本明細書で提供される。多視点符号化装置は、多視点ビデオ画像を符号化するように構成されている多視点画像符号化ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
【０００８】
多視点復号方法が多視点ビデオ画像を復号するために本明細書で提供される。多視点ビデオ画像情報を復号するプロセスは、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号すること
をさらに含む。
【０００９】
多視点復号方法が多視点ビデオ画像を復号するために本明細書で提供される。多視点ビデオ画像情報を復号するプロセスは、
この種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号することと、
取得されたフレーム番号および視点識別子情報によりフレーム番号および視点識別子によって規定された画像に適用される補助参照情報を決定することと、
補助参照情報により規定された画像の誤りを隠匿することと
をさらに含む。
【００１０】
多視点復号装置が本明細書で提供される。多視点復号装置は、多視点ビデオ画像を復号するように構成されている多視点画像復号ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
【００１１】
多視点復号装置が本明細書で提供される。多視点復号装置は、多視点ビデオ画像を復号するように構成されている多視点画像復号ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと、
この種の補助参照情報を使用する画像のフレーム番号および視点識別子情報により規定された画像に適用される補助参照情報を決定するように構成された補助参照情報決定ユニット(ここで、フレーム番号および視点識別子情報は補助参照情報復号ユニットによって取得される)と、
補助参照情報決定ユニットによって決定された補助参照情報により補助参照情報を使用する画像の誤りを隠匿するように構成された誤り隠匿ユニットと
を含む。
【００１２】
上述の本発明に基づく技術的解決策により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべての画像の視点識別子情報を取得する、すなわち各画像が来る視点を決定できることが理解されうる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報が、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による多視点復号のフローチャートを示す第1の概略図である。
【図２】本発明の一実施形態による多視点復号のフローチャートを示す第2の概略図である。
【図３】本発明の一実施形態による装置の構造を示す概略図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態での多視点ビデオ画像を符号化するプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報が、補助の強化情報としてコードストリーム内に書き込まれ、復号器に送信される。したがって、多視点ビデオ画像情報を復号するプロセスでは受信した多視点ビデオコードストリームは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために復号されうる。復号器が補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得した後、現在適用された補助参照情報は、この種の補助参照情報を使用する画像のフレーム番号および視点識別子情報により決定されうる。さらに、規定された画像(すなわち、フレーム番号および視点識別子情報によって規定された画像)の誤りが補助参照情報により隠匿されうる。
【００１５】
一実施形態では補助参照情報は、反復参照フレーム指標情報、または参照フレーム、または誤りを隠匿するのに役立つ他の情報を含んで復号し表示するのに役立つ情報を意味する。多視点ビデオ符号化技術により符号化されるデータの場合に復号器は、復号器の復号効果を向上し、符号化および復号の性能を強化するためにフレーム間情報を効果的に使用することによって誤りを隠匿することができる。例えば、規定された画像の誤りが、決定された反復参照フレーム指標情報により隠匿されうるか、または規定された画像の誤りが、規定された復号された参照画像により隠匿されうるか、または前述の2つの隠匿方法が同時に適用されうるか、または規定された画像の誤りが他の隠匿方法により隠匿されうる。
【００１６】
本発明の実施形態をより明瞭にするために本発明の実施形態の実現プロセスが、添付図面を参照することによって下記で詳述される。
【００１７】
本発明の一実施形態では、下記の表で説明される符号化プロセスで反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
【００１８】
【表１】
2010525637.tif 000003
【００１９】
前述の表の視点識別子情報「view_id」およびフレーム番号「temporal_id」は、補助参照情報「sei_message()」の適用範囲を規定する、すなわち、補助参照情報が適用される画像を規定することができる。この実施形態では、対応する補助参照情報が、視点識別子「view_id」およびフレーム番号「temporal_id」によって規定された画像に適用されうる場合、対応する誤りは隠匿されうる。
【００２０】
本発明の実施形態が、反復参照フレーム指標情報および参照フレームがそれぞれ補助参照情報として働くものと仮定してより詳細に説明される。
【００２１】
(I)反復参照フレーム指標情報に基づいた誤り隠匿
【００２２】
多視点符号化および復号のプロセスでは参照フレーム指標情報の機能は、長期間の参照フレーム、または短期間の参照フレーム、または非参照フレームとして画像に印をつけることであり、それによって復号器は、参照フレーム指標情報により参照フレームを効果的に使用して符号化および復号の効率を向上することができる。参照フレーム指標情報がコードストリームにより復号器に送信される場合、コードストリームを送信するプロセスで参照フレーム指標情報の損失によって起因されるビデオ復号誤りを防止するために反復参照フレームマスク情報が適用されうる。つまり、フレームの参照フレームマスク情報が、復号器の誤り耐性能力を向上し、多視点ビデオ伝送性能を強化するために後続のコードストリーム内で繰り返し送信される。
【００２３】
多視点符号化に対応する復号器では、反復参照フレーム指標情報を正しく使用するために反復参照フレームが来る画像を把握することが必要である。つまり、時間方向の情報(すなわち、フレーム番号)だけでなく対応する視点識別子(フラグが来る視点を示す)も把握することが必要である。したがって符号化プロセスでは、表1および表2に示される反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
【００２４】
【表２】
2010525637.tif 000004
【００２５】
【表３】
2010525637.tif 000005
【００２６】
前述の表は、多視点符号化が適用される場合、コードストリーム内の反復参照フレーム指標情報の視点識別子「original_view_id」を符号化することが必要であることを示す。
【００２７】
表２および表３での主なパラメータが下記で説明される。
original_idr_flag:反復参照フレーム指標情報を有する画像がIDRフレームであるかどうかを示す。
original_view_id:参照フレームマスク情報が来る視点を示すための参照フレームマスクの視点識別子
original_frame_num:反復参照フレームマスク情報を有する画像のフレーム番号を示す。
original_field_pic_flag、original_bottom_field_flag:反復参照フレーム指標情報を有する画像のフィールド情報を示す。
dec_ref_pic_marking():反復参照フレーム指標情報の構文構造を示す。このパラメータは特定のフラグ情報を搬送する。
【００２８】
したがって、符号器は表４の情報を復号器に送信することができる。
【００２９】
【表４】
2010525637.tif 000006
【００３０】
表４の情報を受信した後に復号器は、この種の情報内のフレーム番号および視点識別子により反復参照フレームマスク情報を決定し、参照フレーム指標情報を使用することによって誤りを隠匿し、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【００３１】
反復参照フレームマスク情報に基づいた誤り隠匿についての前述の実施形態では、フレームのデータが消失される場合、フレームに対応する参照フレームマスク情報は、後で繰り返し送信される他のフレームの参照フレームマスク情報を使用することによって対応する参照フレームを決定することができる。このようにして、消失したまたは破損したデータによって起因される誤りが効果的に隠匿されうる。図1に示されるように、反復参照フレーム指標情報を有する元の画像の視点1のフレーム2が誤っているとき、隣接の視点のフレーム2のフラグ情報が誤りを隠匿するために使用されうる。
【００３２】
(II)参照フレームに基づいた誤り隠匿
【００３３】
この実施形態では、復号のための現在の画像(すなわち、対象画像)が正しく復号されない場合、現在復号されているフレームが、誤りをマスクし、復号性能を向上するために1つまたは複数の復号された参照画像(すなわち、参照フレーム)を使用することによって修正される。例えば、現在復号されている画像は、参照フレームの相当する位置のスライス群を使用して画像のフレーム内の相当する位置で正しく復号されないスライス群を修正し、したがって誤りを隠匿することができる。
【００３４】
多視点ビデオ符号化プロセスでは、スタンバイ画像(すなわち、参照フレーム)が来る画像を復号器が把握できるようにするために参照フレームの時間方向の情報(すなわち、フレーム番号)および視点識別子(参照フレームが来る視点を示す)を復号器に送信することが必要である。表５は解決策の詳細を示す。
【００３５】
【表５】
2010525637.tif 000007
【００３６】
表５は、多視点符号化が適用される場合、コードストリーム内の対象画像の視点ならびにスタンバイ画像の視点と対象画像の視点の差を符号化することが必要であり、それによって復号器は、視点間の参照フレームを正しく使用することによって対象画像の誤りを隠匿することができる。
【００３７】
表５の主なパラメータが下記で説明される。
target_frame_num:対象画像を復号するためのフレーム番号
target_view_id:対象画像の視点識別子
delta_spare_view_id[i]:参照フレーム内のiのスタンバイスライス群(iは序数である)のview_idを決定し、ここで参照フレーム内のview_idの値は0から1023(0と1023を含む)の範囲である。
【００３８】
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、iの参照フレーム(iは序数である)のview_id、すなわちspareViewId[i]は、下記で示されるiの参照フレームの視点識別子である。
num_spare_pics_minus1+1の参照フレーム中では各参照フレームの視点識別子は、対象画像の視点識別子の値「target_view_id」と参照画像の視点識別子の差により取得されてよく、ここで差はdelta_spare_view_id[i]である。すなわち、
spareViewId[i]=target_view_id-delta_spare_view_id[i]
【００３９】
spare_field_flag:対象画像(現在復号されているフレーム)および参照フレームの復号モードが「フィールド復号」であるか、それとも「フレーム復号」であるかを示す。
target_bottom_field_flag:対象画像が下位のフィールドに属するのか、それとも上位のフィールドに属するのかを示す。
num_spare_pics_minus1:対象画像に利用できる参照フレームの量を示す。
delta_spare_frame_num[i]:参照フレーム内に含まれるiのスタンバイスライス群ユニット(iは序数である)を決定する。
【００４０】
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、[i]の参照フレームの復号のためのフレーム番号、すなわちspareFrameNum[i]を決定するプロセスは下記の通りである。
まず、候補のスタンバイ画像のフレーム番号が対象画像のフレーム番号および復号モードフラグにより決定され、
その後、復号のためのフレーム番号が、候補のスタンバイ画像のフレーム番号(すなわち、candidateSpareFrameNum)ならびにスタンバイ画像のフレーム番号と対象画像のフレーム番号の差(すなわち、delta_spare_frame_num[i])により決定される。すなわち、
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
【００４１】
参照フレームのフレーム番号(すなわち、spareFrameNum[i])を推定するためのプロセスの疑似符号は下記の通りである。
candidateSpareFrameNum=target_frame_num-!spare_field_flag
for(i=0;i<=num_spare_pics_minus1;i++){
if(candidateSpareFrameNum<0)
candidateSpareFrameNum=MaxFrameNum-1
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
if(spareFrameNum[i]<0)
spareFrameNum[i]=MaxFrameNum+spareFrameNum[i]
candidateSpareFrameNum=spareFrameNum[i]-!spare_field_flag
};
spare_bottom_field_flag[i]:[i]の参照フレームが下位フィールドに属するのか、それとも上位フィールドに属するのかを示す。
spare_area_idc[i]:[i]の参照フレーム内のスタンバイスライス群ユニットを決定するモードを示す。例えば、モードは、[i]の画像内の任意のスライス群が参照ユニット(すなわち、誤りを隠匿するために参照フレームによって使用される参照情報)であることを示すこと、または構文要素「spare_unit_flag[i][j]」の値が参照フレームスライス群ユニットを決定するために使用されることを示すこと、または構文要素「zero_run_length[i][j]」がspareUnitFlagInBoxOutOrder[i][j]の値を決定するために使用されることを示すことでありうる。
zero_run_length[i][j]:spare_area_idc[i]の値によりspareUnitFlagInBoxOutOrder[i][j]の値を推定し、ここでspareUnitFlagInBoxOutOrder[i][j]は、iの参照フレーム内の反時計回りのBox-out(boxの中心から外側に)スキャンシーケンスでのjのスライス群(iおよびjは序数である)が参照ユニットであるかどうかを示す。
spare_unit_flag[i][j]:iの参照フレーム内のラスタスキャンシーケンスでのjのスライス群が参照ユニットであるかどうかを示す。
【００４２】
したがって、符号器は下記の表６の情報を復号器に送信することができる。
【００４３】
【表６】
2010525637.tif 000008
【００４４】
このようにして復号器は、参照フレームが来る視点を識別することができ、フレーム番号を識別することができる。したがって誤りが、対応する参照フレームを使用することによって復号器で隠匿されうる。
【００４５】
この実施形態では誤りは、多視点ビデオ復号の性能を向上するために多視点ビデオ復号のプロセスで参照フレームを使用することによって効果的に隠匿されうる。図2に示されるように、復号されるべき画像内の視点1のフレーム2の位置のスライス群が正しく復号されないとき、誤りは、隣接の視点の復号されたフレーム2内の相当する位置のスライス群を使用することによって隠匿されうる。
【００４６】
多視点符号化装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットと、
復号器に送信される必要がある補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニット(ここで補助参照情報は、例えば、反復参照フレーム指標情報、または参照フレームを復号し表示するのに役立つ情報を意味する)と、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
【００４７】
多視点符号化装置に対応して多視点復号装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
各視点のビデオ画像情報を取得するために受信したコードストリーム内の多視点ビデオ画像を復号するように構成された多視点画像復号ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
【００４８】
復号プロセスでは画像の誤りは、復号効果を向上するために補助参照情報復号ユニットによって取得された補助参照情報を使用することによって、ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を使用することによって隠匿されうる。したがって、装置は下記の処理ユニット、すなわち
この種の補助参照情報を使用する画像のフレーム番号および視点識別子により規定されたフレームに適用される補助参照情報を決定するように構成された補助参照情報決定ユニット(ここで、フレーム番号および視点識別子情報は補助参照情報復号ユニットによって取得される)と、
補助参照情報決定ユニットによって決定された補助参照情報によりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された誤り隠匿ユニットと
をさらに含むことができる。
【００４９】
任意選択で、誤りを隠匿するモードに応じて(すなわち、反復参照フレーム指標情報および参照フレームなどの補助参照情報に応じて)、誤り隠匿ユニットは下記のユニット、すなわち
補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により規定されたフレームの誤りを隠匿するように構成された反復参照フレーム指標情報に基づいた誤り隠匿ユニットと、
補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニットと
のいずれかまたは両方を含むことができる。
【００５０】
上述の符号化および復号の装置により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべてのフレームの視点識別子情報を取得する、すなわち各フレームが来る視点を決定することができる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報は、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【００５１】
本発明はいくつかの例示の実施形態により説明されているが、本発明はこの種の実施形態に限定されない。当業者が、本発明の精神および範囲を逸脱することなく本発明に対する様々な変更形態および変形形態を作成することができることは明らかである。本発明は、変更形態および変形形態が下記の「特許請求の範囲」またはそれらの均等物によって定義される保護の範囲内に入ることを条件として、変更形態および変形形態を包含するものである。
【図１】
2010525637.tif 000009
【図２】
2010525637.tif 000010
【図３】
2010525637.tif 000011
【手続補正書】
【提出日】平成21年11月16日(2009.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
多視点ビデオ画像を符号化するように構成された多視点符号化の方法であって、
多視点画像情報を符号化するとき、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むステップと、
前記コードストリームを復号器に送信するステップと
を備える、方法。
【請求項２】
前記補助参照情報は復号し表示するのに役立つ情報を備える、請求項1に記載の方法。
【請求項３】
前記補助参照情報は反復参照フレーム指標情報または参照フレームを備え、
前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、請求項1に記載の方法。
【請求項４】
多視点符号化の装置であって、多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットを備え、
補助参照情報ならびにこの種の参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
前記多視点画像符号化ユニットおよび前記補助参照情報符号化ユニットの前記符号化動作により取得された前記コードストリームを復号器に送信するように構成された送信ユニットと
をさらに備える、装置。
【請求項５】
多視点復号の方法であって、
多視点ビデオコードストリームを受信するステップと、
補助参照情報ならびに補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号するステップと
を備える、方法。
【請求項６】
前記補助参照情報は復号し表示するのに役立つ情報を備える、請求項5に記載の方法。
【請求項７】
前記補助参照情報は反復参照フレーム指標情報または参照フレームを備え、前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、請求項5に記載の方法。
【請求項８】
前記取得されたフレーム番号および視点識別子情報により前記フレーム番号および前記視点識別子によって規定された前記画像に適用される前記補助参照情報を決定するステップと、
前記補助参照情報により前記規定された画像の誤りを隠匿するステップと
をさらに備える、請求項5から7のいずれか一項に記載の方法。
【請求項９】
前記補助参照情報により前記規定された画像の前記誤りを隠匿するステップは、下記の方法、すなわち
決定された反復参照フレーム指標情報により前記規定された画像の前記誤りを隠匿するステップであって、前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、隠匿するステップ、または
規定された復号された参照フレームにより前記規定された画像の前記誤りを隠匿するステップ
のうちの少なくとも1つを備える、請求項6に記載の方法。
【請求項１０】
多視点復号の装置であって、多視点ビデオ画像を復号するように構成された多視点画像復号ユニットを備え、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報を取得するために前記コードストリーム受信ユニットによって受信された前記コードストリームを復号するように構成された補助参照情報復号ユニットと
をさらに備える、装置。
【請求項１１】
この種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報により前記規定された画像に適用される前記補助参照情報を決定するように構成された補助参照情報決定ユニットであって、前記フレーム番号および前記視点識別子情報は前記補助参照情報復号ユニットによって取得される、補助参照情報決定ユニットと、
前記補助参照情報決定ユニットによって決定された前記補助参照情報により前記補助参照情報を使用する前記画像の誤りを隠匿するように構成された誤り隠匿ユニットと
をさらに備える、請求項10に記載の装置。
【請求項１２】
前記誤り隠匿ユニットは、
前記補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により前記規定されたフレームの前記誤りを隠匿するように構成された前記反復参照フレーム指標情報に基づいた誤り隠匿ユニットであって、前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、誤り隠匿ユニット
を備える、請求項11に記載の装置。
【請求項１３】
前記誤り隠匿ユニットは、
前記補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定された前記フレームの前記誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニットを備える、請求項11に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化および復号の技術に関し、具体的には多視点符号化および復号の技術に関する。
【背景技術】
【０００２】
マルチメディア通信技術の急速な開発に伴い人々は、従来の固定視点映像および2次元(2D)映像にもはや満足しない。娯楽、教育、観光および外科医学などの多くの応用分野では人々は、多視点ビデオ、自由視点ビデオ、および3次元(3D)ビデオを必要とする。
【０００３】
この種の要求を満たすために複数のカメラが、様々な観点および様々な位置から同一の場面の1群のビデオ信号を同時に取得することができる。このビデオ信号群は「多視点ビデオ」と呼ばれる。その後、取得されたビデオ信号は符号化され送信される。この種の1群のビデオ信号を符号化するプロセスは「多視点ビデオ符号化」と呼ばれる。
【０００４】
本発明を実現するプロセスでは発明者は、多視点ビデオ符号化および符号化された信号を復号器に送信するプロセスでいくつかのデータが、チャネルの混雑および帯域幅の変化により消失または破損されうることを見出す。その結果、復号器は符号化されたデータを受信した後にこの種のデータをリストアすることができず、データを正しく復号することができない。
【発明の概要】
【課題を解決するための手段】
【０００５】
多視点符号化および復号の方法ならびに装置が、符号化および復号の性能を効果的に向上するために本発明の一実施形態で開示される。
【０００６】
多視点符号化方法が、多視点ビデオ画像を符号化するために本明細書で開示される。多視点ビデオ画像情報を符号化するプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報がコードストリーム内に書き込まれ、コードストリームは復号器に送信される。
【０００７】
多視点符号化装置が本明細書で提供される。多視点符号化装置は、多視点ビデオ画像を符号化するように構成されている多視点画像符号化ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
【０００８】
多視点復号方法が多視点ビデオ画像を復号するために本明細書で提供される。多視点ビデオ画像情報を復号するプロセスは、
多視点ビデオコードストリームを受信すること、および
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号すること
をさらに含む。
【０００９】
多視点復号装置が本明細書で提供される。多視点復号装置は、多視点ビデオ画像を復号するように構成されている多視点画像復号ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
【００１０】
上述の本発明に基づく技術的解決策により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべての画像の視点識別子情報を取得する、すなわち各画像が来る視点を決定できることが理解されうる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報が、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による多視点復号のフローチャートを示す第1の概略図である。
【図２】本発明の一実施形態による多視点復号のフローチャートを示す第2の概略図である。
【図３】本発明の一実施形態による装置の構造を示す概略図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態での多視点ビデオ画像を符号化するプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報が、補助の強化情報としてコードストリーム内に書き込まれ、復号器に送信される。したがって、多視点ビデオ画像情報を復号するプロセスでは受信した多視点ビデオコードストリームは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために復号されうる。復号器が補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得した後、現在適用された補助参照情報は、この種の補助参照情報を使用する画像のフレーム番号および視点識別子情報により決定されうる。さらに、規定された画像(すなわち、フレーム番号および視点識別子情報によって規定された画像)の誤りが補助参照情報により隠匿されうる。
【００１３】
一実施形態では補助参照情報は、反復参照フレーム指標情報、または参照フレーム、または誤りを隠匿するのに役立つ他の情報を含んで復号し表示するのに役立つ情報を意味する。多視点ビデオ符号化技術により符号化されるデータの場合に復号器は、復号器の復号効果を向上し、符号化および復号の性能を強化するためにフレーム間情報を効果的に使用することによって誤りを隠匿することができる。例えば、規定された画像の誤りが、決定された反復参照フレーム指標情報により隠匿されうるか、または規定された画像の誤りが、規定された復号された参照画像により隠匿されうるか、または前述の2つの隠匿方法が同時に適用されうるか、または規定された画像の誤りが他の隠匿方法により隠匿されうる。
【００１４】
本発明の実施形態をより明瞭にするために本発明の実施形態の実現プロセスが、添付図面を参照することによって下記で詳述される。
【００１５】
本発明の一実施形態では、下記の表で説明される符号化プロセスで反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
【００１６】
【表１】
2010525637.tif 000012
【００１７】
前述の表の視点識別子情報「view_id」およびフレーム番号「temporal_id」は、補助参照情報「sei_message()」の適用範囲を規定する、すなわち、補助参照情報が適用される画像を規定することができる。この実施形態では、対応する補助参照情報が、視点識別子「view_id」およびフレーム番号「temporal_id」によって規定された画像に適用されうる場合、対応する誤りは隠匿されうる。
【００１８】
本発明の実施形態が、反復参照フレーム指標情報および参照フレームがそれぞれ補助参照情報として働くものと仮定してより詳細に説明される。
【００１９】
(I)反復参照フレーム指標情報に基づいた誤り隠匿
【００２０】
多視点符号化および復号のプロセスでは参照フレーム指標情報の機能は、長期間の参照フレーム、または短期間の参照フレーム、または非参照フレームとして画像に印をつけることであり、それによって復号器は、参照フレーム指標情報により参照フレームを効果的に使用して符号化および復号の効率を向上することができる。参照フレーム指標情報がコードストリームにより復号器に送信される場合、コードストリームを送信するプロセスで参照フレーム指標情報の損失によって起因されるビデオ復号誤りを防止するために反復参照フレームマスク情報が適用されうる。つまり、フレームの参照フレームマスク情報が、復号器の誤り耐性能力を向上し、多視点ビデオ伝送性能を強化するために後続のコードストリーム内で繰り返し送信される。
【００２１】
多視点符号化に対応する復号器では、反復参照フレーム指標情報を正しく使用するために反復参照フレームが来る画像を把握することが必要である。つまり、時間方向の情報(すなわち、フレーム番号)だけでなく対応する視点識別子(フラグが来る視点を示す)も把握することが必要である。したがって符号化プロセスでは、表1および表2に示される反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
【００２２】
【表２】
2010525637.tif 000013
【００２３】
【表３】
2010525637.tif 000014
【００２４】
前述の表は、多視点符号化が適用される場合、コードストリーム内の反復参照フレーム指標情報の視点識別子「original_view_id」を符号化することが必要であることを示す。
【００２５】
表２および表３での主なパラメータが下記で説明される。
original_idr_flag:反復参照フレーム指標情報を有する画像がIDRフレームであるかどうかを示す。
original_view_id:参照フレームマスク情報が来る視点を示すための参照フレームマスクの視点識別子
original_frame_num:反復参照フレームマスク情報を有する画像のフレーム番号を示す。
original_field_pic_flag、original_bottom_field_flag:反復参照フレーム指標情報を有する画像のフィールド情報を示す。
dec_ref_pic_marking():反復参照フレーム指標情報の構文構造を示す。このパラメータは特定のフラグ情報を搬送する。
【００２６】
したがって、符号器は表４の情報を復号器に送信することができる。
【００２７】
【表４】
2010525637.tif 000015
【００２８】
表４の情報を受信した後に復号器は、この種の情報内のフレーム番号および視点識別子により反復参照フレームマスク情報を決定し、参照フレーム指標情報を使用することによって誤りを隠匿し、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【００２９】
反復参照フレームマスク情報に基づいた誤り隠匿についての前述の実施形態では、フレームのデータが消失される場合、フレームに対応する参照フレームマスク情報は、後で繰り返し送信される他のフレームの参照フレームマスク情報を使用することによって対応する参照フレームを決定することができる。このようにして、消失したまたは破損したデータによって起因される誤りが効果的に隠匿されうる。図1に示されるように、反復参照フレーム指標情報を有する元の画像の視点1のフレーム2が誤っているとき、隣接の視点のフレーム2のフラグ情報が誤りを隠匿するために使用されうる。
【００３０】
(II)参照フレームに基づいた誤り隠匿
【００３１】
この実施形態では、復号のための現在の画像(すなわち、対象画像)が正しく復号されない場合、現在復号されているフレームが、誤りをマスクし、復号性能を向上するために1つまたは複数の復号された参照画像(すなわち、参照フレーム)を使用することによって修正される。例えば、現在復号されている画像は、参照フレームの相当する位置のスライス群を使用して画像のフレーム内の相当する位置で正しく復号されないスライス群を修正し、したがって誤りを隠匿することができる。
【００３２】
多視点ビデオ符号化プロセスでは、スタンバイ画像(すなわち、参照フレーム)が来る画像を復号器が把握できるようにするために参照フレームの時間方向の情報(すなわち、フレーム番号)および視点識別子(参照フレームが来る視点を示す)を復号器に送信することが必要である。表５は解決策の詳細を示す。
【００３３】
【表５】
2010525637.tif 000016
【００３４】
表５は、多視点符号化が適用される場合、コードストリーム内の対象画像の視点ならびにスタンバイ画像の視点と対象画像の視点の差を符号化することが必要であり、それによって復号器は、視点間の参照フレームを正しく使用することによって対象画像の誤りを隠匿することができる。
【００３５】
表５の主なパラメータが下記で説明される。
target_frame_num:対象画像を復号するためのフレーム番号
target_view_id:対象画像の視点識別子
delta_spare_view_id[i]:参照フレーム内のiのスタンバイスライス群(iは序数である)のview_idを決定し、ここで参照フレーム内のview_idの値は0から1023(0と1023を含む)の範囲である。
【００３６】
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、iの参照フレーム(iは序数である)のview_id、すなわちspareViewId[i]は、下記で示されるiの参照フレームの視点識別子である。
num_spare_pics_minus1+1の参照フレーム中では各参照フレームの視点識別子は、対象画像の視点識別子の値「target_view_id」と参照画像の視点識別子の差により取得されてよく、ここで差はdelta_spare_view_id[i]である。すなわち、
spareViewId[i]=target_view_id-delta_spare_view_id[i]
【００３７】
spare_field_flag:対象画像(現在復号されているフレーム)および参照フレームの復号モードが「フィールド復号」であるか、それとも「フレーム復号」であるかを示す。
target_bottom_field_flag:対象画像が下位のフィールドに属するのか、それとも上位のフィールドに属するのかを示す。
num_spare_pics_minus1:対象画像に利用できる参照フレームの量を示す。
delta_spare_frame_num[i]:参照フレーム内に含まれるiのスタンバイスライス群ユニット(iは序数である)を決定する。
【００３８】
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、[i]の参照フレームの復号のためのフレーム番号、すなわちspareFrameNum[i]を決定するプロセスは下記の通りである。
まず、候補のスタンバイ画像のフレーム番号が対象画像のフレーム番号および復号モードフラグにより決定され、
その後、復号のためのフレーム番号が、候補のスタンバイ画像のフレーム番号(すなわち、candidateSpareFrameNum)ならびにスタンバイ画像のフレーム番号と対象画像のフレーム番号の差(すなわち、delta_spare_frame_num[i])により決定される。すなわち、
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
【００３９】
参照フレームのフレーム番号(すなわち、spareFrameNum[i])を推定するためのプロセスの疑似符号は下記の通りである。
candidateSpareFrameNum=target_frame_num-!spare_field_flag
for(i=0;i<=num_spare_pics_minus1;i++){
if(candidateSpareFrameNum<0)
candidateSpareFrameNum=MaxFrameNum-1
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
if(spareFrameNum[i]<0)
spareFrameNum[i]=MaxFrameNum+spareFrameNum[i]
candidateSpareFrameNum=spareFrameNum[i]-!spare_field_flag
};
spare_bottom_field_flag[i]:[i]の参照フレームが下位フィールドに属するのか、それとも上位フィールドに属するのかを示す。
spare_area_idc[i]:[i]の参照フレーム内のスタンバイスライス群ユニットを決定するモードを示す。例えば、モードは、[i]の画像内の任意のスライス群が参照ユニット(すなわち、誤りを隠匿するために参照フレームによって使用される参照情報)であることを示すこと、または構文要素「spare_unit_flag[i][j]」の値が参照フレームスライス群ユニットを決定するために使用されることを示すこと、または構文要素「zero_run_length[i][j]」がspareUnitFlagInBoxOutOrder[i][j]の値を決定するために使用されることを示すことでありうる。
zero_run_length[i][j]:spare_area_idc[i]の値によりspareUnitFlagInBoxOutOrder[i][j]の値を推定し、ここでspareUnitFlagInBoxOutOrder[i][j]は、iの参照フレーム内の反時計回りのBox-out(boxの中心から外側に)スキャンシーケンスでのjのスライス群(iおよびjは序数である)が参照ユニットであるかどうかを示す。
spare_unit_flag[i][j]:iの参照フレーム内のラスタスキャンシーケンスでのjのスライス群が参照ユニットであるかどうかを示す。
【００４０】
したがって、符号器は下記の表６の情報を復号器に送信することができる。
【００４１】
【表６】
2010525637.tif 000017
【００４２】
このようにして復号器は、参照フレームが来る視点を識別することができ、フレーム番号を識別することができる。したがって誤りが、対応する参照フレームを使用することによって復号器で隠匿されうる。
【００４３】
この実施形態では誤りは、多視点ビデオ復号の性能を向上するために多視点ビデオ復号のプロセスで参照フレームを使用することによって効果的に隠匿されうる。図2に示されるように、復号されるべき画像内の視点1のフレーム2の位置のスライス群が正しく復号されないとき、誤りは、隣接の視点の復号されたフレーム2内の相当する位置のスライス群を使用することによって隠匿されうる。
【００４４】
多視点符号化装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットと、
復号器に送信される必要がある補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニット(ここで補助参照情報は、例えば、反復参照フレーム指標情報、または参照フレームを復号し表示するのに役立つ情報を意味する)と、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
【００４５】
多視点符号化装置に対応して多視点復号装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
各視点のビデオ画像情報を取得するために受信したコードストリーム内の多視点ビデオ画像を復号するように構成された多視点画像復号ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
【００４６】
復号プロセスでは画像の誤りは、復号効果を向上するために補助参照情報復号ユニットによって取得された補助参照情報を使用することによって、ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を使用することによって隠匿されうる。したがって、装置は下記の処理ユニット、すなわち
この種の補助参照情報を使用する画像のフレーム番号および視点識別子により規定されたフレームに適用される補助参照情報を決定するように構成された補助参照情報決定ユニット(ここで、フレーム番号および視点識別子情報は補助参照情報復号ユニットによって取得される)と、
補助参照情報決定ユニットによって決定された補助参照情報によりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された誤り隠匿ユニットと
をさらに含むことができる。
【００４７】
任意選択で、誤りを隠匿するモードに応じて(すなわち、反復参照フレーム指標情報および参照フレームなどの補助参照情報に応じて)、誤り隠匿ユニットは下記のユニット、すなわち
補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により規定されたフレームの誤りを隠匿するように構成された反復参照フレーム指標情報に基づいた誤り隠匿ユニットと、
補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニットと
のいずれかまたは両方を含むことができる。
【００４８】
上述の符号化および復号の装置により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべてのフレームの視点識別子情報を取得する、すなわち各フレームが来る視点を決定することができる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報は、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
【００４９】
本発明はいくつかの例示の実施形態により説明されているが、本発明はこの種の実施形態に限定されない。当業者が、本発明の精神および範囲を逸脱することなく本発明に対する様々な変更形態および変形形態を作成することができることは明らかである。本発明は、変更形態および変形形態が下記の「特許請求の範囲」またはそれらの均等物によって定義される保護の範囲内に入ることを条件として、変更形態および変形形態を包含するものである。
【国際調査報告】
2010525637.tif 000018
2010525637.tif 000019
2010525637.tif 000020
2010525637.tif 000021