(57)【要約】【課題】双方向予測フレームに対する時間的誤り隠蔽【解決手段】誤りのある双方向予測されたマルチメディア・データを処理するための方法および装置が説明される。該方法は、誤りのあるマルチメディア・データに対する時間的予測データを決定すること、及び、該決定された時間的予測データに基づいて該誤りのあるマルチメディア・データを推定すること、を含む。該時間的予測データは、順方向参照セクション及び／又は逆方向参照セクションを予測するために使用されたデータを含む。ある複数の態様では、該時間的予測データは、該誤りのあるデータを含むフレームに対応するためにスケーリングされる参照フレームの動きベクトル・データを具備する。【選択図】      図１
2008546228.tif 000002
【特許請求の範囲】
【請求項１】
誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理する方法であって、
誤り状態で受信された該第１セクションに対して時間的予測データを決定すること、ここにおいて、該時間的予測データは、第１順方向参照セクション及び第１逆方向参照セクションに対応する、及び
該第１順方向参照セクション及び該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定すること
を具備する方法。
【請求項２】
該時間的予測データは、該第１順方向参照セクション及び該第１逆方向参照セクションに対応する動きベクトルを更に具備する、請求項１の方法。
【請求項３】
該決定することは、該第１順方向参照セクション及び該第１逆方向参照セクションを決定するために、複数の順方向候補参照セクション及び複数の逆方向候補参照セクションを処理することを更に具備する、請求項１の方法。
【請求項４】
スケーリングされた動きベクトルが該第１セクションを含むフレームに対応するように、該複数の順方向候補参照セクション及び該複数の逆方向候補参照セクションに対応する動きベクトルをスケーリングすること
を更に具備する、請求項３の方法。
【請求項５】
該動きベクトルを該スケーリングすることは、該第１セクションにオーバーラップする該複数の順方向候補参照セクションと該逆方向候補参照セクションとのうちの少なくとも１つを結果としてもたらし、そして更に、該推定することは、該少なくとも１つのオーバーラップする候補参照セクションに基づいて該第１セクションを推定することを更に具備する、請求項４の方法。
【請求項６】
該動きベクトルを該スケーリングすることは、該第１セクションにオーバーラップする複数の順方向候補参照セクション及び該第１セクションにオーバーラップする複数の逆方向候補参照セクションを結果としてもたらし、そして更にここにおいて、該第１セクションを推定することは、順方向候補セクションの最大オーバーラップを結果としてもたらす順方向候補参照セクション及び逆方向候補セクションの最大オーバーラップを結果としてもたらす逆方向候補参照セクションの一方又は両方に基づいて該第１セクションを推定することを更に具備する、請求項４の方法。
【請求項７】
該動きベクトルを平滑化することを更に具備する、請求項４の方法。
【請求項８】
該平滑化することは、中央値フィルタ処理することを具備する、請求項７の方法。
【請求項９】
該第１順方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の順方向候補参照セクションに対応する該複数の動きベクトルを統合すること、及び
該第１逆方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の逆方向候補参照セクションに対応する該複数の動きベクトルを統合すること、を更に具備し、
ここにおいて、該基本単位部分は、該統合された動きベクトルに対応するセクションを含み且つ該基本単位部分は、Ｎ×Ｍ画素ブロックであり、そして更にここにおいて、ＮとＭは整数である、
ことを特徴とする、請求項３の方法。
【請求項１０】
該複数の動きベクトルを統合することは、単純平均すること、加重平均すること、及び中央値フィルタ処理することのうちの少なくとも１つを具備する、請求項９の方法。
【請求項１１】
該時間的予測データを決定するに際して使用される該複数の順方向候補参照セクション及び逆方向候補参照セクションを、該第１セクションに隣接するマルチメディア・データの誤りのない部分に対応する動きベクトルによって仕切られるセクションに限定することを更に具備する、請求項３の方法。
【請求項１２】
該第１順方向参照セクション、該第１逆方向参照セクション及び該第１セクションは、同じ大きさである、請求項１の方法。
【請求項１３】
該第１セクションに隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて該第１セクションを推定するモードを決定すること
を更に具備する、請求項１の方法。
【請求項１４】
該第１セクションに属する第１部分に隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、誤り状態で受信された該第１セクションに属する１又は複数の第１部分を推定するモードを決定すること、及び
第２部分に隣接する該第１部分の１又は複数の該決定されたモードに少なくとも部分的に基づいて、該第１セクションに属する１又は複数の第２部分を推定するモードを決定すること、を更に具備し、ここにおいて、該１又は複数の第２部分は、何れの誤りのない部分とも隣接しないこと、
を特徴とする、請求項１の方法。
【請求項１５】
該１又は複数の第２部分を推定する該モードを決定することは、
順方向動きベクトル及び逆方向動きベクトルの相対的位置合わせに少なくとも部分的に基づいて、該１又は複数の第２部分を推定する該モードを決定すること、を更に具備し、ここにおいて、該順方向動きベクトルは、該第１順方向参照セクションに対応し、そして該逆方向動きベクトルは、該第１逆方向参照セクションに対応する
ことを特徴とする、請求項１４の方法。
【請求項１６】
誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するためのプロセッサであって、
誤り状態で受信された該第１セクションに対して時間的予測データを決定する、ここにおいて、該時間的予測データは、第１順方向参照セクション及び第１逆方向参照セクションに対応する、及び
該第１順方向参照セクション及び該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定する
ために構成されたプロセッサ。
【請求項１７】
該プロセッサは、複数の順方向候補参照セクション及び複数の逆方向候補参照セクションを処理することによって、該第１順方向参照セクション及び該第１逆方向参照セクションを決定するために更に構成される、請求項１６のプロセッサ。
【請求項１８】
該プロセッサは、スケーリングされた動きベクトルが該第１セクションを含むフレームに対応するように、該複数の順方向候補参照セクション及び該複数の逆方向候補参照セクションに対応する動きベクトルをスケーリングするために更に構成される、請求項１７のプロセッサ。
【請求項１９】
該プロセッサは、該動きベクトルを平滑化するために更に構成される、請求項１８のプロセッサ。
【請求項２０】
該プロセッサは、
該第１順方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の順方向候補参照セクションに対応する該複数の動きベクトルを統合する、及び
該第１逆方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために２以上の該複数の逆方向候補参照セクションに対応する該複数の動きベクトルを統合する、ために更に構成され、
ここにおいて、該基本単位部分は、該統合された動きベクトルに対応するセクションを含み、且つ該基本単位部分は、Ｎ×Ｍ画素ブロックであり、そして更にここにおいて、ＮとＭは整数である、
ことを特徴とする、請求項１７のプロセッサ。
【請求項２１】
該プロセッサは、該時間的予測データを決定するために使用される該複数の順方向候補参照セクション及び逆方向候補参照セクションを、該第１セクションに隣接するマルチメディア・データの誤りのない部分に対応する動きベクトルによって仕切られるセクションに限定するために更に構成される、請求項１７のプロセッサ。
【請求項２２】
該プロセッサは、該第１セクションに隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて該第１セクションを推定するモードを決定するために更に構成される、請求項１６のプロセッサ。
【請求項２３】
該プロセッサは、
該第１セクションに属する第１部分に隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、誤り状態で受信された該第１セクションに属する１又は複数の第１部分を推定するためのモードを決定する、及び
第２部分に隣接する該第１部分の１又は複数の該決定されたモードに少なくとも部分的に基づいて、該第１セクションに属する１又は複数の第２部分を推定するためのモードを決定するために、更に構成され、ここにおいて、該１又は複数の第２部分は、何れの誤りのない部分とも隣接しない
ことを特徴とする、請求項１６のプロセッサ。
【請求項２４】
該プロセッサは、順方向動きベクトル及び逆方向動きベクトルの相対的位置合わせに少なくとも部分的に基づいて、該１又は複数の第２部分を推定するための該モードを決定するために更に構成され、ここにおいて、該順方向動きベクトルは、該第１順方向参照セクションに対応し、そして、該逆方向動きベクトルは、該第１逆方向参照セクションに対応する、請求項２３のプロセッサ。
【請求項２５】
誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するための装置であって、
誤り状態で受信された該第１セクションに対して時間的予測データを決定するための決定器、ここにおいて、該時間的予測データは、第１順方向参照セクション及び第１逆方向参照セクションに対応する、及び
該第１順方向参照セクション及び該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定するための推定器
を具備する装置。
【請求項２６】
該時間的予測データは、該第１順方向参照セクション及び該第１逆方向参照セクションに対応する動きベクトルを更に具備する、請求項２５の装置。
【請求項２７】
該決定器は、複数の順方向候補参照セクション及び複数の逆方向候補参照セクションを処理することによって、該第１順方向参照セクション及び該第１逆方向参照セクションを決定する、請求項２５の装置。
【請求項２８】
該装置は、スケーリングされた動きベクトルが該第１セクションを含むフレームに対応するように、該複数の順方向候補参照セクション及び該複数の逆方向候補参照セクションに対応する動きベクトルをスケーリングするためのスケーラを更に具備する、請求項２７の装置。
【請求項２９】
該スケーリングされた動きベクトルは、該第１セクションにオーバーラップする該複数の順方向候補参照セクションと該逆方向候補参照セクションとのうちの少なくとも１つを結果としてもたらし、及びここにおいて、該推定器は、該少なくとも１つのオーバーラップする候補参照セクションに基づいて該第１セクションを推定する、請求項２８の装置。
【請求項３０】
該スケーリングされた動きベクトルは、該第１セクションにオーバーラップする複数の順方向候補参照セクション及び該第１セクションにオーバーラップする複数の逆方向候補参照セクションを結果としてもたらし、及び、該推定器は、該順方向候補セクションの最大オーバーラップを結果として与える順方向候補参照セクション及び該逆方向候補セクションの最大オーバーラップを結果として与える逆方向候補参照セクションの一方又は両方に基づいて、該第１セクションを推定する、請求項２８の装置。
【請求項３１】
該装置は、該動きベクトルを平滑化するためのスムーザを更に具備する、請求項２８の装置。
【請求項３２】
該装置は、
該第１順方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために２以上の該複数の順方向候補参照セクションに対応する該複数の動きベクトルを統合するため、そして、該第１逆方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために２以上の該複数の逆方向候補参照セクションに対応する該複数の動きベクトルを統合するための統合器を更に具備し、
ここにおいて、該基本単位部分は、該統合された動きベクトルに対応する該セクションを含み、且つ該基本単位部分は、Ｎ×Ｍ画素ブロックであり、そして更にここにおいて、ＮとＭは整数である、
ことを特徴とする、請求項２７の装置。
【請求項３３】
該装置は、該時間的予測データを決定するために使用される該複数の順方向候補参照セクション及び逆方向候補参照セクションを、該第１セクションに隣接するマルチメディア・データの誤りのない部分に対応する動きベクトルによって仕切られるセクションに限定するための限定器を更に具備する、請求項２７の装置。
【請求項３４】
該装置は、該第１セクションに隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、該第１セクションを推定するためのモードを決定するための第２決定器を更に具備する、請求項２５の装置。
【請求項３５】
該装置は、
該第１セクションに属する第１部分に隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、誤り状態で受信された該第１セクションに属する１又は複数の第１部分を推定するためのモードを決定するための、及び、第２部分に隣接する該第１部分の１又は複数の該決定されたモードに少なくとも部分的に基づいて該第１セクションに属する１又は複数の第２部分を推定するためのモードを決定するための第２決定器を更に具備し、ここにおいて、該１又は複数の第２部分は、何れの誤りのない部分とも隣接しない
ことを特徴とする、請求項２５の装置。
【請求項３６】
該第２決定器は、順方向動きベクトル及び逆方向動きベクトルの相対的位置合わせに少なくとも部分的に基づいて、該１又は複数の第２部分を推定するための該モードを決定し、ここにおいて、該順方向動きベクトルは、該第１順方向参照セクションに対応し、そして、該逆方向動きベクトルは、該第１逆方向参照セクションに対応することを特徴とする、請求項３５の装置。
【請求項３７】
誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するための装置であって、
誤り状態で受信された該第１セクションに対して時間的予測データを決定するための手段、ここにおいて、該時間的予測データは、第１順方向参照セクション及び第１逆方向参照セクションに対応する、及び
該第１順方向参照セクション及び該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定するための手段
を具備する装置。
【請求項３８】
該決定するための手段は、該第１順方向参照セクション及び該第１逆方向参照セクションを決定するために、複数の順方向候補参照セクション及び複数の逆方向候補参照セクションを処理する、請求項３７の装置。
【請求項３９】
スケーリングされた動きベクトルが該第１セクションを含むフレームに対応するように、該複数の順方向候補参照セクション及び該複数の逆方向候補参照セクションに対応する動きベクトルをスケーリングするための手段を更に具備する、請求項３８の装置。
【請求項４０】
該動きベクトルの該スケーリングは、該第１セクションにオーバーラップする該複数の順方向候補参照セクションと該逆方向候補参照セクションとのうちの少なくとも１つを結果としてもたらし、及び更にここにおいて、該推定するための手段は、該少なくとも１つのオーバーラップする候補参照セクションに基づいて該第１セクションを推定する、請求項３９の装置。
【請求項４１】
該動きベクトルの該スケーリングは、該第１セクションにオーバーラップする複数の順方向候補参照セクション及び該第１セクションにオーバーラップする複数の逆方向候補参照セクションを結果としてもたらし、及び更にここにおいて、該第１セクションを推定するための該手段は、該順方向候補セクションの最大オーバーラップを結果として与える順方向候補参照セクション及び該逆方向候補セクションの最大オーバーラップを結果として与える逆方向候補参照セクションの一方又は両方に基づいて、該第１セクションを推定する、請求項３９の装置。
【請求項４２】
該動きベクトルを平滑化するための手段を更に具備する、請求項３９の装置。
【請求項４３】
該第１順方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の順方向候補参照セクションに対応する該複数の動きベクトルを統合するための手段、及び
該第１逆方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の逆方向候補参照セクションに対応する該複数の動きベクトルを統合するため手段、を更に具備し、そして
ここにおいて、該基本単位部分は、該統合された動きベクトルに対応する該セクションを含み、且つ該基本単位部分は、Ｎ×Ｍ画素ブロックであり、そして更にここにおいて、ＮとＭは整数である、
ことを特徴とする、請求項３８の装置。
【請求項４４】
該統合するための手段は、単純平均すること、加重平均すること、及び中央値フィルタ処理することのうちの少なくとも１つを用いて、該複数の動きベクトルを統合する、請求項４３の装置。
【請求項４５】
該時間的予測データを決定するに際して使用される該複数の順方向候補参照セクション及び逆方向候補参照セクションを、該第１セクションに隣接するマルチメディア・データの誤りのない部分に対応する動きベクトルによって仕切られるセクションに限定するための手段を更に具備する、請求項３８の装置。
【請求項４６】
該第１順方向参照セクション、該第１逆方向参照セクション及び該第１セクションは、同じ大きさである、請求項３７の装置。
【請求項４７】
該第１セクションに隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて該第１セクションを推定するモードを決定するため手段、
を更に具備する、請求項３７の装置。
【請求項４８】
該第１セクションに属する第１部分に隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、誤り状態で受信された該第１セクションに属する１又は複数の第１部分を推定するモードを決定するための手段、及び
第２部分に隣接する該第１部分の１又は複数の該決定されたモードに少なくとも部分的に基づいて、該第１セクションに属する１又は複数の第２部分を推定するモードを決定するための手段、を更に具備し、ここにおいて、該１又は複数の第２部分は、何れの誤りのない部分とも隣接しない、
ことを特徴とする、請求項３７の装置。
【請求項４９】
該１又は複数の第２部分を推定する該モードを決定するための該手段は、順方向動きベクトル及び逆方向動きベクトルの相対的位置合わせに少なくとも部分的に基づいて、該１又は複数の第２部分を推定する該モードを決定し、ここにおいて、該順方向動きベクトルは、該第１順方向参照セクションに対応し、そして、該逆方向動きベクトルは、該第１逆方向参照セクションに対応する、請求項４８の装置。
【請求項５０】
誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理する方法を組み込んだコンピュータ可読媒体であって、該方法は、
誤り状態で受信された該第１セクションに対して時間的予測データを決定すること、ここにおいて、該時間的予測データは、第１順方向参照セクション及び第１逆方向参照セクションに対応する、及び
該第１順方向参照セクション及び該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定すること
を具備する、コンピュータ可読媒体。
【請求項５１】
該決定することは、該第１順方向参照セクション及び該第１逆方向参照セクションを決定するために複数の順方向候補参照セクション及び複数の逆方向候補参照セクションを処理することを更に具備する、請求項５０のコンピュータ可読媒体。
【請求項５２】
該方法は、
スケーリングされた動きベクトルが該第１セクションを含むフレームに対応するように該複数の順方向候補参照セクション及び該複数の逆方向候補参照セクションに対応する動きベクトルをスケーリングすること
を更に具備する、請求項５１のコンピュータ可読媒体。
【請求項５３】
該方法は、該動きベクトルを平滑化することを更に具備する、請求項５２のコンピュータ可読媒体。
【請求項５４】
該方法は、
該第１順方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の順方向候補参照セクションに対応する該複数の動きベクトルを統合すること、及び
該第１逆方向参照セクションの１又は複数の基本単位部分に対応する１又は複数の基本動きベクトルを形成するために、２以上の該複数の逆方向候補参照セクションに対応する該複数の動きベクトルを統合すること、を更に具備し、
ここにおいて、該基本単位部分は、該統合された動きベクトルに対応する該セクションを含み、且つ該基本単位部分は、Ｎ×Ｍ画素ブロックであり、そして更にここにおいて、ＮとＭは整数である、
ことを特徴とする、請求項５１のコンピュータ可読媒体。
【請求項５５】
該方法は、該時間的予測データを決定するに際して使用される該複数の順方向候補参照セクション及び逆方向候補参照セクションを、該第１セクションに隣接するマルチメディア・データの誤りのない部分に対応する動きベクトルによって仕切られるセクションに限定することを更に具備する、請求項５１のコンピュータ可読媒体。
【請求項５６】
該方法は、該第１セクションに隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて該第１セクションを推定するモードを決定することを更に具備する、請求項５０のコンピュータ可読媒体。
【請求項５７】
該方法は、
該第１セクションに属する第１部分に隣接するマルチメディア・データの誤りのない部分の１又は複数の予測モードに少なくとも部分的に基づいて、誤り状態で受信された該第１セクションに属する１又は複数の第１部分を推定するモードを決定すること、及び
第２部分に隣接する該第１部分の１又は複数の該決定されたモードに少なくとも部分的に基づいて、該第１セクションに属する１又は複数の第２部分を推定するモードを決定すること、を更に具備し、ここにおいて、該１又は複数の第２部分は、何れの誤りのない部分とも隣接しない、
ことを特徴とする、請求項５０のコンピュータ可読媒体。
【請求項５８】
該１又は複数の第２部分を推定する該モードを決定することは、
順方向動きベクトル及び逆方向動きベクトルの相対的位置合わせに少なくとも部分的に基づいて、該１又は複数の第２部分を推定する該モードを決定すること、を更に具備し、ここにおいて、該順方向動きベクトルは、該第１順方向参照セクションに対応し、そして、該逆方向動きベクトルは、該第１逆方向参照セクションに対応する、
ことを特徴とする、請求項５７のコンピュータ可読媒体。
【発明の詳細な説明】
【関連文献】
【０００１】
［関連出願の相互参照］
本特許出願は、２００５年５月１１日に提出され、本出願の譲受人に譲渡され、そして、本出願における参照としてここに明確に組み込まれた、“時間的誤り隠蔽のための方法及び装置”と題する米国特許仮出願番号第６０／６８０，２７８号に優先権を主張する。
【技術分野】
【０００２】
本発明は、誤り管理を用いて、動画像データ又は音声データのようなマルチメディア・データを符号化するためおよび復号するための方法および装置に関する。
【背景技術】
【０００３】
インターネットと無線通信の広範な使用は、インターネットと移動／無線チャネルを介してメディアをストリームするマルチメディア・サービスに対する要求を増大させてきた。インターネット・プロトコル（Internet Protocol）（ＩＰ）ネットワークにおいては、動画像は、サーバによって提供されることが出来て、１又は複数の有線又は無線クライアントによってストリーミングされることが出来る。有線接続は、ダイアルアップ、デジタル総合サービス網（integrated services digital network）（ＩＳＤＮ）、ケーブル、各種デジタル加入者回線プロトコル（まとめてｘＤＳＬと呼ばれる）、光ファイバ、構内情報通信網（local area network）（ＬＡＮ）、広域通信網（wide area network）（ＷＡＮ）及びその他を含む。無線通信を利用する電子機器は、電話（例えば、セル電話）、個人携帯情報端末（personal data assistants）（ＰＤＡ）、ハンドヘルド（hand-held）と携帯コンピュータ、及びその他を含む。多くの場合、例えこれらのアプリケーションの全てではないにせよ、帯域要求及び／又は帯域限定は、“最少”ビット数を使用することによって最大の情報を運ぶために、動画像処理が動画像データを解析し、定量化しそして表示するための動画像圧縮アルゴリズムを組み込んだ情報源符号化器を利用することを要件とする。圧縮アルゴリズムを利用する動画像処理の特徴は、コンテントに基づいて著しく変化し得る。このことは、圧縮性能（例えば、圧縮効率およびビット・レート）における大規模な変動をもたらす可能性がある。
【０００４】
無線チャネルは、誤りを起こしやすい。送信データの一部は、もしそれが紛失される或いは損壊されると、“誤り”になる。動画像圧縮は、本質的に冗長を取り除くので、圧縮されたデータは、危機に陥る。伝送の間に誤りになる如何なるデータも復号器での再生動画像品質に影響を与える。もし誤りのあるデータが動き補償予測のための参照フレームの一部であれば、その影響は、増大し、時間的な誤り伝播を引き起こす。
【０００５】
誤って受信されたビット・ストリーム・データによる再生動画像品質への影響を軽減するために、動画像復号器は、動画像品質を改良するために受信動画像データを処理する。これは誤り隠蔽と呼ばれる。誤り隠蔽方式は、動画像信号中に存在する空間的および時間的相関を利用する。従って、これ等の方式は、空間的又は時間的誤り隠蔽と呼ばれる。
【０００６】
伝送路誤り（ビット誤り及び／又はパケット紛失）の性質とパケット化の型に依存して、１又は複数のマクロブロック又はスライスに付随するデータの全て又は一部が伝送中に誤りになる可能性がある。マクロブロックに関しては、種々の符号化マクロブロック・データが誤りになる可能性がある。該データは、１又は複数の下記のものを含む：符号化モード（相互（inter）符号化又は内部（intra）符号化）、動きベクトル（相互符号化の場合）、及び変換係数、である。
【０００７】
もしマクロブロックが誤りの場合、一般的には上述の情報の全てが誤りであると見做される。相互符号化されたマクロブロックに関しては、その動きベクトルと残差係数は、誤りである。残差信号は、極めて非相関的であるから、該信号は、隣接マクロブロックから推定するのは難しい。しかしながら、研究は、もし動きベクトルが回復されることが出来るならば再生される動画像品質は、大いに改良され得ることを、示してきた。従って、時間的誤り隠蔽の主要な目標は、空間的におよび時間的に隣接するものから誤りのある動きベクトルを推定することである。一旦動きベクトルが構成されれば、該構成された動きベクトルを使用し、残差係数を０として動き補償が実行されることが出来る。
【０００８】
従来幾つかの時間的誤り隠蔽方式があるけれども、それ等は、良好な結果を与えていない。更に、それ等は、双方向予測されたマルチメディア・データ及び／又は可変動き補償ブロック・サイズと適合しない。従って改善された結果を実現し且つより広範な適合性を提供するために新しい時間的誤り隠蔽方式が必要とされる。
【発明の開示】
【本発明のサマリー】
【０００９】
双方向予測されたマルチメディア・データ、ここで該データは、誤り状態で受信された第１セクションを含む、を処理する方法が提供される。該方法は、誤り状態で受信された該第１セクションに対する時間的予測データを決定することを含む。ここにおいて、該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する。該方法は、更に該第１順方向参照セクションと該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定することを含む。
【００１０】
双方向予測されたマルチメディア・データ、ここで該データは、誤り状態で受信された第１セクションを含む、を処理するプロセッサが提供される。該プロセッサは、誤り状態で受信された該第１セクションに対する時間的予測データを決定するために構成される。ここで、該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する。該プロセッサは、更に該第１順方向参照セクションと該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定するために構成される。
【００１１】
双方向予測されたマルチメディア・データ、ここで該データは、誤り状態で受信された第１セクションを含む、を処理する装置が提供される。該装置は、誤り状態で受信された該第１セクションに対する時間的予測データを決定するための決定器を含む。ここで、該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する。該装置は、又該第１順方向参照セクションと該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定するための推定器を含む。
【００１２】
コンピュータ可読媒体は、双方向予測されたマルチメディア・データ、ここで該データは、誤り状態で受信された第１セクションを含む、を処理する方法を組み込んでいる。該方法は、誤り状態で受信された該第１セクションに対する時間的予測データを決定することを含む。ここにおいて、該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する。該方法は、更に該第１順方向参照セクションと該第１逆方向参照セクションのうちの少なくとも１つに基づいて該第１セクションを推定することを含む。
【００１３】
［好ましい実施形態の詳細な説明］
誤り状態で受信された双方向予測されたマルチメディア・データを処理するための方法および装置であって、該誤り状態で受信されたマルチメディア・データに対する時間的予測データを決定すること、及び、該決定された時間的予測データに基づいて該誤り状態で受信されたマルチメディア・データを推定すること、を具備する方法および装置が説明される。該時間的予測データは、順方向参照セクション及び／又は逆方向参照セクションに対応することが出来る。１つの態様では、該時間的予測データは、順方向参照セクション及び／又は逆方向参照セクションに対応する動きベクトルを具備することが出来る。例えば動きベクトルのような時間的予測データの処理は、スケーリング演算、統合演算、平滑化演算を具備することが出来る。下記の説明では、開示された方法および装置の完全な理解を提供するために、具体的な詳細が与えられる。しかしながら、該開示された方法および装置は、このような具体的な詳細がなくても実行されることが出来ることは当業者によって理解される。例えば、電子部品は、ある態様を無用な詳細の中で曖昧化しないようにブロック図で示されることがある。他の場合には、このような部品、その他の構成や技術が、ある態様を更に深く説明するために詳細に示されることがある。
【００１４】
ある態様が、流れ図、フロー・ダイアグラム、構成図、若しくはブロック図として表わされる、プロセスとして説明されることがあることも特記される。流れ図は、動作を逐次プロセスとして説明することが出来るけれども、該動作の多くは、並列に又は同時に実行されることが出来るし、該プロセスは、繰り返されることが出来る。更に、動作の順序は、並べ替えられることが出来る。その諸動作が完了すると、プロセスは、終了させられる。プロセスは、方法、機能、処理手順、サブルーチン、サブプログラム等々に対応することが出来る。もしプロセスが機能に対応するならば、その用語は、該機能の呼び出し機能或いは主機能へ戻すことに対応する。
【００１５】
図１は、入力するマルチメディア・データ・ストリーム（図示されない）を復号するために構成された復号器システムの例を説明するブロック図を示す。マルチメディア・データは、動画像、音声、グラフィックス、文字、及び画像を含むがこれらに限定されない、様々な形態であり得る。該データは、ＭＰＥＧ−ｘ及びＨ．２６ｘ標準におけるような圧縮動画像及び音声、ＭＰＥＧ−４ＡＡＣ、ＭＰ３、ＡＭＲ及びＧ．７２３音声又はオーディオ圧縮標準におけるような圧縮音声、或いはその他任意の型のデジタル・データであることが出来る。データ・ストリームは、例えば電話、ケーブル、及び光ファイバのような有線ネットワーク或いは無線ネットワークを介して受信されることが出来る。無線の場合、ネットワークは、例えば、符号分割多元接続（code division multiple access）（ＣＤＭＡ又はＣＤＭＡ２０００）通信システムの一部を含むことが出来る、或いはそれに代わり、システムは、周波数分割多元接続（Frequency Division Multiple Access）（ＦＤＭＡ）システム、直交周波数分割多重（orthogonal frequency division multiplex）（ＯＦＤＭ）システム、例えばＧＳＭ／ＧＰＲＳ（General Packet Radio Service）／ＥＤＧＥ（enhanced data GSM environment）或いはサービス業界のためのＴＥＴＲＡ（Terrestrial Trunked Radio）携帯電話技術のような時分割多元接続（time division multiple access）（ＴＤＭＡ）システム、広帯域符号分割多元接続（wideband code division multiple access）（ＷＣＤＭＡ）、高速データ・レート（１ｘＥＶ−ＤＯ或いは１ｘＥＶ−ＤＯ Gold Multicast）システム、或いは一般に諸技術の組合せを採用する任意の無線通信システム、であることが出来る。
【００１６】
システム１００は、復号デバイス１１０、外部記憶装置１８５及びディスプレイ１９０を含む。具体例の復号デバイス１１０は、ネットワーク・インターフェース１５５、動画像及び／又は音声復号器１６０、誤り検出器／訂正器１６５、時間的予測決定器１７０、メモリ１７５及びプロセッサ１８０を具備する。ネットワーク・インターフェース１５５は、ネットワーク或いは内部メモリ構成要素１７５又は外部記憶装置１８５のような画像情報源から（ＭＰＥＧ−４或いはＨ．２６４圧縮動画像データのような）符号化マルチメディア・データを受信できる。符号化マルチメディア・データは、ＭＰＥＧ−４圧縮動画像データ或いはＨ．２６４圧縮動画像データであることが出来る。メモリ構成要素１７５及び／又は外部記憶装置１８５は、符号化動画像データを含むデジタル・ビデオ・ディスク（digital video disk）（ＤＶＤ）或いはハードディスク・ドライブであることが出来る。
【００１７】
動画像／音声復号器１６０は、任意の種々の型の符号化データを復号するために構成される。符号化データは、圧縮データ、変換されたデータ、量子化データ、或いはこれ等の組合せであることが出来る。符号化データは、動画像、音声、字幕、グラフィックス或いはこれ等の任意の組合せを含むことができる。
【００１８】
誤り検出器／訂正器１６５は、１又は複数の種々の誤り検出及び／又は訂正方式を実行するために構成される。符号化データは、誤り回復を提供するための種々の方式を含むことが出来る。無線及び／又は有線ネットワークのような誤りが起こりやすい伝送路は、復号器１１０によって受信されるビット・ストリーム中に誤りを導入することがある。このような誤り回復方式は、１又は複数の誤り制御符号化方式、インターリーブ方式および当業者には公知の他の方式を含むことが出来る。誤り検出器／訂正器１６５は、誤りの検出と訂正を可能にする対応する誤り復号構成要素を含む。ネットワークを介して導入されるある種の誤りは、誤り検出器／訂正器１６５によっては訂正可能でないことがある。訂正可能でない誤りに対しては、損壊部分の再送を要求する解決法は、ある場合には適してないことがあり得る。復号器１１０が誤りのあるデータの再送要求のオプションを持つことが出来ない場合に対して、誤り回復が使用される。誤り回復は、種々の形式の時間的隠蔽方法及び／又は空間的隠蔽方法を含むことが出来る。
【００１９】
時間的予測決定器１７０は、誤りのある相互符号化データの時間的誤り隠蔽を実行するために構成される。特に、時間的予測決定器１７０は、双方向予測相互符号化データの時間的誤り隠蔽を実行するために構成される。相互或いは予測符号化は、１又は複数の他の画像を参照してある画像（フィールド又はフレーム）を符号化することを指す。本願全体に亘って使用される相互符号化画像の例は、予測フレーム（順方向又は逆方向何れかで予測され、“Ｐフレーム”と呼ばれる）及び双方向予測フレーム（１つの順方向フレームと１つの逆方向フレームのような２つのフレームから予測され、“Ｂフレーム”と呼ばれる）である。Ｂフレームの双方向性動き補償特性のために、Ｂフレームに対する圧縮効率は、Ｉフレーム或いはＰフレームの圧縮効率よりも高いと云える。従って、Ｂフレームの大きさは、一般的にはＩフレームの大きさ或いはＰフレームの大きさよりもかなり小さい。かくして、ある一定の大きさのデータの誤りのある集合による紛失領域は、Ｐフレーム或いはＩフレームに対するよりもＢフレームに対してより大きい可能性がある。全ての型のフレーム（Ｐ、Ｂ及び／又はＩ）は、相互符号化領域と内部符号化領域の双方を含むことが出来る。相互符号化に対する他の用語は、ハイパス（high-pass）符号化、残差（residual）符号化、動き補償補間および当業者には公知の他の用語を含む。Ｂフレーム（又は任意の相互符号化セクション）は、現フレーム中の領域と２つの他の参照フレームにおける最良合致予測領域との間の時間的剰余を利用することが出来る。該最良合致領域は、平均化、加重平均化および当業者に公知の他の方法によって統合されることが出来る。現領域と該統合された最良合致参照予測領域との間の差分は、残差（或いは予測誤差）として公知である。参照フレーム中の最良合致予測領域の位置は、順方向参照フレーム・リスト中のあるフレームに向かう順方向動きベクトルに符号化されることが出来、そして逆方向参照フレーム・リスト中のあるフレームに向かう逆方向動きベクトルに符号化されることが出来る。
【００２０】
プロセッサ１８０は、任意の適切な汎用単チップ・マイクロプロセッサ或いはマルチチップ・マイクロプロセッサ、或いは例えばデジタル信号処理装置、マイクロ制御器、又はプログラム可能ゲート・アレイのような任意の適切な特殊用途マイクロプロセッサであることが出来る。プロセッサ１８０は、１又は複数のソフトウェア・アプリケーションを実行するために構成されて、ネットワーク・インターフェース１５５、動画像／音声復号器１６０、誤り検出器／訂正器１６５、時間的予測決定器１７０（及び図２に示される下位構成要素）、及びディスプレイ１９０、の動作を制御する。プロセッサ１８０は、又データを読み出す及び／又は記憶するためにメモリ１７５又は外部記憶装置１８５を接続するように構成される。
【００２１】
図２は、時間的予測決定器１７０が具備することが出来るある種の下位構成要素を説明するブロック図を示す。図２に示される時間的予測決定器１７０の該下位構成要素は、動きベクトル・スケーラ１７０４、動きベクトル統合器１７０６、動きベクトル・スムーザ１７０８、参照領域限定器１７１０、参照データ決定器１７１２、推定モード決定器１７１４、及び誤りのあるデータ推定器１７１６、を具備することが出来る。時間的予測決定器１７０は、誤りのある双方向予測データを含む画素群が推定されることができる基となる１又は複数の参照フレームに対応する時間的予測データを取得するために構成される。時間的予測決定器１７０は、マルチメディア・データの任意の大きさの部分を操作することが出来る。該データの部分は、任意のＮ×Ｍ画素サイズであることが出来る、ここに、ＮとＭは整数である。１つの例では、時間的予測決定器１７０の動作に対する基本単位は、マクロブロックである。マクロブロックは、関連する画素のグループであって、本例では１６×１６画素から成る。画素は、８ビットの輝度値（Ｙ）と２つの８ビットの色差値（Ｃｒ及びＣｂ）によって定義されることが出来る。ＭＰＥＧでは、Ｙ成分、Ｃｒ成分およびＣｂ成分は、４：２：０フォーマットで記憶されることが出来る、ここに、Ｃｒ成分およびＣｂ成分は、Ｘ方向及びＹ方向に２だけダウン・サンプリングされる。従って、それぞれのマクロブロックは、２５６のＹ成分、６４のＣｒ成分および６４のＣｂ成分から成る。
【００２２】
図１又は図２で説明される構成要素の任意の１つは、復号器の機能を変えることなく、再配列されることが可能であり及び／又は１又は複数の他の構成要素と組み合わせられることが可能である、ということは、注意されるべきである。例えば、プロセッサ１８０は、復号デバイス１１０の外部にあることが可能であり、或いは、動画像復号器１６０は、訂正器１６５及び決定器１７０と組み合わせられることが可能である。ある複数の例では、図１又は図２で説明される１又は複数の構成要素は、除かれることが可能である。
【００２３】
図３は、誤りのある双方向予測されたマルチメディア・データを処理する時間的誤り隠蔽方法の一例を説明する流れ図を示す。この例では、時間的誤り隠蔽方法は、双方向予測されたデータの誤りのあるセクションに対する順方向および逆方向時間的予測データの推定を抽出する。推定されるべき時間的予測データは、それぞれ、順方向参照フレーム及び逆方向参照フレームに向けられる（又は、向かう）順方向動きベクトル及び／又は逆方向動きベクトルであることが出来る。該推定される動きベクトルは、順方向及び／又は逆方向参照フレーム中のデータのセクションに属する動きベクトルに部分的に基づくことがあり得る。データの誤りのあるセクション及び参照セクションは、任意の形状又は大きさ、例えば上述で説明された基本単位、であることが可能であって、画素から構成されることが出来る。該推定される動きベクトルは、誤りのあるデータと同じフレーム中のデータに属する損壊を受けていないブロックの動きベクトルに部分的に基づくことも可能である。
【００２４】
本方法３００は、図１で示された復号デバイス１１０が双方向予測されたマルチメディア・データの誤りのあるセクションを受信すること３０２で開始する。誤りのあるデータは、ネットワーク・インターフェース１５５によって受信されることが出来て、本例では、受信された誤りのある幾つかは、誤り検出器／訂正器１６５によって訂正されることが出来ない。そこで、該誤りのあるデータは、時間的予測決定器１７０によって処理されることが出来る。誤り検出器／訂正器１６５は、誤りのあるマルチメディア・データのセクションに印を付ける或いは、フラッグを立てることが出来る。プロセッサ１８０は、次に時間的予測決定器１７０によって隠蔽されるべき誤りのあるセクションを特定することが出来る。
【００２５】
時間的予測決定器１７０は、誤りのあるセクションに対する時間的予測データをで決定する３０４。順方向および逆方向時間的予測データは、現フレーム中の誤りのあるセクションを推定するため３０６に使用されることが出来る。該決定される時間的予測データは、誤りのあるセクションの領域に対応する順方向動きベクトル及び／又は逆方向動きベクトルを具備することが出来る。該決定された順方向動きベクトルは、フレーム・シーケンス中の１つの順方向フレームに向かうことが出来る、そして、該決定された逆方向動きベクトルは、該シーケンス中の１つの逆方向フレームに向かうことが出来る、ここに、順方向および逆方向というのは、誤りのあるデータを含む現フレームに相対的なシーケンス中の方向である。順方向参照セクション及び逆方向参照セクションは、任意の大きさの部分であることが可能である。参照データ決定器１７１２のような決定する手段は、時間的予測データを決定することが出来る３０４。決定すること３０４の更なる詳細は、図５Ａに関連して下記で論じられる。
【００２６】
時間的予測データは、現フレームに属する誤りのあるセクションに対応するマルチメディア・データのセクションを位置決めするために使用されることが出来る。方法３００によって処理されるデータの誤りのあるセクションは、任意の形状又は、大きさの画素群であり得る。方法３００の説明のために使用される１つの例は、画素ブロックである。画素ブロックは、Ｎ×Ｍ画素、ここに、ＮとＭは、整数である、を具備することが出来る。方法３００は、推定されるべき誤りのあるデータの基本単位或いは基本セクションとしてマクロブロック（１６画素×１６画素）を使用して説明される。誤りのあるデータ推定器１７１６のような推定する手段は、誤りのあるデータを推定することが出来る３０６。図３で示される流れ図で説明されるブロックの任意の１つは、省略される、順序を並べ替えられる、或いは１又は複数の他のブロックと統合されることが可能であることは、注意されるべきである。
【００２７】
３０２において、誤り状態で受信されたセクションは、任意の形状或いは大きさのより大きな部分の誤りのあるデータの一部であり得る。図４は、正しく受信され且つ恐らく復号されるマクロブロックと誤り状態で受信されたマクロブロックとを含むマクロブロックのグループを図示する。フレーム４００は、１２×１３個のマクロブロックを含むフレームであって、ここに、マクロブロックの数は一例である。該フレーム４００は、誤りのないマクロブロック４０２と誤りのあるマクロブロック４０４とを含む。該フレーム４００は、誤りのあるマクロブロック４０４に隣接する誤りのないマクロブロック４０６も含む。誤りのあるマクロブロック４０４は、スライスとして公知の１又は複数の独立に復号可能なマクロブロックの１又は複数のグループの一部であり得る。スライスは、誤りのない開始部を有することがあり、誤りのある部分に引き継がれて適切に復号されることが出来ることがあり得る。又それから、該スライスは、中間のどこかで誤り部分を有することがあり得る。ある場合には、少なくとも部分的に、状況（context）適応符号化の性質のために、誤りのある中間部の後で生じるスライスの残りの部分も又誤りであることもあり得る。ここでは、符号化法（従って、復号化法）は、先行データの状況を知ることに依存する。このようにして、スライスの一部、例えば１又は複数のブロックのデータ、が誤りであることがあり、又は、スライス全体、複数のスライス或いはフレーム全体（或いはそれ以上）が誤りであることがある。１スライスは、複数のマクロブロックからなる１又は複数行、複数のマクロブロックからなる１又は複数列、複数のマクロブロックからなるブロック、或いはフレーム全体のマクロブロックに対応することがあり得る。
【００２８】
図５Ａは、図３のブロック３０４における時間的予測データを決定するためのプロセスの更に詳細例を図説する流れ図を示す。オプションのブロック５０２では、順方向及び／又は逆方向参照フレームの参照セクションが該参照フレーム内部の１又は複数の領域（例えば、１又は複数のグループのマクロブロック）に限定される。時間的予測データを決定して現フレームの誤りのあるセクションを推定するために順方向及び／又は逆方向参照フレーム全体を処理する代わりに、該限定された参照領域が処理されることが出来る。参照領域を限定することは、参照情報を集中させて参照フレームの部分又は領域を選択し、そして、プロセス３００で使われる電力及び／又は処理時間を低減する。参照フレームの参照領域を限定するためのプロセスの例の詳細は、図５Ｂを参照して下記で論じられる。
【００２９】
オプションにより順方向参照フレームと逆方向参照フレームの参照領域を限定した５０２後、時間的予測決定器１７０は、現フレームの誤りのあるデータを推定し３０６、従って隠蔽するために使用されるべき誤りのあるセクションに対する動きベクトルを生成する５０４。５０４で生成される動きベクトルは、順方向及び／又は逆方向参照セクション（例えば、順方向フレーム及び／又は逆方向フレームに属する複数のマクロブロック）の相互符号化で使用される動きベクトルに基づくことが出来る。本例では、誤りのあるセクションに対する動きベクトルは、参照フレームの５０２で限定された参照領域の動きベクトルを処理することによって生成される。動き補償予測は、１つのフレームにおける動画像のあるセクションは、別のフレームにおける動画像の同じ又は類似のセクション上で、例え他のフレームでは異なる空間的位置に置かれていようとも、予測されることが出来る、という仮説に基づいている。もし予測される参照セクションの動きが連続（例えば、線形的）であったと仮定されるならば、その場合該動きベクトルは、参照セクションを予測するために使用された動きベクトルに基づいて、誤りのあるセクションに対する動きベクトルを決定するために内挿又は外挿されることが出来る。それぞれの誤りのある双方向予測セクションに対して、１つは順方向そして１つは逆方向で、２つの動きベクトルが生成されることが出来る。誤りのあるセクションに対応する動きベクトルを５０４で生成することに対する追加の詳細が図５Ｃに関連して下記で論じられる。
【００３０】
５０４において動きベクトルを生成した後、図２の推定モード決定器１７１４は、オプションにより誤りのあるセクションを推定するために使用されるべき推定モードを決定することができる５０６。２つの参照フレーム（順方向および逆方向参照フレーム）が推定目的のために利用可能であるから、それぞれの誤りのある基本単位セクションを推定する４つの可能なモードが利用可能である。該推定モードは、２つの単方向性モードを含み、それぞれは、単一の決定された動きベクトルを使用して逆方向参照フレーム又は順方向参照フレームに向かう、及び、１つは順方向参照フレームに向かい１つは逆方向参照フレームに向かう２つの決定された動きベクトルを使用する１つの双方向性モードを含む。４番目のモードは、何れの動きベクトルも使用しない（例えば、空間的隠蔽）。推定モードを決定する５０６ために使用される方法は、下記でさらに詳細に論じられる。
【００３１】
誤りのあるセクションを推定するために、図２の参照データ決定器１７１２は、隠蔽されるべき誤りのあるセクションのオーバーラップを結果としてもたらす、５０４で生成された動きベクトルを用いて可能な参照セクションを決定する５０８。決定すること５０８は、スケーリングされた動きベクトルを解析して順方向及び／又は逆方向参照フレーム中の１又は複数の候補となる参照セクションを特定することを含むことが出来る、ここにおいて、該スケーリングされた動きベクトルは、隠蔽される誤りのあるセクションのオーバーラップを結果としてもたらす。
【００３２】
例えば、誤りのあるセクションのオーバーラップを結果としてもたらした順方向及び／又は逆方向動きベクトルを用いて、関係する参照セクションを決定した５０８後、図２の誤りのあるデータ推定器１７１６は、誤りのあるセクションを推定する３０６（図３参照）。該推定３０６は、スケーリングされた動きベクトルと該スケーリングされた動きベクトルによって指示される参照セクションの動画像データを使用して、標準的な時間的予測アルゴリズムを利用することが出来る。標準的な時間的予測アルゴリズムは、ＭＰＥＧｘ及びＨ．２６ｘ標準で使用される動き補償予測アルゴリズムを含むがこれ等に限定されない。上述で論じられたように、もし順方向フレームと逆方向フレームの双方におけるスケーリングされた動きベクトルが決定されて５０８誤りのあるセクションのオーバーラップを結果としてもたらすならば、誤りのあるデータを推定するために３０６双方向性モードが利用されることが出来る。もし１つの（順方向又は逆方向）動きベクトルが決定されて５０８誤りのあるセクションのオーバーラップを結果としてもたらすならば、誤りのあるデータを推定するために３０６単方向性予測法が利用され得る。ある例では、動き補償予測アルゴリズムで通常使用される残留誤差データは、ゼロに設定される。
【００３３】
図５Ｂは、時間的予測データを決定するために３０４参照領域を限定するための５０２処理の詳細例を図説する流れ図を示す。参照領域を限定するための５０２ある具体例の方法は、誤りのあるマクロブロック４０４に隣接する図４で示される誤りのないマクロブロック４０６の動きベクトルを利用する。図２の参照領域限定器１７１０は、誤りのあるマクロブロック４０４に隣接するマクロブロックの４０６の誤りのない部分に対応する動きベクトルの集合を生成する５１０。誤りのないマクロブロック４０６は、それぞれ１つの動きベクトルを有することが出来る、或いは、該マクロブロックは、種々の大きさのサブマクロブロックに対する複数の動きベクトルを有することが出来る。サブマクロブロックは、例えば、１６×８、８×１６、８×８、８×４、４×８、４×４及びその他のような種々の数の画素を含むことが出来る。生成された５１０誤りのない動きベクトルは、順方向及び／又は逆方向参照フレーム中の参照セクションを位置決めする直交成分“ｘ”と“ｙ”を含む。該動きベクトルは、予測されるマクロブロック（又はサブマクロブロック）を含む現フレームに相対的な参照フレームの所在を特定する、フレーム番号又は他の型のデータを含むことも出来る。
【００３４】
該隣接するマクロブロック４０６の誤りのない部分に対応する動きベクトルのリストを生成した５１０後で、参照領域限定器１７１０は、順方向及び／又は逆方向参照フレーム中の参照領域を、該生成された誤りのない動きベクトルによって仕切られる領域に限定する５１２。図６は、該誤りのない隣接動きベクトルに基づいて該参照領域を限定する５１２具体例のプロセスを図示する。フレーム６００は、誤りのあるマクロブロック４０４を含む現参照フレームである。フレーム６１０は、順方向参照フレームであり、そして、フレーム６２０は、逆方向参照フレームである。図６で説明される例では、誤りのあるデータは、（図４における誤りのあるセクション４０４のように）現フレーム６００において一方の側から他方へ水平に広がるマクロブロックの１スライスを含む。生成された５１０動きベクトルのリストは、順方向参照フレーム６１０と逆方向参照フレーム６２０の参照領域を、それぞれ、限定された順方向参照領域６１５と限定された逆方向参照領域６２５に限定するために使用される。順方向参照領域と逆方向参照領域を誤りのない隣接マクロブロック４０６に対応する動きベクトルによって仕切られる領域に限定することによって、限られた処理電力と時間で効果的な探索が達成され得る。
【００３５】
限定された順方向参照領域６１５は、上部と下部をそれぞれ順方向最上位動きベクトル６１２と順方向最低位動きベクトル６１４によって指し示されるマクロブロックの行によって仕切られることが出来る。限定された逆方向参照領域６２５は、上部と下部をそれぞれ逆方向最上位動きベクトル６２２と逆方向最低位動きベクトル６２４によって指し示されるマクロブロックの行によって仕切られることが出来る。最上位動きベクトル６１２と６２２は、誤りのない隣接動きベクトルの中から、それぞれ、順方向参照フレーム６１０と逆方向参照フレーム６２０における最も高い位置に向かうものを選択することによって生成されることが出来る。最低位動きベクトル６１４と６２４は、誤りのない隣接動きベクトルの中から、それぞれ、順方向参照フレーム６１０と逆方向参照フレーム６２０における最も低い位置に向かうものを選択することによって生成されることが出来る。その代りに、限定された参照領域６１５と６２５は、列基準によって列上に定義されることが出来る。列限定される参照領域は、列において誤りのないマクロブロックに含まれるサブマクロブロックの最上位に向かう動きベクトルと最低位に向かう動きベクトルによって限定されることが出来る。更に、限定された参照領域６１５と６２５は、最も右の動きベクトルと最も左の動きベクトル（図示されない）によって左右を仕切られることも出来る。順方向及び／又は逆方向参照領域を限定する６１２ための他の方法は、当業者等にとって明白である。図５Ｂで示される流れ図で図説される何れのブロックも省略される、順序を並べ替えられる、或いは１又は複数の他のブロックと統合されることが可能であることは、注意されるべきである。
【００３６】
図５Ｃは、図５Ａの順方向および逆方向参照セクションに基づき動きベクトルを生成する５０４ための処理の詳細例を図説する流れ図を示す。ある例では、順方向および逆方向参照セクションは、復号されたマルチメディア・データ及び該セクションを復号するために使用される動きベクトル・データを含む。上述で論じられたように、動画像通信システムのある例は、可変動き補償ブロック・サイズに対応する復号器を必要とする。このような例では、復号器への入力の１つは、可変サイズのそれぞれの復号されるブロックの動きベクトルである。他の入力は、該復号されたフレームからのそれぞれの動きベクトルに対する参照フレーム指標（reference frame index）（ｒｅｆ−ｉｄｘ）である。参照フレーム指標情報は、それぞれの動きベクトルに対するビット・ストリームの中で運ばれ、予測フレームとその動きベクトルの参照フレームとの間の距離を示す。１つの例では、それぞれのマクロブロックに対して７個の認められた動き補償ブロック・サイズがある。これ等のブロック・サイズは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４である。本例では、プロセスは、参照動きベクトルを単一の直接的参照フレームと均一な参照ブロック・サイズ（例えば、１６×１６画素ブロック）に基づく動きベクトルに変換することによって、可変動き補償ブロック・サイズに対する動きベクトルを生成する５０４。
【００３７】
誤りのあるセクションを含む現フレームに対する動きベクトルを生成するために、図２の動きベクトル・スケーラ１７０４は、順方向および逆方向参照フレームの参照セクションを予測するに際して使用された動きベクトルをスケーリングする５１４。動きベクトル・スケーリングのこの例では、スケーリングは、参照フレーム及び該参照フレームが予測される基になるフレームと現フレームとの間の複数の距離の比較に基づく。動きベクトル・スケーリングの後、１対の動きベクトルは、現フレームから順方向参照フレーム及び逆方向参照フレームの方向に向かう。それ故、順方向および逆方向参照フレームの動きベクトルは、現フレームの誤りのあるデータを推定するために３０６（図３を参照）使用されることが出来る動きベクトルを生成するためにスケーリングされる。逆方向参照フレーム又は順方向参照フレームに向かう該生成された動きベクトルは、下記のように特徴づけられることが出来る。
【００３８】
ＭＶ＿ｆ＿ｘ＝ＭＶ＿ｘ＊Ｎ／Ｍ                                               （１）
ＭＶ＿ｆ＿ｙ＝ＭＶ＿ｙ＊Ｎ／Ｍ                                               （２）
ここで、ＭＶ＿ｆ＿ｘ及びＭＶ＿ｆ＿ｙは、新しい動きベクトルのｘ及びｙ成分であり、ＭＶ＿ｘ及びＭＶ＿ｙは、誤りのない参照動きベクトルのｘ及びｙ成分であり、Ｎは、現フレームから順方向又は逆方向参照フレームへの距離であり、そしてＭは、順方向又は逆方向参照フレームから該参照フレームが予測される基になるフレームへの距離である。動きベクトル・スケーリングに係わる更なる詳細が図７Ａ及び図７Ｂに関連して下記で論じられる。
【００３９】
次に、図２の動きベクトル統合器１７０６は、複数の動きベクトルを統合する５１６。動きベクトル統合５１６は、可変ブロック・サイズの動きベクトルに対するサポートを提供する。動きベクトル統合５１６の期間中、異なるブロック・サイズのスケーリングされた動きベクトルは、基本単位と呼ばれる均一ブロック・サイズを表す１つの動きベクトルに変換される。基本単位の大きさは、設定可能である。ある例では、１６×１６画素の基本単位が使用される。
【００４０】
もし基本単位がより小さなブロック・サイズの数個のスケーリングされた動きベクトルを含むならば、該基本単位の内部の該複数の動きベクトルを単一の動きベクトルに統合するために、そして、それを基本単位に割り当てるために、統合演算が適用される。しかしながら、もしスケーリングされた動きベクトルが基本単位よりも大きなブロックに対応するならば、入力動きベクトルは、それぞれが基本単位を表しそしてそれぞれが該スケーリングされた動きベクトルと同じ動きベクトルを有する数個の動きベクトルに分割されることが出来る。種々の例が統合演算を実行するために利用可能である。１つの例では、新しい動きベクトルは、基本単位に含まれるより小さなブロック・サイズに対応する、数個のスケーリングされた動きベクトルの平均である。別の例では、新しい動きベクトルは、基本単位に含まれる数個のスケーリングされた動きベクトルの中央値である。動きベクトル統合５１６の後、該動きベクトルは、単一サイズの基本単位に変換されている。
【００４１】
ある例では、スケーリングされた（そして恐らくは統合された）動きベクトルは、平滑化される５１８。動きベクトルの平滑化５１８は、中央値フィルタ処理を含むことが出来る。動きベクトルの平滑化５１８は、平均値フィルタ処理或いは加重平均値フィルタ処理を含むことが出来る。先行ブロック５１４と５１６は、受信された動きベクトルの場を均一な大きさにされた（基本単位の大きさ）順方向および逆方向参照動きベクトルの場に変更する（動きベクトルは、現フレームから逆方向又は順方向参照フレームに向かうようにスケーリングされる）。動きベクトル平滑化、例えば中央値フィルタ処理、は、スケーリング演算５１４及び統合演算５１６によって導入された動きベクトル中の特異点を除く或いは低減するために役立ち、従って、より良い誤り隠蔽結果を結果としてもたらすことが出来る。
【００４２】
中央値フィルタ処理は、インパルス性雑音を除く一方同時に境界を保持するための信号及び映像処理で使用される。Ｎ個のスカラー量、Ｘ＝（ｘ１，ｘ２，…ｘＮ）、但しｘｉ∈Ｒを有し、ｉ＝１，２，…Ｎに対して、の配列に対する中央値を求めるためには、該配列は、最初に（ｘ∧１，ｘ∧２，…ｘ∧Ｎ）に並べ替えられる。次に中央の要素ｘ∧Ｎ／２が該配列の中央値ｘＭとして採用される。中央値ｘＭは、下記の性質を満たす：
【数１】
2008546228.tif 000003
【００４３】
同様にＮ個のｍ次元のベクトル、Ｖ＝（ｖ→１，ｖ→２，…ｖ→Ｎ）、但しｖ→ｉ∈Ｒｍを有し、ｉ＝１，２，…Ｎに対して、の配列に関しては、中央値ベクトルｖ→ＶＭは、下記の制約条件を満たすベクトルである：
【数２】
2008546228.tif 000004
【００４４】
ここに、ｐは、ベクトル間のｐ−ノルム・メトリックを表す。１つの例では、ｐ＝１が使われる。２次元ベクトルｖ→＝（ｖ（ｘ），ｖ（ｙ））に対しては、ｖ→０とｖ→１との間の１−ノルム距離は：
【数３】
2008546228.tif 000005
【００４５】
である。
【００４６】
動きベクトル中央値フィルタ処理は、全ての利用可能な動きベクトルに対して適用されることが出来る。もし動きベクトルが誤りのあるマクロブロック、又は内部符号化されたマクロブロックから来るものであれば、該動きベクトルは、利用不可能とマークされることが出来る。その他の場合は、利用可能とラベルされる。１つの例では、３×３の動きベクトル中央値フィルタ処理（motion vector median filtering）（ＶＭＦ）がそれぞれの利用可能な動きベクトルに適用される。それぞれの利用可能な動きベクトルは、そのベクトルを中心とする３×３ブロックにおける複数の動きベクトルの中央値によって置き換えられる。他の例では、異なる大きさのブロックが動きベクトル中央値フィルタ処理を実行するために使用されることが出来る。
【００４７】
要するに、現フレームの双方向予測された誤りのあるセクションに対する動きベクトルを生成するための図５Ｃのプロセスは、種々のブロック・サイズに属する入力動きベクトルを、基本単位の大きさの画素ブロックに対応する基本単位動きベクトルに変換する。該プロセスは、次に、順方向及び／又は逆方向参照フレームを予測するために使用される動きベクトルを、現フレームの誤りのあるセクションから参照フレームの方向に向かう動きベクトルに変換する。図５Ｃで示される流れ図で図説される何れのブロックも省略される、順序を並べ替えられる、或いは１又は複数の他のブロックと統合されることが可能であることは、注意されるべきである。
【００４８】
図７Ａと図７Ｂは、図５Ｃの動きベクトル・スケーリング５１４の例を示す。図７Ａでは、現フレーム７００は、逆方向参照フレーム７１０に基づいて推定される。逆方向参照フレーム７１０中のマクロブロック７１２は、別の逆方向参照フレーム７２０を参照先とする誤りのない動きベクトル７１４に基づいて予測される。動きベクトル７１４は、フレーム７２０中の動画像データ７２２のマクロブロック大きさのセクションの位置を決める。セクション７２２は、フレーム７１０中の破線を付されたマクロブロックとして示され、動きベクトル７１４と同様にマクロブロック７１２と７２２の相対的な空間的位置を説明する。フレーム７００のセクション（例えば、隠蔽されるべき誤りのあるセクション）を動きベクトル７１４に基づいて推定するために、スケーリング５１４が実行される。上述の数式（１）及び（２）を参照すると、逆方向参照フレーム７１０は、フレーム７００から１フレーム離れており（Ｎ＝１）、そして誤りのない動きベクトル７１４は、フレーム７００から１フレーム離れた所にある（Ｍ＝１）フレーム７２０に向かうが故に、スケーリングされた動きベクトルのｘ及びｙ成分は、因子１（Ｎ／Ｍ＝１／１＝１）を乗ぜられる。従って、スケーリングされた動きベクトル７０４は、フレーム７００の誤りのあるセクションを推定するために使用されることが出来る。動きベクトル７０４がフレーム７００のマクロブロックと位置合わせされていないマクロブロック大きさの部分７０２（それは他の４個のマクロブロックに重なる）から発することは、注目すべきである。
【００４９】
図７Ｂでは、現フレーム７００は、順方向参照フレーム７３０に基づいて推定される。順方向参照フレーム７３０中のマクロブロック７３２は、逆方向参照フレーム７１０への参照を付された動きベクトル７３４に基づいて予測される。動きベクトル７３４は、フレーム７１０中の動画像データ７１６のマクロブロック・サイズのセクションの位置を決める。セクション７１６は、フレーム７３０中の破線を付されたマクロブロックとして示され、動きベクトル７３４と同様にマクロブロック７３２と７１６の相対的位置を説明する。フレーム７００のセクション（例えば、隠蔽されるべき誤りのあるセクションの１つ）を動きベクトル７３４に基づいて推定するために、スケーリング５１４が実行される。順方向参照フレーム７３０は、フレーム７００から１フレーム離れており（Ｎ＝−１）、そして送信された動きベクトル７３４は、フレーム７３０からフレーム７１０に向かう２つのフレームを指示する（Ｍ＝２）ので、スケーリングされた動きベクトルのｘ及びｙ成分は、因子−１／２（Ｎ／Ｍ＝−１／２＝−０．５）を乗ぜられる。従って、スケーリングされた動きベクトル７０９は、フレーム７００の誤りのあるセクションを推定するために使用されることが出来る。動きベクトル７０９がフレーム７００のマクロブロックと位置合わせされていないマクロブロックの大きさの部分７０６（それは他の４個のマクロブロックとオーバーラップする）から発することは、注目すべきである。別のオプションとして、動きベクトルは、Ｎ＝１とＭ＝２を用いて逆方向フレーム７１０に向かうために生成されることが出来る。従って、逆方向参照フレーム７１０のセクション７１６に向かうスケーリングされた動きベクトル７０７は、フレーム７００の誤りのあるセクションを推定するために使用されることが出来る。
【００５０】
図５Ａに関して上述で論じられたように、参照データ決定器１７１２は、隠蔽されるべき誤りのあるセクションのオーバーラップを結果としてもたらすスケーリングされた動きベクトルを有する、候補参照セクションを（５０８において）決定する。複数の順方向及び／又は逆方向候補参照セクションが、誤りのあるセクションのオーバーラップを結果としてもたらすスケーリングされた動きベクトルを有する場合、何れの候補参照セクションが誤りのあるセクションを推定する３０６（図３参照）ために使用されるべきかの決定が実行される。図８は、誤りのあるセクションを含む現フレーム中の複数のブロックと参照セクションの（候補参照ブロックのスケーリングされた動きベクトルから結果として生じる）オーバーラップの図説を示す。（順方向フレーム又は逆方向フレームの何れかから来る）参照ブロック８０２は、図８に示されるようにスケーリングされた動きベクトル８０４を有する。該スケーリングされた動きベクトル８０４は、誤りのあるデータを含む現フレームに向かう。該スケーリングされた動きベクトル８０４は、もし参照ブロック８０２に適用される場合、参照ブロック８０２をその参照フレーム中の元の位置から現参照フレーム中の位置８０６に移動させる。スケーリングされた動きベクトルは、現フレームにおいて４個或いはそれ以下のブロックのオーバーラップを結果としてもたらす。本例では、該位置８０６は、ブロック８０８、８１０、８１２及び８１４にオーバーラップする。４個より少ないブロックがオーバーラップされる場合は以下を含む：１）１つのブロックが精確なオーバーラップによりオーバーラップされる場合、２）２つのブロックが垂直又は水平方向への完全な位置合わせのためにオーバーラップされる場合、及び３）オーバーラップされるブロックが現フレームの境界上にある場合、である。
【００５１】
ある例では、５０８で候補参照セクションを決定する方法は、最大被覆領域則（a most covered area rule）（ＭＣＡ）を利用する。最大被覆領域則は、候補参照セクションを、それが最大部分をオーバーラップするように、現フレームの誤りのあるセクションに割り当てられる。１つの態様では、オーバーラップの百分率がオーバーラップの尺度として用いられる。図８で示される例では、動きベクトル８０４は、参照ブロック８０２が（位置８０６におけるブロックによって表わされるように）現フレームのブロック８０８、８１０、８１２及び８１４をオーバーラップするという結果をもたらす。この場合、ブロック８１０、８１２或いは８１４（それぞれＡ２、Ａ３、及びＡ４とラベルされたオーバーラップ領域）の何れよりも高い百分率のブロック８０８がオーバーラップされる（ブロック８０８のオーバーラップ領域は、図８でＡ１とラベルされる）。従って、最大被覆領域則は、ブロック８０２の参照動きベクトルを現フレームの誤りのあるブロック８０８に割り当てる。
【００５２】
ブロック８０２以外に、その他の候補参照ブロックのスケーリングされた動きベクトルも又ブロック８０８のオーバーラップという結果になることがあり得る。これが起こると、その場合、ある特定の誤りのあるセクションに関して参照セクションの最大オーバーラップを結果としてもたらす動きベクトルが現フレーム中の該誤りのあるセクションを３０６で推定するために使用される動きベクトルであると決定されることが出来る。
【００５３】
順方向参照フレームと逆方向参照フレームの何れにおいても候補参照セクションの動きベクトルは、該最大領域則を用いることによって、誤りのあるセクションに割り当てられることが出来る。これはそれぞれの誤りのあるセクションへの順方向動きベクトルと逆方向動きベクトルの割り当てという結果になる。ある場合には、誤りのあるセクションのオーバーラップを結果としてもたらす候補参照セクションの動きベクトルがないことがある。順方向参照セクション或いは逆方向参照セクションが誤りのあるセクションのオーバーラップを結果としてもたらす時間的予測データ（例えば、動きベクトル）を含むと３０４で決定される場合、単方向性モードが３０６で誤りのあるセクションを推定するために使用されることが出来る。もし誤りのあるセクションのオーバーラップを結果としてもたらす動きベクトルを有すると決定される順方向或いは逆方向参照フレームからの候補参照ブロックが全くないならば、その場合、時間的隠蔽以外の別の隠蔽方法が使用されることが出来る（例えば、別のフレームの同じ画面内位置にあるブロック（コロケーテッド・ブロック、collocated block）を用いる隠蔽）。
【００５４】
１つの例では、順方向及び／又は逆方向参照セクションを決定する５０８ために考慮される参照領域は、上述で論じられそして図６で図説されたように限定されることが出来る。図６は、現フレーム６００に属する誤りのあるセクション４０４への最大被覆領域（ＭＣＡ）則動きベクトル（ＭＶ）割り当てを適用するために、限定された順方向参照領域６１５を用いることを説明する。同様に、現フレーム６００に属する誤りのあるセクション４０４への最大被覆領域（ＭＣＡ）則動きベクトル（ＭＶ）割り当てを適用するために、逆方向参照領域６２５が用いられるとして説明される。
【００５５】
順方向及び／又は逆方向フレームにおける決定される動きベクトルの欠如は、誤りのあるデータを推定する３０６ために、双方向性モードとは異なる推定モードを使用するための１つの理由である。推定モードを決定する５０６（図５Ａ参照）別の例がここで論じられる。
【００５６】
Ｂフレーム（又はスライス、又はマクロブロック）の双方向的動き補償の特徴によって、双方向的に予測されたセクションに対する補償効率は、内部符号化セクション（例えば、Ｉ−フレーム及びスライス）及び単方向性予測セクション（例えば、Ｐ−フレーム及びスライス）の補償効率よりも通常より高い。結果として、Ｂ−フレームの大きさは、Ｉ−フレーム及びＰ−フレームの大きさよりも一般的にはかなり小さい、そして、所定の大きさの誤りのあるデータの部分は、より大きなフレーム領域を占めると云える。双方向性予測のために使用されるより大きな影響領域と複数の動きベクトルに対して必要とされる可能性のある増加した処理のために、誤りのあるセクションの推定モード（単方向性、双方向性又はその他）を決定する方法のある複数の例は、正しく受信された隣接マクロブロックの動きベクトルと予測モード情報の強い影響を供給するために、外から内への階層的処理のアプローチを用いる。
【００５７】
図４を参照して、誤りのあるセクション４０４は、正しく受信されたマクロブロック４０６と接する最上位行と最下位行におけるマクロブロックを含む。誤りのあるセクション４０４は、又正しく受信されたマクロブロック４０６の何れとも接しない内部マクロブロックも含む。誤りのあるセクション４０４において推定される誤り部分は、正しく受信されたマクロブロック４０６から更に離れたところにあることになるので、隣接マクロブロックの動きベクトル及び／又は予測モードによって結果としてもたらされる隠蔽効率は、劣化する可能性がある。それ故、モード決定に対する外から内への階層的アプローチは、正しく受信されたセクション及び／又は既に隠蔽されたセクションに相対的な誤りのあるセクションの位置に基づいて変更することが出来る。
【００５８】
隣接マクロブロックからの正しく受信された情報の効果を拡大するために、３世代の動きベクトル及び／又は予測／推定モードの情報が、誤りのあるセクションの推定モードを決定する際に、考慮される。第１世代の情報（最も大きな影響を与える）は、誤りのない隣接マクロブロックの動きベクトル及び／又は予測モードを含むことが出来る。第２世代の情報は、誤りのない隣接マクロブロックに隣接する誤りのあるマクロブロックの情報を含む、そして、第３世代の情報は、正しく受信された直接隣接するマクロブロックを持たない誤りのあるマクロブロックの情報を含む。それぞれの世代の情報は、動きベクトル及び／又は予測／推定モードの情報を異なる信頼度又は信頼性で含むと云える。それ故、推定モードを決定する方法は、これ等の信頼度又は信頼性を反映する可能性がある。第１世代のモード情報は、それが正しく受信された隣接マクロブロックから引き出されるので、最も高い信頼性を有すると云える。具体例のモード決定のアルゴリズムは、隣接する誤りのあるマクロブロックに対する最終的なモード決定に際し、第１世代情報に最も強い影響力を持たせるように設計される。第２世代のモード情報は、第１世代のモード情報を用いて決定されたマクロブロックの推定モードから引き出され、そして、より低信頼性の情報から成ると考えられる。第３世代のモード情報は、第２世代の情報或いは他の隣接第３世代情報の何れかから引き出される。
【００５９】
図５Ｄは、図５Ａのブロック誤りのあるセクション推定モードを５０６で決定するためのプロセスの例を図説する流れ図を示す。図２の推定モード決定器１７１４は、隠蔽される誤りのあるセクションに隣接する、マルチメディアの誤りのない（例えば、正しく受信された）部分の予測モードを５２０で特定する。ある例では、誤りのない部分と隠蔽される誤りのあるセクションは、１６×１６画素のマクロブロックを含むが、上述で論じられたように、他の大きさのブロックも又使用されることが出来る。
【００６０】
誤りのない隣接マクロブロックの予測モードは、１又は複数の順方向又は逆方向参照フレームからの（Ｐフレームにおけるような）単方向性予測モード、内部符号化（非予測）モード、及び双方向予測モードを含む。
【００６１】
誤りのない隣接部分の予測モードを決定した５２０後、推定モード決定器１７１４は、誤りのない部分に隣接する誤り部分の推定モードを決定する５２２。該決定５２２は、誤りのない部分の決定された予測モードに、少なくとも部分的に基づく。ある例では、誤りのあるマクロブロックの推定モードは、誤りのない隣接マクロブロックの予測モード、或いは、誤りのある隣接マクロブロックのすでに決定された推定モードと同じであると、決定されることが出来る５２２。
【００６２】
ある時間的予測セクションは、Ｈ．２６４におけるように４×４画素と非常に小さいことがあるので、推定モードの決定５２２のある例は、それぞれの隣接マクロブロックに対して、４個の最近接４×４画素ブロックの予測モードと動きベクトルに基づくことが出来る。誤りのある１つのマクロブロックは、４個までの誤りのない隣接マクロブロックを有することが出来る。種々のブロック・サイズ（例えば、４×４、４×８、８×４、８×８、１６×８、８×１６及び１６×１６）の隣接マクロブロックの動きベクトルが過剰サンプリングされて、完全なマクロブロックを構成する複数の４×４画素サイズの複数ブロックに対応する１６個の動きベクトルを形成することが出来る。ある場合には、誤りのあるマクロブロックに最も近い動きベクトルは、もっと離れたベクトルよりも誤り隠蔽効果の観点で更に信頼性が高い可能性がある。ある例では、４個の直接隣接する４×４画素ブロック及びそれ等の対応する予測モードと動きベクトルが誤りのあるマクロブロックの推定モードを決定する際に使用されることが出来る。図９は、誤りのあるマクロブロックに隣接する誤りのないマクロブロックに属する複数の４×４画素ブロックを図示する。マクロブロック９１０は、誤りのあるマクロブロックの右にある誤りのないマクロブロックである（誤りのあるマクロブロックは、図９では示されない）。マクロブロック９１０の０、２、８及び１０とラベル付けされた４×４画素は、右に誤りのない隣者を持つ誤りのあるマクロブロックの推定モードを決定するために利用されることが出来る。マクロブロック９２０の１０、１１、１４及び１５とラベル付けされた４×４画素は、上に誤りのない隣者を持つ誤りのあるマクロブロックの推定モードを決定するために利用されることが出来る。マクロブロック９３０の５、７、１３及び１５とラベル付けされた４×４画素は、左に誤りのない隣者を持つ誤りのあるマクロブロックの推定モードを決定するために利用されることが出来る。マクロブロック９４０の０、１、４及び５とラベル付けされた４×４画素は、下に誤りのない隣者を持つ誤りのあるマクロブロックの推定モードを決定するために利用されることが出来る。もし誤りのあるマクロブロック１より多い誤りのないマクロブロックを有するならば、その場合、全ての４×４画素ブロックの結合された集合が該推定モードを決定するのに使用されることが出来る。
【００６３】
誤りのない隣接マクロブロックの（図９に示される）４個の最近接４×４画素ブロックの４個の予測モードを用いて、誤りのあるマクロブロックの推定モードが表１に列挙される基準に従って決定されることが出来る５２２。
【表１】
2008546228.tif 000006
【００６４】
表１に列挙された基準は、誤りのあるセクションの双方向性推定を用いることに対するバイアスを与える。もし全４個の誤りのない４×４画素隣接ブロックが同じ予測モードであれば、推定モードは、双方向とは異なる。表１における基準は、もし４個の隣接４×４画素ブロックのうちの３個以上が同じモードならば、非双方向性推定モードの１つを実行するように変えられることが出来る。隣接ブロックの推定モード（単数又は複数）に基づいて誤りブロックの推定モードを決定する他の方法も又使用されることが出来る。
【００６５】
もし誤りのあるマクロブロックが誤りのない隣接マクロブロックを持たないが、しかし誤りのないマクロブロックに隣接する隣接マクロブロックを有するならば、その場合、推定モードを決定するための基準は、隣接マクロブロックの予測モードにそれほど依拠することがない。ある例では、内側のマクロブロック（誤りのないマクロブロックと隣接しないマクロブロック）の推定モードを決定するための基準は、１又は複数のすでに決定された（誤りがあって隠蔽されるべき、或いは既に隠蔽された）マクロブロックの決定された推定モード、及び図５Ａのブロック５０４で生成されるようなスケーリングされた順方向および逆方向動きベクトルの位置合わせに基づく。
【００６６】
誤りのあるマクロブロックの順方向および逆方向のスケーリングされた動きベクトルが位置合わせされている（例えば、順方向および逆方向のスケーリングされた動きベクトルのｘ成分又はｙ成分の絶対差分があらかじめ定義されている閾値より小さい）場合に関しては、もし全ての既に決定されたマクロブロックの決定された推定モードが単方向性（全て順方向又は全て逆方向の何れか）であるならば、現誤りのあるマクロブロックのモードは、単方向性（それぞれ順方向又は逆方向）モードであると指定される。もし隣接して外側に位置するマクロブロックの決定された推定モードが１つの型より多い型であれば、その場合現誤りのあるマクロブロックのモードは、双方向性モードであると指定される。誤りのあるマクロブロックの順方向および逆方向のスケーリングされた動きベクトルが位置合わせされていない（例えば、順方向および逆方向のスケーリングされた動きベクトルのｘ成分又は、ｙ成分の絶対差分があらかじめ定義されている閾値より大きい）場合に関しては、現誤りのあるマクロブロックに対するモードは、利用可能な既に決定された隣接マクロブロックの主流のモードであると指定される。隣接マクロブロックの決定された推定モードに基づいて推定モードを決定する他の方法も又使用されることが出来る。
【００６７】
誤りのない何れのマクロブロックからも少なくとも２個以上のマクロブロック離れた（誤りのない何れのマクロブロックから間に入った誤りのあるマクロブロック又は過去に誤りのあったマクロブロックの２個以上だけ隔てられた）誤りのあるマクロブロックに関して、推定モードを決定するための基準が、隣接マクロブロックの予測／推定モードに基づくことは尚一層見込めなくなる。この場合、現誤りのあるマクロブロックの推定モードは、全ての隣接マクロブロックの既に決定された推定モードと現誤りのあるマクロブロックのスケーリングされた動きベクトルの位置合わせとの組合せに基づいて決定されることが出来る。現マクロブロックの順方向および逆方向のスケーリングされた動きベクトルが位置合わせされている（順方向および逆方向動きベクトルのｘ成分又はｙ成分の絶対差分があらかじめ定義されている閾値より小さい）場合に関しては、現マクロブロックのモードは、双方向性モードであると指定される。現マクロブロックの順方向および逆方向動きベクトルが位置合わせされていない（順方向および逆方向動きベクトルのｘ成分又はｙ成分の絶対差分があらかじめ定義されている閾値より大きい）場合に関しては、現誤りのあるマクロブロックに対するモードは、利用可能な既に決定された隣接マクロブロック推定モードの内の主流のモードであると指定される。隣接マクロブロックの決定された推定モードに基づいて誤りのあるマクロブロックの推定モードを決定する他の方法も又使用されることが出来る。
【００６８】
時間的予測データを決定する（図３の３０４を参照）ために参照領域を限定するためのプロセスは、図６に関して上述で論じられたように、該限定された参照領域（図６の領域６１５及び６２５を参照）の上端境界と下端境界（及び、ある例では、右端境界と左端境界も同様に）を特定するために、過剰サンプリングされた４×４画素ブロックの動きベクトルを利用することが出来ることは、注目されるべきである。
【００６９】
図５Ａで示される流れ図で説明されるブロックの何れか１つが省略される、順序を並べ替えられる、或いは１以上の他のブロックと統合されることが可能であることは、注意されるべきである。
【００７０】
１つの具体例は、誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するための装置を提供する。該具体例の装置は、誤り状態で受信された第１セクションに対する時間的予測データを決定するための手段、ここで該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する、及び、該第１順方向参照セクションと該第１逆方向参照セクションの一方又は両方に少なくとも部分的に基づいて該第１セクションを推定するための手段を含む。該時間的予測データを決定するための手段は、図１及び図２の時間的予測決定器１７０を具備することが出来る。該第１セクションを推定するための手段は、図２の誤りのあるデータ推定器１７１６を具備することが出来る。
【００７１】
図１０は、誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するための装置の１つの具体例を説明するブロック図を示す。図１０の該具体例の装置１０００は、誤り状態で受信された第１セクションに対する時間的予測データを決定するための手段、ここで該時間的予測データは、第１順方向参照セクションと第１逆方向参照セクションに対応する、及び、該第１順方向参照セクションと該第１逆方向参照セクションの一方又は両方に少なくとも部分的に基づいて該第１セクションを推定するための手段を含む。該時間的予測データを決定するための手段は、図１０の時間的予測決定器１００５を具備することが出来る。該第１セクションを推定するための手段は、図１０の誤りのあるデータ推定器１０１０を具備することが出来る。
【００７２】
当業者等は、情報と信号が、任意の種々の異なる技術および技法を使用して表わされることを理解する。例えば、上述の説明全般に亘って参照されることが出来るデータ、指示、命令、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁波、磁場又は磁性粒子、光学的場又は光学粒子、或いはそれ等の任意の組合せによって表わされることが出来る。
【００７３】
当業者等は、更に、本明細書中で開示された諸例と関連して説明された種々の説明的な論理ブロック、モジュール、およびアルゴリズム・ステップが、電子的ハードウェア、ファームウェア、コンピュータ・ソフトウェア、ミドルウェア、マイクロコード或いはそれ等の組合せとして実装されることが可能であること、を認識する。ハードウェアとソフトウェアのこの交換可能性を明確に説明するために、種々の説明的な構成要素、ブロック、モジュール、回路、及びステップが上述において一般にそれ等の機能性を表す言葉で説明された。このような機能性がハードウェアとして実装されるか或いはソフトウェアとして実装されるかは、システム全体に課される特別な応用上及び設計上の制約に依存する。当業者等は、説明された機能性を各特別な応用に対して種々の方法で実装することが出来る、しかし、そのような実装上の解決は、本開示された方法の範囲からの逸脱を結果としてもたらすので、説明されるべきではない。
【００７４】
本明細書中で開示された諸例と関連して説明された種々の説明的な論理ブロック、構成要素、モジュール、及び回路は、汎用プロセッサ、デジタル信号処理装置（digital signal processor）（ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit）（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（field programmable gate array）（ＦＰＧＡ）或いは他のプログラム可能な論理デバイス、ディスクリート・ゲート（discrete gate）或いはトランジスタ・ロジック（transistor logic）、ディスクリート・ハードウェア部品（discrete hardware components）、或いは本明細書に記載された諸機能を実行するために設計されたそれ等の任意の組合せ、を用いて実装又は実行されることが出来る。汎用プロセッサは、マイクロプロセッサであって良い、しかし、その代わりに、該プロセッサは、任意の通常のプロセッサ、制御器、マイクロ制御器、或いはステート・マシン（state machine）であって良い。プロセッサは、計算する装置の組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアとともに動作する１又は複数のマイクロプロセッサ、或いは任意の他のこのような構成、として実装されることも可能である。
【００７５】
本明細書中で開示された諸例に関連して説明された方法或いはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサにより遂行されるソフトウェア・モジュールにおいて、或いは両者の組合せにおいて、具体化されることが可能である。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハード・デイスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、或いは他の任意の公知の記憶媒体形式、中に常駐することが出来る。具体例としての記憶媒体は、プロセッサと接続されており、プロセッサがそこから情報を読み、そこに情報を書くことが出来るような、記憶媒体である。それに代わって、記憶媒体は、プロセッサと一体になることも出来る。プロセッサと記憶媒体は、ＡＳＩＣの中に常駐することが可能である。該ＡＳＩＣは、無線モデムの中に常駐することが出来る。それに代わって、プロセッサと記憶媒体は、無線モデム中で個別的部品として常駐することも可能である。
【００７６】
開示された諸例の先述した説明は、当業者の誰もが該開示された方法および装置を作る或いは利用することを可能にするために提供されている。これ等の諸例への種々の変更は、当業者等には容易に明白であり、そして、本明細書中で定義される諸原理は、他の例に適用されることが出来、そして追加の構成要素が付加されることが出来る。
【００７７】
以上のように、誤りのある双方向予測されたマルチメディア・データの時間的誤り隠蔽を実行するための方法および装置が説明されてきている。
【図面の簡単な説明】
【００７８】
【図１】図１は、入力されるマルチメディア・データ・ストリーム（図示されない）を復号し且つ表示するための復号器システムの例を説明するブロック図を示す。
【図２】図２は、図１で示される時間的予測決定器の更に詳細例を図説するブロック図を示す。
【図３】図３は、誤りのある双方向予測されたマルチメディア・データを処理する方法におけるあるブロックを示す流れ図である。
【図４】図４は、正しく受信されそして復号されるマクロブロックと誤り状態で受信されたマクロブロックとを含むマクロブロックのグループを図示する。
【図５Ａ】図５Ａは、図３のブロック３０４における時間的予測データを決定するためのプロセスの例を図説する流れ図を示す。
【図５Ｂ】図５Ｂは、図５Ａのブロック５０２における参照領域を限定するためのプロセスの例を図説する流れ図を示す。
【図５Ｃ】図５Ｃは、図５Ａのブロック５０４における動きベクトルを生成するためのプロセスの例を図説する流れ図を示す。
【図５Ｄ】図５Ｄは、図５Ａのブロック５０６における推定モードを決定するためのプロセスの例を図説する流れ図を示す。
【図６】図６は、時間的予測データを決定するために順方向参照フレーム及び逆方向参照フレームの参照領域を限定する方法を図示する。
【図７Ａ】図７Ａは、動きベクトル・スケーリングの例を図示する。
【図７Ｂ】図７Ｂは、動きベクトル・スケーリングの例を図示する。
【図８】図８は、現在のフレームにおいて推定されるべき複数の誤りのあるセクションと参照セクションのオーバーラップを結果としてもたらす動きベクトルを図示する。
【図９】図９は、誤りのあるマクロブロックに隣接するマクロブロックの４×４画素ブロックを図示する。
【図１０】図１０は、誤り状態で受信された第１セクションを含む双方向予測されたマルチメディア・データを処理するための装置の１つの具体例を図示するブロック図を示す。
【符号の説明】
【００７９】
１００…システム、３００…方法、４００…フレーム、４０２…誤りのないマクロブロック、４０４…誤りのあるマクロブロック、４０６…誤りのない隣接マクロブロック、６００…誤りのあるマクロブロック４０４を含む現参照フレーム、６１０…順方向参照フレーム、６１２…順方向最上位動きベクトル、６１４…順方向最低位動きベクトル、６１５…限定された順方向参照領域、６２０…逆方向参照フレーム、６２２…逆方向最上位動きベクトル、６２４…逆方向最低位動きベクトル、６２５…限定された逆方向参照領域、７００…現フレーム、７０２…フレーム７００のマクロブロックと整列してないマクロブロック大きさの部分、７０４…スケーリングされた動きベクトル、７０６…フレーム７００のマクロブロックと整列してないマクロブロック大きさの部分、７０７、７０９…スケーリングされた動きベクトル、７１０…逆方向参照フレーム、７１２…マクロブロック、７１４…誤りのない動きベクトル、７１６…逆方向参照フレーム７１０のセクション、７２０…別の逆方向参照フレーム、７２２…動きベクトル７１４に基づいて決められるセクション、７３０…順方向参照フレーム、７３２…マクロブロック、７３４…逆方向参照フレーム７１０への参照を付された動きベクトル、８０２…参照ブロック、８０４…スケーリングされた動きベクトル、８０６…現参照フレーム中の位置、８０８、８１０、８１２、８１４…８０６によってオーバーラップされたブロック。
【図１】
2008546228.tif 000007
【図２】
2008546228.tif 000008
【図３】
2008546228.tif 000009
【図４】
2008546228.tif 000010
【図５Ａ】
2008546228.tif 000011
【図５Ｂ】
2008546228.tif 000012
【図５Ｃ】
2008546228.tif 000013
【図５Ｄ】
2008546228.tif 000014
【図６】
2008546228.tif 000015
【図７Ａ】
2008546228.tif 000016
【図７Ｂ】
2008546228.tif 000017
【図８】
2008546228.tif 000018
【図９】
2008546228.tif 000019
【図１０】
2008546228.tif 000020