(57)【要約】【課題】受信データの欠落または規格の不完全準拠の編集による異常な動画像の表示または正常な動画像の非表示または正常な動画像の欠落の問題を解消する。【解決手段】複数のＧＯＰのＮ番目のＧＯＰ＿Ｎの直前のＮ−１番目のＧＯＰ＿Ｎ−１が欠落または削除の状況で、Ｎ番目のＧＯＰ＿Ｎの最初の双方向予測ピクチャーが復号可能とされる。判定器３８は、最初の双方向予測ピクチャーに含まれるマクロブロックのヘッダーに含まれる予測方向情報の値を判定する。予測方向情報が順方向予測もしくは双方向予測である場合には、表示制御部３９の復号結果の表示機器への供給禁止を指示する信号を判定器３８が生成する。判定された予測方向情報が逆方向予測もしくは独立予測である場合には、表示制御部の復号結果の表示機器への供給許可を指示する信号を判定器３８が生成する。【選択図】図３
2014049846.tif 000002
【特許請求の範囲】
【請求項１】
動画像復号装置は、複数のグループオブピクチャーを含むビットストリームを復号するものであり、
前記複数のグループオブピクチャーのＮ番目のグループオブピクチャーの直前のＮ−１番目のグループオブピクチャーが欠落または削除された状況において、前記Ｎ番目のグループオブピクチャーの最初の双方向予測ピクチャーが復号可能とされ、
前記動画像復号装置は、判定器と表示制御部とを具備して、
前記判定器は、前記最初の双方向予測ピクチャーに含まれるマクロブロックのマクロブロックヘッダーに含まれる予測方向情報の値を判定して、
前記表示制御部は、前記判定器から供給される表示制御信号に応答して、前記最初の双方向予測ピクチャーの復号結果の表示機器への供給許可と供給禁止とを制御して、
前記判定器によって判定された前記予測方向情報が順方向予測もしくは双方向予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号を前記判定器が生成して、
前記判定器によって判定された前記予測方向情報が逆方向予測もしくは独立予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号を前記判定器が生成する
動画像復号装置。
【請求項２】
請求項１において、
前記判定器は、前記最初の双方向予測ピクチャーに含まれる全てのマクロブロックの全てのマクロブロックヘッダーに含まれる全ての予測方向情報の値を判定して、
前記判定器によって判定された前記全ての予測方向情報のうちのすくなくとも１個が前記順方向予測もしくは前記双方向予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号を前記判定器が生成して、
前記判定器によって判定された前記全ての予測方向情報のうちの多数が前記逆方向予測もしくは前記独立予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号を前記判定器が生成する
動画像復号装置。
【請求項３】
請求項２において、
前記動画像復号装置は、可変長復号器と逆量子化器と逆離散コサイン変換器と加算器とメモリと動き補償器とを更に具備して、
前記可変長復号器の入力端子には前記ビットストリームが供給可能とされ、前記可変長復号器は前記マクロブロックを構成する複数のブロックのカラーと輝度の予測残差成分を復号するとともに前記マクロブロックの動きベクトルを復号して、
前記可変長復号器によって復号された前記予測残差成分が前記逆量子化器の入力端子に供給され、前記逆量子化器の出力端子から生成される逆量子化出力信号が前記逆離散コサイン変換器の入力端子に供給され、前記逆離散コサイン変換器の出力端子から生成される逆離散コサイン変換出力信号が前記加算器の一方の入力端子に供給され、
前記可変長復号器によって復号された前記動きベクトルは前記動き補償器の一方の入力端子に供給され、前記メモリに格納された参照ピクチャーが前記動き補償器の他方の入力端子に供給され、前記動き補償器の出力端子から動き補償された前記マクロブロックの予測信号が生成され、
前記動き補償器の前記出力端子から生成される前記動き補償されたマクロブロックの前記予測信号が前記加算器の他方の入力端子に供給され、前記加算器の出力端子から生成される復号ビデオ信号は前記メモリに格納され、
前記メモリから読み出される表示のために復号ビデオ信号は、前記表示制御部を介して、前記表示機器に供給可能とされる
動画像復号装置。
【請求項４】
請求項３において、
前記ビットストリームは、前記Ｎ番目のグループオブピクチャーのグループオブピクチャーヘッダーに含まれる前記Ｎ番目のグループオブピクチャーと前記Ｎ−１番目のグループオブピクチャーとの参照関係の連続性の有無を示す第１パラメータ情報および前記参照関係の前記連続性の消滅の有無を示す第２パラメータ情報を含み、
前記可変長復号器は、前記ビットストリームに含まれる前記第１パラメータ情報および前記第２パラメータ情報を実質的に無視する
動画像復号装置。
【請求項５】
請求項４において、
前記第１パラメータ情報と前記第２パラメータ情報とは、それぞれ前記Ｎ番目のグループオブピクチャーの前記グループオブピクチャーヘッダーに含まれるクローズドＧＯＰの第１の１ビットフラグ情報とブロークン・リンクの第２の１ビットフラグ情報である
動画像復号装置。
【請求項６】
請求項５において、
前記最初の双方向予測ピクチャーに含まれる前記マクロブロックの前記マクロブロックヘッダーに含まれる前記予測方向情報は、第３の１ビットフラグ情報と第４の１ビットフラグ情報とを含み、
前記第３の１ビットフラグ情報は、前記動きベクトルのタイプが順方向予測か否かを指定するマクロブロックモーションフォワードであり、
前記第４の１ビットフラグ情報は、前記動きベクトルのタイプが逆方向予測か否かを指定するマクロブロックモーションバックワードである
動画像復号装置。
【請求項７】
請求項６において、
前記逆量子化器と前記逆離散コサイン変換器と前記加算器と前記メモリと前記動き補償器とによる動画像復号処理と前記判定器による前記最初の双方向予測ピクチャーに含まれる前記予測方向情報の判定処理とは並列実行可能とされた
動画像復号装置。
【請求項８】
請求項７において、
前記ビットストリームは、ＭＰＥＧ−２の規格に準拠もしくは不完全準拠した前記複数のグループオブピクチャーを含む
動画像復号装置。
【請求項９】
請求項７において、
前記ビットストリームは、ＭＰＥＧ−４の規格に準拠もしくは不完全準拠した前記複数のグループオブピクチャーを含み、
前記複数のグループオブピクチャーの各グループオブピクチャーは、前記ＭＰＥＧ−４のビデオオブジェクトプレーンによってそれぞれ構成された独立予測ピクチャーと片方向予測ピクチャーと双方向予測ピクチャーとを含む
動画像復号装置。
【請求項１０】
請求項７において、
前記ビットストリームは、車両搭載の地上波デジタルテレビジョン受像機から生成されたものである
動画像復号装置。
【請求項１１】
請求項７において、
前記ビットストリームは、ＭＰＥＧ−２の規格もしくはＭＰＥＧ−４の規格に準拠もしくは不完全準拠した動画像編集ソフトウェアによって編集されたものである
動画像復号装置。
【請求項１２】
請求項７において、
前記逆量子化器と前記逆離散コサイン変換器と前記加算器と前記メモリと前記動き補償器と前記判定器と前記表示制御部とは、前記動画像復号装置を構成する半導体集積回路の半導体チップに形成された
動画像復号装置。
【請求項１３】
請求項７において、
前記動画像復号装置は、カスケード接続された前段のデコーダ部と後段のエンコーダ部とを含むトランスコーディング装置の前記前段のデコーダ部を構成する
動画像復号装置。
【請求項１４】
複数のグループオブピクチャーを含むビットストリームを復号する動画像復号装置の動作方法であって、
前記複数のグループオブピクチャーのＮ番目のグループオブピクチャーの直前のＮ−１番目のグループオブピクチャーが欠落または削除された状況において、前記Ｎ番目のグループオブピクチャーの最初の双方向予測ピクチャーが復号可能とされ、
前記動画像復号装置は、判定器と表示制御部とを具備して、
前記判定器は、前記最初の双方向予測ピクチャーに含まれるマクロブロックのマクロブロックヘッダーに含まれる予測方向情報の値を判定して、
前記表示制御部は、前記判定器から供給される表示制御信号に応答して、前記最初の双方向予測ピクチャーの復号結果の表示機器への供給許可と供給禁止とを制御して、
前記判定器によって判定された前記予測方向情報が順方向予測もしくは双方向予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号を前記判定器が生成して、
前記判定器によって判定された前記予測方向情報が逆方向予測もしくは独立予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号を前記判定器が生成する
動画像復号装置の動作方法。
【請求項１５】
請求項１４において、
前記判定器は、前記最初の双方向予測ピクチャーに含まれる全てのマクロブロックの全てのマクロブロックヘッダーに含まれる全ての予測方向情報の値を判定して、
前記判定器によって判定された前記全ての予測方向情報のうちのすくなくとも１個が前記順方向予測もしくは前記双方向予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号を前記判定器が生成して、
前記判定器によって判定された前記全ての予測方向情報のうちの多数が前記逆方向予測もしくは前記独立予測である場合には、前記表示制御部の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号を前記判定器が生成する
動画像復号装置の動作方法。
【請求項１６】
請求項１５において、
前記動画像復号装置は、可変長復号器と逆量子化器と逆離散コサイン変換器と加算器とメモリと動き補償器とを更に具備して、
前記可変長復号器の入力端子には前記ビットストリームが供給可能とされ、前記可変長復号器は前記マクロブロックを構成する複数のブロックのカラーと輝度の予測残差成分を復号するとともに前記マクロブロックの動きベクトルを復号して、
前記可変長復号器によって復号された前記予測残差成分が前記逆量子化器の入力端子に供給され、前記逆量子化器の出力端子から生成される逆量子化出力信号が前記逆離散コサイン変換器の入力端子に供給され、前記逆離散コサイン変換器の出力端子から生成される逆離散コサイン変換出力信号が前記加算器の一方の入力端子に供給され、
前記可変長復号器によって復号された前記動きベクトルは前記動き補償器の一方の入力端子に供給され、前記メモリに格納された参照ピクチャーが前記動き補償器の他方の入力端子に供給され、前記動き補償器の出力端子から動き補償された前記マクロブロックの予測信号が生成され、
前記動き補償器の前記出力端子から生成される前記動き補償されたマクロブロックの前記予測信号が前記加算器の他方の入力端子に供給され、前記加算器の出力端子から生成される復号ビデオ信号は前記メモリに格納され、
前記メモリから読み出される表示のために復号ビデオ信号は、前記表示制御部を介して、前記表示機器に供給可能とされる
動画像復号装置の動作方法。
【請求項１７】
請求項１６において、
前記ビットストリームは、前記Ｎ番目のグループオブピクチャーのグループオブピクチャーヘッダーに含まれる前記Ｎ番目のグループオブピクチャーと前記Ｎ−１番目のグループオブピクチャーとの参照関係の連続性の有無を示す第１パラメータ情報および前記参照関係の前記連続性の消滅の有無を示す第２パラメータ情報を含み、
前記可変長復号器は、前記ビットストリームに含まれる前記第１パラメータ情報および前記第２パラメータ情報を実質的に無視する
動画像復号装置の動作方法。
【請求項１８】
請求項１７において、
前記第１パラメータ情報と前記第２パラメータ情報とは、それぞれ前記Ｎ番目のグループオブピクチャーの前記グループオブピクチャーヘッダーに含まれるクローズドＧＯＰの第１の１ビットフラグ情報とブロークン・リンクの第２の１ビットフラグ情報である
動画像復号装置の動作方法。
【請求項１９】
請求項１８において、
前記最初の双方向予測ピクチャーに含まれる前記マクロブロックの前記マクロブロックヘッダーに含まれる前記予測方向情報は、第３の１ビットフラグ情報と第４の１ビットフラグ情報とを含み、
前記第３の１ビットフラグ情報は、前記動きベクトルのタイプが順方向予測か否かを指定するマクロブロックモーションフォワードであり、
前記第４の１ビットフラグ情報は、前記動きベクトルのタイプが逆方向予測か否かを指定するマクロブロックモーションバックワードである
動画像復号装置の動作方法。
【請求項２０】
請求項１９において、
前記逆量子化器と前記逆離散コサイン変換器と前記加算器と前記メモリと前記動き補償器とによる動画像復号処理と前記判定器による前記最初の双方向予測ピクチャーに含まれる前記予測方向情報の判定処理とは並列実行可能とされた
動画像復号装置の動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号処理装置およびその動作方法に関し、特に受信データの欠落または規格の不完全準拠の編集によって異常な動画像が表示されるか正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を解消するのに有効な技術に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ−２と呼ばれる動画像の一般的な圧縮方式は、ＩＳＯ／ＩＥＣ  １３８１８−２で標準化された規格であり、例えば、下記非特許文献１に記載されている。ＭＰＥＧ−２は、動画像から冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。
【０００３】
ＭＰＥＧ−２の規格はデコードプロセスによるビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)のみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。
【０００４】
ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素の輝度とカラーとの成分を規定するために、ビデオ信号はサンプルされ量子化される。輝度とカラーとの成分を示す値は、マクロブロックとして知られている構造に蓄積される。マクロブロックに蓄積された輝度とカラーの値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度とカラーで異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。
【０００５】
ＭＰＥＧ−２のデコードプロセスでは、動き補償技術による圧縮が規定されている。ＭＰＥＧ−２の規格では、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のピクチャーもしくはフレームが存在している。Ｉフレームは、そのフレームはビデオストリームで他のいかなるピクチャーまたはフレームを参照することなく再生されることを意味するイントラコードされたものである。ＰフレームとＢフレームとは、そのフレームは他のピクチャーまたはフレームの参照によって再生されることを意味するインターコードされたものである。例えば、ＰフレームとＢフレームとは、参照フレームに関して動き推定を示す動きベクトルを含む。動きベクトルの使用によって、ビデオストリームに必要な帯域幅の低減が可能となる。尚、Ｉフレームは独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)フレームと呼ばれ、Ｐフレームは片方向予測(predictive-coded)フレームと呼ばれ、Ｂフレームは双方向予測(bi-directionally predictive-coded)フレームと呼ばれる。
【０００６】
一方、下記特許文献１と下記特許文献２とには、パーソナルコンピュータを使用して高圧縮効率の動画像圧縮規格Ｈ．２６４に準拠する映像ファイルを編集する際に、編集前の映像ファイルの不要区間を削除して、２つの映像をシームレスに接続可能な編集方法が記載されている。この編集方法によれば、編集位置がオープンＧＯＰである場合には、ＩピクチャーをＩＤＲピクチャーに変換して、削除される不要区間に存在して編集後に参照される可能性のあるＢピクチャーを削除する。その後、映像データの編集以前に参照していた参照ピクチャーとの参照関係が破壊されるピクチャーを検出して、参照関係が破壊されるピクチャーのスライスヘッダを書き換えることで参照関係の復元が可能かを判定する。復元が可能と判定された場合には参照関係が破壊されるピクチャーのスライスヘッダを書き換え、復元が不可能と判定された場合には、参照関係が破壊されるピクチャーのマクロブロックレイヤーを書き換えるものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２３７７２号  公報
【特許文献２】国際公開  ＷＯ２００９／０６３５９５Ａ１  明細書
【非特許文献】
【０００８】
【非特許文献１】ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＳＴＡＮＤＡＲＤ  １３８１８−２，  ＲＥＣＯＭＭＥＮＤＡＴＩＯＮ  ＩＴＵ−Ｔ  Ｈ．２６２，  “ＩＮＦＯＲＭＡＴＩＯＮ  ＴＥＣＨＮＯＬＯＧＹ−ＧＥＮＥＲＩＣ  ＣＯＤＩＮＧ  ＯＦ  ＭＯＶＩＮＧ  ＰＩＣＴＵＲＥＳ  ＡＮＤ  ＡＳＳＯＣＩＡＴＥＤ  ＡＵＤＩＯ  ＩＮＦＯＲＭＡＴＩＯＮ：  ＶＩＤＥＯ”ｈｔｔｐ：／／ｎｅｕｒｏｎ２．ｎｅｔ／ｌｉｂｒａｒｙ／ｍｐｅｇ２／ｉｓｏ１３８１８−２．ｐｄｆ[平成２１年１０月０５日検索]
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明者等は本発明に先立って、ＭＰＥＧ−２の規格に準拠する動画像復号処理装置の開発に従事した。
【００１０】
図１は、本発明に先立って本発明者等によって検討されたＭＰＥＧ−２の規格に準拠する動画像復号処理装置によりデコードされる符号化データのビットストリームの階層構造を説明する図である。
【００１１】
図１に示すように、ＭＰＥＧの動画符号化方式は動画像の全体に対応するシーケンス(Ｓｅｑｕｅｎｃｅ)１０から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Ｂｌｏｃｋ)１５、１６、１７までの６階層の構造を有する。すなわち、第１階層はシーケンス(Ｓｅｑｕｅｎｃｅ)１０、第２階層はグループオブピクチャー(ＧＯＰ)１１、第３階層はピクチャー(Ｐｉｃｔｕｒｅ)１２、第４階層はスライス(Ｓｌｉｃｅ)１３、第５階層はマクロブロック(Ｍａｃｒｏ−ｂｌｏｃｋ)１４、第６階層はブロック(Ｂｌｏｃｋ)１５、１６、１７である。この階層構造は動画像構造をベースとしたものであるが、グループオブピクチャー(ＧＯＰ)１１に含まれるピクチャー(Ｐｉｃｔｕｒｅ)１２の数もしくはスライス(Ｓｌｉｃｅ)１３に含まれるマクロブロック(Ｍａｃｒｏ−ｂｌｏｃｋ)１４の数は比較的柔軟となっている。
【００１２】
図２は、図１に示した階層構造のＭＰＥＧ−２の動画符号化方式によってエンコードされた典型的なビデオストリームを示す図である。
【００１３】
図２に示すビデオストリームは、シーケンスレベル２１１、グループオブピクチャー(ＧＯＰ)レベル２２１、ピクチャーレベル２３１、スライスレベル２４１、マクロブロック(ＭＢ)レベル２５１の異なったレベルの重ね合った階層となっている。従って、次の各レベルは、以前の各レベルの一部となっている。シーケンスレベル２１１はシーケンスの連続で、各シーケンスは複数のグループオブピクチャー(ＧＯＰ)のグループを含んでいる。グループオブピクチャー(ＧＯＰ)レベル２２１のグループはピクチャーのグループの連続で、各ＧＯＰは１つまたは多数のピクチャーを含んでいる。ピクチャーレベル２３１はピクチャー(Ｉフレーム、Ｐフレーム、Ｂフレームを含む)の連続で、各ピクチャー２３０は１つまたは多数のスライス２４０を含んでいる。スライスレベル２４２はスライス２４０の連続で、各スライス２４０は１つまたは多数のマクロブロック２５０を含んでいる。マクロブロック(ＭＢ)レベル２５１は、マクロブロックの連続である。
【００１４】
図２に示すビデオストリームをデコードするためにはビデオストリームに関する確実な情報が必要であり、しばしばこの情報はビデオストリームに含まれるヘッダーに含まれている。従って、ビデオストリームの各レベルのデータの各ブロックは、一般にビデオストリームのデコーディングに必要な関連情報を含むヘッダーを有している。例えば、シーケンスレベル２１１でシーケンス２１０はシーケンスヘッダー２１２を有し、ＧＯＰレベル２２１でＧＯＰ２２０はＧＯＰヘッダー２２２を有し、ピクチャーレベル２３１でピクチャー２３０はピクチャーヘッダー２３２を有する。スライスレベル２４１でスライス２４０はスライスヘッダー２４２を有し、ＭＢレベル２５１ではマクロブロック(ＭＢ)２５０はマクロブロック(ＭＢ)ヘッダー２５２を有している。
【００１５】
シーケンスヘッダー２１２は、水平サイズと垂直サイズとアスペクトレシオ情報とフレームレートコードとビットレート値とバッファサイズ値とイントラ量子化器マトリックスと非イントラ量子化器マトリックスの情報を含む。水平サイズ(ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ)と垂直サイズ(ｖｅｒｔｉｃａｌ＿ｓｉｚｅ)とはピクチャーの幅とピクチャーの高さとをそれぞれ指定する。アスペクトレシオ情報(ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ)は画素のアスペクト比を指定して、フレームレートコード(ｆｒａｍｅ＿ｒａｔｅ＿ｃｏｄｅ)はピクチャーレートを指定する。更にビットレート値(ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ)はビットレートを指定して、バッファサイズ値(ｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ＿ｖａｌｕｅ)はバッファサイズを指定する。またイントラ量子化器マトリックス(ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ)と非イントラ量子化器マトリックス(ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ)とは、イントラブロックと非イントラブロックとのための量子化器マトリックスである。
【００１６】
ＧＯＰヘッダー２２２は、グループスタートコード(ｇｒｏｕｐ＿ｓｔａｒｔ＿ｃｏｄｅ)を含み、更にタイムコード(ｔｉｍｅ＿ｃｏｄｅ)と呼ばれるパラメータとクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)やブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)と呼ばれるグループオブピクチャー(ＧＯＰ)の構造を記述するパラメータとを含む。特にクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)は、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性の有無を示すパラメータである。すなわち、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”の場合には、そのグループオブピクチャー(ＧＯＰ)が閉じた構造のクローズドＧＯＰであることを示し、反対にｃｌｏｓｅｄ＿ｇｏｐ＝“０”の場合には、そのグループオブピクチャー(ＧＯＰ)が開いた構造のオープンＧＯＰであることを示している。更に、ブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)は、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性消滅の有無を示すパラメータである。すなわち、ｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の場合には、参照関係の連続性が消滅したことを示し、反対にｂｒｏｋｅｎ＿ｌｉｎｋ＝“０”の場合には、参照関係の連続性が消滅していないことを示している。
【００１７】
またピクチャーヘッダー２３２は、テンポラルリファレンス(ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ)とピクチャーコーディングタイプ(ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ)とバッファ遅延(ｖｂｖ＿ｄｅｌａｙ)等を含む。テンポラルリファレンス(ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ)は表示の時間位置を示し、ピクチャーコーディングタイプ(ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ)は、ピクチャーがＩピクチャーとＰピクチャーとＢピクチャーとのいずれかを示すパラメータであり、バッファ遅延(ｖｂｖ＿ｄｅｌａｙ)はピクチャーのデコード前の遅延を示すバッファパラメータである。ピクチャーヘッダー２３２は、更に全画素(ｆｕｌｌ＿ｐｅｌ)か半画素(ｈａｌｆ＿ｐｅｌ)かによる動きベクトルを使用したかを示すエンコードパラメータと、動きベクトルがどのピクチャーからエンコードされたかを示すエフコード(ｆ＿ｃｏｄｅ)と呼ばれるパラメータとを含んでいる。
【００１８】
スライスヘッダー２４２は、スライス開始を示すスライススタートコード(ｓｌｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅ)と、スライスの最初のマクロブロック(ＭＢ)の垂直位置を示すスライス垂直位置(ｓｌｉｃｅ＿ｖｅｒｔｉｃａｌ＿ｐｏｓｉｔｉｏｎ)と呼ばれるパラメータと、量子化器スケールコード(ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ)と呼ばれるパラメータ等とを含んでいる。
【００１９】
マクロブロック(ＭＢ)ヘッダー２５２は、マクロブロックアドレス(ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ)と、マクロブロックタイプ(ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ)と、マクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)と、マクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)を含む。マクロブロックタイプ(ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ)は、マクロブロック(ＭＢ)がＩピクチャーとＰピクチャーとＢピクチャーとのいずれの符号化方法と内容とを示す可変長符号(ＶＬＣ)である。マクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)とマクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)とは、動きベクトルのタイプが順方向予測であるか否かと動きベクトルのタイプが逆方向予測であるか否かをそれぞれ指定するものである。更にマクロブロック(ＭＢ)ヘッダー２５２は、離散コサイン変換(ＤＣＴ)のタイプとＤＣＴ係数と符号化ブロックパターン(ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ)等とを決定する。
【００２０】
本発明者等は本発明に先立って、半導体集積回路に内蔵されるＭＰＥＧ−２の規格に準拠する動画像復号処理装置の開発に従事した。具体的には、燃料エンジンを使用する自動車もしくは電池駆動の電気モータを使用する自動車もしくはハイブリット自動車に搭載されるカーナビゲーション・システムを使用して地上波デジタル放送のテレビジョン放送を受信するためのＭＰＥＧ−２動画像復号処理装置の開発に、本発明者等は本発明に先立って従事したものである。自動車の移動中にテレビジョン放送の受信環境が悪化して、受信データの符号化データのビットストリーム欠落が発生することで、ＭＰＥＧ−２の規格に準拠する動画像の正常な復号動作が困難となるものである。他の具体的な用途は、ＱｉｕｃｋＴｉｍｅファイルフォーマットをベースにして規格が制定されたＭＰＥＧ−４の規格(ＩＳＯ／ＩＥＣ１４４９６  Ｐａｒｔ  １４)に準拠する動画像データを編集する動画像編集ソフトウェアによって、ＭＰＥＧ−４の規格を完全に準拠することなく編集された場合にも、規格不完全準拠の編集動画像データを可能な限り正常に復号動作することである。ＭＰＥＧ−４の規格による符号化処理の大部分はＭＰＥＧ−２の規格と共通であって、主要な相違点はＭＰＥＧ−４の規格によるＩピクチャーとＰピクチャーとＢピクチャーはオブジェクト符号化との整合性のためにＩ−ＶＯＰとＰ−ＶＯＰとＢ−ＶＯＰとなっていることである。尚、ＶＯＰは、ビデオオブジェクトプレーン(Video Object Plane)の略である。上記特許文献１と上記特許文献２とに記載されたように、動画像編集ソフトウェアを使用することによって、映像ファイルの不要区間が削除される。現在、フリーウェアの動画像編集ソフトウェアが、インターネット等によりダウンロードが可能である。しかし、種々のフリーウェアの動画像編集ソフトウェアの一部は、ＭＰＥＧ−４の規格を完全に準拠しないものが存在する。
【００２１】
受信データの欠落もしくは規格不完全準拠の編集によって、図２のＧＯＰヘッダー２２２に含まれたクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)とのパラメータがＭＰＥＧ−２の規格もしくはＭＰＥＧ−４の規格に準拠しない異常な値となる。従って、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性に矛盾が発生する。その結果、そのグループオブピクチャー(ＧＯＰ)の最初のＢピクチャーまたはＢ−ＶＯＰの再生に際して、異常な動画像が表示されるか、正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を生じることが、本発明者等による本発明に先立った検討により明らかとされた。
【００２２】
このような課題を解決するための手段等を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００２３】
本願において開示される代表的な実施の形態の概要を簡単に説明すれば、下記のとおりである。
【００２４】
すなわち、代表的な実施の形態による動画像復号処理装置(３０)は、複数のグループオブピクチャーを含むビットストリーム(ＢＳ)を復号する。
【００２５】
複数のグループオブピクチャーのＮ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の直前のＮ−１番目のグループオブピクチャー(ＧＯＰ＿Ｎ−１)が欠落または削除された状況において、Ｎ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の最初の双方向予測ピクチャー(ＢＮ０)が復号可能とされる。
【００２６】
判定器(３８)は、最初の双方向予測ピクチャー(ＢＮ０)に含まれるマクロブロック(２５０)のマクロブロックヘッダー(２５２)に含まれる予測方向情報(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)の値を判定する。
【００２７】
判定器(３８)によって判定された予測方向情報が順方向予測もしくは双方向予測である場合には、表示制御部(３９)の復号結果の表示機器への供給禁止を指示する表示制御信号(Ｃｎｔ＿Ｓｉｇ)を判定器(３８)が生成する。
【００２８】
判定器(３８)によって判定された予測方向情報が逆方向予測もしくは独立予測である場合には、表示制御部(３９)の復号結果の表示機器への供給許可を指示する表示制御信号(Ｃｎｔ＿Ｓｉｇ)を判定器(３８)が生成することを特徴とするものである(図３参照)。
【発明の効果】
【００２９】
本願において開示される実施の形態のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００３０】
すなわち、本動画像復号処理装置によれば、受信データの欠落または規格の不完全準拠の編集により異常な動画像が表示されるか正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を解消することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明に先立って本発明者等によって検討されたＭＰＥＧ−２の規格に準拠する動画像復号処理装置によりデコードされる符号化データのビットストリームの階層構造を説明する図である。
【図２】図２は、図１に示した階層構造のＭＰＥＧ−２の動画符号化方式によってエンコードされた典型的なビデオストリームを示す図である。
【図３】図３は、実施の形態１による動画像復号処理装置(ビデオデコーダ)３０の構成を示す図である。
【図４】図４は、受信データの欠落もしくは規格不完全準拠の編集によってＮ番目のグループオブピクチャーＧＯＰ＿Ｎの直前に配置されたＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１が欠落もしくは削除した状況を示す図である。
【図５】図５は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“０”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが順方向予測(Ｆｏｒｗａｒｄ)と判定される様子を示す図である。
【図６】図６は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)と判定される様子を示す図である。
【図７】図７は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが逆方向予測(Ｂａｃｋｗａｒｄ)と判定される様子を示す図である。
【図８】図８は、実施の形態２によるトランスコーディング装置の構成を示す図である。
【発明を実施するための形態】
【００３２】
１．実施の形態の概要
まず、本願において開示される代表的な実施の形態についてその概要を説明する。代表的な実施の形態の概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００３３】
〔１〕代表的な実施の形態による動画像復号装置(３０)は、複数のグループオブピクチャー(ＧＯＰ＿Ｎ−１、ＧＯＰ＿Ｎ)を含むビットストリーム(ＢＳ)を復号するものである。
【００３４】
前記複数のグループオブピクチャーのＮ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の直前のＮ−１番目のグループオブピクチャー(ＧＯＰ＿Ｎ−１)が欠落または削除された状況において、前記Ｎ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の最初の双方向予測ピクチャー(ＢＮ０)が復号可能とされる。
【００３５】
前記動画像復号装置(３０)は、判定器(３８)と表示制御部(３９)とを具備する。
【００３６】
前記判定器(３８)は、前記最初の双方向予測ピクチャー(ＢＮ０)に含まれるマクロブロック(２５０)のマクロブロックヘッダー(２５２)に含まれる予測方向情報(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)の値を判定する。
【００３７】
前記表示制御部(３９)は、前記判定器(３８)から供給される表示制御信号(Ｃｎｔ＿Ｓｉｇ)に応答して、前記最初の双方向予測ピクチャーの復号結果の表示機器への供給許可と供給禁止とを制御する。
【００３８】
前記判定器(３８)によって判定された前記予測方向情報が順方向予測もしくは双方向予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成する。
【００３９】
前記判定器(３８)によって判定された前記予測方向情報が逆方向予測もしくは独立予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成することを特徴とするものである(図３参照)。
【００４０】
前記実施の形態によれば、受信データの欠落または規格の不完全準拠の編集により異常な動画像が表示されるか正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を解消することができる。
【００４１】
好適な実施の形態では、前記判定器(３８)は、前記最初の双方向予測ピクチャー(ＢＮ０)に含まれる全てのマクロブロック(２５０)の全てのマクロブロックヘッダー(２５２)に含まれる全ての予測方向情報(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)の値を判定する。
【００４２】
前記判定器(３８)によって判定された前記全ての予測方向情報のうちのすくなくとも１個が前記順方向予測もしくは前記双方向予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成する。
【００４３】
前記判定器(３８)によって判定された前記全ての予測方向情報のうちの多数が前記逆方向予測もしくは前記独立予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成することを特徴とする(図３参照)。
【００４４】
他の好適な実施の形態による動画像復号装置(３０)は、可変長復号器(３２)と逆量子化器(３３)と逆離散コサイン変換器(３４)と加算器(３５)とメモリ(３６)と動き補償器(３７)とを更に具備する。
【００４５】
前記可変長復号器(３２)の入力端子には前記ビットストリーム(ＢＳ)が供給可能とされ、前記可変長復号器(３２)は前記マクロブロック(２５０)を構成する複数のブロックのカラーと輝度の予測残差成分を復号するとともに前記マクロブロック(２５０)の動きベクトルを復号する。
【００４６】
前記可変長復号器(３２)によって復号された前記予測残差成分が前記逆量子化器(３３)の入力端子に供給され、前記逆量子化器(３３)の出力端子から生成される逆量子化出力信号が前記逆離散コサイン変換器(３４)の入力端子に供給され、前記逆離散コサイン変換器(３４)の出力端子から生成される逆離散コサイン変換出力信号が前記加算器(３５)の一方の入力端子に供給される。
【００４７】
前記可変長復号器(３２)によって復号された前記動きベクトルは前記動き補償器(３７)の一方の入力端子に供給され、前記メモリ(３６)に格納された参照ピクチャーが前記動き補償器(３７)の他方の入力端子に供給され、前記動き補償器(３７)の出力端子から動き補償された前記マクロブロック(２５０)の予測信号が生成される。
【００４８】
前記動き補償器(３７)の前記出力端子から生成される前記動き補償されたマクロブロック(２５０)の前記予測信号が前記加算器(３５)の他方の入力端子に供給され、前記加算器(３５)の出力端子から生成される復号ビデオ信号は前記メモリ(３６)に格納される。
【００４９】
前記メモリ(３６)から読み出される表示のために復号ビデオ信号は、前記表示制御部(３９)を介して、前記表示機器に供給可能とされることを特徴とするものである(図３参照)。
【００５０】
更に他の好適な実施の形態では、前記ビットストリームは、前記Ｎ番目のグループオブピクチャーのグループオブピクチャーヘッダー(２２２)に含まれる前記Ｎ番目のグループオブピクチャーと前記Ｎ−１番目のグループオブピクチャーとの参照関係の連続性の有無を示す第１パラメータ情報および前記参照関係の前記連続性の消滅の有無を示す第２パラメータ情報を含む。
【００５１】
前記可変長復号器(３２)は、前記ビットストリームに含まれる前記第１パラメータ情報および前記第２パラメータ情報を実質的に無視することを特徴とするものである(図４、図５、図６、図７参照)。
【００５２】
より好適な実施の形態では、前記第１パラメータ情報と前記第２パラメータ情報とは、それぞれ前記Ｎ番目のグループオブピクチャーの前記グループオブピクチャーヘッダー(２２２)に含まれるクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)の第１の１ビットフラグ情報とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)の第２の１ビットフラグ情報であることを特徴とする(図３参照)。
【００５３】
他のより好適な実施の形態では、前記最初の双方向予測ピクチャー(ＢＮ０)に含まれる前記マクロブロック(２５０)の前記マクロブロックヘッダー(２５２)に含まれる前記予測方向情報は、第３の１ビットフラグ情報と第４の１ビットフラグ情報とを含む。
【００５４】
前記第３の１ビットフラグ情報は、前記動きベクトルのタイプが順方向予測か否かを指定するマクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)である。
【００５５】
前記第４の１ビットフラグ情報は、前記動きベクトルのタイプが逆方向予測か否かを指定するマクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)であることを特徴とするものである(図４、図５、図６、図７参照)。
【００５６】
更に他のより好適な実施の形態では、前記逆量子化器(３３)と前記逆離散コサイン変換器(３４)と前記加算器(３５)と前記メモリ(３６)と前記動き補償器(３７)とによる動画像復号処理と前記判定器(３８)による前記最初の双方向予測ピクチャー(ＢＮ０)に含まれる前記予測方向情報の判定処理とは並列実行可能とされたことを特徴とするものである(図３参照)。
【００５７】
別のより好適な実施の形態では、前記ビットストリーム(ＢＳ)は、ＭＰＥＧ−２の規格に準拠もしくは不完全準拠した前記複数のグループオブピクチャーを含むことを特徴とするものである。
【００５８】
更に別のより好適な実施の形態は、前記ビットストリーム(ＢＳ)は、ＭＰＥＧ−４の規格に準拠もしくは不完全準拠した前記複数のグループオブピクチャーを含む。
【００５９】
前記複数のグループオブピクチャーの各グループオブピクチャーは、前記ＭＰＥＧ−４のビデオオブジェクトプレーン(ＶＯＰ)によってそれぞれ構成された独立予測ピクチャー(Ｉ−ＶＯＰ)と片方向予測ピクチャー(Ｐ−ＶＯＰ)と双方向予測ピクチャー(Ｂ−ＶＯＰ)とを含むことを特徴とするものである。
【００６０】
具体的な実施の形態では、前記ビットストリーム(ＢＳ)は、車両搭載の地上波デジタルテレビジョン受像機から生成されたものであることを特徴とするものである。
【００６１】
他の具体的な実施の形態では、前記ビットストリーム(ＢＳ)は、ＭＰＥＧ−２の規格もしくはＭＰＥＧ−４の規格に準拠もしくは不完全準拠した動画像編集ソフトウェアによって編集されたものであることを特徴とするものである。
【００６２】
より具体的な実施の形態では、前記逆量子化器(３３)と前記逆離散コサイン変換器(３４)と前記加算器(３５)と前記メモリ(３６)と前記動き補償器(３７)と前記判定器(３８)と前記表示制御部(３９)とは、前記動画像復号装置(３０)を構成する半導体集積回路の半導体チップ(Ｃｈｉｐ)に形成されたことを特徴とするものである(図８参照)。
【００６３】
最も具体的な実施の形態では、前記動画像復号装置(３０)は、カスケード接続された前段のデコーダ部(１)と後段のエンコーダ部(２)とを含むトランスコーディング装置の前記前段のデコーダ部(１)を構成することを特徴とするものである(図８参照)。
【００６４】
〔２〕別の観点の代表的な実施の形態は、複数のグループオブピクチャー(ＧＯＰ＿Ｎ−１、ＧＯＰ＿Ｎ)を含むビットストリーム(ＢＳ)を復号する動画像復号装置(３０)の動作方法である。
【００６５】
前記複数のグループオブピクチャーのＮ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の直前のＮ−１番目のグループオブピクチャー(ＧＯＰ＿Ｎ−１)が欠落または削除された状況において、前記Ｎ番目のグループオブピクチャー(ＧＯＰ＿Ｎ)の最初の双方向予測ピクチャー(ＢＮ０)が復号可能とされる。
【００６６】
前記動画像復号装置(３０)は、判定器(３８)と表示制御部(３９)とを具備する。
【００６７】
前記判定器(３８)は、前記最初の双方向予測ピクチャー(ＢＮ０)に含まれるマクロブロック(２５０)のマクロブロックヘッダー(２５２)に含まれる予測方向情報(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)の値を判定する。
【００６８】
前記表示制御部(３９)は、前記判定器(３８)から供給される表示制御信号(Ｃｎｔ＿Ｓｉｇ)に応答して、前記最初の双方向予測ピクチャーの復号結果の表示機器への供給許可と供給禁止とを制御する。
【００６９】
前記判定器(３８)によって判定された前記予測方向情報が順方向予測もしくは双方向予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給禁止を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成する。
【００７０】
前記判定器(３８)によって判定された前記予測方向情報が逆方向予測もしくは独立予測である場合には、前記表示制御部(３９)の前記復号結果の前記表示機器への前記供給許可を指示する前記表示制御信号(Ｃｎｔ＿Ｓｉｇ)を前記判定器(３８)が生成することを特徴とするものである(図３参照)。
【００７１】
前記実施の形態によれば、受信データの欠落または規格の不完全準拠の編集により異常な動画像が表示されるか正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を解消することができる。    である。
【００７２】
２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
【００７３】
［実施の形態１］
《動画像復号処理装置の構成》
図３は、実施の形態１による動画像復号処理装置(ビデオデコーダ)３０の構成を示す図である。
【００７４】
図３に示した実施の形態１による動画像復号処理装置３０は、バッファ(Ｂｕｆｆｅｒ)３１、可変長復号器(ＶＬＤ)３２、逆量子化器(ＩＱ)３３、逆離散コサイン変換器(ＩＤＣＴ)３４、加算器(＋)３５、メモリ(Ｍｅｍｏｒｙ)３６、動き補償器(ＭＣ)３７、動きベクトル判定器３８、表示制御部３９を含んでいる。
【００７５】
バッファ(Ｂｕｆｆｅｒ)３１の入力端子にはＭＰＥＧ−２の動画符号化方式によって符号化されたビデオビットストリームＢＳが供給されて、バッファ(Ｂｕｆｆｅｒ)３１にはビデオビットストリームＢＳが格納される。このビデオビットストリームＢＳは、上述のように自動車に搭載のカーナビゲーション・システムを使用して地上波デジタル放送のテレビジョン放送を受信したＭＰＥＧ−２の規格に準拠するビットストリームまたはＭＰＥＧ−４の規格に準拠する動画像データを動画像編集ソフトウェアにより編集されたビットストリームである。尚、図３では示されていないが、ビデオパケッタイズドエレメンタリィーストリーム(Ｖｉｄｅｏ・ＰＥＳ)とオーディオパケッタイズドエレメンタリィーストリーム(Ａｕｄｉｏ・ＰＥＳ)が多重化されたＭＰＥＧ多重符号化ストリームからデマルチプレクサー(ＤＥＭＵＸ)により各ＰＥＳのヘッダー情報に従ってビデオＰＥＳが分離される。このビデオＰＥＳに含まれるＰＥＳパケットデータが、ビデオビットストリームＢＳとしてバッファ(Ｂｕｆｆｅｒ)３１に入力端子に供給される。
【００７６】
バッファ(Ｂｕｆｆｅｒ)３１に格納されたビデオビットストリームＢＳは、最初に可変長復号器(ＶＬＤ)３２に供給される。可変長復号器(ＶＬＤ)３２では、ビデオビットストリームＢＳからピクチャーのマクロブロック(ＭＢ)を構成する複数のブロックのカラーと輝度の予測残差成分が復号される。この予測残差成分は逆量子化器(ＩＱ)３３によって逆量子化処理されて、逆離散コサイン変換器(ＩＤＣＴ)３４によって逆離散コサイン変換処理された後に、加算器(＋)３５の一方の入力端子に供給される。一方、可変長復号器(ＶＬＤ)３２ではビデオビットストリームＢＳからピクチャーのマクロブロック(ＭＢ)の動きベクトルが復号されて、この動きベクトルは動きベクトル判定器３８を介して動き補償器(ＭＣ)３７の一方の入力端子に供給される。メモリ(Ｍｅｍｏｒｙ)３６から参照フレームの画像が動き補償器(ＭＣ)３７の他方の入力端子に供給されて、動き補償器(ＭＣ)３７の出力から動き補償されたマクロブロックの予測信号が加算器(＋)３５の他方の入力端子に供給されて、加算器(＋)３５の出力から復号ビデオ信号が生成される。また、この復号ビデオ信号はメモリ(Ｍｅｍｏｒｙ)３６に格納され、他のフレームの予測のための参照フレームとして使用される。表示のための復号ビデオ信号はメモリ(Ｍｅｍｏｒｙ)３６から読み出された後に表示制御部３９を介して、図示しない液晶表示デバイス等の表示機器に供給される。
【００７７】
《動きベクトル判定器および表示制御部》
図３に示した実施の形態１による動画像復号処理装置３０は、特に動きベクトル判定器３８と表示制御部３９とを具備する。
【００７８】
動きベクトル判定器３８は、可変長復号器(ＶＬＤ)３２の復号結果からグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれる全てのマクロブロック(ＭＢ)のマクロブロック(ＭＢ)ヘッダー２５２に含まれる可変長符号(ＶＬＣ)のマクロブロックタイプのマクロブロックモーションフォワードの値とマクロブロックモーションバックワードの値を判定する。図２で説明したように、マクロブロックタイプ(ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ)のマクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)は、動きベクトルのタイプが順方向予測か否かを指定する。従って、マクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)の１ビットが“１”であれば、動きベクトルのタイプが順方向予測であることが指定され、この１ビットが“０”であれば、動きベクトルのタイプが順方向予測でないことが指定される。また図２で説明したように、マクロブロックタイプ(ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ)のマクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)は、動きベクトルのタイプが逆方向予測か否かを指定するものである。従って、マクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)の１ビットが“１”であれば動きベクトルのタイプが逆方向予測であることが指定され、この１ビットが“０”であれば動きベクトルのタイプが逆方向予測でないことが指定される。更に、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”であってｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“０”である場合には、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれたマクロブロック(ＭＢ)の動きベクトルのタイプが順方向予測(Ｆｏｒｗａｒｄ)となる。またｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”でありｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”である場合には、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれたマクロブロック(ＭＢ)の動きベクトルのタイプが双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)となる。更に、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”であってｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”である場合には、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれたマクロブロック(ＭＢ)の動きベクトルのタイプが逆方向予測(Ｂａｃｋｗａｒｄ)となる。またｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”でありｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“０”である場合には、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれたマクロブロック(ＭＢ)の動きベクトルのタイプが独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)となる。
【００７９】
表示制御部３９は、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーの全マクロブロック(ＭＢ)のうち１個のマクロブロック(ＭＢ)でも順方向予測(Ｆｏｒｗａｒｄ)もしくは双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)であるとの動きベクトル判定器３８による判定結果に応答して、画像表示機能が禁止される。すなわち、表示用の復号ビデオ信号がメモリ(Ｍｅｍｏｒｙ)３６から読み出された後に表示制御部３９を介して、図示しない液晶表示デバイス等の表示機器に供給されることが禁止される。例えば、動きベクトル判定器３８から表示制御部３９に供給される表示制御信号Ｃｎｔ＿Ｓｉｇをハイレベル“１”に設定することによって、表示機器による表示が禁止される。
【００８０】
それとは反対に、表示制御部３９は、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーの全マクロブロック(ＭＢ)が逆方向予測(Ｂａｃｋｗａｒｄ)または独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)であるとの動きベクトル判定器３８による判定結果に応答して、画像表示機能が許可される。すなわち、表示用復号ビデオ信号がメモリ(Ｍｅｍｏｒｙ)３６から読み出された後に表示制御部３９を介して、図示しない液晶表示デバイス等の表示機器に供給されることが許可される。例えば、動きベクトル判定器３８から表示制御部３９に供給される表示制御信号Ｃｎｔ＿Ｓｉｇをローレベル“０”に設定することによって、表示機器による表示が許可される。
【００８１】
図３の実施の形態１による動画像復号処理装置３０によれば、逆量子化器３３と逆離散コサイン変換器３４と加算器３５とメモリ３６と動き補償器３７による動画像復号処理と動きベクトル判定器３８によるグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれる全てのマクロブロック(ＭＢ)の判定処理とを並列に実行することが可能となる。
【００８２】
《通常の動画像復号処理装置》
通常の動画像復号処理装置では、可変長復号器(ＶＬＤ)は通常、図２に示したＧＯＰヘッダー２２２に含まれるクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)とに従ってグールプオブビクチャー(ＧＯＰ)の参照関係の連続性の有無とグールプオブビクチャー(ＧＯＰ)の参照関係の連続性消滅の有無を確認する。上述したように、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)は、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性の有無を示すパラメータである。また上述したように、ブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)は、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性消滅の有無を示すパラメータである。
【００８３】
従って、通常の動画像復号処理装置において、受信データの欠落もしくは規格不完全準拠の編集により、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)とのパラメータがＭＰＥＧ−２またはＭＰＥＧ−４の規格に準拠しない異常な値となる場合を想定する。この場合には、そのグループオブピクチャー(ＧＯＰ)とその直前に配置された前グループオブピクチャー(ＧＯＰ)との参照関係の連続性に矛盾が発生する。その結果、そのグループオブピクチャー(ＧＯＰ)の最初のＢピクチャーもしくはＢ−ＶＯＰの再生に際して、異常な動画像が表示されるか、正常な動画像が表示されずに破棄されて正常な動画像が欠落すると言う問題を生じる。
【００８４】
《グループオブピクチャーの欠落または削除》
図４は、受信データの欠落もしくは規格不完全準拠の編集によってＮ番目のグループオブピクチャーＧＯＰ＿Ｎの直前に配置されたＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１が欠落もしくは削除した状況を示す図である。
【００８５】
図４の左側の上部に示すように、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に関して、復号順番では、ＧＯＰヘッダーＧＯＰ＿Ｎ−１  ｈｅａｄｅｒとＩピクチャーＩ(Ｎ−１)１とＢピクチャーＢ(Ｎ−１)０とＰピクチャーＰ(Ｎ−１)３とＢピクチャーＢ(Ｎ−１)２の順序となる。図４の左側の下部に示すように、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に関して、表示順番では、ＢピクチャーＢ(Ｎ−１)０とＩピクチャーＩ(Ｎ−１)１とＢピクチャーＢ(Ｎ−１)２とＰピクチャーＰ(Ｎ−１)３の順序となる。上述したように受信データの欠落もしくは規格不完全準拠の編集によって、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に含まれた表示順番のＢピクチャーＢ(Ｎ−１)０とＩピクチャーＩ(Ｎ−１)１とＢピクチャーＢ(Ｎ−１)２とＰピクチャーＰ(Ｎ−１)３のデータが欠落もしくは削除される。
【００８６】
図４の右側の上部に示したように、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎに関して、復号順番では、ＧＯＰヘッダーＧＯＰ＿Ｎ  ｈｅａｄｅｒとＩピクチャーＩＮ１とＢピクチャーＢＮ０とＰピクチャーＰＮ３とＢピクチャーＢＮ２の順序となる。図４の右側の下部に示すように、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎに関して、表示順番では、ＢピクチャーＢＮ０とＩピクチャーＩＮ１とＢピクチャーＢＮ２とＰピクチャーＰＮ３の順序となる。
【００８７】
《最初のＢピクチャーが順方向予測または双方向予測の場合》
図４に示すように、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０が順方向予測(Ｆｏｒｗａｒｄ)または双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)の場合に、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”またはブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”の異状値が発生した場合を想定する。この場合には、受信データの欠落もしくは規格不完全準拠の編集によってＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に含まれた全データが欠落または削除されたとしても、正常値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”であり、正常値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”である。正常値によれば、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはオープンＧＯＰであって、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅有となるべきものである。しかし、通常の動画像復号処理装置では、上述の異常値により、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはクローズドＧＯＰであり、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅無と判定される。一方、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の参照先のＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１のＰピクチャーＰ(Ｎ−１)３のデータが欠落もしくは削除により存在しないので、順方向予測(Ｆｏｒｗａｒｄ)または双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)による最初のＢピクチャーＢＮ０の復号は不可能である。しかし、上述の異状値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”または上述の異状値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”により、通常の動画像復号処理装置では、誤りの参照先であるＩピクチャーＩＮ１を参照して、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０は復号可能と判定される。その結果、この最初のＢピクチャーＢＮ０は復号不可能であるので、この最初のＢピクチャーＢＮ０に関して、異常な動画像が表示されるものとなる。
【００８８】
この異常な動画像が表示される状況で、図３の実施の形態１による動画像復号処理装置３０では、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の順方向予測または双方向予測による復号に際して、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”の状況が動きベクトル判定器３８によって判定される。その結果、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーの全マクロブロック(ＭＢ)のうち１個のマクロブロック(ＭＢ)でも順方向予測(Ｆｏｒｗａｒｄ)もしくは双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)であると、動きベクトル判定器３８によって判定される。従って、動きベクトル判定器３８による判定結果に応答して表示制御部３９の画像表示機能が禁止されるので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０に関して、異常な動画像が表示されることを防止することが可能となる。
【００８９】
図５は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“０”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが順方向予測(Ｆｏｒｗａｒｄ)と判定される様子を示す図である。
【００９０】
図５に示した状況でも、図４と同様に、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”またはブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”の異状値が発生しているので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに関して、異常な動画像が表示される可能性がある。
【００９１】
しかし、動きベクトル判定器３８による上述したＮ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが順方向予測(Ｆｏｒｗａｒｄ)であるとの判定により、表示制御部３９は最初のＢピクチャーＢ−Ｐｉｃに関する異常な動画像が表示されることを防止するものとなる。このように図３の実施の形態１による動画像復号処理装置３０によれば、動きベクトル判定器３８による判定結果により、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“０”の異状値は、ｃｌｏｓｅｄ＿ｇｏｐ＝“０”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の正常値の誤りと判定されるものである。言い換えると、図３の実施の形態１による動画像復号処理装置３０によれば、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“０”の異状値は無視され、ベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄとｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄとの判定結果によって動画像の表示の禁止・許可が決定される。尚、図５において、参照先ピクチャーＲｅｆ−Ｐｉｃは、図４の場合には、受信データの欠落もしくは規格不完全準拠の編集によって欠落もしくは削除されたＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１中で存在しないＰピクチャーＰ(Ｎ−１)３のデータを示すものである。
【００９２】
図６は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“１”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)と判定される様子を示す図である。
【００９３】
図６に示した状況でも、図４と同様に、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”またはブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”の異状値が発生しているので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに関して、異常な動画像が表示される可能性がある。
【００９４】
しかし、動きベクトル判定器３８による上述したＮ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが双方向予測(Ｉｎｔｅｒｐｏｌａｔｅｄ)であるとの判定により、表示制御部３９は最初のＢピクチャーＢ−Ｐｉｃに関する異常な動画像が表示されることを防止するものとなる。このように図３の実施の形態１による動画像復号処理装置３０によれば、動きベクトル判定器３８による判定結果により、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“０”の異状値は、ｃｌｏｓｅｄ＿ｇｏｐ＝“０”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の正常値の誤りと判定されるものである。言い換えると、図３の実施の形態１による動画像復号処理装置３０によれば、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”またはｂｒｏｋｅｎ＿ｌｉｎｋ＝“０”の異状値は無視され、ベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄとｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄとの判定結果によって動画像の表示の禁止・許可が決定される。尚、図６において、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１の参照先ピクチャーＲｅｆ−Ｐｉｃは、図４の場合には、受信データの欠落もしくは規格不完全準拠の編集によって欠落もしくは削除されたＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１中で存在しないＰピクチャーＰ(Ｎ−１)３のデータを示したものである。更に図６において、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの参照先ピクチャーＲｅｆ−Ｐｉｃは、図４の場合には、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１の他の参照先ピクチャーであるＩピクチャーＩＮ１のデータを示したものである。
【００９５】
《最初のＢピクチャーが逆方向予測の場合》
更に図４に示すように、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０が逆方向予測(Ｂａｃｋｗａｒｄ)の場合に、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”でブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”の異状値が発生した場合を想定する。この場合には、受信データの欠落もしくは規格不完全準拠の編集によってＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に含まれた全データが欠落もしくは削除されたとしても、正常値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”であり、正常値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”である。正常値によれば、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはクローズドＧＯＰであって、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅無しとなるべきものである。しかし、通常の動画像復号処理装置では、上述の異常値により、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはオープンＧＯＰであり、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅有りと判定される。一方、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の参照先の直後のＩピクチャーＩＮ１のデータが存在しているので、逆方向予測(Ｂａｃｋｗａｒｄ)による最初のＢピクチャーＢＮ０の復号は十分に可能である。しかし、上述の異状値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”および上述の異状値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”によって、通常の動画像復号処理装置では、誤りの参照先であるＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅有りによって、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０は復号不可能と判定される。その結果、この最初のＢピクチャーＢＮ０は復号不可能であるので、この最初のＢピクチャーＢＮ０に関して、正常な動画像が破棄されるものとなる。
【００９６】
この正常な動画像が破棄される状況で図３の実施の形態１では、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の逆方向予測(Ｂａｃｋｗａｒｄ)による復号に際して、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”でありｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”である状況が動きベクトル判定器３８によって判定される。その結果、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれた全マクロブロック(ＭＢ)が逆方向予測(Ｂａｃｋｗａｒｄ)であると、動きベクトル判定器３８によって判定される。従って、動きベクトル判定器３８による判定結果に応答して表示制御部３９の画像表示機能が許可されるので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０に関して、正常な動画像が破棄されることを防止することが可能となる。
【００９７】
図７は、図３の実施の形態１による動きベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”でｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“１”の判定でＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが逆方向予測(Ｂａｃｋｗａｒｄ)と判定される様子を示す図である。
【００９８】
図７に示した状況でも、図４と同様に、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”およびブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”の異状値が発生しているので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに関して、正常な動画像が破棄される可能性がある。
【００９９】
しかし、動きベクトル判定器３８による上述したＮ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢ−Ｐｉｃに含まれたマクロブロックの動きベクトルのタイプが逆方向予測(Ｂａｃｋｗａｒｄ)であるとの判定により、表示制御部３９は最初のＢピクチャーＢ−Ｐｉｃに関する正常な動画像が表示されることが許可されるものとなる。このように図３の実施の形態１による動画像復号処理装置３０によれば、動きベクトル判定器３８による判定結果により、ｃｌｏｓｅｄ＿ｇｏｐ＝“０”およびｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の異状値は、ｃｌｏｓｅｄ＿ｇｏｐ＝“０”およびｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の正常値の誤りと判定されるものである。言い換えると、図３の実施の形態１による動画像復号処理装置３０によれば、ｃｌｏｓｅｄ＿ｇｏｐ＝“１”およびｂｒｏｋｅｎ＿ｌｉｎｋ＝“１”の異状値は無視され、ベクトル判定器３８によるｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄとｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄとの判定結果によって動画像の表示の禁止・許可が決定される。尚、図７では、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの参照先ピクチャーＲｅｆ−Ｐｉｃは、図４の場合には、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの参照先ピクチャーであるＩピクチャーＩＮ１のデータを示すものである。更に図７では、Ｎ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１の他のピクチャーＯｔｈｅｒ−Ｐｉｃは、図４の場合には受信データの欠落または規格不完全準拠の編集によって欠落または削除されたＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１中で存在しないＰピクチャーＰ(Ｎ−１)３のデータを示すものである。
【０１００】
《最初のＢピクチャーが独立予測の場合》
更に図４に示したようにＮ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０が独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)の場合において、クローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”でブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”の異状値が発生した場合を想定する。この場合には、受信データの欠落もしくは規格不完全準拠の編集によりＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１に含まれた全データが欠落もしくは削除されたとしても、正常値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“１”であり、正常値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“０”である。正常値によれば、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはクローズドＧＯＰであって、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅無しとなるべきものである。しかし、通常の動画像復号処理装置では、上述の異常値によって、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮはオープンＧＯＰであり、Ｎ番目のグループオブピクチャーＧＯＰ＿ＮとＮ−１番目のグループオブピクチャーＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅有りと判定される。一方、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の参照先である自分自身のＢピクチャーＢＮ０のデータが存在しているので、独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)による最初のＢピクチャーＢＮ０の復号は十分に可能である。しかし、上述した異状値のクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)＝“０”および上述の異状値のブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)＝“１”によって、通常の動画像復号処理装置では、誤りの参照先であるＧＯＰ＿Ｎ−１との間の参照関係の連続性消滅有りによって、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０は復号不可能と判定される。その結果、この最初のＢピクチャーＢＮ０は復号不可能であるので、この最初のＢピクチャーＢＮ０に関して、正常な動画像が破棄されるものとなる。
【０１０１】
この正常な動画像が破棄される状況で図３の実施の形態１では、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０の独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)による復号に際して、ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ＝“０”でありｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ＝“０”である状況が動きベクトル判定器３８によって判定される。その結果、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーに含まれた全マクロブロック(ＭＢ)が独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)であると、動きベクトル判定器３８によって判定される。従って、動きベクトル判定器３８による判定結果に応答して表示制御部３９の画像表示機能が許可されるので、Ｎ番目のグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーＢＮ０に関して、正常な動画像が破棄されることを防止することが可能となる。
【０１０２】
［実施の形態２］
《トランスコーディング装置の構成》
図８は、実施の形態２によるトランスコーディング装置の構成を示す図である。
【０１０３】
図８に示すように、実施の形態２によるトランスコーディング装置の半導体集積回路の半導体チップＣｈｉｐは、カスケード接続されたデコーダ部１とエンコーダ部２とを含んでいる。
【０１０４】
前段のデコーダ部１は、図３に示した実施の形態１による動画像復号処理装置３０と全く同様にバッファ３１、可変長復号器(ＶＬＤ)３２、逆量子化器(ＩＱ)３３、逆離散コサイン変換器(ＩＤＣＴ)３４、加算器(＋)３５、メモリ(Ｍｅｍｏｒｙ)３６、動き補償器(ＭＣ)３７、動きベクトル判定器３８、表示制御部３９により構成されている。従って、図８に示した実施の形態２によるトランスコーディング装置の前段のデコーダ部１の動作は、図３に示した実施の形態１による動画像復号処理装置３０と全く同一であるので、詳細な説明を省略する。しかし、前段のデコーダ部１の動作は図３の実施の形態１による動画像復号処理装置３０と全く同一であるので、前段のデコーダ部１によれば、受信データの欠落または規格の不完全準拠の編集による異常な動画像を含まず正常な動画像が欠落しない動画像復号ビットストリームを生成することが可能となる。
【０１０５】
後段のエンコーダ部２は、図８に示すように、減算器４１、離散コサイン変換器４２、量子化器４３、逆量子化器４４、逆離散コサイン変換器４５、加算器４６とフレームメモリ４７と動き補償部４８の動き補償ループ、可変長エンコーダ４９で構成される。従って、この後段のエンコーダ部２は、ＭＰＥＧ−２またはＭＰＥＧ−４の規格に準拠する動画像符号化処理装置(ＭＰＥＧエンコーダ)として動作する。
【０１０６】
その結果、後段のエンコーダ部２は、前段のデコーダ部１から生成される動画像復号ビットストリームをＭＰＥＧ−２またはＭＰＥＧ−４の規格に準拠する動画像符号化ビットストリームに再符号化する。後段のエンコーダ部２は、この再符号化に際して、受信データの欠落または規格の不完全準拠の編集による異常な動画像を含まず正常な動画像が欠落しない動画像符号化ビットストリームを生成することが可能となる。
【０１０７】
後段のエンコーダ部２から生成される動画像符号化ビットストリームは、カーナビゲーション・システムまたはパーソナルコンピュータや携帯電子機器のハードディスク装置(ＨＤＤ)もしくはフラッシュ不揮発性半導体メモリに格納されることが可能となる。
【０１０８】
以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１０９】
例えば、本発明は動作モード信号の切り換えによって、通常動作モードと高信頼性動作モードとを切り換えることも可能である。
【０１１０】
すなわち、受信データの欠落または正常な動画像の欠落が顕著でない状況では、図３に示した実施の形態１による動画像復号処理装置３０は例えばローレベル“０”の動作モード信号により通常動作モードに設定される。その結果、図３に示した実施の形態１による可変長復号器(ＶＬＤ)３２は、図２に示したＧＯＰヘッダー２２２に含まれるクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)に従って動画像復号処理を実行する。従って、可変長復号器(ＶＬＤ)３２は、この２個のパラメータに従ってグールプオブビクチャー(ＧＯＰ)の参照関係の連続性の有無とグールプオブビクチャー(ＧＯＰ)の参照関係の連続性消滅の有無を確認する。一方、この通常動作モードでは、動きベクトル判定器３８によるマクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)とマクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)との判定動作は停止される。従って、図３に示した実施の形態１による動画像復号処理装置３０は、低消費電力かつ高復号効率で、ＭＰＥＧ−２またはＭＰＥＧ−４の規格に準拠するビットストリームを復号することが可能となる。
【０１１１】
その反対に、受信データの欠落または正常な動画像の欠落が顕著な状況では、図３に示した実施の形態１による動画像復号処理装置３０は、例えばハイレベル“１”の動作モード信号により高信頼性動作モードに設定される。その結果、図３に示した実施の形態１による可変長復号器(ＶＬＤ)３２は、図２に示したＧＯＰヘッダー２２２に含まれるクローズドＧＯＰ(ｃｌｏｓｅｄ＿ｇｏｐ)の値とブロークン・リンク(ｂｒｏｋｅｎ＿ｌｉｎｋ)の値とを実質的に無視して動画像復号処理を実行する。従って、可変長復号器(ＶＬＤ)３２は、この２個のパラメータと実質的に無関係にグールプオブビクチャー(ＧＯＰ)の参照関係の連続性の有無とグールプオブビクチャー(ＧＯＰ)の参照関係の連続性消滅の有無を確認する。すなわち、この高信頼性動作モードでは、動きベクトル判定器３８によるマクロブロックモーションフォワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ)とマクロブロックモーションバックワード(ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ)との判定動作を実行することによって、上述した２個の確認を実行する。その結果、図３に示した実施の形態１による動画像復号処理装置３０によれば、受信データの欠落または規格の不完全準拠の編集によっても、異常な動画像が表示されることを防止され、正常な動画像が表示されず欠落することを防止することがかのうとなる。
【０１１２】
また、この動作モード信号による通常動作モードと高信頼性動作モードとの動作切り換え方式は、図８に示した実施の形態２によるトランスコーディング装置にも適用できることは言うまでもない。
【０１１３】
更に、本発明は動画像復号処理装置もしくはトランスコーディング装置を内蔵する半導体集積回路以外に、動画像復号処理装置もしくはトランスコーディング装置を内蔵するとともに音声増幅用アナログ回路や種々のデジタル回路を内蔵するミックスドシグナルシステムＬＳＩにも適用することが可能である。
【０１１４】
また更に、図３に示した実施の形態１では、表示制御部３９はグループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーの全マクロブロック(ＭＢ)が逆方向予測(Ｂａｃｋｗａｒｄ)または独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)であるとの動きベクトル判定器３８による判定結果に応答して、画像表示機能が許可されるものであった。それ以外の方法としては、グループオブピクチャーＧＯＰ＿Ｎの最初のＢピクチャーの全マクロブロック(ＭＢ)の大多数が逆方向予測(Ｂａｃｋｗａｒｄ)または独立予測(Ｉｎｔｒａ−ｃｏｄｅｄ)であるとの動きベクトル判定器３８による判定結果に応答して、画像表示機能が許可されるようにすることも可能である。
【符号の説明】
【０１１５】
３０…動画像復号処理装置
３１…バッファ(Ｂｕｆｆｅｒ)
３２…可変長復号器(ＶＬＤ)
３３…逆量子化器(ＩＱ)
３４…逆離散コサイン変換器(ＩＤＣＴ)
３５…加算器(＋)
３６…メモリ(Ｍｅｍｏｒｙ)
３７…動き補償器(ＭＣ)
３８…動きベクトル判定器
３９…表示制御部
４１…減算器
４２…離散コサイン変換器
４３…量子化器
４４…逆量子化器
４５…逆離散コサイン変換器
４６…加算器
４７…フレームメモリ
４８…動き補償部
４９…可変長エンコーダ
【図１】
2014049846.tif 000003
【図２】
2014049846.tif 000004
【図３】
2014049846.tif 000005
【図４】
2014049846.tif 000006
【図５】
2014049846.tif 000007
【図６】
2014049846.tif 000008
【図７】
2014049846.tif 000009
【図８】
2014049846.tif 000010