(57)【要約】【課題】本発明は、上記課題に鑑みてなされたものであり、高効率に復号処理を行いながら符号中に含まれる誤りに対する主観画質の劣化を防止することが可能な画像復号装置を提供することを目的とする。【解決手段】デコードパラメータのエラー位置と復帰位置を検出し、エラー位置から復帰位置までのデコードパラメータを廃棄するエラー位置／復帰位置検出部３と、エラー位置／復帰位置検出部３で廃棄されたデコードパラメータを補間する補間デコードパラメータ挿入部４とを備えている。【選択図】図１
2010226376.tif 000002
【特許請求の範囲】
【請求項１】
入力されるビットストリームを構文解析してデコードパラメータを抽出し、当該デコードパラメータに基づいて、復号画像を生成する画像復号装置であって、
前記デコードパラメータのエラー位置と復帰位置を検出し、エラー位置から復帰位置までのデコードパラメータを廃棄するエラー位置／復帰位置検出部と、
前記エラー位置／復帰位置検出部で廃棄されたデコードパラメータを補間する補間デコードパラメータ挿入部と、
を備えたことを特徴とする画像復号装置。
【請求項２】
前記エラー位置／復帰位置検出部は、スライスヘッダに含まれるｆｒａｍｅ＿ｎｕｍが連続して増加したことを確認することによって、前記復帰位置を検出することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記補間デコードパラメータ挿入部は、前記デコードパラメータに基づいてシーンチェンジを検出し、シーンチェンジが検出された場合に、画面内予測のデコードパラメータを補間し、シーンチェンジが検出されない場合に、動き補償のデコードパラメータを補間することを特徴とする請求項１または請求項２に記載の画像復号装置。
【請求項４】
前記補間デコードパラメータ挿入部は、前記エラー位置のスライスタイプが非ＩＤＲスライスでかつＩスライスの場合、または、正常にデコードできたスライス内のマクロブロックの非０係数の個数が閾値以上の場合に、シーンチェンジであると判定することを特徴とする請求項３に記載の画像復号装置。
【請求項５】
入力されるビットストリームを構文解析してデコードパラメータを抽出し、当該デコードパラメータに基づいて、復号画像を生成する画像復号装置に搭載されるプログラムであって、
前記デコードパラメータのエラー位置と復帰位置を検出し、エラー位置から復帰位置までのデコードパラメータを廃棄する工程と、
前記廃棄されたデコードパラメータを補間する工程と、
をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置およびコンピュータが実行可能なプログラムに関する。
【背景技術】
【０００２】
動画像の情報量は大きいため、動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として、ＩＴＵ−Ｔ勧告Ｈ．２６４／ＡＶＣ(Advanced  video  coding)と称せられる技術がある。
【０００３】
例えば、Ｈ．２６４  ＡＶＣを移動体向け地上波ディジタル放送やモバイル放送等に適用した場合に、受信端末が携帯端末や車載端末に代表される移動体端末の場合、受信端末は移動するため、常に安定した電波環境にてストリームデータを受信することは期待できない。特に、受信端末がビル陰等により隠蔽されるような環境では、ストリームデータ中に高頻度で誤りが混入する。動画像復号装置には誤り耐性機能が必須となり、様々な検討が行われている。
【０００４】
通信路上でデータの誤りや欠落が混入しやすい環境下で、動画像の破綻の程度を軽減し、主観画像を向上させる技術として、例えば、特許文献１が提案されている。特許文献１では、送信側で、画像を符号化して、Ｉピクチャ及びＰピクチャを生成し、Ｉピクチャ及びＰピクチャを識別するための識別フラグと、Ｉピクチャ及びＰピクチャからなるフレーム列とを送信し、受信側で、受信したフレーム列に対し、前フレームと現フレームとの相関値を演算し、識別フラグの情報と、相関値との少なくとも一方を用いて、誤り隠蔽する際に用いる誤り隠蔽用フレームを前フレームとするか現フレームとするかを決定し、決定した誤り隠蔽用フレームを用いて、適応的に誤り隠蔽を行って復号化する技術が開示されている。
【０００５】
しかしながら、処理量の多い信号処理において、エラー隠蔽制御を行っているので、正常時と大きく異なる処理を行うと、正常時の高効率な並列性を阻害する要因になるため、高効率に復号処理を行うことができないという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−７７９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記課題に鑑みてなされたものであり、高効率に復号処理を行いながら符号中に含まれる誤りに対する主観画質の劣化を防止することが可能な画像復号装置およびコンピュータが実行可能なプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願発明の一態様によれば、入力されるビットストリームを構文解析してデコードパラメータを抽出し、当該デコードパラメータに基づいて、復号画像を生成する画像復号装置であって、前記デコードパラメータのエラー開始位置と復帰位置を検出し、エラー開始位置から復帰位置までのデコードパラメータを廃棄するエラー位置／復帰位置検出部と、前記エラー位置／復帰位置検出部で廃棄されたデコードパラメータを補間する補間デコードパラメータ挿入部と、を備えたことを特徴とする画像復号装置が提供される。
【０００９】
また、本願発明の一態様によれば、入力されるビットストリームを構文解析してデコードパラメータを抽出し、当該デコードパラメータに基づいて、復号画像を生成する画像復号装置に搭載されるプログラムであって、前記デコードパラメータのエラー開始位置と復帰位置を検出し、エラー開始位置から復帰位置までのデコードパラメータを廃棄する工程と、前記廃棄されたデコードパラメータを補間する工程と、をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、エラー位置／復帰位置検出部は、デコードパラメータのエラー開始位置と復帰位置を検出し、エラー開始位置から復帰位置までのデコードパラメータを廃棄し、補間する補間デコードパラメータ挿入部は、前記エラー位置／復帰位置検出部で廃棄されたデコードパラメータを補間することとしたので、高効率に復号処理を行いながら符号中に含まれる誤りに対する主観画質の劣化を防止することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施の形態にかかる画像復号装置の概略の構成例を示す図である。
【図２】図２は、エラー位置／復帰位置検出部および補間デコードパラメータ挿入部のエラーコンシールメント処理を説明するための模式図である。
【図３】図３は、エラー位置／復帰位置検出部の状態遷移図である。
【図４】図４は、エラー位置／復帰位置検出部のデコードパラメータのエラー検出の処理フローを示す図である。
【図５】図５は、エラー検出を行う場合の構文要素の単位の一例を示す図である。
【図６】図６は、補間デコードパラメータ挿入部３の補間タイプの判定フローの第１の例（簡易判定の場合）を示す図である。
【図７】図７は、補間デコードパラメータ挿入部の補間タイプの判定フローの第２の例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本実施の形態に係る画像復号装置を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。本実施の形態では、画像復号装置として、Ｈ．２６４／ＡＶＣデコーダを一例として説明する。
【００１３】
図１は、本実施の形態にかかる画像復号装置の概略の構成例を示す図である。本実施の形態にかかる画像復号装置は、図１に示すように、構文解析部１と、信号処理部２とを備え、さらに、構文解析部１と信号処理部２との間に、エラー位置／復帰位置検出部３と、補間デコードパラメータ挿入部４とを備える。
【００１４】
構文解析部１は、入力される画像信号のビットストリームに対して、Ｈ．２６４／ＡＶＣ  Ｓｙｎｔａｘ構文解析処理を行い、デコードパラメータを抽出（復号）して出力する。
【００１５】
信号処理部２は、構文解析部１が抽出したデコードパラメータに従って所定の信号処理を行い、復号画像を生成する。ここで、所定の信号処理とは、Ｈ．２６４／ＡＶＣにおいては、動きベクトル予測処理、動き補償処理、画面内予測処理、逆ＤＣＴ処理、重み付け予測処理、およびデブロッキングフィルタ処理等である。
【００１６】
上記構文解析部１および信号処理部２は、Ｈ．２６４／ＡＶＣデコーダの公知の構成を使用することができるので、その詳細な説明は省略する。
【００１７】
エラー位置／復帰位置検出部３と補間デコードパラメータ挿入部４は、構文解析部１と信号処理部２との間に配置され、エラーコンシールメント処理を行う。本実施の形態では、エラーコンシールメント処理を行う場合に、デコードパラメータのみで判定することによって、後戻りを伴う処理やＨ．２６４／ＡＶＣに定められた以外の処理を信号処理で行う必要性がなく、構文解析部１と信号処理部２とで高い並列性を維持することができる。
【００１８】
エラー位置／復帰位置検出部３は、デコードパラメータのエラー開始位置と復帰位置を検出し、エラー開始位置から復帰位置までのデコードパラメータを廃棄する。補間デコードパラメータ挿入部４は、エラー位置／復帰位置検出部３で廃棄されたデコードパラメータを補間する。
【００１９】
図２〜図７を参照して、図１のエラー位置／復帰位置検出部３および補間デコードパラメータ挿入部４のエラーコンシールメント処理を説明する。図２は、エラー位置／復帰位置検出部３および補間デコードパラメータ挿入部４のエラーコンシールメント処理を説明するための模式図である。図３は、エラー位置／復帰位置検出部３の状態遷移図である。
【００２０】
エラー位置／復帰位置検出部３は、図３に示すように、「正常」状態、「エラー」状態、「復帰中」状態の３つの状態を有し、各状態に応じて、デコードパラメータの検査、破棄、および補間等の処理を行う。
【００２１】
図２および図３において、エラー位置／復帰位置検出部３は、初期状態は「正常」状態で、構文解析部１から送出されてくるデコードパラメータは正しいものが入力されると仮定して動作を開始する。エラー位置／復帰位置検出部３は、「正常」状態では、構文解析部１での各種の構文要素の一単位の処理が完了する毎に、デコードパラメータのエラー検出処理を実行し、エラーを検出した場合は、エラー位置（エラー開始位置）を記録し、構文解析部１に対して、所定のスタートコードやｒｅｓｙｎｃマーカなどの同期位置をシークするようにエラーを通知し、エラー状態に遷移する。
【００２２】
エラー位置／復帰位置検出部３は、「エラー」状態では、スタートコードやｒｅｓｙｎｃマーカ等の同期点が検出されるまでの間、いかなるデコードパラメータが構文解析部１から入力されても、デコードパラメータを全て破棄する。エラー位置／復帰位置検出部３は、同期位置を検出すると、「復帰中」状態に遷移する。
【００２３】
エラー位置／復帰位置検出部３は、「復帰中」状態では、構文解析部１から送出されてくるデコードパラメータを解析して、信号処理上での復帰位置の特定を行い、復帰位置を特定すると、「正常」状態に遷移する。具体的には、スライスヘッダに付加されたｆｒａｍｅ＿ｎｕｍという、連続した番号で付与されるパラメータに着目し、１回以上連続した番号になっていることが確認できた時点で、このスライスをもって復帰位置として扱う。エラー位置／復帰位置検出部３は、「復帰中」状態では、構文解析部１から送出されてくるデコードパラメータを廃棄する。このように、エラー位置から復帰位置までの間のデコードパラメータは廃棄される。
【００２４】
補間デコードパラメータ挿入部４は、エラー位置から復帰位置までの間に廃棄されたデコードパラメータを、復帰位置が確定した後、この範囲を補間範囲として、纏めて補間デコードパラメータを挿入する。図３に示す例では、フレームＦ３のデコードパラメータにエラーがあり、デコードパラメータが補間された場合を示している。
【００２５】
図４は、エラー位置／復帰位置検出部３のデコードパラメータのエラー検出の処理フローを示す図である。図５は、エラー検出を行う場合の構文要素の単位の一例を示す図である。
【００２６】
図４において、エラー位置／復帰位置検出部３は、「正常」状態では、構文解析部１において、各種の構文要素の一単位｛例えば、ＰＰＳ（Picture  Parameter  Set）、ＳＰＳ（Sequence  Parameter  Set）、スライスヘッダ、スライスデータ等｝の解析が完了する毎に（ステップＳ１）、当該単位の全てのデコードパラメータの値が有効範囲内でかつデータ間に矛盾がないか（整合がとれているか）否か、すなわち正常か否かを判定する（ステップＳ２）。図５に示す例では、エラー位置／復帰位置検出部３は、ＰＰＳ（Picture  Parameter  Set）、ＳＰＳ（Sequence  Parameter  Set）、スライスヘッダ、およびスライスデータを各単位としてエラー検出を行う。
【００２７】
エラー位置／復帰位置検出部３は、全てのデコードパラメータの値が有効範囲内でかつデータ間に矛盾がない、すなわち正常な場合には（ステップＳ２の「Ｙｅｓ」）、デコードパラメータを信号処理部２にそのまま送信する。
【００２８】
エラー位置／復帰位置検出部３は、デコードパラメータの値が有効範囲内でない場合や矛盾する場合、すなわち、異常な場合には（ステップＳ２の「Ｎｏ」）、デコードパラメータを破棄し、エラー状態に遷移する（ステップＳ３）。
【００２９】
図６は、補間デコードパラメータ挿入部３の補間タイプの判定フローの第１の例（簡易判定の場合）を示す図である。補間デコードパラメータ挿入部３は、エラー位置のスライスタイプによって、補間するデコードパラメータのマクロブロックタイプを決定する。
【００３０】
図６において、補間デコードパラメータ挿入部４は、エラー位置のスライスタイプが、非ＩＤＲスライスでかつＩスライスであるか否かを判断する（ステップＳ１１）。ＩＤＲスライスとは、放送時などで途中から再生できるように挿入されるリフレッシュ用のフレームである。
【００３１】
補間デコードパラメータ挿入部４は、非ＩＤＲスライスでかつＩスライスの場合（ステップＳ１の「Ｙｅｓ」）、シーンチェンジとみなし、Ｉｎｔｒａ  １６ｘ１６ＤＣマクロブロックタイプ（画面内予測）のデコードパラメータを補間する（ステップＳ１２）。
【００３２】
補間デコードパラメータ挿入部４は、非ＩＤＲスライスでかつＩスライスでない場合、すなわち、ＩＤＲスライス、Ｐスライス、またはＢスライスの場合（ステップＳ１１の「Ｎｏ」）は、Ｐ＿ＳＫＩＰマクロブロックタイプ（動き補償）のデコードパラメータを補間する（ステップＳ１３）。
【００３３】
図７は、補間デコードパラメータ挿入部３の補間タイプの判定フローの第２の例を示す図である。第２の例は、シーンチェンジの検出を高精度に行うものである。図６と同一の処理を行うステップには同一のステップ番号を付し、ここでは異なる点についてのみ説明する。
【００３４】
図７において、補間デコードパラメータ挿入部４は、エラー位置のスライスタイプが、非ＩＤＲスライスでかつＩスライスでない場合、すなわち、ＩＤＲスライス、Ｐスライス、またはＢスライスの場合（ステップＳ１１の「Ｎｏ」）は、デコードパラメータ中にある逆ＤＣＴ処理のための係数行列における非０係数の総数に着目し、エラー位置までのスライス内での１マクロブロックあたりの非０係数の数が実験的に決まる閾値以上か否かを判定する（ステップＳ２０）。エラー位置までのスライス内での１マクロブロックあたりの非０係数の数が実験的に決まる閾値以上の場合には（ステップＳ１２の「Ｙｅｓ」）、シーンチェンジとみなして、Ｉｎｔｒａ  １６ｘ１６ＤＣマクロブロックタイプのデコードパラメータを補間する（ステップＳ１２）。エラー位置までのスライス内での１マクロブロックあたりの非０係数の数が実験的に決まる閾値以上でない場合には（ステップＳ２０の「Ｎｏ」）、Ｐ＿ＳＫＩＰマクロブロックタイプのデコードパラメータを補間する（ステップＳ１３）。
【００３５】
本実施の形態の画像復号装置は、ハードウェアまたはソフトウェアで実現することができる。ソフトウェアで実現する場合、画像復号装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを実行することによっても達成することが可能である。この場合、記録媒体から読み出されたプログラムコード自体が前述した画像復号装置の機能を実現することになり、そのプログラムコードまたはそのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ／ＲＡＭ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。
【００３６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した画像復号装置の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した画像復号装置の機能が実現される場合も含まれること言うまでもない。
【００３７】
以上説明したように、本実施の形態によれば、デコードパラメータのエラー位置と復帰位置を検出し、エラー位置から復帰位置までのデコードパラメータを廃棄するエラー位置／復帰位置検出部３と、エラー位置／復帰位置検出部３で廃棄されたデコードパラメータを補間する補間デコードパラメータ挿入部４とを備えているので、高効率に復号処理を行いながら符号中に含まれる誤りに対する主観画質の劣化を防止することが可能となる。付言すると、エラー位置／復帰位置および補間を信号処理によらずにデコードパラメータのみで判定しているので、後戻りを伴う処理やＨ．２６４／ＡＶＣに定められた以外の処理を信号処理で行う必要性がなく、構文解析部１と信号処理部２の処理で高い並列性を維持することができる。
【００３８】
また、本実施の形態によれば、エラー位置／復帰位置検出部３は、スライスヘッダに含まれるｆｒａｍｅ＿ｎｕｍが連続して増加したことを確認することによって、復帰位置を検出することにしたので、簡易かつ正確に復帰位置を検出することが可能となる。
【００３９】
また、本実施の形態によれば、補間デコードパラメータ挿入部４は、デコードパラメータに基づいてシーンチェンジを検出し、シーンチェンジが検出された場合に、画面内予測のデコードパラメータを補間し、シーンチェンジが検出されない場合に、動き補償のデコードパラメータを補間することとしたので、シーンチェンジがあっても主観画質の劣化を防止することが可能となる。
【００４０】
また、本実施の形態によれば、補間デコードパラメータ挿入部４は、スライスタイプが非ＩＤＲスライスでかつＩスライスの場合、または、正常にデコードできたスライス内のマクロブロックの非０係数の個数が閾値以上の場合に、シーンチェンジであると判定することとしたので、シーンチェンジを高精度に検出することが可能となる。
【００４１】
なお、上記実施の形態では、画像復号装置に一例としてＨ．２６４／ＡＶＣ規格を適用する場合を説明したが、本発明はこれに限られるものではなく、例えば、ＭＰＥＧ２，ＭＰＥＧ４、ＶＣ１、Ｈ．２６３規格等の他の規格にも適用可能である。
【符号の説明】
【００４２】
１  構文解析部、２  信号処理部、３  エラー位置／復帰位置検出部、４  補間デコードパラメータ挿入部
【図１】
2010226376.tif 000003
【図２】
2010226376.tif 000004
【図３】
2010226376.tif 000005
【図４】
2010226376.tif 000006
【図５】
2010226376.tif 000007
【図６】
2010226376.tif 000008
【図７】
2010226376.tif 000009