(57)【要約】【課題】エラーが混入した動画像データについてエラーコンシールメント処理を行うか復号化を停止するのかを切り換えて適切な再生画像を表示する。【解決手段】到来する動画像フレームを取り込みエラー検出を行うエラー検出部１と、動画像フレームを復号化する復号部３と、動画像フレームのエラーを修復するコンシールメント部４と、前記復号部３により復号化された画像データまたは前記コンシールメント部４により修復された画像データを蓄積する画像バッファ５と、制御部２０とを備える。制御部２０では、エラー検出部１による検出結果がエラーを示す場合に、エラーが発生した当該フレームの直後に到来するＩフレームまでの間隔に基づき、コンシールメント部４による修復かまたは次に到来するＩフレームまで修復停止を選択する。【選択図】図１
2008042769.tif 000002
【特許請求の範囲】
【請求項１】
到来する動画像フレームを取り込みエラー検出を行うエラー検出部と、
動画像フレームを復号化する復号部と、
動画像フレームのエラーを修復するコンシールメント部と、
前記復号部により復号化された画像データまたは前記コンシールメント部により修復された画像データを蓄積する画像メモリと、
前記エラー検出部による検出結果がエラーを示す場合に、エラーが発生した当該フレームから直後に到来するＩフレームまでの間隔に基づき、前記コンシールメント部による修復または次に到来するＩフレームまで修復停止を選択する制御部と
を具備することを特徴とする動画像復号装置。
【請求項２】
制御部は、次に到来するＩフレームまで修復停止を選択する場合には、既に前記画像メモリに蓄積された画像データを再生画像情報とすることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
動画像フレームを復号化した画像データを再生画像情報とするか、または動画像フレームのエラーを修復した画像データを再生画像情報とする動画像復号方法において、
到来する動画像フレームを取り込みエラー検出を行うエラー検出ステップと、
前記エラー検出ステップによる検出結果がエラーを示す場合に、エラーが発生した当該フレームから直後に到来するＩフレームまでの間隔に基づき、前記エラー修復を行うかまたは次に到来するＩフレームまでのエラー修復停止するかを選択する制御ステップと
を具備することを特徴とする動画像復号方法。
【請求項４】
復号化された画像データまたは修復された画像データを画像メモリに蓄積するステップを備え、
制御ステップにおいて、次に到来するＩフレームまで修復停止を選択する場合には、既に前記画像メモリに蓄積された画像データを再生画像情報とすることを特徴とする請求項３に記載の動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像フレームのエラーを修復するコンシールメント部を備える動画像復号装置及びこの装置において用いられる動画像復号方法に関するものである。
【背景技術】
【０００２】
従来、例えばＩＴＵ−Ｔによって規定された動画圧縮規格Ｈ．２６４を採用した符号化を行った動画像データを伝送した場合に、エラーが混入することがあり、これに対応するためエラーを含む動画像データについて修復を行い適正な画像データを得るエラーコンシールメント処理が行われている。
【０００３】
これに対し、エラーが混入したフレームが参照されると、リフレッシュされたＩフレームが次に送られてくるまで、フレーム間でエラー伝播が生じることになる。このため、エラーが混入した場合には、その直前に復号化された画像データを用いた表示画像のままでフリーズさせる手法も知られている。
【０００４】
しかしながら、上記フリーズの手法を用いると、Ｉフレーム到来の直後にエラーが混入した場合には、リフレッシュされたＩフレームが次に送られてくるまでに時間があり、暫くの間変化のない画像を見ることになり、動画配信の意義が失われる問題があった。
【０００５】
上記に対し特許文献１には、デコーダからの復号化情報と、エラー処理マクロブロック数を用い、エラー処理ブロック数が閾値を上回ると静止画を出力し、エラー処理ブロック数が閾値を下回るとデコーダからの復号化情報の出力を再開する手法が開示されている。
【特許文献１】特開２００３−１１６１３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
伝送された動画像データの復号化においては、エラーが混入した動画像データについてエラーコンシールメント処理を行うか復号化を停止して静止画像とするか適切に処理を行う動画像復号装置及びこの装置において用いられる動画像復号方法が求められているのである。
【０００７】
本発明は上記のような動画像データの復号化に関する課題を解決せんとしてなされたもので、その目的は、エラーが混入した動画像データについてエラーコンシールメント処理を行うか復号化を停止するかを切り換えて適切な再生画像を表示することを可能とした動画像復号装置及びこの装置において用いられる動画像復号方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る動画像復号装置は、到来する動画像フレームを取り込みエラー検出を行うエラー検出部と、動画像フレームを復号化する復号部と、動画像フレームのエラーを修復するコンシールメント部と、前記復号部により復号化された画像データまたは前記コンシールメント部により修復された画像データを蓄積する画像メモリと、前記エラー検出部による検出結果がエラーを示す場合に、エラーが発生した当該フレームから直後に到来するＩフレームまでの時間に基づき、前記コンシールメント部による修復または次に到来するＩフレームまで修復停止を選択する制御部とを具備することを特徴とする。
【０００９】
本発明に係る動画像復号装置では、制御部は、次に到来するＩフレームまで修復停止を選択する場合には、既に前記画像メモリに蓄積された画像データを再生画像情報とすることを特徴とする。
【００１０】
本発明に係る動画像復号方法は、動画像フレームを復号化した画像データを再生画像情報とするか、または動画像フレームのエラーを修復した画像データを再生画像情報とする動画像復号方法において、到来する動画像フレームを取り込みエラー検出を行うエラー検出ステップと、前記エラー検出ステップによる検出結果がエラーを示す場合に、エラーが発生した当該フレームから直後に到来するＩフレームまでの時間に基づき、前記エラー修復を行うかまたは次に到来するＩフレームまでのエラー修復停止するかを選択する制御ステップとを具備することを特徴とする。
【００１１】
本発明に係る動画像復号方法は、復号化された画像データまたは修復された画像データを画像メモリに蓄積するステップを備え、制御ステップにおいて、次に到来するＩフレームまで修復停止を選択する場合には、既に前記画像メモリに蓄積された画像データを再生画像情報とすることを特徴とする。
【発明の効果】
【００１２】
本発明では、動画像フレームを取り込みエラー検出を行い、検出結果がエラーを示す場合に、エラーが発生した当該フレームより後に到来するＩフレームまでの時間に基づき、エラー修復を行うかまたは次に到来するＩフレームまでエラー修復を停止するか選択するので、エラーが混入した動画像データについてエラーコンシールメント処理を行うか静止画像とするかを適切に切り換え処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下添付図面を参照して、本発明に係る動画像復号装置及び動画像復号方法の実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に、伝送される動画像データについて、Ｈ．２６４に規定されたアクセスユニットの構成を示す。アクセスユニットは、ビットストリーム中の情報をピクチャ単位にまとめたものであり、１〜複数のＮＡＬから構成される。主ピクチャ中のＮＡＬユニットが、総てのアクセスユニットに含まれる。アクセスユニットの先頭を示すＡＵディリミタ、画像のプロファイルやレベルがセットされるＳＰＳ、ピクチャ全体の符号モードを示すヘッダであるＰＰＳ、各ピクチャのタイミング情報等であるＳＥＩが付加される。
【００１４】
ＮＡＬユニットのデータ構成は、図２に示すように、先頭のＮＡＬヘッダに続いて、ＶＣＬで生成されたＲＢＳＰが付加される。ＮＡＬヘッダには、ＮＡＬユニットの種類を示すnal_unit_type が付加されている。
【００１５】
Ｉフレームの検出は、上記nal_unit_type により符号化方法を特定して行う。各フレームの時刻情報は、ＢＰＳＥＩ（バッファリング期間ＳＥＩ）或いはＰＴＳＥＩ（ピクチャタイミングＳＥＩ）またはＰＯＣ（Picture Order Count）に基づき、或いは伝送時に下位レイヤにて付加されたタイムスタンプに基づき取得するものである。
【００１６】
なお、ＭＰＥＧ−４  Simple  Profile の場合は、フレーム間符号化を示すＰ−ＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）と、フレーム内符号化を示すＩ−ＶＯＰの２種類である。ＭＰＥＧ−４などにおいては、ＰＴＳ（Presentation Time Stamp）により時刻情報を得ると共に、スライスヘッダにより符号化方法を特定する。
【００１７】
上記のような動画像データを受けて、これを復号化する動画像復号装置における実施例の主要部を図３に示す。図３のブロック図に示される通り、動画像復号装置の主要部は、エラー検出部１、制御部２０、復号部３、コンシールメント部４、復号画像バッファ５、フレームメモリ６、画像出力部７を具備する構成となっている。符号化された動画像ストリームＶは、先に図１に示した通りのデータ構造となっている。
【００１８】
エラー検出部１は、動画像ストリームＶにエラーが含まれているかを検出する。なお、エラー検出は、符号化されたデータをテーブルに基づき復号化できない場合や、パラメータ間の齟齬等を検出するデコーダの機能を用いることによってなされる。制御部２０には、符号化種別検出部２２が含まれており、符号化種別検出部２２はnal_unit_typeをチェックして、Ｉフレームを認識する。制御部２０には、Ｉフレーム周期検出部２１が含まれており、符号化種別検出部２２によりＩフレームが検出される周期（平均周期）を求める。
【００１９】
更に制御部２０には切換制御部２３が備えられており、切換制御部２３は、エラー検出部１による検出結果がエラーを示す場合に、当該フレームからそれより後に到来するIフレームまでの時間と予め設定された閾値との大小に基づき、コンシールメント部４による修復または次に到来するＩフレームまでの修復停止を選択する。
【００２０】
復号部３は、符号化種別に則り、スライスデータを復号画像バッファ５（ＤＰＢ：Decoded Picture Buffer）に蓄積されている画像等を参照して復号し、再び復号画像バッファ５に蓄積する。コンシールメント部４は、エラー検出部１による検出結果がエラーを示す場合に、符号化種別に基づき復号画像バッファ５に蓄積されている画像を参照してコンシールメント処理（修復処理）を行い、画像を再生して、再び復号画像バッファ５に蓄積する。ここで、コンシールメント部４が行うコンシールメント処理（修復処理）としては、例えば、特開２００５−３１１５１２号公報に示された手法を用いることができる。
【００２１】
フレームメモリ６は、再生された画像をフレーム単位で記憶するものである。画像出力部７は、フレームメモリ６からフレーム画像データを読み出してコマ送りして表示を行い、動画像を提供するものである。制御部２０には、閾値設定部３１が接続されており、コンシールメント部４による修復または次に到来するＩフレームまでの修復停止の選択処理に用いる閾値Ｔthを設定するように構成されている。
【００２２】
以上の通りに構成された動画像復号装置では、制御部２０は図４に示されるフローチャートに従って動作するので、これに基づき動作を説明する。符号化された動画像データの到来によりデコードが開始され、Ｉフレーム周期検出部２１がＩフレーム周期Ｔiの算出を行う（Ｓ１１）。このＩフレーム周期Ｔiの算出は、固定間隔でIフレームが挿入されるわけではないため、デコード処理中に随時算出を行う。算出方法は、数周期分のＩフレーム間隔で平均を取る方法や、多数決を取る方法、最大値を取る方法などがある。なお、この検出中にエラーが検出された場合には、上記のIフレームの周期Ｔiの算出における対象からは除外する。
【００２３】
ステップＳ１１の処理に続いて、ピクチャ境界を検出する（Ｓ１２）。ここでは、Ｈ．２６４のビットストリームを例としており、ピクチャ境界検出は、nal_unit_type を用いて行う。ステップＳ１２に続いて、エラー検出部１の出力に基づきエラーが混入したフレームであるか否かを検出する（Ｓ１３）。エラーが混入したフレームでなければ、復号部３に指示を与えて復号化を行わせ、符号化された動画像データが到来する限りにおいて「ループ開始へ」戻って処理が続けられる。この結果、復号部３によって復号化された画像データは復号画像バッファ５に蓄積され、フレームメモリ６へ送出され蓄積される。フレームメモリ６に蓄積されたフレーム画像データは画像出力部７に読み出されてコマ送り表示によって動画像が表示される。
【００２４】
一方、ステップＳ１３において、エラーが混入したフレームであることが検出されると、現在の処理において次のＩフレームまでスキップ中であるかを検出する（Ｓ１４）。このステップＳ１４においてスキップ中であることが検出されると、「ループ開始へ」戻って処理が続けられる。
【００２５】
また、上記ステップＳ１４において、次のＩフレームまでのスキップ中でないことが検出されると、当該エラーが混入したフレームから次のＩフレームまでの時間間隔Ｔを算出する（Ｓ１５）。具体的には、図５に示される直前のＩフレーム（エラーが混入しないＩフレーム）の時刻情報ｔ1は、制御部２０がタイムスタンプより検出して保持している。また、エラーが混入した現在フレームＦerrorの時刻情報ｔerrorは、制御部２０がタイムスタンプより検出する。当該現在フレームＦerrorの直後に到来するＩフレーム（予測されるＩフレーム）と上記直前のＩフレームとの時間間隔は、ステップＳ１１においてＩフレーム周期検出部２１が算出したＩフレーム周期Ｔiである。従って、次のＩフレームまでの時間間隔Ｔは、Ｔ＝Ｔi−（ｔerror−ｔ1）として制御部２０によって求められる。
【００２６】
上記ステップＳ１５に続いて、切換制御部２３が閾値設定部３１により設定された閾値ＴthとステップＳ１５において求めた次のＩフレームまでの時間間隔Ｔとを比較する（Ｓ１６）。この比較の結果、時間間隔Ｔが閾値Ｔthより大きい場合には、ステップＳ１６においてＹＥＳへ分岐し、コンシールメント部４へ指示を与えてコンシールメント処理を行わせる（Ｓ１７）。コンシールメント部４によるコンシールメント処理の結果は、復号画像バッファ５へ送られ、フレームメモリ６へ出力されて動画像表示に用いられる。このステップＳ１７の処理が終了すると、符号化された動画像データが到来する限りにおいて「ループ開始へ」戻って処理が続けられ、動画像データが到来しない場合に終了となる。
【００２７】
ステップＳ１６における比較の結果、時間間隔Ｔが閾値Ｔth以下である場合には、ステップＳ１６においてＮＯへ分岐し、切換制御部２３が復号部３及びコンシールメント部４へ不動作の指示を与えて、次のＩフレームまでスキップする処理を行う（Ｓ１８）。このスキップの処理では、符号化部３及びコンシールメント部４の処理が停止され、既にフレームメモリ６に蓄積されている画像データを用いた画像表示が行われる。即ち、静止画像の表示が行われる。このステップＳ１７の処理が終了すると、符号化された動画像データが到来する限りにおいて「ループ開始へ」戻って処理が続けられ、動画像データが到来しない場合に終了となる。
【００２８】
閾値設定部３１により設定する閾値Ｔthは、ここでは時間としたが、Ｉフレーム周期Ｔiに対する割合（１／３、１／２など）を設定し、制御部２０が閾値Ｔthに変換するようにしても良い。また、上記割合自体を閾値として、スキップを行うか否か判定しても良い。いずれの場合においても、ユーザが閾値設定部３１により閾値を設定することによりユーザが希望する画質で動画像の表示がなされる。即ち、動きを滑らかにした画像を表示させたい場合には、閾値Ｔthが大きくなるように設定を行い、綺麗な画質で画像を表示させたい場合には、閾値Ｔthが小さくなるように設定を行うことになる。
なお、ここで示した実施例では、時間情報を閾値として設定した例を示したが、Iフレームを起点とした復号フレーム数（割合）による比較を行っても同様の効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】本発明の動画像復号装置に到来する動画像データの符号化方式の一例であるＨ．２６４によるアクセスユニットの構成を示す図。
【図２】本発明の動画像復号装置に到来する動画像データの符号化方式の一例であるＨ．２６４によるＮＡＬユニットの構成を示す図。
【図３】本発明の動画像復号装置における実施例の主要部を示すブロック図。
【図４】本発明の動画像復号装置における実施例の動作を示すためのフローチャート。
【図５】本発明の動画像復号装置における実施例において、エラー混入フレームから直後のＩフレームまでの時間間隔算出を説明するための図。
【符号の説明】
【００３０】
１  エラー検出部
３  復号部
４  コンシールメント部
５  復号画像バッファ
６  フレームメモリ
７  画像出力部
２０  制御部
２１  符号化種別検出部
２２  Ｉフレーム周期検出部
２３  切換制御部
３１  閾値設定部
【図１】
2008042769.tif 000003
【図２】
2008042769.tif 000004
【図３】
2008042769.tif 000005
【図４】
2008042769.tif 000006
【図５】
2008042769.tif 000007