(57)【要約】      （修正有）【課題】動画像の符号化データを復号する際に、エラーが混入した場合であっても、アクセスユニットの境界を正確に判定することができる動画像復号装置を提供する。【解決手段】符号化画像信号ｆを取得する符号化画像信号取得手段２１と、符号化画像信号ｆからＮＡＬユニットｂを抽出するＮＡＬユニット抽出手段２２と、ＮＡＬユニットｂを解析し、このＮＡＬユニットｂの種別を判断するＮＡＬヘッダ解析手段２３と、前記ＮＡＬヘッダ解析手段２３により前記ＮＡＬユニットｂの種別がパラメータＮＡＬユニットｈだと判断された場合に、パラメータＮＡＬユニットｈを受信したことを示すパラメータＮＡＬ受信情報ｉを通知するパラメータＮＡＬ受信通知手段２４と、前記アクセスユニットの境界であるか否かを判定するアクセスユニット境界判定手段２５と、前記アクセスユニット境界の判定結果に基づいて符号化画像信号ｆを復号するビデオ復号手段２６とを備えた。【選択図】  図１
2008067212.tif 000002
【特許請求の範囲】
【請求項１】
アクセスユニットのスライスデータのパケットであるピクチャＮＡＬユニット及びパラメータ情報のパケットであるパラメータＮＡＬユニットを含む符号化画像信号を復号する動画像復号装置において、
前記符号化画像信号を取得する符号化画像信号取得手段と、
前記符号化画像信号取得手段で取得された符号化画像信号からＮＡＬユニットを抽出するＮＡＬユニット抽出手段と、
前記ＮＡＬユニット抽出手段で抽出されたＮＡＬユニットを解析し、このＮＡＬユニットの種別を判断するＮＡＬヘッダ解析手段と、
前記ＮＡＬヘッダ解析手段により前記ＮＡＬユニットの種別がパラメータＮＡＬユニットだと判断された場合に、パラメータＮＡＬユニットを受信したことを示すパラメータＮＡＬ受信情報を通知するパラメータＮＡＬ受信通知手段と、
前記アクセスユニットの境界であるか否かを判定するアクセスユニット境界判定手段と、
前記アクセスユニット境界の判定結果に基づいて符号化画像信号を復号するビデオ復号手段とを備えたことを特徴とする動画像復号装置。
【請求項２】
前記アクセスユニット境界判定手段は、前記パラメータＮＡＬ受信情報を受信した場合、前記アクセスユニットの境界であると判定する請求項１記載の動画像復号装置。
【請求項３】
前記ビデオ復号手段は、前記スライスデータのヘッダ内に含まれるスライスヘッダパラメータを前記アクセスユニット境界判定手段に送信し、
前記アクセスユニット境界判定手段は、前記パラメータＮＡＬ受信情報が通知されなかった場合に、前記ビデオ復号手段から受信したスライスヘッダパラメータを用いて、アクセスユニット境界であるか否かを判定する請求項２記載の動画像復号装置。
【請求項４】
前記スライスヘッダパラメータには、ピクチャのＩＤを示すフレーム番号が含まれる請求項３記載の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化ストリームを受信して復号する動画像復号装置に関する。
【背景技術】
【０００２】
従来、例えばＩＳＯ／ＩＥＣ  １４４９６−２（以下、ＭＰＥＧ−４ビデオと言う。）においては、符号化ストリームはＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅと呼ばれるピクチャ単位で構成され、ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅＳｔａｒｔＣｏｄｅ（以下、ＶＯＰスタートコードと言う。）と呼ばれる固有のシンタックスでピクチャの境界を示し、これに続いて一枚分のピクチャデータが符号化されている。従って、従来の動画像復号装置は、このＶＯＰスタートコードを検出することでピクチャ単位の復号を行っていた（特許文献１参照）。
【０００３】
しかしながら、ＩＳＯ／ＩＥＣ  １４４９６−１０（ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４；以下、Ｈ．２６４と言う。）では、符号化ストリームはＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットというパケットで構成されていて、ピクチャの境界を示す固有のシンタックスが存在しない。
【０００４】
ＮＡＬユニットにはピクチャのスライスデータからなるピクチャＮＡＬユニット、画面サイズやＰｒｏｆｉｌｅ／Ｌｅｖｅｌ等のストリーム情報からなるシーケンスパラメータセットＮＡＬユニット、時刻情報やバッファ情報等の付加情報からなる補足強化情報ＮＡＬユニット等の種別（以下、ＮＡＬ種別と言う。）があり、ＮＡＬユニットのＮＡＬ種別が各々のＮＡＬユニットのヘッダ（以下、ＮＡＬヘッダと言う。）内に格納されている。
【０００５】
Ｈ．２６４のストリームにおいて、各々のＮＡＬユニットの境界にスタートコードが配置されているので、動画像復号装置は、このスタートコードによりＮＡＬユニットの境界を検出した後、ＮＡＬヘッダを解析してＮＡＬ種別を確認し、ＮＡＬ種別に応じた復号処理を行う。
【０００６】
このようにＨ．２６４ではＮＡＬユニットの境界を示すスタートコードは存在するが、ピクチャの境界を示す固有の符号は存在しない。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義していて、アクセスユニットの最初にのみおくことができるＡｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ  ＮＡＬ（以下、ＡＵＤ−ＮＡＬと言う。）というＮＡＬユニットがあるが、規格上このＮＡＬユニットの挿入は任意であるため、ＭＰＥＧ−４ビデオのＶＯＰスタートコードのように必ず挿入されているとは限らない。
【０００７】
規格上、アクセスユニットの境界は、ピクチャＮＡＬユニットのスライスデータが有する複数の画像パラメータを当該ＮＡＬユニットと直前のＮＡＬユニットとで比較し、所定の条件を満たす場合にアクセスユニットの境界と判断することになっている。
【０００８】
地上波デジタル放送の部分受信（ワンセグ）においては、ビデオ規格としてＨ．２６４が用いられ、運用規定で、使用できる符号化ツールやシンタックスの制限が定められている。なお、地上波デジタル放送の部分受信とは、動画像を高画質表示する必要のない移動体端末等において、地上波デジタル放送のストリームを部分的に受信する受信方式である。この運用規定でアクセスユニットの境界を示すＡＵＤ−ＮＡＬを用いることが定められているため、アクセスユニットの境界を明示的に示すことができる。他にスライスデータＮＡＬ以外のＮＡＬユニットに関しては使用してよいものが制限されており、挿入する位置や挿入するアクセスユニットも制限されている。
【０００９】
例えば時刻情報を示す補足強化情報ＮＡＬは、ＡＵＤ−ＮＡＬとスライスデータＮＡＬの間に挿入することが決められていて、シーケンスパラメータセットＮＡＬは、特定のアクセスユニットにだけ挿入でき、挿入する位置もＡＵＤ−ＮＡＬの直後と決められている。
【特許文献１】特開２００４−３５７３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
Ｈ．２６４の規格に基づいて複数パラメータからのアクセスユニット境界の判定を行う際に、ストリーム中に誤りが混入し判定に用いられるパラメータが信頼できない値となった場合等に、誤った位置でアクセスユニット境界と判定されたり、アクセスユニット境界であるのに境界の判定がされなかったりする恐れがあり、この場合は画像の乱れにつながる。
【００１１】
また、地上波デジタル放送の部分受信のように運用規定でＡＵＤ−ＮＡＬを用いるようになっている場合、アクセスユニットの境界の判定にこれを用いることが可能であるが、受信の失敗等のエラーが発生した場合には、同様にアクセスユニット境界の判定に失敗する恐れがある。
【００１２】
本発明は、上記課題に鑑みてなされてものであり、動画像の符号化データを復号する際に、ストリームにエラーが混入した場合であっても、誤判定を防止してアクセスユニットの境界を正確に判定することができる動画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明に係る動画像復号装置は、アクセスユニットのスライスデータのパケットであるピクチャＮＡＬユニット及びパラメータ情報のパケットであるパラメータＮＡＬユニットを含む符号化画像信号を復号する動画像復号装置において、前記符号化画像信号を取得する符号化画像信号取得手段と、前記符号化画像信号取得手段で取得された符号化画像信号からＮＡＬユニットを抽出するＮＡＬユニット抽出手段と、前記ＮＡＬユニット抽出手段で抽出されたＮＡＬユニットを解析し、このＮＡＬユニットの種別を判断するＮＡＬヘッダ解析手段と、前記ＮＡＬヘッダ解析手段により前記ＮＡＬユニットの種別がパラメータＮＡＬユニットだと判断された場合に、パラメータＮＡＬユニットを受信したことを示すパラメータＮＡＬ受信情報を通知するパラメータＮＡＬ受信通知手段と、前記アクセスユニットの境界であるか否かを判定するアクセスユニット境界判定手段と、前記アクセスユニット境界の判定結果に基づいて符号化画像信号を復号するビデオ復号手段とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明に係る動画像復号装置によると、動画像の符号化データを復号する際に、アクセスユニット境界の判定をより強固にすることにより、誤判定による不要なピクチャの挿入やピクチャの欠落を防ぐことができ、動画像品質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態について、添付図面に基づいて詳細に説明する。
【００１６】
第１実施形態では、動画像復号装置１が符号化画像信号ｆであるＨ．２６４のビットストリームを受信した際に、動画像処理部１２が行う動画像復号処理について、図１〜図５に基づいて説明する。
【００１７】
始めに、Ｈ．２６４のビットストリームから取り出された符号化画像信号ｆについて図２〜図４に基づいて説明する。
【００１８】
Ｈ．２６４の符号化画像信号ｆは、図２に示すように、スタートコードａと、ＮＡＬユニットｂと呼ばれるパケットが交互に連続して羅列されることにより構成されている。
【００１９】
スタートコードａはこの符号化画像信号ｆにおいて共通のコードであり、「０ｘ０００００１」（１６進）で固定されている。
【００２０】
また、ＮＡＬユニットｂは、ＮＡＬヘッダｃと、データ本体であるＮＡＬデータｄとにより構成されている。
【００２１】
ＮＡＬヘッダｃは、「ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ」、「ｎａｌ＿ｄｅｆ＿ｉｄｃ」、「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」のパラメータが格納されており、ＮＡＬデータｄの種別を示すパラメータ「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」ｅ（以下、ＮＡＬ種別と言う。）により、ＮＡＬデータｄの内容が判断される。
【００２２】
図３に、ＮＡＬ種別の例を示している。ＮＡＬ種別のうちピクチャのスライスデータを示すものはパラメータｅが「１」と「５」のＮＡＬ種別であり、ビットレートやバッファサイズ等のピクチャ単位やストリーム全般に必要なパラメータ情報を示すものは、パラメータｅが「７」、「８」のＮＡＬ種別である。また、時間情報等付加情報を示すパラメータ情報を示すものはパラメータｅが「６」のＮＡＬ種別であり、アクセスユニットの境界、ストリームの終端等を示すものはパラメータｅが「９」、「１０」のＮＡＬ種別である。
【００２３】
第１実施形態では、スライスデータのＮＡＬユニットｂをピクチャＮＡＬユニットｇと呼び、ピクチャＮＡＬユニットｇ以外の全てのＮＡＬユニットｂをパラメータＮＡＬユニットｈと呼ぶ。
【００２４】
多重化分離部１１によりＨ．２６４のビットストリームから取り出されたビデオストリームである符号化画像信号ｆは、図４に示すように、ピクチャＮＡＬユニットｇ及びパラメータＮＡＬユニットｈが、複数一列に羅列されることにより構成される。
【００２５】
また、このＮＡＬユニットｂの境界は、符号化画像信号ｆに含まれるスタートコードａから判断できる。
【００２６】
図１は、動画像復号装置１の概略構成を示した図であり、多重化分離部１１、動画像処理部１２、およびＬＣＤ制御部１３から構成される。
【００２７】
なお、図１に示す動画像復号装置１は、携帯電話機やＰＤＡ（Personal Digital Assistants）などの情報機器に実装され、この情報機器が取り込んだ符号化動画像の復号処理を行うものである。
【００２８】
動画像処理部１２は、図１に示すように、符号化画像信号ｆを取得する符号化画像信号取得手段２１と、この符号化画像信号ｆからＮＡＬユニットｂを抽出するＮＡＬユニット抽出手段２２と、ＮＡＬユニットｂのＮＡＬ種別が格納されたＮＡＬヘッダｃを解析するＮＡＬヘッダ解析手段２３と、パラメータＮＡＬユニットｈが抽出されたことを通知するパラメータＮＡＬ受信通知手段２４と、アクセスユニット境界を判定するアクセスユニット境界判定手段２５と、アクセスユニット境界の判定に基づいて符号化画像信号ｆを再生動画像信号ｍに復号するビデオ復号手段２６と、再生動画像信号ｍが一時的に蓄積される復号画像バッファ２７とから構成される。
【００２９】
図５は、動画像復号装置１が受信したＨ．２６４のストリームについて復号処理を行う際の手順を示したフローチャートである。
【００３０】
図５に示すように、送受信回路部１８がＨ．２６４のストリームを入力して多重化分離部１１がこのストリームから符号化画像信号ｆを取り出す（Ｓ１０１）と、動画像処理部１２の符号化画像信号取得手段２１が、この符号化画像信号ｆを取得する（Ｓ１０２）。
【００３１】
ＮＡＬユニット抽出手段２２は、符号化画像信号取得手段２１が取得した符号化画像信号ｆからスタートコードａを抽出して、符号化画像信号ｆをスタートコードの位置で区切ってＮＡＬユニット単位に分割することにより、ＮＡＬユニットｂを抽出する（Ｓ１０３）。
【００３２】
ＮＡＬヘッダ解析手段２３は、ＮＡＬユニット抽出手段２２が抽出したＮＡＬユニットｂについてＮＡＬヘッダｃを解析し（Ｓ１０４）、解析したＮＡＬユニットｂがピクチャＮＡＬユニットｇであった場合は、ＮＡＬヘッダｃとＮＡＬデータｄ（ピクチャのスライスデータ）との情報をビデオ復号手段２６に送信する（Ｓ１０５）。
【００３３】
また、ＮＡＬヘッダ解析手段２３がパラメータＮＡＬユニットｈを抽出した場合（Ｓ１０６）には、パラメータＮＡＬ受信通知手段２４は、パラメータＮＡＬユニットｈが抽出された旨を示すパラメータＮＡＬ受信情報ｉをアクセスユニット境界判定手段２５に送信する（Ｓ１０７）。
【００３４】
ビデオ復号手段２６は、受信したスライスデータのヘッダ内の複数のスライスヘッダパラメータｊをアクセスユニット境界判定手段２５に送信する（Ｓ１０８）。
【００３５】
ここで、アクセスユニット境界判定手段２５がアクセスユニット境界を判定する手順を説明する。
【００３６】
アクセスユニット境界判定手段２５は、パラメータＮＡＬ受信通知手段２４からパラメータＮＡＬ受信情報ｉを受け取っているか否かを判断する。パラメータＮＡＬ受信情報ｉを受け取っている場合（Ｓ１０６のＹｅｓ）は、アクセスユニット境界判定手段２５は、アクセスユニット境界である、すなわち新しいアクセスユニットに変わったと判定し（Ｓ１０９）、ビデオ復号装置２６にアクセスユニット境界であることを示すアクセスユニット境界情報ｋを送信する（Ｓ１１０）。
【００３７】
また、パラメータＮＡＬ受信情報ｉを受け取っていない（Ｓ１０６のＮｏ）場合は、アクセスユニット境界判定手段２５は、ビデオ復号手段２６から受け取ったスライスヘッダパラメータｊがアクセスユニット境界の条件を満たしているか否かを判断する（Ｓ１１１）。
【００３８】
もしこれらのスライスヘッダパラメータｊが規格として規定されているアクセスユニット境界の条件を満たしていた場合（Ｓ１１１のＹｅｓ）は、アクセスユニット境界判定手段２５はアクセスユニット境界であると判定し（Ｓ１０９）、ビデオ復号装置２６にアクセスユニット境界情報ｋを送信する（Ｓ１１０）。
【００３９】
また、ビデオ復号手段２６から受け取ったスライスヘッダパラメータｊがアクセスユニット境界の条件を満たしていなかった場合（Ｓ１１１のＮｏ）は、アクセスユニット境界判定手段２５は、アクセスユニット境界ではないと判定する（Ｓ１１２）。
【００４０】
スライスデータのヘッダ内の画像パラメータを用いて画像アクセスユニット境界か否かを判断する条件は、例えば、以下の（１）〜（３）の条件である。  
（１）スライスデータのヘッダ内に含まれ、ピクチャのＩＤを示すフレーム番号のスライスヘッダパラメータ「ｆｒａｍｅ＿ｎｕｍ」が、一つ前のスライスデータのものと異なっていた場合
（２）スライスデータのヘッダ内に含まれ、ピクチャのパラメータ群を示すピクチャパラメータセットＩＤを示すスライスヘッダパラメータ「ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ」が、一つ前のスライスデータのものと異なっていた場合
（３）連続するスライスデータのヘッダ内に含まれるＩＤＲピクチャのＩＤを示すＩＤＲピクチャＩＤのスライスヘッダパラメータ「ｉｄｒ＿ｐｉｃ＿ｉｄ」の値が両スライス間で異なった場合
【００４１】
ビデオ復号手段２６は、受信したＮＡＬデータｄに関して、アクセスユニット境界情報ｋに基づいてアクセスユニット単位の復号処理を行い、再生動画像信号ｍを生成する（Ｓ１１３）。ビデオ復号手段２６は、このアクセスユニット単位の復号を終えると、復号画像バッファ２７に再生動画像信号ｍを蓄積する（Ｓ１１４）。
【００４２】
そして、復号画像バッファ２７に蓄積された再生動画像信号ｍは、タイムスタンプに基づいてＬＣＤ制御部１３に送られる（Ｓ１１５）。
【００４３】
なお、アクセスユニットの境界毎に、この復号画像バッファ２７内のバッファの更新や次アクセスユニットの復号のためのパラメータの更新等が行われる。
【００４４】
以上のようにして、動画像復号装置１の動画像処理手段１２により、Ｈ．２６４のストリームの復号処理が行われる。
【００４５】
第１実施形態の動画像復号装置１によると、Ｈ．２６４のストリームを受信する際にストリームにエラーが混入した場合であっても、アクセスユニット境界を正確に判定することにより、誤判定による不要なピクチャの挿入やピクチャの欠落を防ぐことができ、動画像品質を向上させることが可能となる。
【図面の簡単な説明】
【００４６】
【図１】動画像復号装置の動画像処理部の機能構成図。
【図２】動画像データ（Ｈ．２６４）の符号化画像信号を示す図。
【図３】動画像データ（Ｈ．２６４）のＮＡＬ種別の一例を示す表。
【図４】動画像データ（Ｈ．２６４）の符号化画像信号の一例を示す表。
【図５】動画像復号装置の動画像処理部が符号化画像信号を復号する手順を示すフローチャート。
【符号の説明】
【００４７】
１１  多重化分離部
１２  動画像処理部
１３  ＬＣＤ制御部
２１  符号化画像信号取得手段
２２  ＮＡＬユニット抽出手段
２３  ＮＡＬヘッダ解析手段
２４  パラメータＮＡＬ受信通知手段
２５  アクセスユニット境界判定手段
２６  ビデオ復号手段
２７  復号画像バッファ
【図１】
2008067212.tif 000003
【図２】
2008067212.tif 000004
【図３】
2008067212.tif 000005
【図４】
2008067212.tif 000006
【図５】
2008067212.tif 000007