(57)【要約】【課題】ＭＰＥＧ４−ＡＶＣの防止バイト除去処理の高速化には専用的なハードが必要であり、バイトデータ除去、並び替えを行う汎用的なハードウェアでは、ＮＡＬの区切り判定の連携が考慮されておらず、ＮＡＬの区切り判定を正しく行えない。【解決手段】入力ストリームＳＴから特定パターンのバイト列を検出し、その一部または全体をストリームから除去した上で動画ストリームバッファ６に格納するバイト列除去部２と、ストリームにおけるバイト列除去位置を指定可能なパイロット情報Ｄ１を生成するパイロット情報生成部３と、動画ストリームバッファ６から特定パターンバイト列除去済みのストリームとパイロット情報生成部３で生成されたパイロット情報とを入力し、バイト列除去位置を特定するパイロット情報解釈部５と、パイロット情報解釈部５によって特定されたバイト列除去位置を加味して特定パターンバイト列除去済みのストリームから動画復号処理を行う動画復号部４とを備える。【選択図】図１
2008177637.tif 000002
【特許請求の範囲】
【請求項１】
入力ストリームから特定パターンのバイト列を検出し、検出したバイト列の一部または全体をストリームから除去し、特定パターンバイト列除去済みのストリームとして動画ストリームバッファに格納するバイト列除去部と、
前記特定パターンバイト列除去済みのストリームにおけるバイト列除去位置を指定するためのパイロット情報を生成するパイロット情報生成部と、
前記動画ストリームバッファからの前記特定パターンバイト列除去済みのストリームと前記パイロット情報生成部による前記パイロット情報とを入力し、前記パイロット情報に基づいて前記特定パターンバイト列除去済みのストリームにおけるバイト列除去位置を判定しながら前記特定パターンバイト列除去済みのストリームの復号処理を行う動画復号部とを備えた動画復号装置。
【請求項２】
前記パイロット情報生成部は、前記入力ストリームの特定位置からのバイト数から前記バイト列除去部で除去した特定パターンバイト列の分を除いたバイト数をカウントするバイト数カウント部を備え、前記バイト数カウント部でカウントした値を前記パイロット情報とする請求項１に記載の動画復号装置。
【請求項３】
前記パイロット情報生成部は、前記入力ストリームにおけるピクチャの区切りを抽出し、入力したピクチャ数をカウントするピクチャ数カウント部を備え、前記ピクチャ数カウント部でカウントした値を前記パイロット情報の生成に用いる請求項２に記載の動画復号装置。
【請求項４】
前記パイロット情報生成部は、前記入力ストリームから第２の特定パターンのバイト列を抽出し、抽出したバイト列の情報種別を前記パイロット情報に加える付加情報生成部を備えている請求項１から請求項３までのいずれかに記載の動画復号装置。
【請求項５】
前記パイロット情報生成部は、前記パイロット情報を生成するかしないかを判定するパイロット情報生成判定部を備えている請求項１から請求項４までのいずれかに記載の動画復号装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の動画復号装置と、動画データを受信する受信装置と、動画データを表示する表示装置とを備える携帯テレビ受像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）などの動画像を復号する動画復号装置に関する。また、携帯テレビ受像システムに関する。
【背景技術】
【０００２】
近年、ＭＰＥＧなどの動画像符号化方式が、デジタルＴＶやＤＶＤなど様々な方面で利用されている。例えばＭＰＥＧ方式では、過去に復号した画像を用いて現在の画像を復号する動き補償を行ったり、空間的な冗長性を除去するための離散コサイン変換により画像データを圧縮する。
【０００３】
ＭＰＥＧ４−ＡＶＣ（Advanced VideoCoding）は、２００３年に新たに策定された動画符号化の規格である。ＭＰＥＧ４−ＡＶＣはＨ．２６４とも呼ばれ、携帯電話向けデジタルテレビであるワンセグの動画符号化規格などに採用されている。
【０００４】
ＭＰＥＧ４−ＡＶＣの符号化データはＮＡＬ（Network AbstractionLayer）という単位で扱われる。ＮＡＬの先頭には３バイトのスタートコード（０ｘ０００００１）がある。スタートコードはＮＡＬの区切りを識別するデータである。一方、ＮＡＬの内部データはＲＢＳＰ（Raw Byte Sequence Payload）と呼ばれる。ＲＢＳＰには圧縮された符号化データが格納されている。ＭＰＥＧ４−ＡＶＣでは、ＲＢＳＰの内部にスタートコードと同じバイト列が現れないようにするために、スタートコード（０ｘ０００００１）と同じ３バイトデータが符号化データとして発生した場合には、“０１”の直前に“０３”を挿入し、（０ｘ０００００３０１）という４バイトデータとするようにしている。この“０３”のことを防止バイト（startcode_emulation_prevention_bytes）と呼ぶ。圧縮された内部データＲＢＳＰの復号時には、この防止バイトを除いたデータを復号化する必要がある。
【０００５】
このように、ＭＰＥＧ４−ＡＶＣにおけるＮＡＬを復号する場合において、内部データＲＢＳＰの復号時には防止バイトを除いたデータを復号化するが、ＮＡＬの区切りの判定では、防止バイトを除く前のデータにおいて、スタートコードの判定を行う必要がある。ＭＰＥＧ４−ＡＶＣの復号処理の例として、ＪＭ（Joint Model）と呼ばれる標準ソフトウェアが提供されている（非特許文献１参照）。
【０００６】
ＪＭにおける防止バイト除去処理では、まず、防止バイトを除去する前の符号化データに対して１つ分のＮＡＬの区切りを検出し、次に検出したＮＡＬに対して防止バイトを除去し、結果をローカルバッファに格納している。
【０００７】
一方、入力した符号化データに対してバイトデータの除去、並び替えを行う処理については、ＭＰＥＧ４−ＡＶＣに限らず、パケット分離処理など一般的な処理として行われることもあるため、プロセッサによっては、バイトデータの除去、並び替えを行うためのハードウェアを持つ場合もある。
【非特許文献１】Ｈ．２６４／ＡＶＣ  Ｓｏｆｔｗａｒｅ  Ｃｏｏｄｉｎａｔｉｏｎ[平成１８年３月２２日検索]、インターネット＜URL:http//bs.hhi.de/~suehring/tml/＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記の従来技術においては、ソフトウェア処理で防止バイト除去を行うことが前提となっている。入力した符号化データに対する除去処理では、データを詰める処理が必要であり、処理量が膨大なものになってしまうという課題がある。
【０００９】
また、バイトデータ除去、並び替えを行うハードを持つプロセッサに適用する場合においても、防止バイト除去処理をハード処理に適用する場合、ＮＡＬの区切り判定との連携が考慮されておらず、ＮＡＬの区切り判定を正しく行えないという課題がある。
【００１０】
また、別の方法として、防止バイト除去処理とＮＡＬの区切り判定処理をすべて専用のハードウェアで行うように構成することも考えられるが、その場合、ＭＰＥＧ４−ＡＶＣの復号化処理に専用のハードウェアが必要となり、コスト負担が増大するという課題がある。
【００１１】
本発明は、このような事情に鑑みて創作したものであり、バイトデータ除去、並び替えを行う汎用的で比較的安価なハードウェアを用いて、ＮＡＬの区切り判定との整合性を確保しつつ、ＭＰＥＧ４−ＡＶＣの復号化処理で必要な防止バイト除去処理を高速に行うことが可能な動画復号装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明による動画復号装置は、
入力ストリームから特定パターンのバイト列を検出し、検出したバイト列の一部または全体をストリームから除去し、特定パターンバイト列除去済みのストリームとして動画ストリームバッファに格納するバイト列除去部と、
前記特定パターンバイト列除去済みのストリームにおけるバイト列除去位置を指定するためのパイロット情報を生成するパイロット情報生成部と、
前記動画ストリームバッファからの前記特定パターンバイト列除去済みのストリームと前記パイロット情報生成部による前記パイロット情報とを入力し、前記パイロット情報に基づいて前記特定パターンバイト列除去済みのストリームにおけるバイト列除去位置を判定しながら前記特定パターンバイト列除去済みのストリームの復号処理を行う動画復号部とを備えたものである。
【００１３】
この構成によれば、バイトデータ除去、並び替えを行う汎用的で比較的安価なハードウェアを用いて、ＮＡＬの区切り判定との整合性を確保しつつ、ＭＰＥＧ４−ＡＶＣで必要な防止バイト除去などの特定パターンバイト列除去の処理を高速に行いながら、所期の動画復号処理を実現することが可能となる。
【００１４】
上記構成の動画復号装置において、前記パイロット情報生成部は、前記入力ストリームの特定位置からのバイト数から前記バイト列除去部で除去した特定パターンバイト列の分を除いたバイト数をカウントするバイト数カウント部を備え、前記バイト数カウント部でカウントした値を前記パイロット情報とするという態様がある。このように構成すれば、ＴＶ放送など入力ストリームが巨大になる場合において、特定パターンバイト列除去済みのストリームを動画ストリームバッファの最後まで書き込んだ後、次のデータを先頭から上書きしていくというように、動画ストリームバッファに特定パターンバイト列除去済みのストリームをサイクリックに格納していく場合にも、動画ストリームバッファにある特定パターンバイト列除去済みのストリームにおけるバイト列除去位置を一意に指定することが可能となる。
【００１５】
また、上記構成の動画復号装置において、前記パイロット情報生成部は、前記入力ストリームにおけるピクチャの区切りを抽出し、入力したピクチャ数をカウントするピクチャ数カウント部を備え、前記ピクチャ数カウント部でカウントした値を前記パイロット情報の生成に用いるという態様がある。このように構成すれば、ピクチャ単位でバイト数カウント部をリセットすることができ、より大きな入力ストリームに対応することが可能となる。
【００１６】
また、上記構成の動画復号装置において、前記パイロット情報生成部は、前記入力ストリームから第２の特定パターンのバイト列を抽出し、抽出したバイト列の情報種別を前記パイロット情報に加える付加情報生成部を備えているという態様がある。このように構成すれば、バイト列除去部において特定パターンを複数検出する場合などに、パイロット情報に対して種別のような付加情報を生成し、動画復号部において種別に応じた処理を行うことが可能となる。
【００１７】
また、上記構成の動画復号装置において、前記パイロット情報生成部は、前記パイロット情報を生成するかしないかを判定するパイロット情報生成判定部を備えているという態様がある。このように構成すれば、バイト列除去部において特定パターンを複数検出する場合などに、パイロット情報を生成するかどうかを判定し、生成不要なときには生成しないようにできるので、パイロット情報のデータ量を削減することが可能となる。
【００１８】
本発明によるテレビ受像システムは、上記のいずれかの動画復号装置と、動画データを受信する受信装置と、動画データを表示する表示装置とを備えたものである。
【発明の効果】
【００１９】
本発明によれば、バイトデータ除去、並び替えを行う汎用的で比較的安価なハードウェアを用いて、ＮＡＬの区切り判定との整合性を確保しつつ、ＭＰＥＧ４−ＡＶＣの復号化処理で必要な防止バイト除去処理を高速に行うことが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明にかかわる動画復号装置の実施の形態を図面を用いて詳細に説明する。図１は本発明の実施の形態における動画復号装置の構成を示すブロック図である。
【００２１】
動画復号装置Ａは、ストリーム入力部１において、動画符号化データを含む入力ストリームＳＴを外部から入力する。
【００２２】
バイト列除去部２は、入力ストリームＳＴからバイト列を除去した特定パターンバイト列除去済みのストリームＳＴ１を生成し、動画ストリームバッファ６に格納する。
【００２３】
パイロット情報生成部３は、特定パターンバイト列除去済みのストリームＳＴ１におけるバイト列除去位置を指定するためのパイロット情報Ｄ１を生成する。
【００２４】
動画復号部４は、特定パターンバイト列除去済みのストリームＳＴ１とパイロット情報Ｄ１を入力し、動画を復号する。パイロット情報解釈部５は、入力したパイロット情報Ｄ１を解釈し、特定パターンバイト列除去済みのストリームＳＴ１におけるバイト列除去位置を特定し、デコードを行う。
【００２５】
次に、バイト列除去部２の動作例について説明する。図２は入力ストリームＳＴと特定パターンバイト列除去済みのストリームＳＴ１の構成例である。
【００２６】
ここでは、（００，００，０３，０１）が特定パターンのバイト列であり、バイト列除去部２は、この特定パターンを検出したときに、バイト列から“０３”を除去し、特定パターンバイト列除去済みのストリームＳＴ１を動画ストリームバッファ６に格納する。
【００２７】
次に、パイロット情報生成部３とパイロット情報Ｄ１について説明する。図３（ａ）はパイロット情報Ｄ１の一例を示す。ここでは、動画ストリームバッファ６のメモリアドレスを、特定パターンバイト列除去済みのストリームＳＴ１においてバイト列除去位置を特定するためのパイロット情報Ｄ１として格納している。動画ストリームバッファ６がすべてのストリームデータを格納できる場合には、動画ストリームバッファ６のメモリアドレスによってバイト列除去位置を特定するためのパイロット情報Ｄ１を指定可能である。
【００２８】
以上、本発明の実施の形態の動画復号装置は、入力ストリームＳＴから特定パターンのバイト列を検出し、検出したバイト列の一部または全体をストリームから除去し、特定パターンバイト列除去済みのストリームＳＴ１として動画ストリームバッファ６に格納するバイト列除去部２と、特定パターンバイト列除去済みのストリームＳＴ１におけるバイト列除去位置を指定するためのパイロット情報Ｄ１を生成するパイロット情報生成部３と、動画ストリームバッファ６から特定パターンバイト列除去済みのストリームＳＴ１とパイロット情報生成部３で生成されたパイロット情報Ｄ１とを入力し、特定パターンバイト列除去済みのストリームＳＴ１においてバイト列除去位置を特定するパイロット情報解釈部５と、パイロット情報解釈部５によって特定されたバイト列除去位置を加味して特定パターンバイト列除去済みのストリームＳＴ１から動画復号処理を行う動画復号部４とを備えたものである。本実施の形態によれば、バイトデータ除去、並び替えを行う汎用的で比較的安価なハードウェアを用いて、ＮＡＬの区切り判定との整合性を確保しつつ、ＭＰＥＧ４−ＡＶＣの復号化処理などで必要な防止バイト除去処理を高速に行うことが可能となる。
【００２９】
しかし、動画ストリームバッファ６のサイズは有限であるので、ＴＶ放送などストリームデータが巨大になる場合には、特定パターンバイト列除去済みのストリームＳＴ１を動画ストリームバッファ６の最後まで書き込んだ後、次のデータを先頭から順次同一アドレスに上書きしていくというように、動画ストリームバッファ６に特定パターンバイト列除去済みのストリームＳＴ１をサイクリックに格納していく場合がある。図４にそのような動画ストリームバッファ６の構成例を示す。
【００３０】
図４のような構成の動画ストリームバッファ６の場合、動画ストリームバッファ６のアドレスだけのパイロット情報Ｄ１では、特定パターンバイト列除去済みのストリームＳＴ１におけるバイト列除去位置を指定することができない。このような場合、パイロット情報Ｄ１の構成を変更することにより対応する。これを図３（ｂ），（ｃ）および図５、図６で説明する。
【００３１】
図３（ｂ）はパイロット情報Ｄ１の第２の構成を示す。パイロット情報Ｄ１として、ストリーム先頭からのバイト数を格納する。
【００３２】
図３（ｃ）はパイロット情報Ｄ１の第３の構成を示す。パイロット情報Ｄ１として、ピクチャ先頭からのバイト数と、ストリーム入力部１に入力された入力ストリームＳＴに含まれるピクチャ数を格納する。
【００３３】
図５はパイロット情報生成部３の第２の構成を示す。バイト数カウント部３ｂは、ストリーム入力部１に入力された入力ストリームＳＴのバイト数からバイト列除去部２で除去したバイト列の分を除いたバイト数をカウントする。また、外部からの指示によりカウンタをリセットすることもできる。図３（ｂ）で示した、ストリーム先頭からのバイト数をカウントする場合、デコード開始時にカウンタをリセットする。
【００３４】
ピクチャ数カウント部３ａは、入力ストリームＳＴからピクチャの区切りを抽出し、入力したピクチャ数をカウントする。また、ピクチャの区切りを抽出したときには、バイト数カウント部３ｂのカウンタをリセットするように制御する。図３（ｃ）で示した、ピクチャ先頭からのバイト数とピクチャ数をカウントする場合、ピクチャ数カウント部３ａでピクチャの区切り抽出とピクチャ数のカウントを行い、さらにバイト数カウント部３ｂのリセット制御を行う。
【００３５】
図６にピクチャの区切りを示すバイト列の例を示す。この例ではバイト列（００，００，０１，０９）をピクチャの区切りとして扱っている。ピクチャ数カウント部３ａは、ピクチャの区切りとして上記バイト列を抽出する。
【００３６】
以上により、図４に示すように、特定パターンバイト列除去済みのストリームＳＴ１を動画ストリームバッファ６にサイクリックに格納していくような場合にも、動画ストリームバッファ６にある特定パターンバイト列除去済みのストリームＳＴ１におけるバイト列除去位置を一意に指定することが可能となる。
【００３７】
また、パイロット情報生成部３にバイト数カウント部３ｂを備えることにより、ＴＶ放送など入力ストリームＳＴが巨大になる場合において、動画ストリームバッファ６の領域を繰り返し使っていく場合にも、動画ストリームバッファ６における格納位置を一意に指定可能となる。
【００３８】
さらに、パイロット情報生成部３にピクチャ数カウント部３ａを備えることにより、ピクチャ単位でバイト数カウント部３ｂをリセットすることができ、より大きな入力ストリームＳＴに対応することが可能となる。
【００３９】
なお、バイト数カウント部３ｂとピクチャ数カウント部３ａは、動画ストリームバッファ６の構成に応じて、パイロット情報Ｄ１の構成を変更するためのものであり、本発明の必須要件ではない。
【００４０】
また、パイロット情報生成部３では、抽出した除去位置に対して付加的な情報を生成することも可能である。付加情報の例として、バイト列除去部２で検出する特定パターンが複数存在する場合を示す。バイト列除去部２では、（００，００，０３，０１）と（００，００，０３，０２）の２つのパターンを検出するとする。図７に付加情報の例を示す。パイロット情報Ｄ１として、「種別」を追加している。種別が“０”のときは、特定パターン（００，００，０３，０１）を検出したことを表し、種別が“１”のときは特定パターン（００，００，０３，０２）を検出したことを表している。
【００４１】
図８はパイロット情報生成部３の第３の構成を示す。付加情報生成部３ｃは、検出したバイト列の種類に応じて「種別」の情報を出力する。
【００４２】
パイロット情報生成部３において、付加情報生成部３ｃを備えることにより、バイト列除去部２において特定パターンを複数検出する場合などに、パイロット情報Ｄ１のアドレスに対して種別のような付加情報を生成し、動画復号部４において、種別に応じた処理を行うことが可能となる。
【００４３】
なお、付加情報生成部３ｃは、バイト列除去部２で検出する特定パターンの種類に応じてパイロット情報Ｄ１に付加情報を追加するものであり、本発明の必須要件ではない。
【００４４】
図９はパイロット情報生成部３の第４の構成例を示す。
【００４５】
パイロット情報生成判定部３ｄは、バイト列除去部２で検出する特定パターンが複数ある場合に、特定パターンの種類に応じてパイロット情報Ｄ１を生成するかしないかを判定し、生成すると判定した場合にのみパイロット情報Ｄ１を生成し、動画復号部４に通知する。
【００４６】
図１０にパイロット情報生成判定部３ｄの動作例を示す。（ａ）はパイロット情報Ｄ１を通知する場合の例である。バイト列除去部２で検出する特定パターンが（００，００，０３，０１）である場合、パイロット情報生成判定部３ｄは、パイロット情報Ｄ１を生成すると判定し、動画復号部４にパイロット情報Ｄ１を通知する。（ｂ）はパイロット情報Ｄ１を通知しない場合の例である。バイト列除去部２で検出する特定パターンが（００，００，０３，０２）である場合、パイロット情報生成判定部３ｄは、パイロット情報Ｄ１を生成しないと判定し、動画復号部４にパイロット情報Ｄ１を通知しない。
【００４７】
動画復号部４は、通知されたパイロット情報Ｄ１を使用して復号処理を行う。
【００４８】
パイロット情報生成部３において、パイロット情報生成判定部３ｄを備えることにより、バイト列除去部２において特定パターンを複数検出する場合などに、パイロット情報Ｄ１を生成するかどうかを判定し、生成不要なときには生成しないようにできるので、パイロット情報Ｄ１のデータ量を削減することが可能となる。
【００４９】
なお、パイロット情報生成判定部３ｄは、バイト列除去部２で検出する特定パターンの種類に応じてパイロット情報Ｄ１を生成するかどうかを判定するものであり、本発明の必須要件ではない。
【００５０】
次に、図１１に動画復号装置Ａを含む携帯テレビ受像システムＢの例を示す。携帯テレビ受像システムＢは、受信装置１１において符号化された動画データを含むテレビ信号を受信し、上記の実施の形態で示した動画復号装置Ａにおいて、テレビ信号に含まれる符号化された動画データを復号し、復号された動画データを表示装置１２において表示する。
【００５１】
動画復号装置Ａをテレビ受像システムに含むことにより、上記効果を持つテレビ受像システムを構築することが可能となる。
【００５２】
なお、本発明で示した動画復号装置は、携帯テレビ受像システムのみならず、その他ビデオシステムなど動画復号を行うシステムで使用することが可能である。
【００５３】
本発明は以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されることは言うまでもない。
【産業上の利用可能性】
【００５４】
本発明は、デジタルＴＶやＤＶＤなど、動画像符号化を用いた機器での利用に適している。特に、ＭＰＥＧ４−ＡＶＣ符号化方式を用いる機器での利用に適している。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施の形態における動画復号装置の構成を示すブロック図
【図２】本発明の実施の形態における入力ストリームと特定パターンバイト列除去済みのストリームの構成例説明図
【図３】本発明の実施の形態におけるパイロット情報の構成例説明図
【図４】本発明の実施の形態における動画ストリームバッファの構成例説明図
【図５】本発明の実施の形態におけるパイロット情報生成部の第２の構成例説明図
【図６】本発明の実施の形態における入力ストリームに含まれるピクチャ区切りの構成例説明図
【図７】本発明の実施の形態におけるパイロット情報の構成例説明図
【図８】本発明の実施の形態におけるパイロット情報生成部の第３の構成例説明図
【図９】本発明の実施の形態におけるパイロット情報生成部の第４の構成例説明図
【図１０】本発明の実施の形態におけるパイロット情報生成判定部の動作例説明図
【図１１】本発明の実施の形態における動画復号装置を含む携帯テレビ受像システムの構成例説明図
【符号の説明】
【００５６】
１  ストリーム入力部
２  バイト列除去部
３  パイロット情報生成部
３ａ  ピクチャ数カウント部
３ｂ  バイト数カウント部
３ｃ  付加情報生成部
３ｄ  パイロット情報生成判定部
４  動画復号部
５  パイロット情報解釈部
６  動画ストリームバッファ
１１  受信装置
１２  表示装置
Ａ  動画復号装置
Ｂ  テレビ受像システム
ＳＴ  入力ストリーム
ＳＴ１  特定パターンバイト列除去済みのストリーム
Ｄ１  パイロット情報
【図１】
2008177637.tif 000003
【図２】
2008177637.tif 000004
【図３】
2008177637.tif 000005
【図４】
2008177637.tif 000006
【図５】
2008177637.tif 000007
【図６】
2008177637.tif 000008
【図７】
2008177637.tif 000009
【図８】
2008177637.tif 000010
【図９】
2008177637.tif 000011
【図１０】
2008177637.tif 000012
【図１１】
2008177637.tif 000013