(57)【要約】【課題】ＩＤＲのエラーコンシールメント処理を行うストリーム変換装置及びストリーム変換方法を提供する。【解決手段】圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する入力バッファと、前記入力バッファの出力を受け前記動画像ストリームのシンタックスを解析するシンタックス解析部と、前記シンタックス解析部の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なうコンシールメント処理部と、前記コンシールメント処理の結果を蓄積し出力する内部バッファと、前記内部バッファの出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する出力バッファとを備え、前記コンシールメント処理部は、周期的に到来するＩＤＲを前記シンタックス解析部の解析結果に基づきエラーがあった場合にｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換装置。【選択図】  図７
2011114712.tif 000002
【特許請求の範囲】
【請求項１】
周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する入力バッファと、
前記入力バッファの出力を受け前記動画像ストリームのシンタックスを解析するシンタックス解析部と、
前記シンタックス解析部の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なうコンシールメント処理部と、
前記コンシールメント処理の結果を蓄積し出力する内部バッファと、
前記内部バッファの出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する出力バッファとを備え、
前記コンシールメント処理部は、周期的に到来するＩＤＲを前記シンタックス解析部の解析結果に基づきエラーがあった場合にｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換装置。
【請求項２】
前記コンシールメント処理部は、前記ｎｏｎ−ＩＤＲがＰ−Ｓｌｉｃｅを含んでよいようにAccess Unit Delimiterのprimary_pic_typeを0から1に書き換えることを特徴とする請求項１に記載のストリーム変換装置。
【請求項３】
前記コンシールメント処理部は、エラー検出以降のマクロブロックをＰ−Ｓｌｉｃｅとしてシンタックスを生成することを特徴とする請求項２に記載のストリーム変換装置。
【請求項４】
前記コンシールメント処理部は、更にＰ−Ｓｌｉｃｅの先頭マクロブロックから画面最後のマクロブロックをスキップマクロブロックとなるようにシンタックスを生成することを特徴とする請求項３に記載のストリーム変換装置。
【請求項５】
更に放送信号を受信してトランスポートストリームを前記入力バッファへ向け出力する受信部を備えたことを特徴とする請求項１に記載のストリーム変換装置。
【請求項６】
周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する第１工程と、
前記第１工程の出力を受け前記動画像ストリームのシンタックスを解析する第２工程と、
前記第２工程の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なう第３工程と、
前記コンシールメント処理の結果を蓄積し出力する第４工程と、
前記第４工程の出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する第５工程とを含み、
前記第３工程は、周期的に到来するＩＤＲを前記第２工程の解析結果に基づきエラーがあった場合にｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エラーコンシールメント処理を行うストリーム変換装置及びストリーム変換方法に関する。
【背景技術】
【０００２】
現在、携帯型マルチメディアプレーヤや携帯電話等にチューナが搭載され、携帯電話・移動体端末向けの１セグメント部分受信サービス（以下、ワンセグ放送）を視聴できる機器が増えてきている。
【０００３】
ワンセグ放送は、移動しながら視聴されることがあるが、移動時には電波状況が刻々と変化する。特に弱電界領域にはいると、受信して復調されたデータに誤りが混じることがある。データに誤りが混入した場合、動画像の復号時にエラーコンシールメント処理が行われる。
【０００４】
例えば特許文献１には、ＭＰＥＧ−４  ＡＶＣ（ A d v a n c e d  V i d e o  C o d i n g） 符号化規格において誤りが混入したＢ−Ｓｌｉｃｅを対話的メニューからＰ−Ｓｌｉｃｅへ変換するエラーコンシールメント処理を実行し、エラーによる画質の劣化を低減する技術が開示されている。しかしながらＩＤＲ(Instantaneous Decoder Refresh)のエラーコンシールメントといったより一般的なエラーコンシールメントの技術は開示されていなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１６６１２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ＩＤＲのエラーコンシールメントの技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のストリーム変換装置は、周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する入力バッファと、前記入力バッファの出力を受け前記動画像ストリームのシンタックスを解析するシンタックス解析部と、前記シンタックス解析部の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なうコンシールメント処理部と、
【０００８】
前記コンシールメント処理の結果を蓄積し出力する内部バッファと、前記内部バッファの出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する出力バッファとを備え、前記コンシールメント処理部は、周期的に到来するＩＤＲを前記シンタックス解析部の解析結果に基づきエラーがあった場合にｎｏｎ−ＩＤＲに変更することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＩＤＲのエラーコンシールメント処理を行うストリーム変換装置及びストリーム変換方法が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係わる動画像復号装置の外観を示す図。
【図２】図１に示す動画像復号装置のシステム構成を示すブロック図。
【図３】エラーが混入したＨ．２６４ ストリームのストリーム変換の流れを説明するために示す図。
【図４】ストリーム上でのコンシールメントの例を示すブロック図。
【図５】ＩＤＲのエラーコンシールメントの方法を示す図。
【図６】ＩＤＲのエラーコンシールメントを示す図。
【図７】実施形態に用いられるストリーム変換ブロック図。
【図８】実施形態に用いられるストリーム変換処理部を示すブロック構成図。
【図９】実施形態に用いられるＩＤＲのエラーコンシールメントの方法を示す図。
【図１０】実施形態に用いられるスタートコード挿入フローチャート。
【発明を実施するための形態】
【００１１】
本発明による実施形態を図１乃至図１０を参照して説明する。
まず、図１を参照して、本発明の一実施形態に係わる動画像復号装置の構成を説明する。
この動画像復号装置は、例えば、パーソナルコンピュータ、ＰＤＡ、ＡＶ（オーディオ・ビデオ）プレーヤ、のような携帯型電子機器であり、内蔵バッテリによって駆動可能に構成されている。以下では、電子機器がオーディオデータおよびビデオデータを再生するためのマルチメディアプレーヤ１１として実現されている場合を想定する。
【００１２】
マルチメディアプレーヤ１１の本体表面上には、表示デバイスとしてのＬＣＤ１２と、入力デバイスとしての各種操作ボタン（バックボタン１３、スタートボタン１４、ＯＫボタン１５、上下左右ボタン１６、ワンセグボタン）とが設けられている。
【００１３】
次に、図２を参照して、マルチメディアプレーヤ１１のシステム構成を説明する。
図２に示すように、マルチメディアプレーヤ１１は、ＣＰＵ１０１、メモリ１０２、表示コントローラ１０３、ハードディスクドライブ（ＨＤＤ）１０４、入力インタフェース部１０５、ＵＳＢコントローラ１０６、オーディオコントローラ１０７、ワンセグチューナ１０８、電源回路１１０、およびバッテリ１１１等を備えている。
【００１４】
ＣＰＵ１０１はマルチメディアプレーヤ１１の動作を制御するプロセッサであり、メモリ１０２にロードされた各種プログラム（オペレーティングシステム、およびアプリケーションプログラム等）を実行する。アプリケーションプログラムは、オーディオデータおよびビデオデータの再生、およびワンセグ放送の再生の実行等を行うためのプログラムである。
【００１５】
表示コントローラ１０３はＬＣＤ１２を制御し、各種操作メニュー、およびアプリケーションプログラムによって再生されたビデオデータに対応する画像等を、ＬＣＤ１２の表示画面上に表示する。ＨＤＤ１０４は、オーディオデータおよびビデオデータ等の各種データを格納するためのストレージデバイスとして機能する。ＵＳＢコントローラ１０６はマルチメディアプレーヤ１１の本体に設けられたＵＳＢ端子１２１に接続されており、ＵＳＢ端子１２１に接続された他の各種デバイスとの通信を実行する。オーディオコントローラ１０７は音源デバイスであり、アプリケーションプログラムによって再生されたオーディオデータに対応するサウンド信号を生成し、そのサウンド信号をヘッドホン端子１２２に出力する。
【００１６】
ワンセグチューナ１０８はモバイル端末向けのワンセグ放送を受信するために設けられている。ワンセグチューナ１０８は図示せぬチューナ回路、ＯＦＤＭ復調器、およびエラー訂正器等を備えている。チューナ回路はアンテナから入力されるデジタル放送信号（高周波信号）の中から、所望の受信チャンネルに対応する周波数の信号成分を、ミキサを用いて中間周波数信号に変換するとともに、アンプを用いてそれぞれのＯＦＤＭ復調器に入力するための所定の電力レベルに増幅する。
【００１７】
ＯＦＤＭ復調器では、チューナ回路からのアナログの中間周波数信号をそれぞれＡ／Ｄ変換してデジタル信号に変換し、それぞれ直交復調を行って複素デジタル信号に変換し、それぞれＦＦＴ（高速フーリエ変換）を行って周波数軸上のサブキャリア信号に分解した上でからワンセグ放送を再生するための復調信号を出力する。
【００１８】
ワンセグ放送では、リードソロモンと畳み込み符号によって、エラー訂正のための符号化が行われている。エラー訂正器は、復調信号のエラーを検出し、この検出したエラーを訂正した誤り訂正信号であるトランスポートストリーム（ＴＳ）を出力する。
【００１９】
まとめるとワンセグチューナ１０８は放送信号を受信して動画像ストリームを含むトランスポートストリームを出力する受信部である。
詳しくはこのトランスポートストリームは、圧縮符号化された放送番組データを多重化したデータストリームである。地上波デジタルＴＶ放送においては、各チャネルの放送番組データに対応するトランスポートストリーム（ＴＳ）は、圧縮符号化された動画像データと、圧縮符号化されたオーディオデータと、グラフィクスデータとを含む。グラフィクスデータも圧縮符号化されている。
【００２０】
ＣＰＵ１０１で実行されるワンセグ放送再生アプリケーションは、復号されたトランスポートストリーム（ＴＳ）を映像データ、音声データに分離する。ワンセグ放送再生アプリケーションのソフトウェア・ビデオデコードモジュールは、Ｈ．２６４／ＡＶＣ規格でエンコードされている映像のストリームをデコードし、表示コントローラ１０３に送る。
【００２１】
表示コントローラ１０３は、デコードされたデータに応じたビデオ信号を生成する。ビデオ信号がＬＣＤ１２に入力されることによって、ＬＣＤ１２はワンセグ放送の動画像を表示する。
【００２２】
また、ワンセグ放送再生アプリケーションは、ＡＡＣ方式でエンコードされている音声データをオーディオコントローラ１０７に送る。オーディオコントローラ１０７は、音声データを復号し、オーディオ信号を生成する。オーディオ信号はヘッドホン端子１２２を介してヘッドホンに入力され、ヘッドホンからワンセグ放送の音声を出力する。
【００２３】
電源回路１１０は、マルチメディアプレーヤ１１の本体内に設けられたバッテリ１１１からの電力、または外部のＡＣアダプタ１１２からの電力を用いて、各コンポーネントに動作電源を供給する。
【００２４】
図３にストリーム上でエラーコンシールメント（修復）を行う場合のストリームデータの流れを示す。ストリームデータの作成元ではエラーが無かったストリームデータは、受信されるまでのエラー環境によってはエラーが混入したストリームデータとなる。このストリームデータに対しストリーム変換（次の図４参照）を行なうことによってエラー無しのストリームデータに戻しておけば、後段のＨ．２６４デコーダにおけるデータ処理において関連する問題が発生することを防ぐことができる。
【００２５】
ワンセグのような放送サービスでは、受信環境によっては、受信ストリームに誤りが混入し、誤りが混入したままの受信ストリームを一般に誤り耐性のないＨ．２６４デコーダでデコードすると場合によっては著しい画質劣化が起きてしまう。このため図４のように、Ｈ．２６４デコーダへ受信ストリームを入力する前にストリーム上でエラーコンシールメントを行う機能を持つＨ．２６４ストリーム変換器でＨ．２６４ストリーム変換を行い、変換されたエラーの無いＨ．２６４ストリームをＨ．２６４デコーダに入力する方法がある。
【００２６】
図５はＩＤＲにエラーが混入した場合のエラーコンシールメントの様子を示す。
まず従来のストリーム上でのコンシールメントの方法は、ＩＤＲ(Instantaneous Decoder Refresh)が過去のフレーム画像の情報を使わず、シンタックス上、イントラ予測しか使用できないので、エラー混入以降のマクロブロックの予測モードをイントラ４×４予測モードのＤＣ予測を行うようにストリームを変換する方法を取っている。
【００２７】
しかしこの方法では、画面の早い段階でエラーが混入した場合、コンシールメントされた部分は正常部分からの画素が単にグラデーションされたような画像にしかならなく、この部分が以降のＰ−ｐｉｃｔｕｒｅにも伝播し、ある程度画質劣化を招くものであった。
【００２８】
そこで、本実施形態では、ＩＤＲにエラーが混入した場合、このフレームをシンタックス上で、図６のようにＩＤＲからｎｏｎ−ＩＤＲ（ＩＤＲでない、即ち過去のフレーム画像の情報を使うインター予測も行なえるＡＵ(Access Unit)）にし、エラー混入以降のこのフレーム内のマクロブロックをＰ−Ｓｌｉｃｅとし、デコード時に過去のフレームの画素を参照できるように、元の符号化画像に近いコンシールメントを行い、画質劣化を防ぐという構成をとる。
【００２９】
図７は実施形態に用いられるストリーム変換装置のブロック図である。入力バッファ７１とストリーム変換部７２と出力バッファ７３とから構成され、更にストリーム変換部７２は、シンタックス解析部７２ａとコンシールメント処理部７２ｂと（シンタックス生成用）内部バッファ７２ｃとから構成されている。動作は図８で関係付けて説明する。
【００３０】
図８はアプリケーションプログラムによるストリーム変換処理を詳細に表した機能ブロック図である。ストリーム変換モジュール８２がストリーム変換部７２に相当している。ストリーム変換モジュール８２のＲＢＳＰ取出し処理と変換前ＲＢＳＰバッファはシンタックス解析部７２ａに含まれ、また変換後ＲＢＳＰバッファとＮＡＬ生成処理とは内部バッファ７２ｃに含まれる構成である。
【００３１】
ストリーム変換は例えば、画像フレームに相当するＡＵを一般には複数まとめたＰＥＳ(Packetized Elementary Stream)単位で行う。ＰＥＳにはｎｏｎ−ＩＤＲのみから成るものもあるが、ＩＤＲ１つを先頭にしたものもある。入力バッファ８１に１本のＰＥＳ単位で入力され、エラーが混入している場合コンシールメントされたＰＥＳが出力バッファ８３に出力される。エラーが混入していない場合は、入力されたＰＥＳと同じＰＥＳが出力バッファ８３に出力される。
【００３２】
ストリーム変換モジュール８２の内部では、ＰＥＳはさらに小さい単位であるＮＡＬ(network abstraction layer)に分解されてコンシールメント処理が行われる。
【００３３】
ＮＡＬごとにシンタックス解析が行われ、エラーが検出された場合コンシールメントされたＮＡＬを新たに生成する。
エラーが検出されなかった場合は、そのままＮＡＬの内容がコピーされる。
次にＩＤＲでエラー検出した場合を説明する。ＩＤＲには、周期的なＩＤＲとシーンチェンジのためのＩＤＲの２種類がある。
シンタックス解析部のシンタックスパース処理において、あるマクロブロックでエラーが検出されると、このマクロブロックを含む一枚の画像フレームが周期的なＩＤＲなのか、シーンチェンジのためのＩＤＲなのかを判断する。
【００３４】
ＩＤＲの挿入周期が一定の値と異なる場合はシーンチェンジのためのＩＤＲと判断し、過去のフレームからのコンシールメントをあきらめ、従来同様エラー以降のマクロブロックをイントラ４×４予測モードにしたシンタックスを生成し、エラー検出前のシンタックスと結合して出力する。定期的なＩＤＲと判断された場合は、過去のフレームからのコンシールメントが可能なため、図９に示すようにエラー以降のマクロブロックをＰ−Ｓｌｉｃｅ（Ｉ−Ｓｌｉｃｅ、Ｐ−ＳｌｉｃｅなどのうちＩ−Ｓｌｉｃｅとは異なり他のマクロブロックを参照可能なブロックからなるＳｌｉｃｅ）としてシンタックスを生成する。更にＰ−Ｓｌｉｃｅの先頭マクロブロックから画面最後のマクロブロックをスキップマクロブロックとなるようにする。生成されたＰ−Ｓｌｉｃｅはエラー検出前のシンタックスと結合され出力される。
【００３５】
また、このときＰ−Ｓｌｉｃｅを含んでよいようにAccess Unit Delimiterのprimary_pic_typeを0から1に書き換え、ＩＤＲからｎｏｎ−ＩＤＲのフレームとしてデコードできるようＩ−Ｓｌｉｃｅのnal_unit_typeを1にする。なお、Ｈ．２６４規格書では、primary_pic_typeが0のとき1フレーム内にＩ−Ｓｌｉｃｅのみ含んでよく、またprimary_pic_typeが1のとき1フレーム内にＩ−ＳｌｉｃｅとＰ−Ｓｌｉｃｅを含んでよい、と定められている。
【００３６】
図１０は、上記のＩＤＲの処理を表すフローチャートである。
まずシンタックス解析部７２ａがマクロブロックのシンタックスをパースする（ステップＳ１１０）。このパース動作においてシンタックス解析部７２ａはエラーを検出し（ステップＳ１２０）、エラーが無いと判定されれば次にコンシールメント処理部７２ｂが内部バッファ７２ｃを用いてシンタックスをコピーする（ステップＳ１３０）。次にシンタックス解析部７２ａは一画面分の処理が終了したか判定し（ステップＳ１４０）、終了していなければステップＳ１１０に戻り、終了していれば一連の処理を終える。
【００３７】
他方ステップＳ１２０でエラーが有ると判定されれば、シーンチェンジのためのＩＤＲかシンタックス解析部７２ａは判定する（ステップＳ１５０）。ステップＳ１５０でＹｅｓと判定された場合は、コンシールメント処理部７２ｂが（シンタックス生成用）内部バッファ７２ｃを用いて従来同様に残りのマクロブロックをイントラ予測にする（ステップＳ１６０）。またステップＳ１５０でＮｏと判定された場合は、残りのマクロブロックをＰ−ＳｌｉｃｅとしてＳＣ（start code）を付加して上記のようにシンタックスを生成する（ステップＳ１７０）。ステップＳ１５０の判定がいずれの場合も一連の処理を終える。
【００３８】
上記のように、エラーが混入した部分をＰ−Ｓｌｉｃｅに、そのフレームをｎｏｎ−ＩＤＲにシンタックスを書き換えることにより、デコード時により符号化時の画像に近い画像でコンシールメントを行うことができ、画質劣化を抑えることができる。
【００３９】
実施形態の効果として、シンタックス上でＩＤＲをｎｏｎ−ＩＤＲに変更し、エラー混入マクロブロック以降をＰ−Ｓｌｉｃｅにすることにより、デコーダ画像を復号することなく、符号化した画像に近い画像でコンシールメントを行うことができ、ＩＤＲのエラー時の画質劣化の拡大を防ぐことができる。
【００４０】
換言すると、ＩＤＲにエラーが混入した場合、過去のフレームでコンシールメントできるＰ−ＳｌｉｃｅにＩＤＲのシンタックスを変更することにより、ＩＤＲにおいてエラー混入した場合のコンシールメントの画質劣化を軽減することができる。
【００４１】
即ち、エラーの混入したＨ．２６４ストリームを、デコード画像を復号することなくストリーム上でコンシールメントを行うＨ．２６４ストリーム変換において、ＩＤＲピクチャのあるマクロブロックでエラー混入を検出した場合、エラー混入前までのマクロブロックをＩ−Ｓｌｉｃｅ、エラー混入したマクロブロックから画面最後のマクロブロックまでをＰ−Ｓｌｉｃｅとし、エラー混入以降のマクロブロックを過去のフレームの情報を使用してコンシールメントを行うようにし、ＩＤＲでエラーにより欠落する部分の画質劣化を防ぐ。また、以降のフレームの画質劣化の伝播も軽減できる。
【００４２】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００４３】
７１…入力バッファ、７２…ストリーム変換部、７２ａ…シンタックス解析部、７２ｂ…コンシールメント処理部、７２ｃ…内部バッファ、７３…出力バッファ、１０８…ワンセグチューナ。
【図１】
2011114712.tif 000003
【図２】
2011114712.tif 000004
【図３】
2011114712.tif 000005
【図４】
2011114712.tif 000006
【図５】
2011114712.tif 000007
【図６】
2011114712.tif 000008
【図７】
2011114712.tif 000009
【図８】
2011114712.tif 000010
【図９】
2011114712.tif 000011
【図１０】
2011114712.tif 000012