(57)【特許請求の範囲】
【請求項１】
動画像信号を符号化した動画像ビットストリームのフレームヘッダに動画像ビットストリーム内時刻管理情報を付加し、フレーム単位で動画像ビットストリームをパケット化し、そのパケット中に再生時刻管理情報を付加して伝送するシステムの動画像復号再生モジュールにおいて、
前記パケットから動画像ビットストリームを取り出し、そのフレームヘッダ中の動画像ビットストリーム内時刻管理情報を抽出すると共に、動画像ビットストリームをフレーム単位で復号する動画像復号部と、
前記パケットから前記再生時刻管理情報を抽出する再生時刻管理情報抽出部と、
この再生時刻管理情報抽出部で抽出された再生時刻管理情報のうち過去に正しいと判定された最新の再生時刻管理情報とこの再生時刻管理情報を含むフレームの参照基準となっている動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定し、前記動画像復号部で抽出された現フレームの動画像ビットストリーム内時刻管理情報と前記過去に再生時刻管理情報が正しいと判定された最新のフレームの動画像ビットストリーム内時刻管理情報との時間差分に基づいて前記現フレームの再生時刻管理情報の誤りを補正する誤り判定補正部と、
この誤り判定補正部で正しいと判定された再生時刻管理情報及び補正された再生時刻管理情報に基づいて前記動画像復号部で復号された動画像信号を再生出力する再生出力制御部とを具備することを特徴とする動画像復号再生モジュール。
【請求項２】
前記再生出力制御部は、システムの基準時刻が前記再生時刻管理情報で管理される再生時刻となった時点で前記動画像信号を再生出力することを特徴とする請求項１記載の動画像復号再生モジュール。
【請求項３】
前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と、参照基準となっているフレームの動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にある場合は誤りと判定することを特徴とする請求項１記載の動画像復号再生モジュール。
【請求項４】
前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と、参照基準となっている動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が、前記参照基準時刻より後にあるが、該再生時刻と過去に正しいと判定された最新の再生時刻管理情報との間隔が、現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分に所定時間を加えた時間を超える場合は誤りと判定することを特徴とする請求項１記載の動画像復号再生モジュール。
【請求項５】
前記誤り判定補正部は、現フレームの再生時刻管理情報について誤りなしと判定した場合には、再生時刻として現フレームの再生時刻管理情報を用い、前記再生出力制御部に現フレームの再生時刻管理情報を送ると共に、前記参照基準時刻の情報としてその再生時刻管理情報を保存し、現フレームの再生時刻管理情報が誤りと判断された場合には、その情報を用いずに、前記基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報の時間間隔を加えた時刻情報を求め、この時刻情報を再生時刻管理情報の補正値として前記再生出力制御部に送ることを特徴とする請求項３または４記載の動画像復号再生モジュール。
【請求項６】
前記誤り判定補正部は、前記再生時刻管理情報の時間間隔が最小のフレーム間隔より長く、かつ一定時間内に収まる場合には、無条件に誤りなしと判定することを特徴とする請求項３または４記載の動画像復号再生モジュール。
【請求項７】
請求項１記載の動画像復号再生モジュールにおける誤り判定補正部の処理に用いられ、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻となる過去に正しいと判断された最新の再生時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定する処理をコンピュータに実行させるための再生時刻管理プログラムであって、前記誤りを判定する処理は、
現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にあるか後にあるかを判断する第１のステップと、
この第１のステップで現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にあると判断されたとき、現フレームの再生時刻管理情報は誤りであると判定し、現フレームの再生時刻管理情報を補正して、その補正情報を再生時刻として保存する第２のステップと、
前記第１のステップで現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より後にあると判断されたとき、現フレームの再生時刻管理情報の再生時刻が、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えるか否かを判断する第３のステップと、
この第３のステップで現フレームの再生時刻管理情報の再生時刻が、前記基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えると判断されたとき、現フレームの再生時刻管理情報は誤りであると判定し、現フレームの再生時刻管理情報を補正して、その補正情報を前記再生時刻として保存する第４のステップと、
前記第３のステップで現フレームの再生時刻管理情報の再生時刻が、前記基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えないと判断されたとき、現フレームの再生時刻管理情報は正しいと判定し、その情報を前記再生時刻及び参照基準時刻の更新値として保存する第５のステップとを具備することを特徴とする再生時刻管理プログラム。
【請求項８】
前記第２のステップ及び第４のステップの補正処理は、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照されるフレームの動画像ビットストリーム内時刻管理情報の時間間隔を加えた時刻情報を求め、この時刻情報を再生時刻管理情報の補正値とすることを特徴とする請求項７記載の再生時刻管理プログラム。
【請求項９】
オーディオ信号、動画像信号をそれぞれ符号化し、動画像ビットストリームのフレームヘッダに動画像ビットストリーム内時刻管理情報を付加し、フレーム単位でオーディオビットストリーム、動画像ビットストリームをパケット化し、そのパケット中に再生時刻管理情報を付加して、各パケットをマルチメディア情報として伝送するシステムのマルチメディア情報受信装置において、
前記マルチメディア情報の受信信号から各パケット中のオーディオビットストリームと動画像ビットストリームを抽出し分離して、それぞれのパケットのヘッダ情報と共に送出する分離部と、
この分離部で分離されたオーディオビットストリームとそのパケットヘッダ情報を入力し、オーディオビットストリームをフレーム単位で復号し、前記パケットヘッダ情報から再生時刻管理情報を抽出し、この再生時刻管理情報に基づいて復号されたオーディオ信号を再生出力するオーディオ信号処理部と、
前記分離部で分離された動画像ビットストリームとそのパケットヘッダ情報を入力し、当該ビットストリーム中のフレームヘッダから動画像ビットストリーム内時刻管理情報を抽出すると共に、動画像ビットストリームをフレーム単位で復号し、前記パケットヘッダ情報から再生時刻管理情報を抽出し、この情報に基づいて復号された動画像信号を再生出力する動画像信号処理部とを具備し、
前記動画像信号処理部は、前記パケットヘッダ情報から抽出された再生時刻管理情報のうち過去に正しいと判定された最新の再生時刻管理情報とこの再生時刻管理情報を含むフレームの参照基準となっている動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定し、前記動画像復号部で抽出された現フレームの動画像ビットストリーム内時刻管理情報と前記過去に再生時刻管理情報が正しいと判定された最新のフレームの動画像ビットストリーム内時刻管理情報との時間差分に基づいて前記現フレームの再生時刻管理情報の誤りを補正する誤り判定補正部を備えることを特徴とするマルチメディア情報受信装置。
【請求項１０】
前記オーディオ信号処理部及び動画像信号処理部は、それぞれシステムの基準時刻が前記再生時刻管理情報で管理される再生時刻となった時点で前記オーディオ信号、動画像信号を再生出力することを特徴とする請求項９記載のマルチメディア情報受信装置。
【請求項１１】
前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と参照基準となっている動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にある場合は誤りと判定することを特徴とする請求項９記載のマルチメディア情報受信装置。
【請求項１２】
前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と、参照基準となっている動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が、前記参照基準時刻より後にあるが、該再生時刻と過去に正しいと判定された最新の再生時刻管理情報との間隔が、現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっている動画像ビットストリーム内時刻管理情報との時間差分に所定時間を加えた時間を超える場合は誤りと判定することを特徴とする請求項９記載のマルチメディア情報受信装置。
【請求項１３】
前記誤り判定補正部は、現フレームの再生時刻管理情報について誤りなしと判定した場合には、再生時刻として現フレームの再生時刻管理情報を用い、前記再生出力制御部に現フレームの再生時刻管理情報を送ると共に、前記参照基準時刻の情報としてその再生時刻管理情報を保存し、現フレームの再生時刻管理情報が誤りと判断された場合には、その情報を用いずに、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報の時間間隔を加えた時刻情報を求め、この時刻情報を再生時刻管理情報の補正値とすることを特徴とする請求項１１または１２記載のマルチメディア情報受信装置。
【請求項１４】
前記誤り判定補正部は、前記再生時刻管理情報の時間間隔が最小のフレーム間隔より長く、かつ一定時間内に収まる場合には、無条件に誤りなしと判定することを特徴とする請求項１１または１２記載のマルチメディア情報受信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば互いに関連したオーディオ信号及び動画像信号を別個に圧縮して多重したマルチメディア情報を受信し、分離、伸張したオーディオ信号及び動画像信号を、同期をとって再生するマルチメディア情報受信装置に係り、特に動画像信号復号再生モジュールとこのモジュールで使用される再生時刻管理プログラムに関する。
【０００２】
【従来の技術】
ディジタル放送等では、動画像信号（Ｖ）とオーディオ信号（Ａ）をディジタル符号化圧縮した後に多重してマルチメディア情報を生成し、一つのストリームとして伝送する方式が用いられる。このような伝送方式を用いるシステムにおいては、受信側で分離された動画像・オーディオ各々の信号を再生する際に、両者の同期をとって再生する必要が生じる。そこで、例えば国際標準の符号化方式であるＭＰＥＧ（Moving Pictures Experts Group）−２では、タイムスタンプという出力タイミング情報を用いて動画像信号とオーディオ信号の同期再生制御を行うことを規定している。
【０００３】
その中で、ディジタル放送等に多く用いられているＭＰＥＧ−２トランスポートストリーム（ＭＰＥＧ−２ＴＳ）を用いた伝送システムにおけるＡＶ同期の方法を説明する。
【０００４】
符号器側の装置において、動画像信号、オーディオ信号は、各々アクセスユニットと呼ばれる復号再生の単位（例えば動画像では１フレーム）で分割され、ＰＥＳ（Packetized E1ementary Stream）パケットと呼ばれるパケットに変換される。このとき、動画像・オーディオの各ＰＥＳパケットのヘッダに、ＰＴＳ（Presentation Time Stamp）と呼ばれる再生出力の時刻管理情報（タイムスタンプ）を付加する。復号側の装置では、ＳＴＣ（System Time Clock）という内蔵タイマを備えており、このタイマ値（基準時刻）が受信した各パケットのＰＴＳ側と一致したときに、そのアクセスユニットを再生出力する。
【０００５】
リアルタイム伝送においては、送信側と受信側が双方でバッファ制御を行いながらリアルタイムで同期をとり、お互いが破綻しないよう制御を行う必要がある。したがって、送信側のクロックに受信側のクロックを同期させる必要が生じる。
【０００６】
ＭＰＥＧ−２ＴＳでは、各ＰＥＳパケットがさらに固定長のトランスポートストリームパケット（ＴＳ）と呼ばれる小さなパケットに分割されて伝送されるが、ＴＳパケットのヘッダにＰＣＲ（Program Clock Reference）と呼ばれる基準時刻校正信号を付加し、受信側で常にＰＣＲとＳＴＣとの差を監視して補正を行うことで、送信側と受信側の同期を実現している。
【０００７】
また、近年、インターネット上でのマルチメディア情報の配信を目的としたストリーミングメディアや、狭帯域を用いたマルチメディアデータ放送などのシステムが立ち上がりつつあるが、これらのシステムにおいては、動画像の符号化方式にはＭＰＥＧ−４、オーディオの符号化方式にはＡＡＣ（Advanced Audio Coding）やＡＭＲ（Adaptive Multirate）等を用いると共に、Ａ／Ｖ同期の手段としてはＭＰＥＧ−２と同様のタイムスタンプを用いた方法がとられることが一般的となっている。
【０００８】
【発明が解決しようとする課題】
ところで、従来のディジタル放送等のシステムでは、伝送ビットレートが数Ｍｂｐｓ以上と大きいため、上記タイムスタンプ情報には強固な誤り訂正をかけることができる。したがって、タイムスタンプ情報が誤るということはないと考えてよい。また、インターネット等での配信を行う場合も、ＴＣＰ（Transmission Control Protocol）での再送により、同様にタイムスタンプ情報が間違うことは考えなくてもよい。
【０００９】
しかしながら、移動体向けのデータ放送や携帯電話等のシステムのように、伝送ビットレートが低い場合には、タイムスタンプなどのシステムデータ領域に対する誤り訂正に多くの帯域を割り当てることができない。さらには、無線伝送によりリアルタイムでのマルチメディアコンテンツを送信する場合には、無線上の誤りが付加されるにもかかわらず、ＵＤＰ（User Datagram Protocol）など、再送を行わない手段がとられることがあるが、この場合にはタイムスタンプがしばしば誤ることが想定される。特に、動画像のデータはオーディオデータよりデータ量が多いため、誤りの影響を受ける確率が高く、それにより動画像の表示タイミングがずれてしまい、オーディオ再生出力との同期がくずれるという問題がある。
【００１０】
そこで、本発明は上記の問題を解決し、動画像及びオーディオのビットストリームを多重したマルチメディア情報を分離・復号してそれぞれを再生する際に、両者の再生タイミングを同期させるためのタイムスタンプ情報に誤りが発生しても、その誤ったタイムスタンプ情報を補正する再生時刻管理プログラムと、このプログラムの処理によって確実に同期再生を行うことのできる動画像復号再生モジュールと、このモジュールを用いたマルチメディア情報受信装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明に係る動画像復号再生モジュールは、以下のような特徴的構成を有する。
【００１２】
（１）動画像信号を符号化した動画像ビットストリームのフレームヘッダに動画像ビットストリーム内時刻管理情報を付加し、フレーム単位で動画像ビットストリームをパケット化し、そのパケット中に再生時刻管理情報を付加して伝送するシステムの動画像復号再生モジュールにおいて、前記パケットから動画像ビットストリームを取り出し、そのフレームヘッダ中の動画像ビットストリーム内時刻管理情報を抽出すると共に、動画像ビットストリームをフレーム単位で復号する動画像復号部と、前記パケットから前記再生時刻管理情報を抽出する再生時刻管理情報抽出部と、この再生時刻管理情報抽出部で抽出された再生時刻管理情報のうち過去に正しいと判定された最新の再生時刻管理情報とこの再生時刻管理情報を含むフレームの参照基準となっている動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定し、前記動画像復号部で抽出された現フレームの動画像ビットストリーム内時刻管理情報と前記過去に再生時刻管理情報が正しいと判定された最新のフレームの動画像ビットストリーム内時刻管理情報との時間差分に基づいて前記現フレームの再生時刻管理情報の誤りを補正する誤り判定補正部と、この誤り判定補正部で正しいと判定された再生時刻管理情報及び補正された再生時刻管理情報に基づいて前記動画像復号部で復号された動画像信号を再生出力する再生出力制御部とを具備することを特徴とする。
【００１３】
この構成によれば、伝送中の障害等によって再生時刻管理情報に誤りが生じても、その誤りを自動的に検出し補正するようにしているので、復号された動画像信号の再生出力の乱れをなくすことが可能となる。同時に伝送されるオーディオビットストリームの復号再生出力との同期を保持することが可能となる。
【００１４】
（２）（１）の構成において、前記再生出力制御部は、システムの基準時刻が前記再生時刻管理情報で管理される再生時刻となった時点で前記動画像信号を再生出力することを特徴とする。
【００１５】
これにより、同時に伝送されるオーディオビットストリームの復号再生出力との同期を保持することが可能となる。
【００１６】
（３）（１）の構成において、前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にある場合は誤りと判定することを特徴とする。
【００１７】
（４）（１）の構成において、前記誤り判定補正部は、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻として過去に正しいと判断された最新の再生時刻管理情報と、参照基準となっている動画像ビットストリーム内時刻管理情報を保存し、現フレームの再生時刻管理情報の再生時刻が、前記参照基準時刻より後にあるが、該再生時刻と過去に正しいと判定された最新の再生時刻管理情報との間隔が、現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分に所定時間を加えた時間を超える場合は誤りと判定することを特徴とする。
【００１８】
（３）、（４）の構成によれば、確実に誤りを判定することが可能となる。
【００１９】
（５）（３）または（４）の構成において、前記誤り判定補正部は、現フレームの再生時刻管理情報について誤りなしと判定した場合には、再生時刻として現フレームの再生時刻管理情報を用い、前記再生出力制御部に現フレームの再生時刻管理情報を送ると共に、前記参照基準時刻の情報としてその再生時刻管理情報を保存し、現フレームの再生時刻管理情報が誤りと判断された場合には、その情報を用いずに、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報の時間間隔を加えた時刻情報を求め、この時刻情報を再生時刻管理情報の補正値として前記再生出力制御部に送ることを特徴とする。
【００２０】
上記構成によれば、現フレームの再生時刻管理情報が誤りであった場合に、適切に補正することが可能となる。
【００２１】
（６）（３）または（４）の構成において、前記誤り判定補正部は、前記再生時刻管理情報の時間間隔が最小のフレーム間隔より長く、かつ一定時間内に収まる場合には、無条件に誤りなしと判定することを特徴とする。
【００２２】
上記構成によれば、再生時刻管理情報が誤りと判定される状態が続き、基準時刻が更新されない状態となって、正しい再生時刻管理情報が誤りと判定され続けることを防ぐことが可能となる。
【００２３】
また、本発明に係る再生時刻管理プログラムは、以下のような特徴的構成を備える。
【００２４】
（７）（１）の構成による動画像復号再生モジュールにおける誤り判定補正部の処理に用いられ、一つ前のフレームの再生時刻管理情報と共に、参照基準時刻となる過去に正しいと判断された最新の再生時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定する処理をコンピュータに実行させるための再生時刻管理プログラムであって、前記誤りを判定する処理は、現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にあるか後にあるかを判断する第１のステップと、この第１のステップで現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より前にあると判断されたとき、現フレームの再生時刻管理情報は誤りであると判定し、現フレームの再生時刻管理情報を補正して、その補正情報を再生時刻として保存する第２のステップと、前記第１のステップで現フレームの再生時刻管理情報の再生時刻が前記参照基準時刻より後にあると判断されたとき、現フレームの再生時刻管理情報の再生時刻が、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えるか否かを判断する第３のステップと、この第３のステップで現フレームの再生時刻管理情報の再生時刻が、前記基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えると判断されたとき、現フレームの再生時刻管理情報は誤りであると判定し、現フレームの再生時刻管理情報を補正して、その補正情報を前記再生時刻として保存する第４のステップと、前記第３のステップで現フレームの再生時刻管理情報の再生時刻が、前記基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内時刻管理情報との時間差分及び所定の比較時間を加えた時刻を超えないと判断されたとき、現フレームの再生時刻管理情報は正しいと判定し、その情報を前記再生時刻及び参照基準時刻の更新値として保存する第５のステップとを具備することを特徴とする。
【００２５】
（８）（７）の構成において、前記第２のステップ及び第４のステップの補正処理は、前記参照基準時刻に現フレームの動画像ビットストリーム内時刻管理情報と参照基準となっているフレームの動画像ビットストリーム内動画像ビットストリーム内時刻管理情報の時間間隔を加えた時刻情報を求め、この時刻情報を再生時刻管理情報の補正値とすることを特徴とする。
【００２６】
（７）、（８）の構成によれば、（３）〜（６）の誤り判定・補正処理をソフトウェアで実現することが可能となる。
【００２７】
さらに、本発明に係るマルチメディア情報受信装置は、以下のような特徴的構成を有する。
【００２８】
（９）オーディオ信号、動画像信号をそれぞれ符号化し、動画像ビットストリームのフレームヘッダに動画像ビットストリーム内時刻管理情報を付加し、フレーム単位でオーディオビットストリーム、動画像ビットストリームをパケット化し、そのパケット中に再生時刻管理情報を付加して、各パケットをマルチメディア情報として伝送するシステムのマルチメディア情報受信装置において、前記マルチメディア情報の受信信号から各パケット中のオーディオビットストリームと動画像ビットストリームを抽出し分離して、それぞれのパケットのヘッダ情報と共に送出する分離部と、この分離部で分離されたオーディオビットストリームとそのパケットヘッダ情報を入力し、オーディオビットストリームをフレーム単位で復号し、前記パケットヘッダ情報から再生時刻管理情報を抽出し、この再生時刻管理情報に基づいて復号されたオーディオ信号を再生出力するオーディオ信号処理部と、前記分離部で分離された動画像ビットストリームとそのパケットヘッダ情報を入力し、当該ビットストリーム中のフレームヘッダから動画像ビットストリーム内時刻管理情報を抽出すると共に、動画像ビットストリームをフレーム単位で復号し、前記パケットヘッダ情報から再生時刻管理情報を抽出し、この情報に基づいて復号された動画像信号を再生出力する動画像信号処理部とを具備し、前記動画像信号処理部は、前記パケットヘッダ情報から抽出された再生時刻管理情報のうち過去に正しいと判定された最新の再生時刻管理情報とこの再生時刻管理情報を含むフレームの参照基準となっている動画像ビットストリーム内時刻管理情報を用いて、現フレームの再生時刻管理情報の誤りを判定し、前記動画像復号部で抽出された現フレームの動画像ビットストリーム内時刻管理情報と前記過去に再生時刻管理情報が正しいと判定された最新のフレームの動画像ビットストリーム内時刻管理情報との時間差分に基づいて前記現フレームの再生時刻管理情報の誤りを補正する誤り判定補正部を備えることを特徴とする。
【００２９】
上記構成は、（１）の動画像復号再生モジュールの構成を、動画像信号処理部に適用したものである。したがって、上記マルチメディア情報受信装置においても、（２）〜（６）の構成をそのまま適用することができる。
【００３０】
すなわち、本発明では、ＭＰＥＧ−４などのように動画像ビットストリームのフレームヘッダ中に動画像ビットストリーム内時刻管理情報を含む動画像符号化方式を用いる場合に、パケット化の際に付加される、オーディオ信号再生と同期をとるための再生時刻管理情報に誤りが発生した場合でも、フレーム毎に得られる動画像ビットストリーム内時刻管理情報を利用して、再生時刻管理情報の誤りを自動的に検出してこれを補正するようにしている。このため、再生時刻管理情報の誤りが発生しても、オーディオ信号の再生出力との同期を保持することが可能となる。
【００３１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３２】
図１は本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図である。この携帯電話機ＭＳは、無線部１と、ベースバンド部２と、入出力部３と、電源部４とから構成される。
【００３３】
同図において、基地局（図示せず）から移動通信システム用の無線回線を介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンド部２に設けられた主制御部２１から指示される。
【００３４】
上記復調器から出力された復調信号はベースバンド部２に入力される。ベースバンド部２は、主制御部２１と、多重分離部２２と、音声符号復号部（以後音声コーデックと呼称する）２３と、画像処理部２４と、ＬＣＤ制御部２５とを備えている。
【００３５】
上記復調信号は、主制御部２１において制御情報であるかマルチメディア情報であるかが識別され、マルチメディア情報であればそのＴＳパケットが多重分離部２２に供給される。この多重分離部２２では、ＴＳパケットからＰＥＳパケットが再構成され、さらにＰＥＳパケットから音声ビットストリームと動画像ビットストリームとが分離される。また、ＴＳパケット及びＰＥＳパケットそれぞれのヘッダ情報も分離される。
【００３６】
上記多重分離部２２で分離された音声ビットストリームは音声コーデック２３に供給されて復号され、時間管理部２６で生成されるシステムタイムクロックに基づいて再生出力される。これにより再生された音声信号は入出力部３のスピーカ３２から拡声出力される。また、上記多重分離部２２で分離された動画像ビットストリームはＰＥＳパケットヘッダ情報と共に画像処理部２４に供給されて復号され、ここで時間管理部２６で生成されるシステムタイムクロックに基づいて再生出力される。これにより再生された画像信号は、ＬＣＤ制御部２５を介して入出力部３のＬＣＤ３４に供給され表示される。
【００３７】
尚、上記ＬＣＤ３４には、主制御部２１から出力された自装置の動作状態を表す種々情報、例えば電話帳や受信電界強度検出値、バッテリの残量なども表示される。
【００３８】
一方、入出力部３のマイクロホン３１から出力されたユーザの送話音声信号は、ベースバンド部２の音声コーデック２３に入力され、ここで音声符号化により音声ビットストリームとされたのち、多重分離部２２に入力される。またカメラ（ＣＡＭ）３３から出力された画像信号は、ベースバンド部２の画像処理部２４に入力され、ここでＭＰＥＧ−４による画像符号化処理が施されて動画像ビットストリームとされた後、上記多重分離部２２に入力される。多重分離部２２では、上記符号化された音声ビットストリームと動画像ビットストリームとがＭＰＥＧ−２システムで規定される所定のフォーマット（ＰＥＳパケット、ＴＳパケットへの変換）で多重化される。この多重化された送信データ（マルチメディア情報）は主制御部２１から無線部１の送信回路（ＴＸ）１５に入力される。
【００３９】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００４０】
尚、電源部４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００４１】
また入出力部４には、操作時及び通信時にＬＣＤ３４及びキー入力部３５を照明するための照明器３６が設けられている。この照明器３６は、例えばバックライト又はイルミネーションと呼ばれる。
【００４２】
また主制御部２１は、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどからなる内部メモリを備えたもので、無線チャネルの接続制御や通信リンク確立後の通信制御等、通常の制御機能を備えている。
【００４３】
図２は、上記音声コーデック２３、画像処理部２４、時間管理部２６の具体的な構成を示すブロック図である。
【００４４】
上記音声コーデック２３では、マイク３１からの音声信号は音声符号化処理部２３１に供給される。この音声符号化処理部２３１は、入力音声信号をＡＣＣまたはＡＭＲ方式等により圧縮符号化するもので、この音声符号化処理部２３１から出力される音声ビットストリームは多重分離部２２に供給される。
【００４５】
また、上記画像処理部２４では、カメラ３３からの動画像信号は動画像符号化処理部２４１に供給される。この動画像符号化処理部２４１は入力動画像信号をＭＰＥＧ−４の動画像符号化方式で圧縮符号化し、フレーム毎にヘッダ情報としタイムスタンプ（以下、Ｂ＿ＴＳと記す）を付加して動画像ビットストリームを生成する。この動画像符号化処理部２４１から出力される動画像ビットストリームは多重分離部２２に供給される。
【００４６】
上記多重分離部２２は、音声ビットストリーム及び動画像ビットストリームをそれぞれ１フレーム毎、または複数フレーム毎にパケット化してＰＥＳパケットを生成する。このとき、ＰＥＳパケットのヘッダ中に再生出力用のタイムスタンプ（ＰＴＳ）が付加される。さらに、ＰＥＳパケットを固定長のＴＳ（Transport Stream）パケットに変換し、マルチメディア情報とする。このＴＳパケットのヘッダには、送信側と受信側の時刻同期を図るための基準時刻校正情報（一般的には番組時刻参照値ＰＣＲ：Program Clock Reference）が付加される。
【００４７】
上記のようにして生成されたマルチメディア情報が受信された場合、多重分離部２２は、受信したＴＳパケットからＰＥＳパケットを復元し、各ＰＥＳパケットから音声ビットストリームと動画像ビットストリームとそれぞれのＰＥＳパケットヘッダ情報を分離する。音声ビットストリームとそのＰＥＳパケットのヘッダ情報は音声コーデック２３に供給され、動画像ビットストリームとそのＰＥＳパケットのヘッダ情報は画像処理部２４に供給される。また、多重分離部２２で得られたＴＳパケットのヘッダ情報は時間管理部２６に供給される。
【００４８】
時間管理部２６は、ＴＳパケットのヘッダ情報から番組時刻参照値（ＰＣＲ）を抽出し、この参照値に基づいてシステムタイムクロック（ＳＴＣ）を校正する。このシステムタイムクロック（ＳＴＣ）は音声コーデック２３及び動画像処理部２４に供給され、同期再生の基準とさせる。
【００４９】
上記音声コーデック２３では、多重分離部２２からの音声ビットストリームは音声復号部２３２に供給される。この音声復号部２３２は音声ビットストリームを復号するもので、その復号音声信号は再生出力制御部２３３に供給される。一方、多重分離部２２からのＰＥＳパケットのヘッダ情報はＰＴＳ抽出部２３４に供給される。このＰＴＳ抽出部２３４はＰＥＳパケットヘッダ情報から再生用タイムスタンプ（ＰＴＳ）を抽出するもので、ここで得られた再生用タイムスタンプ（ＰＴＳ）は再生出力制御部２３３に供給される。この再生出力制御部２３３は、時間管理部２６からのシステムタイムクロック（ＳＴＣ）の時刻と再生用タイムスタンプＰＴＳの時刻が一致したとき、復号音声信号を再生出力するもので、再生された音声信号はスピーカ３２に送出され、拡声出力される。
【００５０】
また、上記画像処理部２４では、多重分離部２２からの動画像ビットストリームは動画像復号部２４２に供給される。この動画像復号部２４２は、動画像ビットストリームをそのヘッダ中のタイムスタンプと共に復号するもので、その復号動画像信号は再生出力制御部２４３に供給される。一方、多重分離部２２からのＰＥＳパケットのヘッダ情報はＰＴＳ抽出部２４４に供給される。このＰＴＳ抽出部２４４はＰＥＳパケットヘッダ情報から再生用タイムスタンプ（ＰＴＳ）を抽出するもので、ここで得られた再生用タイムスタンプ（ＰＴＳ）は、誤り判定補正部２４５を介して再生出力制御部２４３に供給される。この再生出力制御部２３３は、時間管理部２６からのシステムタイムクロック（ＳＴＣ）の時刻と再生用タイムスタンプＰＴＳの時刻が一致したとき、復号動画像信号を再生出力するもので、再生された動画像信号はＬＣＤ制御部２５に送出され、ＬＣＤ３４に表示される。
【００５１】
ここで、上記誤り判定補正部２４５は、動画像復号部２４２で得られる動画像ビットストリームを入力し、この動画像ビットストリーム内から得られるタイムスタンプ（Ｂ＿ＴＳ）と過去のＰＴＳに基づいて、ＰＴＳ抽出部２４４からの再生用タイムスタンプ（ＰＴＳ）の正誤を判定し、誤りと判定された場合には、以前に正しいと判定された最新の再生用タイムスタンプ（ＰＴＳ）と動画像ビットストリーム内から得られるタイムスタンプ（Ｂ＿ＴＳ）とに基づいて、正しいと推定される再生用タイムスタンプを生成して、誤りのタイムスタンプ（ＰＴＳ）に代わって再生出力制御部２４３に出力する。
【００５２】
上記構成において、図３及び図４を参照して、誤り判定補正部２４５の誤り判定、再生用タイムスタンプ（ＰＴＳ）の補正処理について説明する。
【００５３】
まず、時間管理部２６では、番組時刻参照値（ＰＣＲ）を抽出する度に、この参照値とシステムタイムクロック（ＳＴＣ）を比較し、随時システムタイムクロック（ＳＴＣ）を校正して、画像処理部２４の再生出力制御部２４３に送出している。画像処理部２４では、動画像復号部２４２で各フレームの動画像ビットストリームを復号した後、各フレームに対応する再生用タイムスタンプ（ＰＴＳ）をＰＴＳ抽出部２４４で取り出して再生出力制御部２４３にセットする。再生出力制御部２４３では、システムタイムクロック（ＳＴＣ）が再生用タイムスタンプ（ＰＴＳ）を経過した時点で復号動画像信号を再生出力する。
【００５４】
このような処理の流れにおいて、誤り判定補正部２４５では、一つ前のフレームの再生用タイムスタンプＰＴＳ（ｎ−１）を保存しており、これらと共に正しいタイムスタンプと判断された過去最新のタイムスタンプＣＰＴＳと、そのフレームの動画像ビットストリーム内から得られるタイムスタンプＢ＿ＴＳ（Ｋ）（ＫとはＣＰＴＳのフレーム番号）をもっている。ＣＰＴＳは、例えばＰＴＳ（ｎ−１）が誤りでないと判断されていれば、ＰＴＳ（ｎ−１）が入っており、ＰＴＳ（ｎ−１）が誤りと判断され、その一つ前のＰＴＳ（ｎ−２）が正しいと判断されていれば、ＰＴＳ（ｎ−２）が入っている。ＰＴＳ抽出部２４４で抽出された現フレームのタイムスタンプＰＴＳ（ｎ）が誤りと判断するか否かは、例えば下記の条件で判断する。
【００５５】
（１）ＣＰＴＳ＞ＰＴＳ（ｎ）の場合は、時間が戻ることはないので誤りと判断する。図３（ａ）にその一例を示す。
（２）ＣＰＴＳ＜ＰＴＳ（ｎ）の場合は、ビットストリームから抽出された動画像ビットストリーム内から得られるタイムスタンプＢ＿ＴＳの時間間隔Ｂ＿ＴＳ（ＰＴＳ（ｎ））−Ｂ＿ＴＳ（ＣＰＴＳ）にある基準時間PTS_Thr_interva1（例えばフレーム長）を加えた時間よりも大きい場合は誤りとみなす。図３（ｂ）にその一例を示す。
【００５６】
上記判断において、現フレームの再生用タイムスタンプＰＴＳ（ｎ）が誤りなしと判断された場合は、再生表示時間として再生用タイムスタンプＰＴＳ（ｎ）を用い、再生出力制御部２４３にＰＴＳ（ｎ）を送ると共に、ＣＰＴＳをＰＴＳ（ｎ）で更新する。現フレームの再生用タイムスタンプＰＴＳ（ｎ）が誤りと判断された場合は、ＰＴＳ（ｎ）は用いずにＣＰＴＳに動画像ビットストリーム内から得られるタイムスタンプＢ＿ＴＳの時間間隔Ｂ＿ＴＳ（ＰＴＳ（ｎ））−Ｂ＿ＴＳ（ＣＰＴＳ）を加えた時刻情報を求め、この時刻情報を再生用タイムスタンプＰＴＳ（ｎ）の補正値として再生出力制御部２４３に送る。
【００５７】
但し、再生用タイムスタンプ（ＰＴＳ）が誤りと判断される状態が続き、ＣＰＴＳが更新されない状態が続くことがある。このように、再生用タイムスタンプ（ＰＴＳ）が正しいにも関わらず誤りと判定され続けるのを防ぐため、上記（１）、（２）のいずれの場合においても、再生用タイムスタンプ（ＰＴＳ）の間隔ＰＴＳ（ｎ）−ＰＴＳ（ｎ−１）が標準の秒３０枚動画像のフレーム間隔３３msecより大きく、ある比較基準値PTS_Valid_limitまでの範囲内の時は無条件に誤りなしと判定する。
【００５８】
上記再生用タイムスタンプＰＴＳの誤り判定処理の流れを図４に示す。
【００５９】
図４において、まず、現フレームの再生用タイムスタンプＰＴＳ（Cur）がそのフレームの前に有効となった再生用タイムスタンプＣＰＴＳより小さい（ＰＴＳ（Cur）＜ＣＰＴＳ）か判断し（ステップＳ１１）、小さい場合には、現フレームの再生用タイムスタンプＰＴＳ（Cur）とその前のフレームの再生用タイムスタンプＰＴＳ（Prev）との間隔が３３msec以上PTS_Valid_limit以下（３３msec≦（ＰＴＳ（Cur）−ＰＴＳ（Prev））≦PTS_Valid_limit）か判定する（ステップＳ１２）。その範囲内ならば、現フレームの再生用タイムスタンプＰＴＳ（Cur）を有効タイムスタンプと判定する（ステップＳ１３）。
【００６０】
ステップＳ１１において、条件を満たさない場合は、現フレームの再生用タイムスタンプＰＴＳ（Cur）とそのフレームの前に有効となった再生用タイムスタンプＣＰＴＳとの間隔がＰＴＳ（Cur）とＣＰＴＳ各々に対応する動画像ビットストリーム内から得られたタイムスタンプの間隔Ｂ＿ＴＳ（ＰＴＳ（Cur））−Ｂ＿ＴＳ（ＣＰＴＳ）＋ＰＴＳ_thr_intervalより大きいか判断し（Ｓ１４）、大きければステップＳ１２に移行し、小さければステップＳ１３に移行する。また、ステップＳ１２において、条件を満たさない場合は、現フレームの再生用タイムスタンプＰＴＳ（Cur）を無効タイムスタンプと判定し（ステップＳ１５）、一連の処理を終了する。
【００６１】
上記再生用タイムスタンプＰＴＳの補正処理の流れを図５に示す。
【００６２】
図５において、まず現フレームの再生用タイムスタンプＰＴＳ（Cur）を入力し（ステップＳ２１）、図４に示した判定処理によりＰＴＳ（Cur）が正しいか判定する（ステップＳ２２）。正しい場合には、ＣＰＴＳ＝ＰＴＳ（Cur），Ｂ＿ＴＳ（ＣＰＴＳ）＝Ｂ＿ＴＳ（ＰＴＳ（Cur）），ＰＴＳ（Prev）＝ＰＴＳ（Cur）とし（ステップＳ２３）、表示再生時刻ＴをＴ＝ＣＰＴＳにセットする（ステップＳ２４）。
【００６３】
ステップＳ２２において、条件を満たさない場合は、ＰＴＳ（Prev）＝ＰＴＳ（Cur）とし（ステップＳ２５）、表示再生時刻ＴをＴ＝ＰＴＳ（ＣＰＴＳ）＋Ｂ＿ＴＳ（ＰＴＳ（Cur））−Ｂ＿ＴＳ（ＣＰＴＳ）にセットし（ステップＳ２６）、一連の処理を終了する。
【００６４】
以上の処理により、現フレームの再生用タイムスタンプＰＴＳの正誤を正しく判定することができ、誤りを検出した場合には、動画像ビットストリームのフレームヘッダに付加されている動画像ビットストリーム内タイムスタンプを利用して再生用タイムスタンプＰＴＳを補正することができ、これによって再生タイムスタンプＰＴＳの誤りが生じても、音声信号との同期を確実に行うことが可能となる。
【００６５】
尚、以上の実施形態は、本発明を携帯電話機の画像処理部に適用した場合の例であるが、本発明はこれに限定されるものではなく、ＭＰＥＧ−４システムまたはこれに類似する規格を採用するマルチメディア情報伝送システムの受信装置にも適用可能である。
【００６６】
また、画像処理部２４において、動画像復号再生や時刻管理に係わる部分をＩＣチップとしてモジュール化することで、一般の流通に乗せることが可能である。また、図４に示した再生用タイムスタンプの誤り判定処理、図５に示した再生用タイムスタンプの補正処理は、再生時刻管理プログラムとして、電話回線、インターネット等を通じて配布することも可能である。
【００６７】
【発明の効果】
以上のように本発明によれば、動画像及びオーディオのビットストリームを多重したマルチメディア情報を分離・復号してそれぞれを再生する際に、両者の再生タイミングを同期させるためのタイムスタンプ情報に誤りが発生しても、その誤ったタイムスタンプ情報を補正する再生時刻管理プログラムと、このプログラムの処理によって確実に同期再生を行うことのできる動画像復号再生モジュールと、このモジュールを用いたマルチメディア情報受信装置を提供することができる。
【図面の簡単な説明】
【図１】  本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図。
【図２】  同実施形態の音声コーデック、画像処理部、時間管理部の具体的な構成を示すブロック図。
【図３】  同実施形態において、再生用タイムスタンプが誤りと判定される場合の条件を示す図。
【図４】  同実施形態の再生用タイムスタンプの誤り判定処理の流れを示すフローチャート。
【図５】  同実施形態の再生用タイムスタンプの補正処理の流れを示すフローチャート。
【符号の説明】
ＭＳ…携帯電話機
１…無線部
１１…アンテナ
１２…アンテナ共用器（ＤＵＰ）
１３…受信回路（ＲＸ）
１４…周波数シンセサイザ（ＳＹＮ）
１５…送信回路（ＴＸ）
２…ベースバンド部
２１…主制御部
２２…多重分離部
２３…音声符号復号部（音声コーデック）
２３１…音声符号化処理部
２３２…音声復号部
２３３…再生出力制御部
２３４…ＰＴＳ抽出部
２４…画像処理部
２４１…動画像符号化処理部
２４２…動画像復号部
２４３…再生出力制御部
２４４…ＰＴＳ抽出部
２４５…誤り判定補正部
２５…ＬＣＤ制御部
２６…時間管理部
２６１…ＰＣＲ抽出部
２６２…ＳＴＣ生成部
３…入出力部
３１…マイクロホン
３２…スピーカ
３３…カメラ（ＣＡＭ）
３４…ＬＣＤ
３５…キー入力部
３６…照明器
４…電源部
４１…バッテリ
４２…充電回路
４３…電圧生成回路（ＰＳ）
【図１】
0004612171.tif 000002
【図２】
0004612171.tif 000003
【図３】
0004612171.tif 000004
【図４】
0004612171.tif 000005
【図５】
0004612171.tif 000006