(57)【特許請求の範囲】
【請求項１】
フレーム単位で符号化された画像信号とフレーム単位で設定された時刻情報とからなるフレーム信号を少なくとも１フレーム信号と、画像信号を再生する際に利用する再生時刻情報とを含むパケットを受信し、前記再生時刻情報に基づいて画像信号の再生を行う復号再生装置において、
エラーがないと判定された過去のパケットに含まれる再生時刻情報と時刻情報を記憶する時刻情報記憶手段と、
再生時刻情報リセット信号を検出する検出手段と、
この検出手段が再生時刻情報リセット信号を検出しないときは、受信したパケットに含まれる再生時刻情報と前記時刻情報記憶手段に記憶されている再生時刻情報とを比較し、受信したパケットに含まれる再生時刻情報が時刻情報記憶手段に記憶されている再生時刻情報より前の時刻を示す場合は受信したパケットに含まれる再生時刻情報のエラーと判定するエラー判定手段と、
このエラー判定手段が再生時刻情報にエラーがあると判定すると、前記時刻情報記憶手段に記憶されている時刻情報と受信したパケットに含まれる時刻情報との差分値を求め、この差分値を前記時刻情報記憶手段に記憶されている再生時刻情報に加えて再生時刻を推定する再生時刻推定手段と、
前記検出手段が再生時刻情報リセット信号を検出したとき又は前記エラー判定手段が再生時刻情報のエラーを検出しないときは、受信したパケットに含まれる再生時刻情報に基づいて画像信号を再生し、前記エラー判定手段が再生時刻情報のエラーを検出したときは、前記再生時刻推定手段が推定した再生時刻情報に基づいて画像信号を再生する再生制御手段と
を具備することを特徴とする復号再生装置。
【請求項２】
フレーム単位で符号化された画像信号とフレーム単位で設定された時刻情報とからなるフレーム信号を少なくとも１フレーム信号と、画像信号を再生する際に利用する再生時刻情報とを含むパケットを受信し、前記再生時刻情報に基づいて画像信号の再生を行う復号再生装置において、
エラーがないと判定された過去のパケットに含まれる再生時刻情報と時刻情報を記憶する時刻情報記憶手段と、
再生時刻情報リセット信号を検出する検出手段と、
この検出手段が再生時刻情報リセット信号を検出しないときは、受信したパケットに含まれる再生時刻情報と前記時刻情報記憶手段に記憶されている再生時刻情報との第１の差分値と、受信したパケットに含まれる時刻情報と前記時刻情報記憶手段に記憶されている時刻情報との第２の差分値を求め、第１の差分値と第２の差分値との差が所定値を超えている場合は受信したパケットに含まれる再生時刻情報のエラーと判定する判定手段と、
このエラー判定手段が再生時刻情報にエラーがあると判定すると、前記第２の差分値を前記時刻情報記憶手段に記憶されている再生時刻情報に加えて再生時刻を推定する再生時刻推定手段と、
前記検出手段が再生時刻情報リセット信号を検出したとき又は前記エラー判定手段が再生時刻情報のエラーを検出しないときは、受信したパケットに含まれる再生時刻情報に基づいて画像信号を再生し、前記エラー判定手段が再生時刻情報のエラーを検出したときは、前記再生時刻推定手段が推定した再生時刻情報に基づいて画像信号を再生する再生制御手段と
を具備することを特徴とする復号再生装置。
【請求項３】
前記再生時刻情報リセット信号は番組の変更の有無を示す識別子であり、前記検出手段は、この識別子が番組の変更を示す場合に再生時刻情報リセット信号を検出したと判断することを特徴とする請求項１または２に記載の復号再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化された情報を入力し、再生する復号再生装置に係り、特に、再生時刻の誤りの補正処理に関する。
【０００２】
【従来の技術】
動画像と音声からなるマルチメディア番組を、ＭＰＥＧ方式などによって符号化して伝送し、復号再生するマルチメディア情報処理システムにおいては、動画像と音声は、フレームと呼ばれる単位毎に符号化され、そのフレームを再生する時刻（Presentation Time Stamp、以後、ＰＴＳと称する。）が付加されて復号再生装置に伝送される。動画像に対するフレームは、時間的に連続する静止画であり、音声に対するフレームは、一定時間間隔に分割した音声である。
【０００３】
そして、符号化された動画像と音声とを同期をとって再生するには、符号化されたフレームを復号して、この復号されたフレームと符号化されたフレームに付加されたＰＴＳを共にメモリに記憶する。そして、復号再生装置の基準同期信号（System Time Clock、以後、ＳＴＣと称する。）が示す時刻が、上記ＰＴＳの時刻に一致した時点で、上記メモリに記憶されたフレームを再生する。
【０００４】
ここで、ＳＴＣは、符号化されたマルチメディア番組に付加される番組時刻基準参照値（Program Clock Reference、以後、ＰＣＲと称する。）が示す時刻を示すように、常に校正されている。
【０００５】
ところで、例えば、移動通信端末装置を用いた、符号化されたマルチメディア情報を実時間に伝送及び再生するシステムでは、符号化された情報の伝送中にＰＴＳに誤りが混入するようなことが発生した際には、その誤りが伝送装置によって訂正されないまま、復号再生装置に入力されることが皆無ではない。
【０００６】
なぜなら、移動通信端末装置を用いた、符号化されたマルチメディア情報を実時間に伝送及び再生するシステムでは、伝送ビットレートが低いため、デジタルテレビ放送システムで用いられている強固な誤り訂正用の冗長ビットを付加することができないことや、また、再送を行わないＵＤＰ（User Datagram Protocol）プロトコルを用いているため、インターネットで用いられているＴＣＰ（Transmission Control Protocol）プロトコルの再送機能を用いることもできないためである。
【０００７】
ここで、符号化された動画像は、符号化された音声より情報量が多いため、ＰＴＳの誤りは、符号化された音声情報よりも符号化された動画像情報に混入し易い。
【０００８】
そこで、移動通信端末装置を用いた、符号化されたマルチメディア情報を実時間に伝送及び再生するシステム向けの動画像の復号再生方法では、たとえＰＴＳに誤りが含まれていても動画像を音声と同期をとって再生するために、その誤りを補正する必要がある。その補正の方法としては、符号化された画像フレームにＰＴＳとは別の時刻情報を付加し、それを用いてＰＴＳの誤りの検出及び補正を行う処理が行われている（例えば、特許文献１参照。）。
【０００９】
【特許文献１】
特開２００２−１３５７７７号公報（第２−３頁、図２）
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、複数の連続した符号化されたフレームに付加されたＰＴＳに誤りが含まれている場合に、それらに続く符号化されたフレームに付加されたＰＴＳに誤りが含まれているか否かの判断に多くの計算量が必要である問題点があった。
【００１１】
本発明は、上記問題点を解決するためになされたもので、ＰＴＳに誤りが含まれていないことを少ない計算量で判断できる復号再生装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の復号再生装置は、フレーム単位で符号化された画像信号とフレーム単位で設定された時刻情報とからなるフレーム信号を少なくとも１フレーム信号と、画像信号を再生する際に利用する再生時刻情報とを含むパケットを受信し、前記再生時刻情報に基づいて画像信号の再生を行う復号再生装置において、エラーがないと判定された過去のパケットに含まれる再生時刻情報と時刻情報を記憶する時刻情報記憶手段と、再生時刻情報リセット信号を検出する検出手段と、この検出手段が再生時刻情報リセット信号を検出しないときは、受信したパケットに含まれる再生時刻情報と前記時刻情報記憶手段に記憶されている再生時刻情報とを比較し、受信したパケットに含まれる再生時刻情報が時刻情報記憶手段に記憶されている再生時刻情報より前の時刻を示す場合は受信したパケットに含まれる再生時刻情報のエラーと判定するエラー判定手段と、このエラー判定手段が再生時刻情報にエラーがあると判定すると、前記時刻情報記憶手段に記憶されている時刻情報と受信したパケットに含まれる時刻情報との差分値を求め、この差分値を前記時刻情報記憶手段に記憶されている再生時刻情報に加えて再生時刻を推定する再生時刻推定手段と、前記検出手段が再生時刻情報リセット信号を検出したとき又は前記エラー判定手段が再生時刻情報のエラーを検出しないときは、受信したパケットに含まれる再生時刻情報に基づいて画像信号を再生し、前記エラー判定手段が再生時刻情報のエラーを検出したときは、前記再生時刻推定手段が推定した再生時刻情報に基づいて画像信号を再生する再生制御手段とを具備することを特徴とする。
【００１３】
また、本発明の復号再生装置は、フレーム単位で符号化された画像信号とフレーム単位で設定された時刻情報とからなるフレーム信号を少なくとも１フレーム信号と、画像信号を再生する際に利用する再生時刻情報とを含むパケットを受信し、前記再生時刻情報に基づいて画像信号の再生を行う復号再生装置において、エラーがないと判定された過去のパケットに含まれる再生時刻情報と時刻情報を記憶する時刻情報記憶手段と、再生時刻情報リセット信号を検出する検出手段と、この検出手段が再生時刻情報リセット信号を検出しないときは、受信したパケットに含まれる再生時刻情報と前記時刻情報記憶手段に記憶されている再生時刻情報との第１の差分値と、受信したパケットに含まれる時刻情報と前記時刻情報記憶手段に記憶されている時刻情報との第２の差分値を求め、第１の差分値と第２の差分値との差が所定値を超えている場合は受信したパケットに含まれる再生時刻情報のエラーと判定する判定手段と、このエラー判定手段が再生時刻情報にエラーがあると判定すると、前記第２の差分値を前記時刻情報記憶手段に記憶されている再生時刻情報に加えて再生時刻を推定する再生時刻推定手段と、前記検出手段が再生時刻情報リセット信号を検出したとき又は前記エラー判定手段が再生時刻情報のエラーを検出しないときは、受信したパケットに含まれる再生時刻情報に基づいて画像信号を再生し、前記エラー判定手段が再生時刻情報のエラーを検出したときは、前記再生時刻推定手段が推定した再生時刻情報に基づいて画像信号を再生する再生制御手段とを具備することを特徴とする。
【００１４】
本発明によれば、符号化の方式情報が正しく入力できた際、及び、復号した情報の再生時刻を計時する手段に対して時刻のリセットの指示を入力した際に、少ない計算量で再生する時刻は誤りなしと判断することができる。
【００１５】
【発明の実施の形態】
以下に、本発明による復号再生装置の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係る復号再生装置が適用された移動通信端末装置の構成を示すブロック図である。
【００１６】
この移動通信端末装置は、装置全体の制御を行う制御装置１と、アンテナ２ａと、通信装置２ｂと、送受信装置３と、利用者からの操作指示を入力する入力装置４と、動画像及び音声からなるマルチメディア番組の符号化及び復号再生を行う符号化復号化装置５と、カメラ６ａと、表示装置６ｂと、マイク６ｃと、スピーカ６ｄとにより構成される。
【００１７】
通信装置２ｂは、アンテナ２ａが受信した高周波信号を送受信装置３へ出力し、また、送受信装置３から出力される高周波信号をアンテナ２ａより送信する。
【００１８】
次に、送受信装置３の動作を説明する。送受信装置３は、通信装置２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得た符号化されたマルチメディア番組信号を符号化復号化装置５に送り、また、制御信号を制御装置１に送る。送受信装置３は、更に、符号化復号化装置５から出力される符号化されたマルチメディア番組信号、及び、制御装置１から出力される制御信号を変調、周波数変換及び増幅し、高周波信号を得てそれを通信装置２ｂに送る。
【００１９】
図２は、符号化復号化装置５の構成を示すブロック図である。符号化復号化装置５は、多重分離部１１と、動画像符号化部１２と、動画像復号化部１３と、画像バッファ１４と、画像再生制御部１５と、時刻管理部２１と、ＳＴＣ部２２と、音声符号化部２３と、音声復号化部２４と、音声バッファ２５と、音声再生制御部２６とにより構成される。
【００２０】
上記のように構成された、本発明の実施形態に係る移動通信端末装置の動作を説明する。
【００２１】
まず、多重分離部１１の動作を説明する。多重分離部１１は、動画像符号化部１２から出力される符号化された画像フレーム信号と、音声符号化部２３から出力される符号化された音声フレーム信号を多重化し、得られた符号化されたマルチメディア番組信号を送受信装置３に送る。
【００２２】
即ち、多重分離部１１は、カメラ６ａから入力された動画像に対し、動画像符号化部１２から出力される符号化された画像フレーム信号を複数個まとめてＰＥＳ（Packetized Elementary Stream）パケットを作成する。
【００２３】
動画像符号化部１２から出力される全ての符号化された画像フレーム信号内のフレームヘッダ情報には、Ｂ＿ＴＳと呼ばれるそれぞれの画像フレームが再生される時刻が付加され、また、一部の符号化された画像フレーム信号には、ＣＩ（Configuration Information）と呼ばれる情報（その動画像の符号化の形式を表す情報）、例えば、符号化プロファイル、画像の大きさ、必要な画像バッファ１４の大きさなどの情報が付加されていることから、それらもＰＥＳパケットに含める。Ｂ＿ＴＳは、動画像独自に定義され、音声とは無関係な時刻である。
【００２４】
多重分離部１１は、更に、ＰＥＳパケットの先頭の符号化された画像フレーム信号に、その画像フレーム信号を再生する時刻であるＰＴＳを付加してＰＥＳパケットを作成する。なお、その他の符号化された画像フレーム信号にＰＴＳを付加しても良い。
【００２５】
図３（ａ）は、第１の符号化された画像フレーム信号３１ａから第ｍの符号化された画像フレーム信号３１ｂまでが１つのＰＥＳパケット（画像）を構成している状況を示す。
【００２６】
ここで、全ての符号化された画像フレーム信号内のフレームヘッダ情報にはＢ＿ＴＳが付加されている。即ち、第１の符号化された画像フレーム信号３１ａには、Ｂ＿ＴＳ（３１ｃ）が付加され、以降同様にして、第ｍの符号化された画像フレーム信号３１ｂには、Ｂ＿ＴＳ（３１ｄ）が付加されている。
【００２７】
また、第１の符号化された画像フレーム信号３１ａには、ＣＩ（３１ｅ）及びＰＴＳ（３１ｆ）が更に付加されている。
【００２８】
多重分離部１１は、更に、マイク６ｃから入力された音声に対し、音声符号化部２３から出力される符号化された音声フレーム信号を複数個まとめてＰＥＳパケットを作成する。また、ＰＥＳパケットの先頭の符号化された音声フレーム信号には、その音声フレームを再生する時刻であるＰＴＳを付加する。なお、その他の符号化された音声フレーム信号にＰＴＳを付加しても良い。
【００２９】
図３（ｂ）は、第１の符号化された音声フレーム信号３２ａから第ｎの符号化された音声フレーム信号３２ｂまでが１つのＰＥＳパケット（音声）を構成している状況を示す。ここで、第１の符号化された音声フレーム信号３２ａには、ＰＴＳ（３２ｃ）が付加されている。
【００３０】
多重分離部１１は、続いて、これらの画像のＰＥＳパケットおよび音声のＰＥＳパケットをパケット毎に固定長のＴＳ（Transport Stream）パケットに分割し、更にＴＳパケット毎にＰＣＲを付加して送受信装置３に送る。図３（ｃ）は、１つのＰＥＳパケットが第１のＴＳパケット３３ａから第ｐのＴＳパケット３３ｂまでに分割され、ＴＳパケット毎にＰＣＲが付加された状況を示す。即ち、第１のＴＳパケット３３ａにはＰＣＲ（３３ｃ）が、第ｐのＴＳパケット３３ｂにはＰＣＲ（３３ｄ）がそれぞれ付加されている。
【００３１】
多重分離部１１は、送受信装置３から出力される符号化されたマルチメディア番組信号を、符号化された画像フレーム信号と、符号化された音声フレーム信号と、ＰＣＲとに分離する。そして、符号化された画像フレーム信号を動画像復号化部１３に送り、符号化された音声フレーム信号を音声復号化部２４に送り、ＰＣＲを時刻管理部２１に送る。
【００３２】
即ち、送受信装置３から出力されるマルチメディア番組信号は、図３（ｃ）の構造を持つ、複数のＴＳパケットからなり、ＴＳパケット毎にＰＣＲ３３ｃ、…、３３ｄが付加された信号を受信し、この内、ＰＣＲ３３ｃ、…、３３ｄを分離して、時刻管理部２１に送る。
【００３３】
また、多重分離部１１は、ＴＳパケットを分離してそれをＰＥＳパケットに統合し、そのＰＥＳパケットが図３（ａ）に示す符号化された画像フレーム信号からなるパケットであれば、それに含まれるＰＴＳ、ＣＩ及びＢ＿ＴＳを含む符号化された画像フレーム信号を動画像復号化部１３に送る。
【００３４】
また、そのＰＥＳパケットが図３（ｂ）に示す符号化された音声フレーム信号からなるパケットであれば、それに含まれるＰＴＳ及び符号化された音声フレーム信号を音声復号化部２４に送る。
【００３５】
次に、動画像符号化部１２の動作を説明する。動画像符号化部１２は、まず、カメラ６ａから出力される動画像信号から画像フレーム信号、即ち、時間的に連続する静止画を作成する。
【００３６】
続いて、得られた画像フレーム信号毎に、それを離散コサイン変換し、得られた離散コサイン変換係数を量子化の上、符号化する。続いて、得られた符号化された画像フレーム信号内のフレームヘッダ情報にそれを再生する時刻Ｂ＿ＴＳを付加して、また、一部の符号化された画像フレーム信号にＣＩを付加して、多重分離部１１に送る。
【００３７】
次に、動画像復号化部１３の動作を説明する。図４は、動画像復号化部１３の動作のフローチャートを示す。動画像復号化部１３は、動作を開始し（ステップ４１ａ）、多重分離部１１から出力される符号化された画像フレーム信号を受信する。その際、符号化された画像フレーム信号に付加されたＰＴＳ、ＣＩ及びＢ＿ＴＳも同時に受信する（ステップ４１ｂ）。
【００３８】
続いて、受信した符号化された画像フレーム信号をＣＩが示す符号化方法に従って復号する。即ち、符号化された画像フレーム信号を復号し、復号された信号を逆量子化の上、逆離散コサイン変換することによって復号された画像フレーム信号、即ち、静止画を得て、その信号を画像バッファ１４に格納する（ステップ４１ｃ）。
【００３９】
動画像復号化部１３は、続いて、得られた復号された画像フレーム信号に再生する時刻ＰＴＳを付加する。そのため、まず、受信した符号化された画像フレーム信号にＰＴＳが付加されているか否かを調べる（ステップ４１ｄ）。付加されていれば、付加されたＰＴＳに誤りが混入しているか否かを調べる。
【００４０】
即ち、まず、受信した符号化された画像フレーム信号にＣＩが付加されているなら、それが過去に受信した符号化された画像フレーム信号に付加されていて、動画像復号化部１３に記憶されているＣＩと同一かを調べる（ステップ４１ｅ）。もし、同一ならＣＩが正しいので、受信した符号化された画像フレーム信号に付加されたＰＴＳには誤りがないと判断する。なぜなら、上記ＣＩと上記ＰＴＳとは同じ、または、隣接するＴＳパケットとして伝送されているので、一方が正しく伝送された時には他方も正しく伝送されたとみなすことができるからである。
【００４１】
続いて、そのＰＴＳとステップ４１ｃで復号された画像フレーム信号とを画像バッファ１４に格納する（ステップ４１ｆ）。
【００４２】
ステップ４１ｅで、正しいＣＩが付加されていないと判断したならば、動画像復号化部１３は、時刻管理部２１からＳＴＣリセット信号を受信したか否かを調べる（ステップ４１ｇ）。ＳＴＣリセット信号を受信した場合は、ＰＴＳに誤りがないと判断して、ＰＴＳとステップ４１ｃで復号された画像フレーム信号とを画像バッファ１４に格納する（ステップ４１ｆ）。
【００４３】
なぜなら、時刻管理部２１からのＳＴＣリセット信号を受信した際は、ある番組が終了し、別の番組の最初の符号化された画像フレームが多重分離部１１から送られたことを意味するので、受信した符号化された画像フレーム信号に付加されたＰＴＳの過去のＰＴＳとの連続性は失われ、後述するその連続性による誤り検出は不可能になるので、上記付加されたＰＴＳは正しいとみなすのが適当だからである。
【００４４】
ステップ４１ｇで、ＳＴＣリセット信号を受信していない場合は、動画像復号化部１３は、受信した符号化された画像フレーム信号に付加されたＰＴＳと、過去に受信した符号化された画像フレーム信号に付加され、かつ、動画像復号化部１３が記憶している誤りのないＰＴＳとを比較し、受信した符号化された画像フレーム信号に付加されたＰＴＳの誤りの有無を検証する（ステップ４１ｈ）。
【００４５】
ステップ４１ｈの検証基準として、例えば２つの基準が用いられる。第１の基準として、画像フレーム信号が再生順に送られてくることが合意されている場合には、受信した符号化された画像フレーム信号に付加されたＰＴＳが過去の誤りのないＰＴＳと比較して小さいなら、付加されたＰＴＳは誤りと判断する。
【００４６】
また、第２の基準として、受信した符号化された画像フレーム信号に付加されたＰＴＳと過去の誤りのないＰＴＳとの差と、受信した符号化された画像フレーム信号に付加されたＢ＿ＴＳと動画像復号化部１３が記憶している誤りのないＰＴＳが付加されていた符号化された画像フレーム信号に付加されていたＢ＿ＴＳとの差を比較し、上記２つの差の間の差が所定数以上であれば、ＰＴＳは誤りと判断する。
【００４７】
もし、ステップ４１ｈにおけるこれらの判断基準のいずれにも合致しない場合は、動画像復号化部１３は、ＰＴＳには誤りがないと判断して、そのＰＴＳとステップ４１ｃで復号された画像フレーム信号とを画像バッファ１４に格納する（ステップ４１ｆ）。この際、ＰＴＳとＢ＿ＴＳを、誤りのないＰＴＳ、及び、それが付加されていた符号化された画像フレーム信号に付加されていたＢ＿ＴＳとして、動画像復号化部１３内に記憶する。
【００４８】
一方、ステップ４１ｄで、受信した符号化された画像フレーム信号にＰＴＳが付加されていないと判断した場合、及び、ステップ４１ｈで、受信した符号化された画像フレーム信号に付加されたＰＴＳに誤りがあると判断した場合には、動画像復号化部１３は、受信した符号化された画像フレーム信号に対応するＰＴＳを推定し、そのＰＴＳとステップ４１ｃで復号された画像フレーム信号とを画像バッファ１４に格納する（ステップ４１ｉ）。
【００４９】
ここで、受信した符号化された画像フレーム信号に対するＰＴＳの推定値は、その画像フレーム信号に付加されたＢ＿ＴＳと、誤りのないＰＴＳが付加されていた符号化された画像フレーム信号に付加されていたＢ＿ＴＳとの差を求め、その差を過去の誤りのないＰＴＳに加えることによって得る。
【００５０】
ステップ４１ｆ、または、ステップ４１ｉで、画像フレーム信号のＰＴＳを画像バッファ１４に格納した後、動画像復号化部１３は、ステップ４１ｂへ戻り（ステップ４１ｊ）、次の画像フレームの処理を行う。
【００５１】
次に、画像再生制御部１５の動作を説明する。画像再生制御部１５は、ＳＴＣ部２２が示す時刻を読込み、読込んだ時刻と同一の時刻のＰＴＳが画像バッファ１４に記憶されているかを検索する。もし、記憶されていれば、そのＰＴＳと共に画像バッファ１４に記憶されている復号された画像フレーム信号、即ち、静止画を読み出し、表示装置６ｂに表示する。
【００５２】
次に、時刻管理部２１の動作を説明する。時刻管理部２１は、多重分離部１１から出力されるＰＣＲを受信し、それが示す時刻をＳＴＣ部２２が示すように、ＳＴＣ部２２を校正する。また、時刻管理部２１がＳＴＣリセットを検出した際には、そのＳＴＣリセットを示す信号を動画像復号化部１３と、音声復号化部２４に送る。
【００５３】
ここで、時刻管理部２１におけるＳＴＣリセットの検出は、ＰＣＲが示す時刻が、ある時点の以前と以後とで階段状に、所定値以上の差をもって変化することによる。または、ＰＣＲに番組変更の有無の識別子が含まれ、その識別子が番組変更有りを示すことによっても良い。
【００５４】
次に、音声符号化部２３の動作を説明する。音声符号化部２３は、まず、マイク６ｃから出力される音声信号から音声フレーム信号、即ち、一定時間間隔に分割した音声信号を作成する。
【００５５】
音声符号化部２３は、続いて、得られた音声フレーム信号毎に、それをＡＡＣ（Advanced Audio Coding）方式によって時間周波数変換する。続いて、得られたＭＤＣＴ（Modified Discrete Cosine Transform）係数を量子化の上、符号化する。ＰＴＳの付加については、既に述べた通りである。続いて、得られた符号化された音声フレーム信号を多重分離部１１に送る。
【００５６】
次に、音声復号化部２４の動作を説明する。音声復号化部２４は、まず、多重分離部１１から出力される符号化された音声フレーム信号を受信する。その際、それに付加されたＰＴＳも同時に受信する。続いて、受信した符号化された音声フレーム信号を復号し、復号された信号を逆量子化の上、逆時間周波数変換することによって、復号された音声フレーム信号、即ち、一定時間幅の音声信号を得て、その信号を音声バッファ２５に格納する。
【００５７】
音声復号化部２４は、続いて、動画像と同様に、復号された音声フレーム信号に再生する時刻ＰＴＳを付加する。もし、受信した符号化された音声フレーム信号にＰＴＳが付加されていれば、そのＰＴＳと復号された音声フレーム信号とを音声バッファ２５に格納する。
【００５８】
もし、その音声フレーム信号にＰＴＳが付加されていなければ、過去の符号化された音声フレーム信号に付加されていたＰＴＳに所定の推定値を加えてＰＴＳを求める。即ち、その過去の符号化された音声フレーム（フレーム１）から現在受信した符号化された音声フレーム（フレームｍ）間のフレーム数ｋ（ｋ＝ｍ−１）を求め、このフレーム数ｋに１つの音声フレームが含む音声の時間幅ｔを乗算した数（ｋ×ｔ）を加えることによって推定値を算出する。こうして求めたＰＴＳと復号された音声フレーム信号とを音声バッファ２５に格納する。
【００５９】
次に、音声再生制御部２６の動作を説明する。音声再生制御部２６は、ＳＴＣ部２２が示す時刻を読込み、読込んだ時刻と同一の時刻のＰＴＳが音声バッファ２５に記憶されているかを検索する。もし、記憶されていれば、そのＰＴＳと共に音声バッファ２５に記憶されている復号された音声フレーム信号、即ち、一定時間幅の音声信号をスピーカ６ｄに送って発音する。
【００６０】
本実施形態では、符号化された音声フレームに付加されたＰＴＳの誤り検出は行わないとしたが、行っても良い。また、動画像は、１つの動画像であるとしたが、動画像が複数の任意形状の動画像の集まりとして定義されていても良い。その場合には、上記各任意形状の動画像毎に行われる復号及び再生に本発明を適用できる。
【００６１】
更に、画像フレームの符号化は離散コサイン変換方式によるとしたが、これに限るものはなく、また、音声フレームの符号化はＡＡＣ方式によるとしたが、これに限るものではない。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。
【００６２】
また、以上の説明は、本発明を移動通信端末装置に適用した形態を例にとって行ったが、本発明は、放送システムの受信装置に適用することも当然に可能である。
【００６３】
【発明の効果】
以上述べたように、本発明によれば、符号化されたフレームに付加され、その符号化の形式を表すＣＩ（Configuration Information）を正しく受信した際、及び、復号再生装置の基準同期信号であるＳＴＣ（System Time Clock）のリセットが行われる際には、受信したフレームを再生する時刻、ＰＴＳ（Presentation Time Stamp）は正しいと判断することにより、少ない計算量で受信したＰＴＳが正しいと判断することができる。
【図面の簡単な説明】
【図１】  本発明の実施形態に係る移動通信端末装置を示すブロック図。
【図２】  本発明の実施形態に係る符号化復号化装置を示すブロック図。
【図３】  本発明の実施形態に係る符号化されたマルチメディア番組のデータ構造を示す図。
【図４】  本発明の実施形態に係る動画像復号化部の動作を示すフローチャート。
【符号の説明】
５  符号化復号化装置
１１  多重分離部
１３  動画像復号化部
１５  画像再生制御部
２１  時刻管理部
２２  ＳＴＣ部
２４  音声復号化部
２６  音声再生制御部
【図１】
0004127799.tif 000002
【図２】
0004127799.tif 000003
【図３】
0004127799.tif 000004
【図４】
0004127799.tif 000005