(57)【特許請求の範囲】
【請求項１】
マルチメディアデータに対する同期層構成情報、基本ストリーム情報及びデータ復号化構成情報からなる詳細情報を抽出するデータ情報抽出部と、
第１設定時間中前記マルチメディアデータを保存する入力バッファ部と、
該入力バッファ部から前記マルチメディアデータを各類型別に原信号に復元するデコード部と、
第２設定時間中前記デコード部で原信号に復元された前記マルチメディアデータを所定時間中保存する出力バッファ部と、
前記データ情報抽出部から抽出された前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のバッファリング容量を決定する制御部とを備え、
前記詳細情報を通して分析された前記マルチメディアデータの各メディア類型の特性により、前記制御部はメディアデータの入力及び出力遅延のための許容時間である遅延時間ＴＤ値をそれぞれ所定の設定基準時間より大きいロング許容時間(long TD)、前記基準時間と同一な中間許容時間(mid TD)、及び前記基準時間より小さいショート許容時間(short TD)に区分して設定することを特徴とするマルチメディアデータ復元装置。
【請求項２】
前記マルチメディアデータを前記類型別に分離し、分離された前記マルチメディアデータを前記入力バッファ部に提供する多重スイッチング部をさらに備えることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項３】
前記多重スイッチング部は、前記マルチメディアデータをオーディオデータ、ビデオデータ、テキストデータ及びグラフィックデータのようなメディアデータの各類型に分類することを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項４】
前記出力バッファ部から復元された前記マルチメディアデータの画面上の表示位置を設定するコンポジッタをさらに備えることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項５】
前記コンポジッタは、前記復元されたマルチメディアデータから画面上にグラフィック情報を選択的に表示することを特徴とする請求項４に記載のマルチメディアデータ復元装置。
【請求項６】
前記制御部は、前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部の前記容量を可変することを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項７】
前記入力バッファ部は、テキストデータを保存する第１バッファ、グラフィックデータを保存する第３バッファ、ビデオデータを保存する第５バッファ、及びオーディオデータを保存する第７バッファを含み、前記テキストデータ、前記グラフィックデータ、前記ビデオデータ、及び前記オーディオデータは前記デコード部に出力されることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項８】
前記デコード部は、前記テキストデータを復元する第１デコーダ、前記グラフィックデータを復元する第２デコーダ、前記ビデオデータを復元する第３デコーダ、及び前記オーディオデータを復元する第４デコーダを備えることを特徴とする請求項７に記載のマルチメディア
データ復元装置。
【請求項９】
前記オーディオデータは、マークイメージが前記オーディオデータに対応して前記コンポジッタに指示されるよう前記コンポジッタを制御するために前記制御部に転送されることを特徴とする請求項８に記載のマルチメディアデータ復元装置。
【請求項１０】
前記コンポジッタは、前記制御部により決定された出力同期信号に応じて前記テキストデータ、前記グラフィックデータ、前記ビデオデータ、及び前記オーディオデータの前記表示位置を設定することを特徴とする請求項９に記載のマルチメディアデータ復元装置。
【請求項１１】
前記遅延時間ＴＤ値は、前記マルチメディアデータの前記メディア類型がグラフィックデータ及びテキストデータに含まれれば前記ロング許容時間(long TD)に設定されることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１２】
前記遅延時間ＴＤ値は、前記マルチメディアデータの前記メディア類型がビデオデータに含まれれば前記許容時間(mid TD)に設定されることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１３】
前記遅延時間ＴＤ値は、前記マルチメディアデータの前記メディア類型がオーディオデータに含まれれば前記ショート許容時間(short TD)に設定されることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１４】
前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量は“Ｍ(ｒ)＝Ｍ(ａｎ)＋Ｍ(ａｄ)”を備えるガウス分布を用いて決定され、Ｍ(ｒ)はバッファ部の実際バッファリング容量、Ｍ(ａｎ)は前記入力バッファ部及び前記出力バッファ部のメモリサイズ平均を考慮した遅延時間ＴＤ値から得られた前記入力バッファ部及び前記出力バッファ部のバッファリング容量、及びＭ(ａｄ)は離散度を考慮したＭ(ａｎ)の追加バッファリング容量であることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１５】
前記マルチメディアデータは、実時間転送されるリッチメディア(rich media)を含むことを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１６】
前記入力バッファ部及び前記出力バッファ部は、インスタントメモリ(ＩＭ)またはパーシスタントメモリ(ＰＭ)をそれぞれ含むことを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１７】
前記遅延時間ＴＤ値は、前記マルチメディアデータの前記メディア類型がグラフィックデータ及びテキストデータを含めば前記ロング許容時間(long TD)値に設定され、前記遅延時間ＴＤ値は前記マルチメディアデータの前記メディア類型がビデオデータを含めば前記中間許容時間(mid TD)値に設定され、前記遅延時間ＴＤ値は前記マルチメディアデータの前記メディア類型がオーディオデータを含めば前記ショート許容時間(short TD)値に設定されることを特徴とする請求項１に記載のマルチメディアデータ復元装置。
【請求項１８】
マルチメディアデータに対する同期層構成情報、基本ストリーム情報、復号化構成情報からなる詳細情報を抽出する段階と、
第１設定時間中入力バッファ部に前記マルチメディアデータを保存する段階と、
前記入力バッファ部から前記マルチメディアデータをメディアデータ類型により原信号に復元する段階と、
第２設定時間中出力バッファ部に復元されたマルチメディアデータを保存する段階と、
前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のバッファリング容量を決定する段階と、
決定されたバッファリング容量に基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を設定する段階とを備え、
前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を決定する段階は、
前記マルチメディアデータの前記詳細情報に基づきメディアデータの各類型を分析する段階と、
前記マルチメディアデータの前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のメディアデータの各類型の遅延時間ＴＤ値を決定する段階と、
メディアデータの各類型の組み合わせに基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量、及び前記入力バッファ部及び前記出力バッファ部の遅延時間ＴＤ値を決定する段階とを備えることを特徴とするマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【請求項１９】
前記マルチメディアデータをメディアデータの各類型別に分離し、分離された各類型のメディアデータを前記入力バッファ部に提供する段階をさらに備えることを特徴とする請求項１８に記載のマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【請求項２０】
前記マルチメディアデータは、オーディオデータ、ビデオデータ、テキストデータ及びグラフィックデータのようなメディアデータの各類型に分類されることを特徴とする請求項１８に記載のマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【請求項２１】
前記設定段階において容量が設定された前記出力バッファ部から出力された復元された前記マルチメディアデータの画面上の表示位置を設定する段階をさらに備えることを特徴とする請求項１８に記載のマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【請求項２２】
前記マルチメディアデータは、実時間転送のリッチメディアを含むことを特徴とする請求項１８に記載のマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【請求項２３】
入力バッファ部にマルチメディアデータを保存する段階と、
前記入力バッファ部から前記マルチメディアデータをメディアデータの類型により原信号に復元する段階と、
出力バッファ部に復元されたマルチメディアデータを保存する段階と、
入力バッファ部及び出力バッファ部のバッファリング容量を決める段階と、
決定された前記バッファリング容量に基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を設定する段階を含み、
前記バッファリング容量は、前記マルチメディアデータをメディアデータの類型を分析し、前記入力バッファ部及び前記出力バッファ部のメモリサイズ平均を決定し、メディアデータの入力及び出力遅延のための許容された時間である遅延時間ＴＤを決めた後に決定づけられることを特徴とするマルチメディアデータを復元するためのマルチメディアデータの復元方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はマルチメディアデータ復元装置及び方法に係り、さらに詳しくはＭＰＥＧ-４フォーマット(ＭＰＥＧ-４ format)のマルチメディアデータ(multimedia data)を復元(decoding)するために、マルチメディアデータを一時的に保存するメモリバッファを管理するマルチメディアデータ復元装置及び方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ(Moving Picture Expert Group)とは動画像専門家グループという意味であって、１９８８年設立されたＭＰＥＧにおいて制定した動画像に対する圧縮、伸張方式に対する規格を指す。ＭＰＥＧは、静止画像の圧縮を定義しているJPEG(Joint Photographic Experts Group)とは違って、時間に伴って連続的に変る動画像ビデオデータなどのようなマルチメディアデータの圧縮及びコード変換を通して情報転送がなされうる方策を規定している。
【０００３】
現在公表されたＭＰＥＧの種類は、ＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-３、及びＭＰＥＧ-４がある。ＭＰＥＧ-１はＣＤ-ＲＯＭのようなデジタル記録媒体にＶＣＲ(Video Cassette  Recoder)レベルの画質及び音質を提供する。ＭＰＥＧ-２は高解像度デジタルビデオを提供するデジタルＴＶ、対話型ＴＶ、ＤＶＤなどのような高画質及び音質を提供するためにＭＰＥＧ-１の映像及び音響の圧縮技術を改善したものである。ＭＰＥＧ-３はＭＰＥＧ-２以降、後続作業として高画質ＴＶ品質に当たる高鮮明度の画質を得るために開発した映像圧縮技術である。しかし、現在ＭＰＥＧ-３はＭＰＥＧ-２に吸収及び統合されＭＰＥＧ規定としては存在しない。ＭＰＥＧ-４はインターネット、デジタルＴＶ、ＤＶＤ、移動通信などのような次世代両方向マルチメディア通信のために作られた映像圧縮技術である。ＭＰＥＧ-４は放送、インターネット、映画、移動通信、ゲームなどに必要な全種類のマルチメディアデータを客体別に符号化する標準であって、コンピュータの対話型機能と通信の転送機能を同時に収められる。
【０００４】
図１は従来のＭＰＥＧ-４が適用されたマルチメディアデータ復元装置を概略的に示したブロック図である。従来のマルチメディア復元装置は、受信されたマルチメディアデータを類型別に分離して出力する多重スイッチング部１３、多重スイッチング部１３から出力されたマルチメディアデータを所定時間中保存する入力バッファ部１４、入力バッファ部１４から出力されたマルチメディアデータを原信号に復元するデコード部１５、デコード部１５により復元されたマルチメディアデータを所定時間中保存する出力バッファ部１７、及び出力バッファ部１７から出力されたマルチメディアデータの画面上のディスプレイポジションを算出するコンポジッタ１８を有する。一方、従来のマルチメディアデータ復元装置は、多重スイッチング部１３、入力バッファ部１４、デコード部１５、出力バッファ部１７、及びコンポジッタ１８の動作を制御し、入力バッファ部１４と出力バッファ部１７内の各バッファ１４ａ、１４ｂ、１４ｃ、１７ａ、１７ｂ、１７ｃのサイズを設定する制御部１１をさらに有する。
【０００５】
このようなマルチメディアデータ復元装置は、連続的にストリーミングされるマルチメディアデータ、すなわちリッチメディア(rich media)を受信して復元及び出力動作を行なう。マルチメディアデータが入力バッファ部１４の各バッファ１４ａ、１４ｂ、１４ｃに入力されれば、デコード部１５の各デコーダ１５ａ、１５ｂ、１５ｃはデコーディングを行なって原信号を復元する。出力バッファ部１７内の各バッファ１７ａ、１７ｂ、１７ｃはデコーディングされた各データを保存していてから制御部１１の出力命令に応じてコンポジッタ１８にデータを出力する。
【０００６】
ところが、従来のマルチメディアデータ復元装置の入力バッファ部１４と出力バッファ部１７は、多様な類型のマルチメディアデータのストリーム量を問わず一定容量に設定されている。従って、制御部１１は受信されるマルチメディアのストリーム量を考慮して適切に入力バッファ部１４及び出力バッファ部１７のバッファリング動作を制御すべきである。
【０００７】
このような問題点を解決するためにバッファの容量及び個数を増やすことにより十分な容量及び個数のバッファをマルチメディアデータ復元装置内に設ける場合、可変的な量のマルチメディアデータが受信されれば、無駄になるバッファの容量が発生する問題点がある。さらに、バッファの容量及び個数が満されたマルチメディアデータ復元装置を生産するためには製品のコストがアップする問題点がある。
【０００８】
【発明が解決しようとする課題】
本発明は前述したような問題点を解決するために案出されたもので、その目的は実時間に受信されるリッチメディアを一時的に保存するバッファの管理を最適化して効率よくマルチメディアデータが復元できるマルチメディアデータ復元装置及び方法を提供するところにある。
【０００９】
【課題を解決するための手段】
前述した本発明の目的は、マルチメディアデータに対する同期層構成情報、基本ストリーム情報及びデータ復号化構成情報からなる詳細情報を抽出するデータ情報抽出部と、第１設定時間中前記マルチメディアデータを保存する入力バッファ部と、該入力バッファ部から前記マルチメディアデータを各類型別に原信号に復元するデコード部と、第２設定時間中前記デコード部で原信号に復元された前記マルチメディアデータを所定時間中保存する出力バッファ部と、前記データ情報抽出部から抽出された前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のバッファリング容量を決定する制御部とを備え、前記詳細情報を通して分析された前記マルチメディアデータの各メディア類型の特性により、前記制御部はメディアデータの入力及び出力遅延のための許容時間である遅延時間ＴＤ値をそれぞれ所定の設定基準時間より大きいロング許容時間(long TD)、前記基準時間と同一な中間許容時間(mid TD)、及び前記基準時間より小さいショート許容時間(short TD)に区分して設定することを特徴とするマルチメディアデータ復元装置により達成される。
【００１０】
望ましくは、マルチメディアデータ復元装置は、マルチメディアデータを類型別に分離し、類型別に分離されたマルチメディアデータを入力バッファ部に提供する多重スイッチング部をさらに備える。
【００１１】
一方、メディアデータの各類型は、オーディオ データ、ビデオ データ、テキストデータ及びグラフィックデータなどがある。
【００１２】
また、マルチメディアデータ復元装置は、出力バッファ部から復元されたマルチメディアデータの画面上の表示位置を設定するコンポジッタをさらに備えることが望ましい。
【００１３】
一方、前述したような本発明の目的は、マルチメディアデータに対する同期層構成情報、基本ストリーム情報、復号化構成情報からなる詳細情報を抽出する段階と、第１設定時間中入力バッファ部に前記マルチメディアデータを保存する段階と、前記入力バッファ部から前記マルチメディアデータをメディアデータ類型により原信号に復元する段階と、第２設定時間中出力バッファ部に復元されたマルチメディアデータを保存する段階と、前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のバッファリング容量を決定する段階と、決定されたバッファリング容量に基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を設定する段階とを備え、前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を決定する段階は、前記マルチメディアデータの前記詳細情報に基づきメディアデータの各類型を分析する段階と、前記マルチメディアデータの前記詳細情報に基づき前記入力バッファ部及び前記出力バッファ部のメディアデータの各類型の遅延時間ＴＤ値を決定する段階と、メディアデータの各類型の組み合わせに基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量、及び前記入力バッファ部及び前記出力バッファ部の遅延時間ＴＤ値を決定する段階とを備えることを特徴とするマルチメディアデータを復元するためのマルチメディアデータの復元方法により達成される。
【００１４】
望ましくは、本発明のマルチメディアデータ復元方法は、受信されたマルチメディアデータを各類型別に分離し、分離されたマルチメディアデータを第１設定時間中マルチメディアデータを保存する入力バッファ部に提供する段階をさらに備える。
【００１５】
一方、メディアデータの各類型は、オーディオデータ、ビデオデータ、テキストデータ及びグラフィックデータなどがある。
【００１６】
また、本発明に係るマルチメディアデータ復元方法は、設定段階で容量が設定された第２設定時間中マルチメディアデータを保存する出力バッファ部から出力されたマルチメディアデータの画面上の表示位置を設定する段階をさらに備えることが望ましい。
【００１７】
本発明によれば、受信されたマルチメディアデータからそれに対する詳細情報、すなわちマルチメディアデータに対する同期層構成情報、基本ストリーム情報及びデータ復号化構成情報を抽出することができ、このような詳細情報に基づき制御部が入力バッファ部及び出力バッファ部のバッファリング容量を可変的に決定することができる。従って、入力バッファ部及び出力バッファ部内のバッファの管理を効率よく行なえる。
【００１８】
前述したような目的は、入力バッファ部にマルチメディアデータを保存する段階と、前記入力バッファ部から前記マルチメディアデータをメディアデータの類型により原信号に復元する段階と、出力バッファ部に復元されたマルチメディアデータを保存する段階と、入力バッファ部及び出力バッファ部のバッファリング容量を決める段階と、決定された前記バッファリング容量に基づき前記入力バッファ部及び前記出力バッファ部の前記バッファリング容量を設定する段階を含み、前記バッファリング容量は、前記マルチメディアデータをメディアデータの類型を分析し、前記入力バッファ部及び前記出力バッファ部のメモリサイズ平均を決定し、メディアデータの入力及び出力遅延のための許容された時間である遅延時間ＴＤを決めた後に決定づけられることを特徴とするマルチメディアデータを復元するためのマルチメディアデータの復元方法により達成される。
【００１９】
【発明の実施の形態】
以下、添付した図面に基づき本発明を詳述する。
【００２０】
図２は本発明に係る受信されたマルチメディアデータＭを保存するバッファの容量を可変できるマルチメディアデータ復元装置の望ましい実施形態が示されたブロック図である。同図によるに、マルチメディアデータ復元装置は、多重スイッチング部３０、データ情報抽出部２０、制御部８５、入力バッファ部４０、デコード部５０、出力バッファ部７０、及びコンポジッタ８０を有する。マルチメディアデータはオーディオデータＡ、ビデオデータＶ、グラフィックデータＧ、及びテキストデータＴのようにメディアデータの各類型により分類される。
【００２１】
マルチメディアデータ復元装置はそれぞれの類型別に受信されたマルチメディアデータＭを復元して各類型に応ずる出力動作を行なう。このため、多重スイッチング部３０は受信されたマルチメディアデータＭをメディアデータの各類型別に分類して、分類されたデータを制御部８５の出力命令に応じて入力バッファ部４０に出力する。
【００２２】
データ情報抽出部２０は多重スイッチング部３０に入力されたマルチメディアデータＭから該当メディアデータに対する詳細情報を抽出する。このような詳細情報は詳しく後述するように、同期層構成情報(Sync Layer Configuration  descriptor : SLCD)、基本ストリーム情報(Elementary  Streams  Descriptor   : ESD)、及び復号化構成情報(Decoder Config Descriptor : DCD)を備える。制御部８５はデータ情報抽出部２０から抽出された詳細情報を分析して入力バッファ部４０及び出力バッファ部７０のバッファリング容量を決定する。
【００２３】
入力バッファ部４０は多重スイッチング部３０から出力されたマルチメディアデータＭを各類型別に第１設定時間中保存していてから制御部８５の出力命令信号に応じてデコード部５０に出力する。入力バッファ部４０は第１バッファ４１、第３バッファ４３、第５バッファ４５及び第７バッファ４７を有する。
【００２４】
第１バッファ４１はテキストデータＴを保存及び出力し、第３バッファ４３はグラフィックデータＧを保存及び出力する。第５バッファ４５はビデオデータＶを保存及び出力し、第７バッファ４７はオーディオデータＡを保存及び出力する。  デコード部５０は類型別に各メディアデータを復元する動作を行なう。デコード部５０は、第１デコーダ５１、第２デコーダ５２、第３デコーダ５３、第４デコーダ５４を有する。第１デコーダ５１はテキストデータＴを復元する動作を行ない、第２デコーダ５２はグラフィックデータＧを復元する動作を行なう。第３デコーダ５３はビデオデータＶを復元する動作を行ない、第４デコーダ５４はオーディオデータＡを復元する動作を行なう。
【００２５】
一方、第４デコーダ５４はオーディオデータＡを復元して制御部８５に転送する。制御部８５は第４デコーダ５４から入力されたオーディオデータＡがスピーカを介して出力される間、画面(図示せず)にオーディオ出力に応ずるマークイメージが表示されるコンポジッタ８０の動作を制御する。
【００２６】
出力バッファ部７０は、デコード部５０を復元された各類型別メディアデータを第２設定時間中保存していてから制御部８５の出力命令に応じてコンポジッタ８０に出力する。出力バッファ部７０は第２バッファ７２、第４バッファ７４、及び第６バッファ７６を有する。第２バッファ７２は復元されたメディアデータであるテキストデータＴを保存及び出力し、第４バッファ７４は復元されたメディアデータであるグラフィックデータＧを保存及び出力する。第６バッファ７６は復元されたメディアデータであるビデオデータＶを保存及び出力する。
【００２７】
一方、制御部８５はデータ情報抽出部２０から抽出されたマルチメディアデータＭの詳細情報を分析して、入力バッファ部４０及び出力バッファ部７０内の各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を決定する。望ましくは、制御部８５は入力バッファ部４０の各バッファ４１、４３、４５に応ずる出力バッファ部７０の各バッファ７２、７４、７６のバッファリング容量がそれぞれ同じく決定する。これにより、制御部８５は決定されたバッファリング容量により各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を設定する。
【００２８】
コンポジッタ８０は、出力バッファ部７０から出力されたテキストデータＴ、グラフィックデータＧ、及びビデオデータＶが画面に表示される時、画面上でデータがディスプレイされる位置を設定する。望ましくは、コンポジッタ８０は制御部８５で決定された各メディアデータの出力同期信号に応じてディスプレイ配置を設定する。
【００２９】
制御部８０は連続的にストリーミングされダウンロードされたメディアデータの各類型別詳細情報を分析する。従って、本実施形態によるＭＰＥＧ-４が適用されたマルチメディアデータ復元装置は、連続的なストリーミングを通してダウンロードされるリッチメディアの各類型別詳細情報に基づき入力バッファ４０及び出力バッファ７０のバッファリング容量を可変的に設定することにより、マルチメディアデータＭの復元による損失を最小化することができる。
【００３０】
一方、多重スイッチング部３０に入力されたマルチメディアデータＭからデータ情報抽出部２０が抽出した詳細情報は、マルチメディアデータＭの同期層構成情報、基本ストリーム情報及び復号化構成情報である。従って、制御部８５はデータ情報抽出部２０から提供されたマルチメディアデータＭの同期層構成情報、基本ストリーム情報及び復号化構成情報を分析して各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を決定する。このような制御部８５のバッファリング容量決定動作は受信されるマルチメディアデータＭの詳細情報が受信される場合に行なわれる。
【００３１】
制御部８５は詳細情報を分析してマルチメディアデータＭの類型別の種類により入力バッファ部４０及び出力バッファ部７０の各バッファ４１、４３、４５、４７、７２、７４、７６の種類をインスタントメモリ(instant memory : IM)またはパーシスタントメモリ(persistent memory : PM)と決定する。インスタントメモリは保存するマルチメディアデータが存する場合だけ生成されるバッファである。インスタントメモリが適用されるマルチメディアデータとしては、実時間ストリーミングでないテキストデータＴ及びグラフィックデータＧを例として挙げられる。パーシスタントメモリは制御部８５によりメモリが生成されれば、保存するデータが存しない場合も制御部８５から除去命令が受信されない限り存在するバッファである。このようなバッファに保存されうるメディアデータの種類としては、実時間にストリーミングできるオーディオデータＡ及びビデオデータＶを例として挙げられる。従って、制御部８５は各バッファ部４０、７０のバッファリング容量を決定する前にバッファの種類を決定することが望ましい。
【００３２】
一方、制御部８５はマルチメディアデータＭの詳細情報を通して分析されたマルチメディアデータＭの類型別特性により、マルチメディアデータＭの入力及び出力遅延による許容時間である遅延時間(Time Delay : TD)値を設定する。制御部８５は遅延時間値ＴＤを所定の基準時間より大きいロング許容時間(long TD)、基準時間に該当する中間許容時間(mid TD)、及び基準時間より小さいショート許容時間(short TD)に区分して設定することが望ましい。
【００３３】
マルチメディアデータＭが静止映像であるグラフィックデータＧ及びテキストデータＴのような場合は遅延時間値ＴＤはロング許容時間(long TD)に設定されることが望ましい。また、マルチメディアデータＭが動映像であるビデオデータ(V)のような場合、遅延時間値ＴＤは中間許容時間(mid TD)に設定されることが望ましい。マルチメディアデータＭが音響などのオーディオデータＡの場合、遅延時間値ＴＤはショート許容時間(short TD)に設定されることが望ましい。
【００３４】
このように制御部８５は、メディアデータの詳細情報を通して各バッファ４１、４３、４５、４７、７２、７４、７６の種類、保存容量、及び遅延時間値ＴＤを可変的に決定及び設定し、よって限られた容量のバッファの使用効率を高められる。
【００３５】
従って、出力されず各バッファ４１、４３、４５、４７、７２、７４、７６に保存されるマルチメディアデータＭによる保存占め量増加を防止することができ、またマルチメディアデータＭが各バッファ４１、４３、４５、４７、７２、７４、７６に保存されることが許容される時間が経過するにつれ発生するマルチメディアデータＭの損失を最小限に抑えられる。
【００３６】
図３は図２の入力バッファ部４０及び出力バッファ部７０のバッファリング容量決定に用いられるガウス分布曲線を示したグラフである。同図を参照して、制御部８５が各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を算出する方法を説明する。マルチメディアデータＭについて一つの転送チャネル上で１秒間発生する平均ビット率(bit per second rate : BPSR)を考慮した各バッファ４１、４３、４５、４７、７２、７４、７６の容量をＭ(ａ)(Memory size、average)と定義する。実際各バッファ４１、４３、４５、４７、７２、７４、７６の容量がＭ(ａ)を平均とするガウス分布を有すると仮定すれば、制御部８５により設定される各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量は次の式（１）を通して算出できる。
【００３７】
Ｍ（ｒ）＝ Ｍ（ａｎ）＋Ｍ（ａｄ）        （１）
ここで、Ｍ(ｒ)は実際バッファ部４０、７０のバッファリング容量、Ｍ(ａｎ)はＭ(ａ)について遅延時間値ＴＤを考慮したバッファ部４０、７０のバッファリング容量、それからＭ(ａｄ)はＭ(ａｎ)のガウス分布関数によるＭ(ａｎ)の離散度を考慮したＭ(ａｎ)の追加バッファリング容量である。
【００３８】
これにより、各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量Ｍ(ｒ)は遅延時間値ＴＤを考慮した各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量(Ｍａｎ)及びガウス分布関数を通して離散度を考慮したＭ(ａｎ)の追加バッファリング容量(Ｍａｄ)を加算して算出することが望ましい。
【００３９】
従って、本実施形態のマルチメディアデータ復元装置は、受信されたマルチメディアデータＭのビット率を通して算出された各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量に対する統計を作って分析することにより、限られた各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を可変的設定及び効率よく制御することができる。
【００４０】
図４は受信されたマルチメディアデータＭが復元され出力されるにつれ画面上にディスプレイされる一例を示した図である。画面９０にはテキストデータＴに応ずる株情報９８、グラフィックデータＧに応ずるグラフィック情報９６、ビデオデータＶに応ずる動映像情報９４、及びオーディオデータＡの出力状態を示したオーディオ情報９２がディスプレイされている。
【００４１】
一方、本実施形態のマルチメディア復元装置はユーザの選択により各個体９２、９４、９６、９８を別個の個体にそれぞれ編集することができる。一例として、人の姿が現れたグラフィック情報９６のうち任意の部位をユーザが見たくない場合、ユーザの選択によりマルチメディア復元装置は選択された部位に対するディスプレイを行なわない。
【００４２】
図５は本発明に係るマルチメディアデータ復元装置により行なわれるマルチメディアデータの復元方法を示した順序図である。図２ないし図４の説明を通して記述した内容と重複する部分については簡略に記述する。
【００４３】
マルチメディアデータＭが多重スイッチング部３０に入力されれば、データ情報抽出部２０はマルチメディアデータＭから詳細情報を抽出して制御部８５に転送する(Ｓ１０)。制御部８５はマルチメディアデータＭの詳細情報を分析して各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を決定する(Ｓ３０)。この際、詳細情報には同期層構成情報(Sync Layer Config Descriptor SLCD)、基本ストリーム情報(Elementary Streams Descriptor : ESD)、及び復号化構成情報(Decoder Config Descriptor : DCD)を含む。制御部８５は決定されたバッファリング容量により各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を設定する(Ｓ５０)。これにより、各バッファ４１、４３、４５、４７、７２、７４、７６は制御部８５の制御信号に応じて入力されるマルチメディアデータＭを保存及び出力する(Ｓ７０)。
【００４４】
従って、各バッファ４１、４３、４５、４７、７２、７４、７６に割り当てられたバッファリング容量を可変的に設定することにより、受信されたマルチメディアデータＭの再生による損失が防止できる。
【００４５】
図６は図５の各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量決定段階(Ｓ３０)をさらに詳しく示した順序図である。制御部８５はマルチメディアデータＭの詳細情報を通して受信されたマルチメディアデータＭの類型を分析して各バッファ４１、４３、４５、４７、７２、７４、７６の種類を決定する(Ｓ３２)。また、制御部８５はマルチメディアデータＭの詳細情報のうちマルチメディアデータＭの復号化構成情報ＤＣＤを通して各バッファ４１、４３、４５、４７、７２、７４、７６の容量を決定する(Ｓ３４)。一方、制御部８５はマルチメディアデータＭの詳細情報を通してマルチメディアデータＭの類型による遅延時間値ＴＤを決定する(Ｓ３６)。これにより、制御部８５は決定された各バッファ４１、４３、４５、４７、７２、７４、７６の種類、容量、及び遅延時間値ＴＤを組み合わせて最終的に各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を決定する(Ｓ３８)。
【００４６】
従って、各バッファ４１、４３、４５、４７、７２、７４、７６の種類、サイズ、及び遅延時間値ＴＤを決定し、これを組み合わせて最終各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング容量を決定及び設定することにより、各バッファ４１、４３、４５、４７、７２、７４、７６のバッファ管理を効率よく行なえる。
【００４７】
【発明の効果】
以上述べた通り、本発明によれば受信されたマルチメディアデータＭからそれに対する詳細情報、すなわちマルチメディアデータＭに対する同期層構成情報、基本ストリーム情報及びデータ復号化構成情報を抽出することができ、このような詳細情報に基づき制御部８５が入力バッファ部４０及び出力バッファ部７０内の各バッファ４１、４３、４５、４７、７２、７４、７６に対するバッファリング容量を可変的に決定及び設定することができる。従って、入力バッファ部４０及び出力バッファ部７０内の各バッファ４１、４３、４５、４７、７２、７４、７６のバッファリング管理を効率よく行なえる。
【００４８】
本発明は前述した特定の望ましい実施形態に限らず、請求の範囲で請求する本発明の要旨を逸脱せず当該発明の属する技術分野において通常の知識を持つ者ならば誰でも多様な変形実施が可能なことは勿論、そのような変更は記載された請求の範囲内にある。
【図面の簡単な説明】
【図１】従来のマルチメディアデータ復元装置を示したブロック図である。
【図２】本発明に係るマルチメディアデータ復元装置の望ましい実施例を示したブロック図である。
【図３】図２の入力バッファ部及び出力バッファ部のバッファリング容量決定に用いられるガウス分布曲線を示したグラフである。
【図４】図２によるマルチメディアデータが画面上に表示された状態を示した図である。
【図５】図２に示したマルチメディアデータ復元装置により行なわれるマルチメディアデータ復元方法を示した順序図である。
【図６】図５の容量決定段階を詳細に示した順序図である。
【符号の説明】
２０  データ情報抽出部
３０  多重スイッチング部
４０  入力バッファ部
４１  第１バッファ
４３  第３バッファ
４５  第５バッファ
４７  第７バッファ
５０  デコード部
５１  第１デコーダ
５２  第２デコーダ
５３  第３デコーダ
５４  第４デコーダ
７０  出力バッファ部
７２  第２バッファ
７４  第４バッファ
７６  第６バッファ
８０  コンポジッタ
８５  制御部
９０  画面
９２  オーディオ情報
９４  動映像情報
９８  株情報
【図１】
0003828053.tif 000002
【図２】
0003828053.tif 000003
【図３】
0003828053.tif 000004
【図４】
0003828053.tif 000005
【図５】
0003828053.tif 000006
【図６】
0003828053.tif 000007