(57)【要約】【課題】復号化の後に複数のストリームデータ各々に対して，各々のストリームデータ間で処理時間が大きく相違するデータ処理を施す場合であっても，ストリームデータ各々を同期化して出力することが可能なストリームデータ処理装置及びストリームデータ処理方法を提供すること。【解決手段】相対的に処理時間がかかる音声ストリームデータの，単位音声情報分のデータ処理の完了を，音声信号処理部６により検知する。その検知時は遅延制御部７に伝送されており，前記データ処理の完了若しくはそれ以降に映像ストリームデータが出力されるよう，前記映像ストリームデータの遅延時間を制御する。【選択図】図１
2007110412.tif 000002
【特許請求の範囲】
【請求項１】
並行して入力される，予め定められた単位データが時系列で配列された複数のストリームデータ各々を一時記憶するバッファ手段と，該バッファ手段に一時記憶された前記複数のストリームデータのうちの１又は複数に対し並行して所定のデータ処理を施すデータ処理手段と，該データ処理手段による前記データ処理後の前記複数のストリームデータを前記バッファ手段より出力するデータ出力手段と，
を具備するストリームデータ処理装置であって，
前記複数のストリームデータのうち前記データ処理手段により最も時間を要する処理が施される一のストリームデータの前記単位データ分に対する前記データ処理の完了を検知若しくは予測する単位データ処理完了検知予測手段を具備し，
前記データ出力手段が，
前記単位データ処理完了検知予測手段による前記データ処理の完了の検知時又は予測時或いはそれ以降に前記バッファ手段から前記複数のストリームデータ全てについて前記単位データ分を略同時に出力する第１のデータ出力手段を具備してなることを特徴とするストリームデータ処理装置。
【請求項２】
前記単位データ処理完了検知予測手段が，前記一のストリームデータのうち前記データ処理が完了した部分の容量が予め定められた容量に達した場合に，前記単位データ分に対する前記データ処理の完了を検知する容量検知手段を具備してなる請求項１に記載のストリームデータ処理装置。
【請求項３】
前記データ出力手段が，
前記第１のデータ出力手段が前記複数のストリームデータ全てについての前記単位データ分の同時出力を開始した後に，前記第１のデータ出力手段に代わって予め定められた一定のペースで前記複数のストリームデータ全てについて前記単位データ分を略同時出力する第２のデータ出力手段を更に具備する請求項１又は２のいずれかに記載のストリームデータ処理装置。
【請求項４】
前記複数のストリームデータが，音声ストリームデータと映像ストリームデータとの２つのストリームデータである請求項１〜３のいずれかに記載のストリームデータ処理装置。
【請求項５】
前記複数のストリームデータのうち，前記データ処理手段による処理がなされないものと，前記データ処理手段による処理時間が相対的に短い予め定められた１若しくは複数のものと，の一方又は両方に対し，前記バッファ手段に記憶させる際に前記単位データ分ごとにデータ圧縮処理を施す圧縮手段と，
前記圧縮手段により圧縮されたデータに対し前記バッファ手段から読み出される際にデータ伸張処理を施す伸張手段と，
を具備してなる請求項１〜４のいずれかに記載のストリームデータ処理装置。
【請求項６】
並行して入力される，予め定められた単位データが時系列で配列された複数のストリームデータ各々を一時記憶するバッファ手段に一時記憶された前記複数のストリームデータのうちの１又は複数に対し並行して所定のデータ処理を施すデータ処理工程と，該データ処理工程による前記データ処理後の前記複数のストリームデータを前記バッファ手段より出力するデータ出力工程と，
を具備するストリームデータ処理方法であって，
前記複数のストリームデータのうち前記データ処理手段により最も時間を要する処理が施される一のストリームデータの前記単位データ分に対する前記データ処理の完了を検知若しくは予測する単位データ処理完了検知予測工程を有し，
前記データ出力工程が，
前記単位データ処理完了検知予測工程による前記データ処理の完了の検知時又は予測時或いはそれ以降に前記バッファ手段から前記複数のストリームデータ全てについて前記単位データ分の略同時の出力を開始することを特徴とするストリームデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，複数のストリームデータの一又は複数に所定の処理を施して出力するストリームデータ処理装置及びストリームデータ処理方法に関するものであり，複数のストリームデータ各々の同期をとることが可能なストリームデータ処理装置及びストリームデータ処理方法に関するものである。
【背景技術】
【０００２】
映像情報，音声情報各々に対して所定の信号処理を施すものとして，エフェクタ等のストリームデータ処理装置が知られている。ストリームデータ処理装置は，例えばＤＶＤ等のメディアから得られた音声情報及び映像情報を，１フレーム分の音声及び映像を表す単位データ（以下，単位音声情報及び単位映像情報という）が時系列で配列されたストリームデータ（以下，音声ストリームデータ，映像ストリームデータという）としてスピーカ及びディスプレイに出力させるものである。尚，前記音声ストリームデータを形成する前記単位音声情報各々と，前記映像ストリームデータを形成する前記単位映像情報各々とには，通常前記音声情報及び映像情報に重畳されている所定の再生時刻情報に基づいて，一対一の対応関係が定められている。
従来例に係るストリームデータ処理装置の中には，一対一の対応関係を有する前記単位音声情報と前記単位映像情報とについて，出力のタイミングを一致させる，いわゆる同期処理を行うものが知られている（例えば，特許文献１及び特許文献２）。
通常，ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の規格においては，ＤＶＤメディア等からの読み取り直後の前記音声ストリームデータ及び前記映像ストリームデータは，符号化された状態にある。そこで，特許文献１及び特許文献２に記載には，復号器を用いて前記音声ストリームデータ及び前記映像ストリームデータに対して復号化処理を施す際に，前記再生時刻情報を参照しつつ前記復号器を制御し，復号化された直後において前記音声ストリームデータと前記映像ストリームデータとの同期がとられた状態にする技術が開示されている。
【０００３】
ところで，前記音声ストリームデータ及び前記映像ストリームデータに対する復号化の後にも，様々なデータ処理が前記音声ストリームデータ及び前記映像ストリームデータに対して施される場合があるが，これらのデータ処理に要する時間は無視できるほど微小な場合が多かった。従って，復号化の直後にさえ前記音声ストリームデータと前記映像ストリームデータとの同期がとられた状態であるならば，復号化後のデータ処理を原因とする前記音声ストリームデータの出力のタイミングと，前記映像ストリームデータの出力のタイミングとのズレは問題視されなかった。
【特許文献１】特開２００３−２４４６５８号公報
【特許文献２】特開２００５−１２４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで，映像ストリームデータに対するデータ処理としては，一般には色調補正や輝度補正等が必要とされるのみであり，そのデータ処理に係る演算量及び処理時間は通常小さい。従って，映像ストリームデータの出力タイミングと音声ストリームデータの出力タイミングとのズレを微小にするためには，前記音声ストリームデータに対するデータ処理の処理時間も小さいことが要求される。
しかし，音声ストリームデータに対して，例えばＩＩＲ型フィルタを用いたデータ処理等の，処理時間の小さいデータ処理等を採用すると，前記音声ストリームデータの出力時における音響歪みや位相ズレを許容せざるを得ず，高品質な音響設計には適さないという問題点がある。
一方，ＦＩＲ型フィルタ等を用いるデータ処理は，音響歪みや位相ズレ等の問題を解消できるため，高品質な音響設計が可能である反面，そのデータ処理に係る演算量が大きくなる。従って，ＦＩＲ型フィルタ等を用いるデータ処理を音声ストリームデータに施す場合，両者のストリームデータ間でデータ処理の処理時間の差が大きくなり，その差に相当する分だけ前記音声ストリームデータの出力時間が遅延してしまうという問題点がある。
つまり，復号化の段階では両者のストリームデータの同期がとられていたにも拘わらず，前記音声ストリームデータに対する高演算量のデータ処理を経て，両ストリームデータの同期が崩れてしまうという問題点がある。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，復号化の後に複数のストリームデータ各々に対して，各々のストリームデータ間で処理時間が大きく相違するデータ処理を施す場合であっても，ストリームデータ各々を同期化して出力することが可能なストリームデータ処理装置及びストリームデータ処理方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は，並行して入力される，予め定められた単位データが時系列で配列された複数のストリームデータ各々を一時記憶するバッファを有し，該バッファに記憶されている前記複数のストリームデータの一又は複数の対して並行して所定のデータ処理を施し，その後前記ストリームデータを並行して出力するストリームデータ処理装置であって，前記複数のストリームデータのうち前記データ処理手段により最も時間を要する処理が施される一のストリームデータの単位データ分に対する前記データ処理の完了時を検知若しくは予測し，検知又は予測された前記完了時若しくはそれ以降に，前記バッファからの前記複数のストリームデータ全てについて前記単位データ分を略同時に出力するストリームデータ処理装置として構成される。
これにより，復号化等により得られたストリームデータ各々に対して所定のデータ処理を施す場合であっても，前記ストリームデータ各々における単位データ分毎の出力タイミングが，最も処理時間を要する単位データの処理完了検知又は予測時，或いはそれ以降に合わせられる。従って，前記データ処理を原因とする前記各ストリームデータの出力タイミングのズレは解消される。
【０００６】
ここで，前記単位データに施される処理の完了は，前記データ処理が施された容量から検知可能である。即ち，前記単位データ分の容量よりも大きな容量の部分に前記データ処理が施された場合等に，前記単位データ分に関しては処理が完了したとみなすことができる。
更に，前記単位データ分のデータ処理に要する時間は，前記単位データの特性若しくはデータ処理の特性により，時系列に配列された前記単位データ毎に異なり得る。従って，前記一のストリームデータの前記単位データ分に対する前記データ処理の完了検知時又は予測時或いはそれ以降における，ストリームデータ各々の前記単位データ分の同時出力を継続すると，前記単位データ分の出力時の間隔にバラツキが生じ，良好に前記単位データが出力されない。そこで，前記複数のストリームデータについて前記単位データ分を一旦同時出力した以降は，前記データ処理の完了を前記単位データ分の同時出力のタイミングとするのではなく，予め定められた一定のペースで前記単位データ分を同時出力するのが望ましい。
ところで，複数のストリームデータとしては，時系列の音声情報である音声ストリームデータと，やはり時系列の映像情報である映像ストリームデータであることが考えられる。また，これ以外にも，例えば特許文献２に記載のような字幕のストリームデータ等が考えられる。
更に，前記複数のストリームデータのうち，前記所定のデータ処理がなされないもの，若しくはその処理時間が相対的に短いもの（つまり，他のストリームデータに対するデータ処理の終了を待つもの），との一方又は両方に対して，前バッファに記憶させる前段階で前記単位データ分毎に圧縮処理を施すと，前記バッファの記憶容量を削減することが可能となる。
また，本発明は，前記ストリームデータの処理方法として捉えたものであっても良い。
【発明の効果】
【０００７】
本発明によれば，復号化等により得られたストリームデータ各々に対して処理時間を要するデータ処理を施す場合であっても，前記ストリームデータ各々における単位データ分毎の出力タイミングが，最も処理時間を要する単位データの出力タイミングに合わせられる。従って，各ストリームデータに対する前記データ処理時間の差異を原因とする前記各ストリームデータの出力タイミングのズレを解消することが可能である。
【発明を実施するための最良の形態】
【０００８】
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の一実施形態に係るストリームデータ処理装置及びそれを具備するメディア出力システムの概略構成を表すブロック図，図２は本発明の一実施形態に係るストリームデータ処理装置の音声記憶部の概略構成を表すブロック図，図３は本発明の一実施形態に係るエフェクタによる音声ストリームデータ及び映像ストリームデータの入出力のタイミングを説明するタイムチャート，図４は本発明の一実施例に係るストリームデータ処理装置及びそれを具備するメディア出力システムの概略構成を表すブロック図である。
【０００９】
（１）本発明の一実施形態に係るエフェクタＸ１を有するメディア出力システムＡ１の概略について。
以下，図１を参照しつつ，ストリームデータ処理装置の一例として，本発明の一実施形態に係るエフェクタＸ１及びそれを有するメディア出力システムＡ１の概略構成について説明する。
前記メディア出力システムＡ１は，ＤＶＤプレイヤー１，前記エフェクタＸ１，スピーカ２，ディスプレイ３等を有する。
前記ＤＶＤプレイヤー１は，所定のＤＶＤメディアから映像情報及び音声情報読み出す機能，該情報の外部への出力機能を有する。本発明の一実施形態に係るエフェクタＸ１（ストリームデータ処理装置の一例）は前記ＤＶＤプレイヤー１と接続されており，該ＤＶＤプレイヤー１から並行して時系列の映像情報（以下，映像ストリームデータ）及び時系列の音声情報（以下，音声ストリームデータ）が並行して入力される。
前記映像ストリームデータは，例えば一フレーム分の映像を表す単位映像情報が，時系列で複数配列されたものである。同様に，前記音声ストリームデータも一フレーム分の映像に対応する一フレーム分の音声を表す単位音声情報が，時系列で複数配列されたものである。
ところで，前記ＤＶＤメディアにおいて，前記映像情報及び前記音声情報等には，所定の再生時刻情報が重畳されている。前記再生時刻情報は前記単位音声情報及び前記単位映像情報の出力タイミングを規定する情報であり，具体的には，３０ｆｐｓ等の等間隔で前記出力タイミングを規定する情報である。また，規定された出力タイミング各々に対して，前記単位音声情報及び前記単位映像情報が１つずつ割り当てられている。このように，前記単位音声情報各々と前記単位映像情報各々とは一対一の対応関係を有する。
以下，前記音声ストリームデータと前記映像ストリームデータとの同期がとれている状態とは，前記再生時刻情報に基づいて一対一に対応する前記単位音声情報の出力タイミングと前記単位映像情報の出力タイミングとが一致する状態を指すものとする。
前記ＤＶＤプレイヤー１は，前記ＤＶＤメディアから読み取られ，符号化されている状態の音声ストリームデータ及び映像ストリームデータを復号化する復号器１ａを有している。前記復号器１ａにより，前記再生時刻情報に基づいて，前記音声ストリームデータと前記映像ストリームデータとの同期処理が施される。その後，前記エフェクタＡに両ストリームデータが入力される。このように，前記エフェクタＸ１に入力される前記音声ストリームデータと前記映像ストリームデータとは同期している。
前記エフェクタＸ１に入力されたストリームデータのうち，前記音声ストリームデータのみに，前記エフェクタＸ１において後述するような所定の処理が施される。その上で，前記エフェクタＸ１から，前記スピーカ２に前記音声ストリームデータが，例えばＣＲＴ，ＬＣＤ，ＰＤＰ，ＳＥＤ等の前記ディスプレイ３に前記映像ストリームデータが，それぞれ出力される。
【００１０】
（２）本発明の一実施形態に係るエフェクタＸ１の概略構成及び動作の概略について。
前記エフェクタＸ１は，図１に示されるように，音声記憶部４，映像記憶部５，音声信号処理部６，遅延制御部７，音声信号再生出力部８，映像信号再生出力部９を有する。
前記音声記憶部４は，図２に示されるように，入力バッファ４ａ，ワークメモリ４ｂ，出力バッファ４ｃなどからなるものであり，前記ＤＶＤプレイヤー１より並行して入力されたストリームデータのうち，前記音声ストリームデータを一時記憶するものである。
まず，前記ＤＶＤプレイヤー１からの前記音声ストリーデータは前記入力バッファ４ａに入力され記憶される。前記音声記憶部４のうち前記入力バッファ４ａに一時記憶されている前記音声ストリームデータを形成する単位音声情報毎に対して，前記ワークメモリ４ｂを作業領域として，前記音声信号処理部６（データ処理手段の一例）による，ＦＩＲ型のデジタルフィルタを用いる処理が施される。このようなＦＩＲ型のデジタルフィルタを用いて処理を行うことにより，音響歪みや位相ズレが生じない高品質な音響設計が可能となるが，データ処理にかかる演算量及び時間は大きくなる。一方，前記映像ストリームデータについては，データ処理が施されない。このように，前記音声ストリームデータと前記映像ストリームデータのうち，前記音声信号処理部６（データ処理手段の一例）により最も時間のかかる処理が施される前記音声ストリームデータが一の音声ストリームデータの一例である。
前記出力バッファ部４ｃには，前記音声信号処理部６によるデータ処理後の前記音声ストリームデータが蓄積記憶される。詳しくは，前記音声信号処理部６は前記単位音声情報毎にデータ処理を施すものであり，前記出力バッファ４ｃには前記単位音声情報のうちデータ処理が完了した部分が記憶される。また，後述のように調節されたタイミングで，前記出力バッファ４ｃから各単位音声情報が前記音声信号再生出力部８に向けて出力される。
【００１１】
一方，前記ＤＶＤプレイヤー１より平行して入力されたストリームデータのうち，前記映像ストリームデータはデータ処理が施されないまま前記映像記憶部５に記憶される。従って，前記音声ストリームデータは，前記映像ストリームデータに対して，前記ＦＩＲ型のデジタルフィルタによる処理時間だけ遅延することになる。
そこで，後述のように，前記音声信号処理部６によるデータ処理により生じた前記音声ストリームデータの遅延を解消し，前記音声ストリームデータと前記映像ストリームデータとが同期するように，前記遅延制御部７により，前記映像記憶部５の前記単位映像情報各々の記憶時間が制御される。この同期化の具体的内容については後に詳述する。このように，前記音声ストリームデータを一時記憶する前記音声記憶部４及び前記映像ストリームデータを一時記憶する前記映像記憶部５がバッファ手段の一例である。
更に，前記音声信号再生出力部８は，前記音声信号処理部６（データ処理手段の一例）による所定のデータ処理後の前記音声ストリームデータに対してデジタル／アナログ変換を施した後に，前記音声ストリームデータを前記スピーカ２に出力する。前記映像信号再生出力部９は，前記映像ストリームデータに対してデジタル／アナログ変換を施した後に，前記映像ストリームデータを前記ディスプレイ３に出力する。前記音声記憶部４，前記映像記憶部５，前記音声信号処理部６，前記遅延制御部７，前記音声信号再生出力部８，前記映像信号再生出力部９がデータ出力手段の一例である。
【００１２】
（３）本発明の一実施形態に係るエフェクタＸ１の特徴について。
本発明の一実施形態に係るエフェクタＸ１は，前記音声信号処理部６においてＦＩＲ型のデジタルフィルタ等による時間のかかる処理を行ったとしても，前記スピーカ２及び前記ディスプレイ３に前記音声ストリームデータ及び前記映像ストリームデータが出力される時点では，両ストリームデータについて同期がとられた状態になるよう機能する。
ここで，前記音声信号処理部６における前記データ処理は，時系列に配列された複数の前記単位音声情報に対して並行して施される。
また，前記出力バッファ４ｃは，前記単位音声情報の記憶に必要な容量よりも遙かに大きな容量を有しており，例えば１０個程度の前記単位音声情報を蓄積記憶することが可能である。更に，前記出力バッファ４ｃは，前記音声ストリームデータの蓄積容量（前記音声信号処理部６によるデータ処理が完了した部分の容量）が，前記出力バッファ４ｃの容量（予め定められた容量）に達した場合に，蓄積記憶されている前記単位音声情報を，前記入力バッファ４ａへの入力順に従って前記音声信号再生出力部８へ出力する。そのように，前記音声ストリームデータの前記出力バッファ４ｃにおける蓄積容量が，前記出力バッファ４ｃの容量に達することを，以下，出力バッファフルという。
【００１３】
図３は本発明の一実施形態に係るエフェクタＸ１による音声ストリームデータ及び映像ストリームデータの入出力のタイミングを説明するタイムチャートである。以下，図３を参照しつつ，本発明の一実施形態に係るエフェクタＸ１による，前記音声ストリームデータと前記映像ストリームデータとの同期化について詳細に説明する。
まず，図３（ａ）に示されるように，前記ＤＶＤプレイヤー１から前記音声ストリームデータを形成する前記単位音声情報が，例えば３０ｆｐｓ等の予め定められた時間間隔で前記音声バッファ部４ａに入力される。また，単位音声情報の入力の時間間隔と同じ時間間隔で，前記映像ストリームデータを形成する前記単位映像情報が前記映像記憶部５に入力される。
次に，図３（ａ）と（ｂ）との間に示されるように，前記入力バッファ部４ａに入力された前記単位音声情報に対して直ちに前記音声信号処理部６によるデータ処理が開始される。また，前記単位音声情報のうちのデータ処理が完了した部分については前記出力バッファ４ｃに記憶される。
【００１４】
前記音声信号処理部６により前記単位音声情報分の前記データ処理が施され，前記出力バッファ４ｃに前記単位音声情報分の情報が蓄積されると，直ちにその単位音声情報が前記音声信号再生出力部８に対して出力されるわけではない。即ち，図３（ｃ）に示されるように，後続する前記単位音声情報に対する前記音声信号処理部６によるデータ処理の進行に伴って，前記出力バッファフルが生じたときに，はじめて前記音声信号再生出力部８への前記単位音声情報の出力が行われる。
また，図３（ｃ）に示されるように，前記出力バッファフルが最初に生じた後，つまり前記音声ストリームデータを形成する前記単位音声情報のうち，最初に前記入力バッファ４ｃに入力された前記単位音声情報が前記音声信号再生出力部８へ出力された以降は，３０ｆｐｓ等の予め定められた時間間隔，即ち前記単位音声情報の入力の時間間隔と同じ時間間隔で，前記単位音声情報が前記音声信号再生出力部８へ出力される。
このように，前記出力バッファ４ｃには，常に前記音声信号処理部６によるデータ処理が完了した前記単位音声情報が蓄積記憶されており，その蓄積記憶の容量は，前記単位音声情報の前記音声信号再生出力部８への出力及び前記音声信号処理部６によるデータ処理によって常に増減する。
【００１５】
このような前記音声記憶部４の設計によれば，以下のような技術的課題が解決される。
前記音声信号処理部６が前記単位音声情報の処理に要する時間は，前記単位音声信号毎の周波数特性及び前記データ処理の内容等に依存して変化する。従って，図３（ｂ）のように，前記出力バッファ４ｃに前記データ処理が完了した前記単位音声情報が蓄積されるペース（データ処理が完了するペース）は，前記入力バッファ４ａに対する前記単位音声情報の入力のペース（３０ｆｐｓ等）とは異なってバラツキが生じる。しかし，上述のような前記音声記憶部４の設計によれば，時系列に配列された前記単位音声情報間に生じる前記データ処理に要する時間の相違は，前記出力バッファ４ｃへの記憶により吸収され，前記入力バッファ４ａに対する前記単位音声情報の入力のペースと同様のペースで，前記単位音声情報を前記音声信号再生出力部８に対して出力することが可能である。
【００１６】
上述のように，前記出力バッファ４ｃは，前記単位音声信号の容量よりも遙かに大きな容量を持っているので，前記出力バッファフルの発生時には，時系列で配列された前記単位音声信号のうち，最も早期に前記入力バッファ４ａに入力された前記単位音声信号に対する前記データ処理は完了していると考えてよい。つまり，前記出力バッファフルの発生は，前記音声信号処理部６により前記音声ストリームデータ（一のストリームデータの一例）に施される前記データ処理が既に完了されていることを表すものである。
ここで，前記出力バッファフルは，前記音声信号処理部６により検知される。前記音声信号処理部６が単位データ処理完了検知予測手段の一例である。また，前記音声信号処理部６は，前記出力バッファフルの検知を表す所定の検知信号を前記遅延制御部７に対して出力する。該遅延制御部７は，前記音声信号処理部６からの前記検知信号の入力があったときに，言い換えると，図３（ｃ）に示されるように前記出力バッファフルが生じたときと略同時に，前記映像記憶部５を制御して前記映像記憶部５に記憶されている前記単位映像信号のうち，最も早期に前記映像記憶部５に入力され記憶された単位映像信号を，前記映像信号再生出力部９へ出力する。これにより，前記出力バッファ発生時において，前記音声ストリームデータを形成する前記単位音声信号のうち，最も早期に前記入力バッファ４ａに入力された単位音声信号と，前記映像ストリームデータを形成する前記単位映像信号のうち，最も早期に前記映像記憶部５に入力された単位映像信号と，が同時に出力される。前記音声記憶部４，前記映像記憶部５，前記遅延制御部７が第１の出力手段の一例である。
【００１７】
また，そのような同時出力の開始の後には，前記単位映像信号は，前記出力バッファ４ｃからの前記単位音声信号の出力のペースと同様のペース（３０ｆｐｓ等）で，前記映像信号再生出力部９に対して出力される。前記出力バッファフル基づく出力タイミングの既定に代わって（つまり，第１の出力手段に代わって），予め定められた一定のペースで前記音声ストリームデータ，前記映像ストリームデータの出力を行う前記音声記憶部４，前記映像記憶部５，前記遅延制御部７が第２の出力手段の一例である。
以上，本発明の一実施形態に係るエフェクタＸ１によれば，前記ＤＶＤプレイヤー１の前記復号器１ａによる復号化の時点では前記音声ストリームデータと前記映像ストリームデータとが同期化されており，前記音声ストリームデータのみに時間のかかるデータ処理を施す場合であっても，前記映像ストリームデータ各々における単位データ分毎の出力タイミングが，最も処理時間を要する前記音声ストリームデータの出力タイミングに合わせられる。従って，前記データ処理を原因とする前記各ストリームデータの出力タイミングのズレは解消される。
【実施例】
【００１８】
上述の実施形態では，出力バッファ４ｃにおける音声ストリームデータの蓄積容量が，前記出力バッファ４ｃの容量に一致した場合，即ち上述した出力バッファフルが生じた場合に，前記出力バッファ４ｃに蓄積記憶されている前記単位音声情報の出力が開始されたが，本発明はこれに限られるものではない。即ち，前記出力バッファ４ｃの容量を下回る蓄積容量を予め設定しておき（以下，設定された容量を設定容量という），前記出力バッファ４ｃに記憶された前記音声ストリームデータの容量が前記設定容量に達した場合に，前記単位音声情報の出力を開始するものであってもよい。
また，上述の実施形態では，単位音声情報毎にデータ処理の時間が異なるものとして，その処理時間の相違を前記出力バッファ４ｃによる前記単位音声情報の記憶により解消したが，前記単位音声情報毎の前記データ処理の時間が微小な場合には，前記出力バッファ４ｃを設けずに，データ処理後の前記単位音声情報を直接的に音声信号再生出力部８に出力しても良い。この場合，前記音声信号処理部６による前記単位音声情報の処理完了時に，前記音声信号処理部６が遅延制御部７に，前記データ処理の完了を表す所定の検知信号を入力すればよい。言い換えると，前記音声信号処理部６による前記単位音声情報の処理完了時に，前記映像記憶部５に記憶された前記単位映像信号の出力を開始すればよい。
【００１９】
上述の実施形態では，前記映像ストリームデータには処理が施されなかったが，色調補正や輝度補正などのデータ処理を行うことも考えられる。しかし，このようなデータ処理は処理時間の短いものであり，前記映像ストリームデータは，前記音声ストリームデータに較べて相対的に処理時間の短いストリームデータの一例である。
ここで，図４に示されるように，前記映像記憶部５に記憶される前の映像ストリームデータに対して，該映像ストリームデータを形成する単位映像情報毎にデータ圧縮処理を施す圧縮処理部１０，及び該圧縮処理部１０により圧縮された前記単位映像情報を，映像信号再生出力部９に出力する際に，前記映像ストリームデータに伸長処理を施す伸長処理部１１を有する場合には，記憶容量の小さな前記映像記憶部５を用いることが可能である。
前記音声信号処理部６による前記データ処理として，ＦＩＲ型フィルタによるデータ処理を採用した場合，そのデータ処理に要する時間は約１秒程度である。その１秒程度に相当する前記映像ストリームデータを前記映像記憶部５に記憶するには，ＶＧＡサイズで且つ３０ｆｐｓの映像ストリームデータの場合，約２７．６Ｍｂｙｔｅの容量のメモリを前記映像記憶部５として用いる必要がある。一方，上述のように前記映像記憶部５に記憶する前記映像ストリームデータに圧縮処理を施す場合，記憶すべき容量が１／１０程度に削減することが可能である。これにより，前記映像記憶部５として高価な大容量の記憶部は必要なくなり，装置のコストダウンが実現される。
【００２０】
上述の実施形態では，前記出力バッファフルの検知により，前記単位音声情報に対するデータ処理の完了を検知したが，これに限られるものではなく，予め前記データ処理の完了を予測することが可能である場合もある。例えば，前記データ処理の開始後の経過時間と，前記単位音声情報のうちの前記出力バッファ４ｃに記憶された部分の容量とが比例関係にある場合等には，前記データ処理の完了前に前記データ処理の完了時が予測できると考えられる。具体的には，前記音声信号処理部６が前記データ処理を開始してから，前記出力バッファに記憶された部分の容量が前記単位音声情報の容量の半分になるまでの時間を，タイマを用いて計測しておく。そのタイマによる計測時間を倍にしたものが，前記データ処理の開始から完了までの予測することができる。そこで，前記タイマによる計測時間を前記遅延制御部７に伝送し，前記遅延制御部７が前記映像記憶部５を制御して前記映像ストリームデータの遅延時間を制御すればよい。この方法は，前記単位音声情報毎に前記データ処理の時間がばらつかない場合に有効であると考えられる。
【００２１】
上述の実施形態では，複数のストリームデータが，映像ストリームデータと音声ストリームデータとの２つのストリームデータである場合を例に挙げて説明したが，本発明によれば，より多くのストリームデータの同期をとることが可能である。
また，上述の実施形態では，ストリームデータ処理装置の一例としてエフェクタＸ１を例に挙げて説明したが，図１に示されるＤＶＤプレイヤー１と前記エフェクタＸ１とが一体になった装置等も，本発明に係るストリームデータ処理装置の一例と考えられる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係るストリームデータ処理装置及びそれを具備するメディア出力システムの概略構成を表すブロック図。
【図２】本発明の一実施形態に係るストリームデータ処理装置の音声記憶部の概略構成を表すブロック図。
【図３】本発明の一実施形態に係るエフェクタによる音声ストリームデータ及び映像ストリームデータの入出力のタイミングを説明するタイムチャート。
【図４】本発明の一実施例に係るストリームデータ処理装置及びそれを具備するメディア出力システムの概略構成を表すブロック図。
【符号の説明】
【００２３】
Ｘ１…本発明の一実施形態に係るエフェクタ
Ａ１…エフェクタＸ１を有するメディア出力システム
１…ＤＶＤプレイヤー
２…スピーカ
３…ディスプレイ
４…音声記憶部
５…映像記憶部
６…音声信号処理部
７…遅延制御部
８…音声信号再生出力部
９…映像信号再生出力部
【図１】
2007110412.tif 000003
【図２】
2007110412.tif 000004
【図３】
2007110412.tif 000005
【図４】
2007110412.tif 000006