(57)【要約】【課題】メディア多重データ（音声データと映像データ）を受信して蓄積しておき、受信時と同じ形式でズレ無く再生できるようにする。【解決手段】送受信部１０１により所定時間間隔で受信したメディア多重データを分離部１０２によって音声データと映像データとに分離する。分離した音声データと映像データに対して、タイムスタンプ付与部１０３は受信タイミングごとにタイムスタンプを付与し、メディア制御部１０４はタイムスタンプを付与された音声データと映像データとを１つのメディア同期ファイルとして記録メディア部１０５に格納する。再生時には、多重部１０８は、格納された音声データと映像データを付与されているタイムスタンプに従って繋げて多重化し、受信時と同一のメディア多重データを再生し送信する。【選択図】図１
2008219589.tif 000002
【特許請求の範囲】
【請求項１】
複数メディアのデータを多重したメディア多重データを蓄積し再生する装置であって、
所定の時間間隔のタイミングで受信したメディア多重データから前記複数メディアのデータをそれぞれ分離する分離手段と、
前記複数メディアの各々のデータに対して前記受信タイミングに応じたタイムスタンプを付与するタイムスタンプ付与手段と、
前記タイムスタンプを付与された複数メディアのデータをメディアごとに格納する格納手段と、
前記格納手段から読み出された前記複数メディアのデータをそれらに付与されているタイムスタンプに従って多重し、前記受信したメディア多重データと同一のメディア多重データを生成する多重手段と、
を有することを特徴とするメディア多重データの同期蓄積再生装置。
【請求項２】
前記タイムスタンプ付与手段は、一連のメディア多重データの先頭受信タイミングを基準とした相対的な経過時間に対応するタイムスタンプを付与することを特徴とする請求項１に記載のメディア多重データの同期蓄積再生装置。
【請求項３】
前記タイムスタンプ付与手段は、前記複数メディアの各々のデータに対して、１つのメディアのデータに対応する他のメディアのデータの有無を示す関連付けフラグを併せて付与し、
前記多重手段は、前記関連付けフラグをチェックしながら、前記複数メディアのデータをそれらに付与されているタイムスタンプに従って多重する
ことを特徴とする請求項１または２に記載のメディア多重データの同期蓄積再生装置。
【請求項４】
複数メディアのデータを多重したメディア多重データを蓄積する方法であって、
所定の時間間隔のタイミングで受信したメディア多重データから前記複数メディアのデータをそれぞれ分離し、
前記複数メディアの各々のデータに対して前記受信タイミングに応じたタイムスタンプを付与し、
前記タイムスタンプを付与された複数メディアのデータをメディアごとに格納手段に格納する、
ことを特徴とするメディア多重データの同期蓄積方法。
【請求項５】
請求項４に記載の蓄積方法により前記格納手段に蓄積された複数メディアのデータを再生する方法であって、
前記格納手段から読み出された前記複数メディアのデータをそれらに付与されているタイムスタンプを読み取り、
前期読み取られたタイムスタンプに従って、読み出された前記複数メディアのデータを多重することで前記受信したメディア多重データと同一のメディア多重データを再生する、
ことを特徴とするメディア多重データの同期再生方法。
【請求項６】
複数のテレビ電話端末とネットワークを通して接続された音声・映像多重データの蓄積再生装置において、
前記ネットワークを通して任意のテレビ電話端末と音声・映像多重データの送受信を行うための送受信手段と、
所定の時間間隔のタイミングで受信した音声・映像多重データから音声データおよび映像データをそれぞれ分離する分離手段と、
前記音声データおよび前記映像データの各々対して前記受信タイミングに応じたタイムスタンプを付与するタイムスタンプ付与手段と、
前記タイムスタンプを付与された音声データおよび映像データをそれぞれ格納する格納手段と、
前記格納手段から読み出された前記音声データおよび映像データをそれらに付与されているタイムスタンプに従って多重し、前記受信したメディア多重データと同一のメディア多重データを生成する多重手段と、
第１テレビ電話端末からの蓄積要求に応じて、当該第１テレビ電話端末から受信した音声・映像多重データの音声データおよび映像データをそれぞれタイムスタンプと共に前記格納手段に格納し、第２テレビ電話端末からの当該音声・映像多重データの再生要求に応じて、前記格納手段から読出して前記受信したメディア多重データと同一のメディア多重データを前記第２テレビ電話端末へ前記ネットワークを通して送信するメディア制御手段と、
を有することを特徴とする音声・映像多重データの同期蓄積再生装置。
【請求項７】
請求項６に記載の音声・映像多重データの同期蓄積再生装置と前記複数のテレビ電話端末とはコールセンタを介して接続されることを特徴とする同期蓄積再生システム。
【請求項８】
コンピュータを、
所定の時間間隔のタイミングで受信したメディア多重データから前記複数メディアのデータをそれぞれ分離する手段と、
前記複数メディアの各々のデータに対して前記受信タイミングに応じたタイムスタンプを付与する手段と、
前記タイムスタンプを付与された複数メディアのデータをメディアごとに格納手段に格納する手段と、
を有する同期蓄積装置として機能させるためのプログラム。
【請求項９】
請求項４に記載の同期蓄積装置により前記格納手段に蓄積された複数メディアのデータを再生する装置であって、
前記格納手段から読み出された前記複数メディアのデータをそれらに付与されているタイムスタンプを読み取る手段と、
前期読み取られたタイムスタンプに従って、読み出された前記複数メディアのデータを多重することで前記受信したメディア多重データと同一のメディア多重データを再生する手段と、
を有する同期再生装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメディア多重データの蓄積再生技術に係り、特に多重された複数メディアデータの同期蓄積再生方法および装置に関する。
【背景技術】
【０００２】
日常会話やビジネスの現場において、いわゆるテレビ電話端末を用いて行った会話あるいは会議の内容を後日確認したい場合がよくある。このためにはテレビ電話の映像・音声データを蓄積し、そのときの映像および音声を忠実に再現することが望ましい。この場合、テレビ電話で話す話し手の音声と映像をどのようにして蓄積し蓄積時と変わらない品質で再生するかが重要な課題としてある。
【０００３】
特開２００５−０５７３６２号公報（特許文献１）に開示された音声及び画像の送受信記録システムでは、相手先のテレビ電話装置から動画・音声データの多重化データストリームを受信し、それを動画データと音声データとに分離した後、再度それらを多重化し、１つのデータとして記憶部に記録する。多重化データストリームを動画データと音声データとに分離する際、動画と音声との同期を取るために各フレームにタイムスタンプを付加することが望ましい。タイムスタンプは、復号化処理に要する時間が動画と音声とで異なることを補償し、動画と音声の同期を取るように算出される（段落００４２−００４３参照）。記録された多重化データを再生する場合には、タイムスタンプを参照しながら多重化データを読出し、動画データと音声データとに分離した後、それぞれ復号化して再生される（段落００４５−００４６参照）。
【０００４】
このように、特許文献１に開示されたシステムでは、受信した多重化データを分離した後で、再度動画データと音声データとを多重化してから記録する方法を採用しており、その際のタイムスタンプは復号化に要する時間の差を補償するために付加されるものである。したがって、再生するには、受信時と同様に、読み出された多重化データを分離し、分離された動画データと音声データとをそれぞれ復号化して再生する必要がある。
【０００５】
【特許文献１】特開２００５−０５７３６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているように、分離した動画データと音声データとを再度多重化して記録する方式は、再生時に動画と音声との同期を取りやすくするためだと考えられる。なぜならば、音声と動画を分離したままで記録すると、再生時に音と映像とが同期しないからである。
【０００７】
しかしながら、上述した従来技術では、多重化された音声・映像データを記録・再生するために、受信データを分離した後で多重化して記録し、さらに再生時にはもう一度分離するというように、送受信ための分離多重部に加えて更にもう１つの分離多重部を設ける必要があり、回路規模の増大および処理速度の低下を招来する。このような回路規模の増大は、特に小型軽量化を課題とする携帯端末にとっては避けるべきことであり、さらに処理能力に限界のある携帯端末にとって、ＣＰＵに余分な負荷をかけることも避けるべきことである。
【０００８】
本発明の目的は、回路規模および処理負荷を増大させることなくメディア多重化データの同期蓄積再生を可能にする方法および装置を提供することにある。
【０００９】
本発明の他の目的は、携帯端末の回路規模および処理負荷を増大させることなくメディア多重化データの同期蓄積再生を可能にする装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、受信されるメディア多重データをメディアごとに分離すると共に各メディアデータにタイムスタンプを付与し、タイムスタンプが付与された各メディアデータを記録する。そして再生時には、タイムスタンプに従って記録されたメディアデータを多重化し、オリジナルのメディア多重データを再生する。
【００１１】
本発明の一側面によれば、複数メディアのデータを多重したメディア多重データを同期蓄積し同期再生する装置は、所定の時間間隔のタイミングで受信したメディア多重データから前記複数メディアのデータをそれぞれ分離する分離手段と、前記複数メディアの各々のデータに対して前記受信タイミングに応じたタイムスタンプを付与するタイムスタンプ付与手段と、前記タイムスタンプを付与された複数メディアのデータをメディアごとに格納する格納手段と、前記格納手段から読み出された前記複数メディアのデータをそれらに付与されているタイムスタンプに従って多重し、前記受信したメディア多重データと同一のメディア多重データを生成する多重手段と、を有することを特徴とする。
【００１２】
前記タイムスタンプ付与手段は、一連のメディア多重データの先頭受信タイミングを基準とした相対的な経過時間に対応するタイムスタンプを付与することが望ましい。更に、前記タイムスタンプ付与手段は、前記複数メディアの各々のデータに対して、１つのメディアのデータに対応する他のメディアのデータの有無を示す関連付けフラグを併せて付与することが望ましい。この場合、前記多重手段は、前記関連付けフラグをチェックしながら、前記複数メディアのデータをそれらに付与されているタイムスタンプに従って効率的に多重することができる。
【００１３】
本発明の同期蓄積方法は、所定の時間間隔のタイミングで受信したメディア多重データから前記複数メディアのデータをそれぞれ分離し、前記複数メディアの各々のデータに対して前記受信タイミングに応じたタイムスタンプを付与し、前記タイムスタンプを付与された複数メディアのデータをメディアごとに格納手段に格納することを特徴とする。
【００１４】
本発明の同期再生方法は、前記格納手段から読み出された前記複数メディアのデータをそれらに付与されているタイムスタンプを読み取り、前期読み取られたタイムスタンプに従って、読み出された前記複数メディアのデータを多重することで前記受信したメディア多重データと同一のメディア多重データを再生する、ことを特徴とする。
【００１５】
本発明の一実施形態によれば、複数のテレビ電話端末とコールセンタを通して接続された音声・映像多重データの同期蓄積再生装置は、前記コールセンタを通して任意のテレビ電話端末と音声・映像多重データの送受信を行うための送受信手段と、所定の時間間隔のタイミングで受信した音声・映像多重データから音声データおよび映像データをそれぞれ分離する分離手段と、前記音声データおよび前記映像データの各々対して前記受信タイミングに応じたタイムスタンプを付与するタイムスタンプ付与手段と、前記タイムスタンプを付与された音声データおよび映像データをそれぞれ格納する格納手段と、前記格納手段から読み出された前記音声データおよび映像データをそれらに付与されているタイムスタンプに従って多重し、前記受信したメディア多重データと同一のメディア多重データを生成する多重手段と、第１テレビ電話端末からの蓄積要求に応じて、当該第１テレビ電話端末から受信した音声・映像多重データの音声データおよび映像データをそれぞれタイムスタンプと共に前記格納手段に格納し、第２テレビ電話端末からの当該音声・映像多重データの再生要求に応じて、前記格納手段から読出して前記受信したメディア多重データと同一のメディア多重データを前記第２テレビ電話端末へ送信するメディア制御手段と、を有することを特徴とする。
【発明の効果】
【００１６】
上述したように、本発明によれば、受信されるメディア多重データをメディアごとに分離すると共に各メディアデータに受信タイミングに従ったタイムスタンプを付与し、タイムスタンプが付与された各メディアのデータをそれぞれ記録する。そして再生時には、タイムスタンプに従ってそれぞれのメディアのデータを多重化することで、対応したメディア間で時間的なズレのない受信時と同一のメディア多重データを再生することができる。さらに、タイムスタンプに加えて関連付けフラグを用いることで効率的な再生を行うことができる。
【００１７】
特に、テレビ電話端末と本発明による音声・映像多重データの蓄積再生装置とをネットワークあるいはコールセンタを通して接続することで、テレビ電話端末の回路規模および処理負荷を増大させることなく音声・映像多重データを忠実に蓄積再生することができる。この場合、テレビ電話端末の種類などに依存することなく音声・映像多重データの記録再生が可能になるという利点がある。
【発明を実施するための最良の形態】
【００１８】
１．機能的構成
図１は本発明の一実施形態による蓄積再生装置の機能的構成を示すブロック図である。ここでは、説明を煩雑にしないために、蓄積再生装置１０はネットワークあるいはコールセンタ２０を通して複数のテレビ電話端末３０に接続され、メディア多重化データ（ここでは音声・映像多重化データ）を送受信するものとする。
【００１９】
蓄積再生装置１０は送受信部１０１によりネットワークあるいはコールセンタ２０を通して任意のテレビ電話端末３０との間で音声・映像多重化データを送受信可能である。記録要求のあったテレビ電話端末３０から受信した音声・映像多重化データは、分離部１０２により音声データおよび映像データに分離され、さらにタイムスタンプ付与部１０３によって、後述するように音声データおよび映像データのそれぞれにタイムスタンプおよび関連付けフラグが付与される。タイムスタンプ及びフラグ付き音声データおよび映像データは、メディア制御部１０４によって記録メディア部１０５にそれぞれ格納される。記録メディア部１０５はハードディスク等の記録媒体である。
【００２０】
また、あるテレビ電話端末３０から再生要求があると、メディア制御部１０４は、記録メディア部１０５から対応する音声データおよび映像データをそれぞれ読み出し、それらのタイムスタンプおよびフラグがタイムスタンプ読取部１０７によって読み取られる。そして、読み取られたタイムスタンプおよびフラグに従って、多重部１０８は音声データおよび映像データを同期させながら多重化し、受信したときと同じ音声・映像多重化データを再生し、送受信部１０１はそれを再生要求のあったテレビ電話端末３０へ送信する。
【００２１】
なお、分離部１０２および多重部１０８、タイムスタンプ付与部１０３およびタイムスタンプ読取部１０７、メディア制御部１０４は、ハードウエアとして回路構成しても良いが、それぞれのプログラムをＣＰＵ等のプログラム制御プロセッサ上で実行することにより同じ機能を実現することもできる。以下、図２〜図５を参照しながら、ソフトウェア構成による本実施形態の動作を詳細に説明する。
【００２２】
２．動作
図２は蓄積時のデータの流れを示すソフトウェア構成図、図３は再生時のデータの流れを示すソフトウェア構成図、図４はネットワークシステム全体での動作シーケンスを示す説明図、図５はデータ蓄積再生時の各時点でのデータ構成を示す説明図である。なお、蓄積時と再生時のデータの流れの概要を図２および図３を参照して説明するが、図２及び図３では、図１の分離部１０２・タイムスタンプ付与部１０３・タイムスタンプ読取部１０７・多重部１０８を、「多重・分離部」として一括して示している。
【００２３】
図２に示す蓄積方向では、テレビ電話端末３０からのメディア多重データが、多重・分離部で分離され、分離された音声データと映像データに受信間隔ごとにタイムスタンプが付与されて、メディア制御部１０４を通して記録メディア部１０５に格納される。図３に示す再生方向では、メディア制御部１０４によって記録メディア部１０５から読み出された音声データと映像データは、多重・分離部でタイムスタンプに従って繋ぎ合わされて多重されテレビ電話端末３０へ送信される。このように、分離時に映像および音声のそれぞれに対応したタイムスタンプ付与を行うことにより、音声データと映像データの同期蓄積再生を可能としている。
【００２４】
２．１）蓄積時の動作（図４で右方向矢印）
あるテレビ電話端末３０から送信されてくるメディア多重データが、送受信部１０１にて受信されることにより、蓄積処理が開始される。このメディア多重データは、本実施形態では、図５（ａ）に示すように、同期フラグおよびヘッダに続いて音声データと映像データとが多重化されて構成されているが、これら以外のデータ（例：テキストデータ）が多重されていてもよく、その場合も、以下と略同様に処理可能である。
【００２５】
送受信部１０１にて受信されたメディア多重データは、分離部１０２に入力される。分離部１０２は、送受信部１０１から入力されるメディア多重データを音声データと映像データとに分離し、それぞれタイムスタンプ付与部１０３に渡す。タイムスタンプ付与部１０３は、分離部１０２から順に渡される音声データと映像データのそれぞれに対して、受信間隔（例：２０ｍｓ）毎に、タイムスタンプと音声／映像の関連付けを示すＡ／Ｖフラグとを付与する。
【００２６】
たとえば図５（ｂ）に示すように、受信間隔を２０ｍｓとすれば、ある音声データ１とそれに対応する映像データ２に付与されるタイムスタンプはＴＳ００、これに続く音声データ３とそれに対応する映像データ４に付与されるタイムスタンプはＴＳ２０、・・・というようにタイムスタンプが付与される。
【００２７】
さらに、タイムスタンプ付与部１０３は、音声データに対しては対応する映像データが存在するか否かを示すＶフラグを、映像データに対しては対応する音声データが存在するか否かを示すＡフラグを、それぞれタイムスタンプと併せて付与する。すなわち、図５（ｂ）に示すように、対応する映像データがない音声データには「Ｖフラグ＝０」、対応する映像データがある音声データには「Ｖフラグ＝１」、対応する音声データがない映像データには「Ａフラグ＝０」、対応する音声データがある映像データには「Ａフラグ＝１」を、それぞれ付与する。
【００２８】
このようにタイムスタンプおよびＡ／Ｖフラグが付与された音声データおよび映像データの構成を図５（ｂ）に示す。
【００２９】
タイムスタンプおよびＡ／Ｖフラグが付与された音声データおよび映像データはメディア制御部１０４に渡される。メディア制御部１０４は、タイムスタンプを付与された音声データや映像データを単一のメディア同期ファイルとして作成し、記録メディア部１０５は、このメディア同期ファイルを所定の記憶領域に格納する。このときのファイル形式を、図５（ｃ）に示す。
【００３０】
２．２）再生時の動作（図４で左方向矢印）
あるテレビ電話端末３０からの音声・映像の再生を要求が送受信部１０１にて受信されることにより、再生処理が開始される。
【００３１】
まず、メディア制御部１０４は、対応するメディア同期ファイルを記録メディア部１０５から読み出し、音声データおよび映像データを多重部１０８へ渡す。これら音声データおよび映像データは、図５（ｃ）に示すように、タイムスタンプおよびＡ／Ｖフラグが付与されている。これらタイムスタンプおよびフラグがタイムスタンプ読取部１０７によって読み取られる。
【００３２】
多重部１０８は、タイムスタンプ読取部２３にて読み取ったタイムスタンプおよびフラグに従って、音声データおよび映像データのタイムスタンプが同期するように繋ぎ合わせることで受信時と同じメディア多重データを生成し、送受信部１０１へ出力する。この多重部１０８は、各映像および音声データのＡフラグやＶフラグをチェックすることで、対応する音声あるいは映像データの有無を効率的に知ることができる。こうして多重された音声および映像データの構成を図５（ｄ）に示す。
【００３３】
送受信部１０１は、多重部１０８から渡されたメディア多重データに所定のヘッダ情報等を付加した後、当該の再生要求を発したテレビ電話端末３０へ送信する。送信されるメディア多重データの構成を図５（ｅ）に示す。
【００３４】
このように、本実施形態による蓄積再生装置では、ある任意のテレビ電話端末３０から受信して蓄積したメディア多重データと同じものを、同一のあるいは別のテレビ電話端末３０からの要求に応じて送信することができる。しかも、分離部１０２および多重部１０８とは別の分離／多重部を設けることなく、また重い処理を行うこともなく、軽快な同期蓄積再生を達成することができる。
【００３５】
３．応用例
図６は本実施形態の蓄積再生装置を利用したシステムの一例を示すブロック構成図である。同期蓄積・同期再生装置１０の基本的構成は図１と同様であるが、再生要求を発したテレビ電話端末３０で再生される映像データが異なる。この例では、予め用意しておいた別の音声・映像データを付与して再生する。たとえば、再生する音声・映像にコマーシャル「こちらのサービスはｘｘの提供でお送りいたします」などを付けて流すといったサービスも可能である。
【００３６】
図７は本実施形態の蓄積再生装置を利用したシステムの他の例を示すブロック構成図である。同期蓄積・同期再生装置１０の基本的構成は図１と同様であるが、音声・映像データの送信先が異なっている。図示のように、音声・映像データの送信先をパーソナルコンピュータ２０１やインターネット２０２にすることもできる。このようにすると、テレビ電話端末３０のみならず、不特定多数への送信が可能となり、より多くの人々との間での情報の共有や交換が可能となる。
【産業上の利用可能性】
【００３７】
本発明はテレビ電話通信システムやテレビ会議システムなどの同期を必要とするマルチメディア通信システムに適用可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態による蓄積再生装置の機能的構成を示すブロック図。
【図２】蓄積時のデータの流れを示すソフトウェア構成図。
【図３】再生時のデータの流れを示すソフトウェア構成図。
【図４】ネットワークシステム全体での動作シーケンスを示す説明図。
【図５】データ蓄積再生時の各時点でのデータ構成を示す説明図。
【図６】本実施形態の蓄積再生装置を利用したシステムの一例を示すブロック構成図。
【図７】本実施形態の蓄積再生装置を利用したシステムの他の例を示すブロック構成図。
【符号の説明】
【００３９】
１１  分離部
１３  タイムスタンプ付与部
１５  メディア制御部
１７  記録メディア部
２１  多重部
２３  タイムスタンプ読取部
３０  送受信部
５０  テレビ電話端末装置
６０  コールセンタ
【図１】
2008219589.tif 000003
【図２】
2008219589.tif 000004
【図３】
2008219589.tif 000005
【図４】
2008219589.tif 000006
【図５】
2008219589.tif 000007
【図６】
2008219589.tif 000008
【図７】
2008219589.tif 000009