(57)【要約】    【課題】  ストリーミング方式で再生中のコンテンツに係る音声が瞬間的・断続的に途切れてもコンテンツを理解できるようにする。    【解決手段】  ストリーミング配信用の映像・音声等に係る一連のデータの中に、そのデータに含まれる台詞に係る音声データに対応する文字列データを所定の間隔で挿入して配信する。【選択図】      図３
2005191942.tif 000002
【特許請求の範囲】
【請求項１】
ストリーミング配信用の映像・音声等に係る一連のデータの中に、該データに含まれる台詞に係る音声データに対応する文字列データを所定の間隔で挿入して配信することを特徴とするストリーミング配信方法。
【請求項２】
前記文字列データは、前記ストリーミング配信用の映像・音声等に係るデータを格納した一群のパケットの先頭に配置された複数の専用パケットに振り分けて格納されていることを特徴とする請求項１に記載のストリーミング配信方法。
【請求項３】
前記複数の専用パケットは、それぞれ該専用パケットに後続する前記一群のパケットに含まれる台詞に係る音声データに対応する文字列データを格納していることを特徴とする請求項２に記載のストリーミング配信方法。
【請求項４】
前記複数の専用パケットは、それぞれ該専用パケットに後続する前記一群のパケットに含まれる台詞に係る音声データに対応する文字列データを、該一群のパケット中のどのパケットに対応しているかを示す情報と対応付けて格納していることを特徴とする請求項３に記載のストリーミング配信方法。
【請求項５】
前記台詞に係る音声データに対応する文字列データを表示するための台詞アイコン、配信に係る前記映像・音声等に係るデータをそれぞれ再生、再生停止するための再生アイコン、停止アイコン用のデータを前記映像・音声等に係るデータ、文字列データに付加して配信することを特徴とする請求項１〜４の何れかに記載のストリーミング配信方法。
【請求項６】
請求項１〜５の何れかに記載のストリーミング配信方法で配信されたデータを再生するストリーミング再生方法であって、前記映像・音声等に係るデータを再生中に前記停止アイコンが操作された際に、当該停止操作時に再生していたパケットを含む前記一群のパケットに対応する前記専用パケット内の文字列データのうち、該停止操作時に再生していたパケットまでの各パケットに対応する文字列データを表示することを特徴とするストリーミング再生方法。
【請求項７】
請求項１〜５の何れかに記載のストリーミング配信方法を用いて前記映像・音声等に係るデータ、文字列データを配信する配信手段を有することを特徴とするストリーミング配信装置。
【請求項８】
請求項６に記載のストリーミング再生方法を用いて前記映像・音声等に係るデータ、前記文字列データを再生表示する表示手段を有することを特徴とするストリーミング再生装置。
【請求項９】
請求項７に記載のストリーミング配信装置、及び請求項８に記載のストリーミング再生装置を有することを特徴とするストリーミング配信・再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリーミング配信方法、ストリーミング再生方法、ストリーミング配信装置、ストリーミング再生装置、及びストリーミング配信・再生システムに関し、特にストリーミング方式で再生中に音声が途切れた場合の対応技術に関する。
【背景技術】
【０００２】
従来、インターネットを介して音楽（オーディオ）コンテンツや映像（ムービー）コンテンツを配信する方式として、ダウンロード方式とストリーミング方式とが知られている。ダウンロード方式は、配信するコンテンツデータを一括して視聴者のパソコン等のハードデスクにダウンロードし、全てのコンテンツデータのダウンロードが完了した後に再生する方式である。一方、ストリーミング方式は、コンテンツデータを視聴者のパソコン等にダウンロードしながら順次再生する方式である。
【０００３】
映画などの映像の配信においては、著作権の関係などもあり、一般に、ダウンロード方式ではなく、ストリーミング方式が用いられている。なお、オーディオデータとビデオデータの両方に対応するストリーミングの技術は、リアルネットワーク社、マイクロソフト社、アップルコンピュータ社等で開発されている。
【０００４】
ストリーミング方式では、通信プロトコルとしては、Ｗｅｂで標準として使用されている信頼性の高いＴＣＰ／ＩＰプロトコルではなく、信頼性よりも通信速度を重視したＵＤＰ／ＩＰプロトコル等が使用されている。このＵＤＰ／ＩＰプロトコルは、パケットの到達確認応答をせず、不着のパケットがあっても無視するので、不着のパケットが再送されず、再生中の映像や音声が瞬間的・断続的に途切れてしまう場合がある。
【０００５】
このような、不具合を解消するため、ストリーミング方式では、一般に、受信バッファを介してストリーミングデータを再生しているが、受信バッファを用いたとしても、パケットの遅延により受信バッファ内のデータが全て再生されてしまい、再生中の映像や音声が瞬間的・断続的に途切れてしまう場合があるので、その不具合に対する各種の対策が考えられている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３３０１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ストリーミング配信においては、上記のように各種の対策を施したとしても、それら対策により完全に映像や音声の途切れを防止することは困難であった。
【０００７】
ところで、例えば映画に係るコンテンツを再生して鑑賞している際に、映像が多少途切れたとしてもストーリーが分からなくなることは少ないが、音声が途切れて重要な台詞を聞き漏らした場合には、ストーリーが全く分からなくなってしまうことが少なくない。
【０００８】
本発明は、このような背景の下になされたもので、その目的は、ストリーミング方式で再生中のコンテンツに係る音声が瞬間的・断続的に途切れたとしてもコンテンツを理解できるようにしたストリーミング配信方法、ストリーミング再生方法、ストリーミング配信装置、ストリーミング再生装置、及びストリーミング配信・再生システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係るストリーミング配信方法は、ストリーミング配信用の映像・音声等に係る一連のデータの中に、該データに含まれる台詞に係る音声データに対応する文字列データを所定の間隔で挿入して配信するように構成されている。
【発明の効果】
【００１０】
本発明によれば、トリーミング方式で再生中のコンテンツに係る音声が瞬間的・断続的に途切れてもコンテンツを理解できるようにしたストリーミング配信方法、ストリーミング再生方法、ストリーミング配信装置、ストリーミング再生装置、及びストリーミング配信・再生システムを提供することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態を、図面を参照しながら説明する。ここでは、コンテンツ配信時の圧縮符号化方式としてＩＳＯで国際標準となっているＭＰＥＧ４を用いて圧縮符号化して映画に係るコンテンツを配信し、この映画に係るコンテンツをストリーミング方式で再生して視聴する場合の実施形態を説明する。
【００１２】
図１は、ＭＰＥＧ４の圧縮符号化データ（データストリーム）の構成例を示した図である。図１に示したＩｎｉｔｉａｌ  ＯＤ（Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ）には、ＭＰＥＧ４による圧縮符号化データ全体の構成が記述されている。ＯＤ（Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ）には、画像オブジェクト、音声オブジェクト等の各オブジェクトとこれら各オブジェクトを圧縮符号化したＥＳ（エレメンタリストリーム）とを関連を示す情報が記述されている。
【００１３】
ＢＩＦＳ（Ｂｉｎａｒｙ  Ｆｏｒｍａｔ  Ｓｃｅｎｅｓ  ｄｅｓｃｒｉｐｔｉｏｎ）には、シーンの記述を行うＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）をベースにして、各オブジェクトの時間的・空間的な相互関係や属性を記述することにより、各シーンの構成が記述されている。
【００１４】
各オブジェクトのＥＳ（エレメンタリストリーム、ビットストリーム）は、それぞれ複数のＳＬ（Ｓｙｎｃｈｒｏｎｉｓａｔｉｏｎ）パケット（シンクレイヤの場合）に分割されている。これらＳＬパケットは、ヘッダ部とパケットで構成され、パケット部には、圧縮符号化された実際のデータが格納され、ヘッダ部には、パケット内のデータの種類（ビデオデータ、オーディオデータ、後述する台詞データ等）や、同期再生用のタイムスタンプ（時刻情報）等が格納されている。
【００１５】
本実施形態では、多くのＳＬパケットには、オーディオデータ、ビデオデータ、テキストデータ等が格納されているが、所々に「せりふ」データが格納されたＳＬパケットが挿入されている。ＳＬパケットのデータ内容が「せりふ」であることは、ヘッダ部内のヘッダ情報により識別することができる。
【００１６】
なお、「せりふ」データは、台詞に対応する音声データではなく、台詞に対応する文字データであり、具体的には文字パターンデータではなく、文字コードデータである。この「せりふ」データに係るＳＬパケットの挿入の仕方については、後で詳細に説明する。
【００１７】
図２は、図１に示したＭＰＥＧ４符号化データにより作成された画面例（ここでは、映画に係る画面であるものとする）を示しており、ＢＩＦＳによるシーン記述により、再生ボタン１、停止ボタン２、せりふボタン３等の各種のコントロールボタン（アイコン）が、画像表示領域４の周囲に配置されている。
【００１８】
ここで、図２のような映画を視聴している際に音声が途切れて聞き漏らしたものとする。このような場合は、右下の停止ボタン２を押して、映画の再生動作、すなわち配信動作を一旦停止させ、画面左下のせりふボタン３を押せばよい。すなわち、このようなボタン操作を行うと、画面上の画像表示領域４（再生停止により映像は表示されていない）に、停止ボタン２の操作時点より少し前の時点から停止ボタン２の操作時点までの映画のシーンにおける台詞を示す文字列が表示される。そして、表示された台詞（文字列）を読んで再生・視聴時に聞き取れなかった音声の内容を理解したので、再生ボタン１を押すと、再生停止時点から映画の再生（配信）が再開される。このようにして、再生の途中で音声が途切れたとしても、少なくとも映画のストーリーは理解することができるようになる。
【００１９】
もちろん、再生停止位置の手前の位置から映画を再生し直しても途切れた音声を確認することはできるが、再生し直すためには再生停止位置の手前の位置を再生開始位置としてストリーミングサーバに指示し、その再生開始位置からストリーミングデータを再度配信して貰う必要があり、すなわち、受信バッファへのストリーミングデータのバッファリングをし直す必要があり、途切れた音声を確認するのに長時間を要する。
【００２０】
また、ストリーミング配信では、ＶＴＲのように「再生しながら巻き戻す」ことはできず、従来は、再生を停止した状態で再生位置を戻し、その位置を再生開始位置としてストリーミングサーバに指示していた。この場合、再生画像や音声を視聴しながら再生位置を戻すことができず、勘に頼っても戻すこととなるので、再生位置を適切な位置に戻すことが困難であり、戻し過ぎた場合は、途切れた音声を確認し、再生停止位置の続きを視聴できるようになるまでに長時間を要する。一方、再生停止位置からの戻し量が少ない場合は、上記のバッファリングのし直しを複数回行う必要がり、操作が面倒になると共に、途切れた音声を確認し、再生停止位置の続きを視聴できるようになるまでに長時間を要する。
【００２１】
音声の途切れが２時間程度の作品全体の中で１，２箇所であれば、上記のような不具合もそれほど気にならないが、実際のストリーミング配信では、頻繁に音声が切れる場合があるので、このような「少し前からの再生を行う」という方法は不便である。
【００２２】
それに対し、本発明のように、台詞のみをチェックする場合は、操作が簡単であり、また、バッファリングのし直しは必要なく、再生停止位置の続きを直ちに視聴することができるので、利便性が向上する。
【００２３】
次に、「せりふ」データに係るＳＬパケットの挿入方法を、図３に基づいて詳細に説明する。
【００２４】
図３において、縦長の各ブロックは図１に示すＳＬパケットを示しており、ＡＶ（オーディオ・ビデオ）データやテキストデータ等に係る複数のＳＬパケットの間に、所定の間隔で「せりふ」データに係るＳＬパケットが挿入されている。本実施形態では、ＡＶデータやテキストデータに係る８つのＳＬパケット群に対して、１つの「せりふ」データに係るＳＬパケットが挿入されている。
【００２５】
また、「せりふ」データに係るＳＬパケットは、ＡＶデータやテキストデータに係るＳＬパケット群の先頭の位置に挿入されており、この「せりふ」データに係るＳＬパケットには、後続する８つのＡＶデータやテキストデータに係るＳＬパケット群の中の「せりふ」データが格納されている。例えば、図３のＡＶデータ群（ｎ）のＳＬパケットに格納されている「せりふ」の文字データは、その直前の「せりふ」データ用のＳＬパケットに格納されている。
【００２６】
また、図示省略したが、コンピュータ等のストリーミング再生装置には、１つの「せりふ」データ用のＳＬパケットに格納されている「せりふ」データ（文字コード列）を一時的に格納するためのバッファメモリが用意されており、再生時には、このバッファメモリに１つの「せりふ」データ用のＳＬパケットに係る「せりふ」データ（文字コード列）が時間順次に格納されていく。
【００２７】
従って、例えば、ＡＶデータ群（ｎ）を視聴している時に、音声が途切れたので、図２に示した停止ボタン２を押した後にせりふボタン３を押すと、その停止操作の直前の「せりふ」データは、上記バッファメモリに既に取り込まれているので、途切れたＡＶデータ群（ｎ）に対応する「せりふ」を表示できることになる。
【００２８】
ここで、上記の例で、ＡＶデータ群（ｎ）の３番目のＳＬパケットで音声が途切れたので、そのＡＶデータ群（ｎ）の３番目のＳＬパケットの位置で映画の再生を止めて、「せりふ」を表示したとする。この場合、もしＡＶデータ群（ｎ）の直前の「せりふ」データ用のＳＬパケット中の全ての台詞を表示してしまうと、ＡＶパケット群（ｎ）の未だ視聴していない４〜８番目のＳＬパケットに係る台詞も表示されてしまい、興味がそがれる可能性がある。そこで、再生動作を停止した位置を判断し、その停止位置に対応する所までしか台詞を表示しないようにすることが好ましい。
【００２９】
そこで、「せりふ」データ用のＳＬパケットには、台詞に係る文字コード列と対応して、その台詞に係る音声データが格納されているＳＬパケットの位置情報が記録されている。このように構成することで、再生停止位置より少し前のシーンから再生停止位置までのシーンまでの台詞を表示することが可能となるので、興味がそがれることはなくなり、さらに、音声の途切れにより理解できなくなってしまったストーリーを迅速に理解できるようになる。
【００３０】
なお、本発明は、上記の実施形態に限定されることなく、例えば、シンクレイヤ以外のレイヤにおいても上記実施形態と同様にデータストリームが構成されている。また、８つの映像・音声等に係るパケットに対して１つの「せりふ」に係るパケットを挿入することなく、８つ以外の数の映像・音声等に係るパケットに対して１つの「せりふ」に係るパケットを挿入することも可能である。また、映画に係るコンテンツ以外の例えばテレビ放送やラジオ放送等におけるドラマ等に係るコンテンツをストリーミング配信・再生する場合にも本発明を適用することが可能である。
【００３１】
さらに、「せりふ」に係る文字列データを一時的に格納するバッファには、複数のＳＬパケットに格納されている「せりふ」に係る文字列データをバッファリングし、このバッファリングした文字列データのうち再生停止位置までの文字列データを表示することにより、音声を聞き漏らした時点と再生停止を指示した時点との間にある程度の時間差があったとしても、聞き漏らした音声に係る台詞を確実に表示できるようにすることも可能である。
【図面の簡単な説明】
【００３２】
【図１】ＭＰＥＧ４に係るデータストリームの概略構成例を示す図である。
【図２】図１の構成のデータストリームで作成された画面例を示す図である。
【図３】ＡＶストリーム中に「せりふ」データを挿入した状態を例示した図である。
【符号の説明】
【００３３】
１…再生ボタン
２…停止ボタン
３…せりふボタン
４…画像表示領域
【図１】
2005191942.tif 000003
【図２】
2005191942.tif 000004
【図３】
2005191942.tif 000005