(57)【要約】  【課題】蓄積メディアからのストリームデータとネットワークからのストリームデータとをリアルタイムで同期させてコンテンツを再生する。  【解決手段】再生装置１とコンテンツ配信用のデータサーバ１００とをインターネット等のネットワーク１０１により接続して再生システムを形成する。そして、再生装置１のコントローラ１２でネットワーク１０１のビットレートを測定し、ネットワーク１０１の現在のビットレートに応じた伝送量でのデータ送信をデータサーバ１００に要求する。これにより、ネットワーク１０１のビットレートに左右されることなく、蓄積メディア２からのデータに、ネットワーク１０１からのデータをリアルタイムで同期させて再生することができる。【選択図】図１
2006191186.tif 000002
【特許請求の範囲】
【請求項１】
蓄積メディアに記録されたストリームデータとネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生システムであって、
上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合するデータとして配信する配信サーバと、
上記ネットワークのビットレートを測定して該ビットレートの測定値に応じたデータを上記配信サーバに要求し、上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って再生する再生装置とを備えたことを特徴とするコンテンツの再生システム。
【請求項２】
蓄積メディアに記録されたストリームデータとネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生システムであって、
上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合すると共に同期用のポイントを設けたデータとして配信する配信サーバと、
上記ネットワークのビットレートを測定して該ビットレートの測定値に応じたデータを上記配信サーバに要求し、上記配信サーバから伝送されたストリームデータを、上記ポイントを用いて上記蓄積メディアから読み出したストリームデータと時間的に同期を取って再生する再生装置とを備えたことを特徴とするコンテンツの再生システム。
【請求項３】
上記配信サーバは、
上記ネットワークのビットレートに適合するデータを、ビットレートを示すリストに対応したデータとして予め保持することを特徴とする請求項１又は２記載のコンテンツの再生システム。
【請求項４】
上記配信サーバは、
上記ネットワークのビットレートに適合するデータを、上記再生装置から送信されたビットレートの測定値に応じてリアルタイムにエンコードしながら伝送することを特徴とする請求項１又は２記載のコンテンツの再生システム。
【請求項５】
蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生装置であって、
上記ネットワークのビットレートを測定して該ビットレートの測定値に適合するデータを上記配信サーバに要求するコントローラと、
上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って合成するミキサとを備えたことを特徴とするコンテンツの再生装置。
【請求項６】
上記コントローラは、
上記配信サーバからビットレート毎のデータのリストを取得し、このリストを参照してビットレートの測定値に適合するデータを上記配信サーバに要求することを特徴とする請求項５記載のコンテンツの再生装置。
【請求項７】
蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生方法であって、
上記ネットワークを介したストリームデータを、上記ネットワークのビットレートの測定値に適合するデータとして上記配信サーバから配信し、
上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って再生することを特徴とするコンテンツの再生方法。
【請求項８】
蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生方法であって、
上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合すると共に同期用のポイントを設けたデータとして上記配信サーバから配信し、
上記配信サーバから伝送されたストリームデータを、上記ポイントを用いて上記蓄積メディアから読み出したストリームデータと時間的に同期を取って再生することを特徴とするコンテンツの再生方法。
【請求項９】
コンテンツを形成するストリームデータをネットワークを介して配信する配信サーバであって、
上記ストリームデータを、上記ネットワークのビットレートに適合するデータとして配信するためのビットレート毎のデータリストを備えたことを特徴とするコンテンツの配信サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のストリーム情報により実現されるコンテンツを再生する再生システム、再生装置、再生方法、及び配信サーバに関する。
【背景技術】
【０００２】
近年、大容量のデジタルデータを記録することができる高密度光ディスク、例えば、ＤＶＤ（Digital Versatile Disc）が普及し、ディジタルの映像情報（静止画像を含む）、音声情報等のいわゆるマルチメディア情報により作成されたコンテンツを再生するための各種の再生システムが提案されている。
【０００３】
このようなコンテンツ再生システムでは、ＤＶＤのみでなく、インターネット等のコンピュータ・ネットワーク上のリソースであるＷｅｂサーバから所望のストリーム情報をアクセスできるシステムが提案されている。例えば、特許文献１には、対話型光ディスクから読み出して再生されるオーディオまたはビデオデータと、コンテンツ提供サーバーから受信されるコンテンツ情報を相互同期させてプレゼンテーションする技術が開示されている。
【特許文献１】特開２００３−２２４８０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術では、光ディスクからのオーディオまたはビデオデータとサーバからのコンテンツ情報とを相互同期させて再生するには、サーバからのデータのダウンロードが完了するまで待機しなければならず、光ディスクからデータを読み出しながらサーバからのデータをリアルタイムに同期させて再生することは困難である。
【０００５】
本発明は上記事情に鑑みてなされたもので、蓄積メディアからのストリームデータとネットワークからのストリームデータとをリアルタイムで同期させてコンテンツを再生することのできるコンテンツの再生システム、再生装置、再生方法、及び配信サーバを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明によるコンテンツの再生システムは、蓄積メディアに記録されたストリームデータとネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生システムであって、上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合するデータとして配信する配信サーバと、上記ネットワークのビットレートを測定して該ビットレートの測定値に応じたデータを上記配信サーバに要求し、上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って再生する再生装置とを備えたことを特徴とする。
【０００７】
また、本発明によるコンテンツの再生システムは、蓄積メディアに記録されたストリームデータとネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生システムであって、上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合すると共に同期用のポイントを設けたデータとして配信する配信サーバと、上記ネットワークのビットレートを測定して該ビットレートの測定値に応じたデータを上記配信サーバに要求し、上記配信サーバから伝送されたストリームデータを、上記ポイントを用いて上記蓄積メディアから読み出したストリームデータと時間的に同期を取って再生する再生装置とを備えたことを特徴とする。
【０００８】
本発明によるコンテンツの再生装置は、蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生装置であって、上記ネットワークのビットレートを測定して該ビットレートの測定値に適合するデータを上記配信サーバに要求するコントローラと、上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って合成するミキサとを備えたことを特徴とする。
【０００９】
本発明によるコンテンツの再生方法は、蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生方法であって、上記ネットワークを介したストリームデータを、上記ネットワークのビットレートの測定値に適合するデータとして上記配信サーバから配信し、上記配信サーバから伝送されたストリームデータと上記蓄積メディアから読み出したストリームデータとを時間的に同期を取って再生することを特徴とする。
【００１０】
また、本発明によるコンテンツの再生方法は、蓄積メディアに記録されたストリームデータと、配信サーバからネットワークを介して配信されるストリームデータとにより実現されるコンテンツを再生する再生方法であって、上記ネットワークを介したストリームデータを、上記ネットワークのビットレートに適合すると共に同期用のポイントを設けたデータとして上記配信サーバから配信し、上記配信サーバから伝送されたストリームデータを、上記ポイントを用いて上記蓄積メディアから読み出したストリームデータと時間的に同期を取って再生することを特徴とする。
【００１１】
本発明によるコンテンツの配信サーバは、コンテンツを形成するストリームデータをネットワークを介して配信する配信サーバであって、上記ストリームデータを、上記ネットワークのビットレートに適合するデータとして配信するためのビットレート毎のデータリストを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明は、蓄積メディアからのストリームデータとネットワークからのストリームデータとをリアルタイムで同期させてコンテンツを再生することができ、より多様なコンテンツの再生を可能とすることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。図１及び図２は本発明の実施の第１形態に係り、図１はコンテンツ再生システムの全体構成図、図２はコンテンツ再生処理を示すフローチャートである。
【００１４】
図１において、符号１は、映像や音声情報等からなる各種コンテンツを再生する再生装置であり、例えば、ＨＤＤＶＤ（High Definition Digital Versatile Disc）規格に基づくＤＶＤプレーヤ等に相当する。この再生装置１は、ＤＶＤ等の蓄積メディア２に記録されたコンテンツを、蓄積メディア２単独のコンテンツとして再生する通常の機能に加え、蓄積メディア２からのストリームデータとネットワーク１０１を介したストリームデータにより１つのコンテンツが実現される場合においても、リアルタイムで互いの同期を取りながら再生する機能を備えている。
【００１５】
図１においては、再生装置１にネットワーク接続機能を備え、再生装置１とコンテンツ配信用のデータサーバ１００とをインターネット等のネットワーク１０１により接続して形成されるコンテンツ再生システムを示している。このコンテンツ再生システムにおいては、伝送経路３から伝送される蓄積メディア２のストリームデータに比較して、ネットワーク１０１からのストリームデータは、ビットレートが低く、且つ個々の環境に左右される等して時間当たりの伝送量が固定されていないことから、蓄積メディア２からのストリームデータと同期が取れるよう、再生装置１からデータサーバ１００にデータ送信を要求する。
【００１６】
例えば、蓄積メディア２から映画等の画像情報（動画像情報）が伝送される一方、ネットワーク１０１から蓄積メディア２に含まれないオプションコンテンツとして、コメントや多言語対応等の音声情報が伝送され、これらの画像情報と音声情報とが組合わされて１つのコンテンツが形成される場合、再生装置１は、蓄積メディア２から伝送される画像情報に同期して音声情報を再生可能なよう、データサーバ１００に音声情報の伝送を要求する。そして、蓄積メディア２からの画像情報とデータサーバ１００からの音声情報とを時間的に同期を取って合成し、出力側のインタフェースを介した伝送経路４からＴＶモニタ等の音声出力及び映像表示が可能な出力装置５に出力する。
【００１７】
尚、蓄積メディア２及びネットワーク１０１から伝送されるデータは、画像データと音声データとの組合せに限定されるものではく、蓄積メディア２からの画像データに、子画面やアルファブレンド等による透過型画面として重ね合わされる画像データ、或いは、画像データと音声データと音楽データと文字データの組合せといったように、各種の組合せが適用される。
【００１８】
具体的には、再生装置１は、蓄積メディア２から伝送経路３を経て伝送されるデータ（駆動ドライブを介して読み出されるデータ）を一時的に蓄積するバッファ１０、データサーバ１００からネットワーク１０１を経て伝送されるデータを一時的に蓄積するバッファ１１、蓄積メディア２のデータから制御情報や時間情報を取得すると共に、ネットワーク１０１のビットレートを測定し、互いのデータが適合するよう制御するコントローラ１２、各バッファ１０，１１に格納されたデータを復号するデコーダ１３，１４、及び、デコーダ１３，１４で復号したデータを合成して出力するミキサ１５を、基本構成として備えている。
【００１９】
蓄積メディア２には、動画像符号化方式等によりエンコードされた符号化ストリーム（連続ビットデータ列）に対し、プログラムチェーン番号（タイトルの全体または一部を再生するための論理単位）、ビデオタイトル番号、セル番号、チャプター番号のようなＤＶＤ規格に基づいたストリームを特定するための識別情報、データ再生制御に関するナビゲーション・コマンド等の制御情報、オーディオ及びビデオデータ等を相互に同期させて再生出力するための時間情報（タイムスタンプ）等が記録されている。
【００２０】
コントローラ１２は、蓄積メディア２の制御情報や時間情報を取得すると共に、蓄積メディア２内のストリーム情報（シーン）に組み合わせるストリーム情報をネットワークから得るための配信情報（データサーバ１００にアクセスするためのＵＲＬ情報）を取得し、更に、ネットワーク１０１のビットレートを測定する。そして、取得したデータサーバ１００のＵＲＬ情報を用いて該当するデータサーバ１００にアクセスし、ネットワーク１０１の現在のビットレートに応じた伝送量でのデータ送信をデータサーバ１００に要求する。
【００２１】
データサーバ１００は、例えば、蓄積メディア２を介してコンテンツを提供するコンテンツ提供会社に設置されるサーバであり、ネットワーク１０１を介して再生装置１に接続される（家庭内に設置されるホームサーバを経由して再生装置１に接続するようにしても良い）。コンテンツ提供会社は、蓄積メディア２のコンテンツを再生する際にネットワークからオプションコンテンツを利用可能なよう、蓄積メディア２に配信情報を格納すると共に、蓄積メディア２のデータに適合するデータを、ネットワークのビットレートに対応した伝送量で出力可能なデータサーバ１００を備えている。
【００２２】
本形態においては、データサーバ１００内に、伝送可能なビットレートを示したデータリストＬＳＴを作成し、このデータリストＬＳＴに対応したデータを保有している。例えば、蓄積メディア２の映像データに対応して、ネットワークのビットレートに応じてエンコードされた高品質から低品質の複数種類の音声データをデータサーバ１００内に保存しておき、再生装置１から送信されるネットワーク１０１のビットレートに応じて、蓄積メディア２のデータと時間的に同期可能な音声データをデータリストＬＳＴから選択し、再生装置１に伝送する。これにより、再生装置１では、ネットワーク１０１のビットレートに左右されることなく、蓄積メディア２から読み込んだ映像データにリアルタイムに同期させて音声データを再生することができる。
【００２３】
尚、この場合、データサーバ１００の能力に依存するが、データサーバ１００には、ネットワーク１０１のビットレートに応じた複数種類のデータを保持することなく（データリストＬＳＴを保持することなく）、蓄積メディア２のコンテンツに対応するオプションコンテンツの元データのみを保存しておき、この元データを、再生装置１から伝送されるビットレートに応じた伝送量となるようにリアルタイムにエンコードして伝送するようにしても良い。
【００２４】
次に、以上の再生システムにおける再生動作について、再生装置１の動作を中心とした図２のフローチャートを用いて説明する。尚、図２は、全体的な処理の流れを時系列的に示した一例であり、細部の処理によっては、定常的に並列処理されるものもある。
【００２５】
先ず、再生装置１内にＤＶＤ等の蓄積メディア２が装着され、ユーザの入力操作による再生指示があると、再生装置１で蓄積メディア２を駆動し、蓄積メディア２から伝送経路３を介してデータが伝送される（処理Ｓ１）。このとき、例えば、出力装置５に蓄積メディア２内のメインコンテンツと、このメインコンテンツにネットワークを経由して配信されるオプションコンテンツとを表示するメニュー画面やアイコン等が表示される。
【００２６】
そして、ユーザが蓄積メディア２のメインコンテンツにネットワーク配信のオプションコンテンツを組み合わせたコンテンツの再生を選択したとき、対応する処理に移行し、再生装置１内のコントローラ１２がバッファ１０に蓄えられたデータから蓄積メディア２の再生に関する制御情報や時間情報を取得する（処理Ｓ２）。また、対応するデータサーバ１０のＵＲＬ情報を取得し、ネットワーク１０１の現状のビットレートを、テストデータや通常のデータ等を用いて測定する（処理Ｓ３）。
【００２７】
尚、処理Ｓ３におけるネットワーク１０１のビットレートの測定は、図２のフローチャートに示す実施時期に限定されること無く、定常的に実施可能である。同様に、処理Ｓ２における制御情報の取得も、バッファ１１内にデータが有る限り可能であることから、定常的に実施可能である。
【００２８】
処理Ｓ２及び処理Ｓ３に続く処理Ｓ４では、データサーバ１００に、ネットワーク１０１のビットレート、蓄積メディア２の制御情報、時間情報に基づいて、ネットワーク１０１の現在のビットレートによる伝送データ量に適合したデータを要求する。この伝送データ量に適合したデータとは、蓄積メディア２より伝送されるデータと時間的に同期を取ることが可能なデータである。同期を取るためには、一定時間内に必要データを送受信する必要があり、これらはネットワーク１０１の伝送量によって左右されることから、現在のビットレートに基づく伝送量に適合したデータをデータサーバ１００に要求する。
【００２９】
再生装置１からのデータ要求がデータサーバ１００で受信されると、データサーバ１００は、自身が保有するデータリストＬＳＴを参照してリスト中から要求に適合するデータを選出し、ネットワーク１０１を介してデータを送信する（処理Ｓ５）。このとき、データサーバ１００から再生装置１に送るデータには、蓄積メディア２からのデータと時間的同期を取るための「ポイント」を一定間隔で設けておき、このポイントからデータ転送を開始する。
【００３０】
再生装置１側では、蓄積メディア２からのデータ伝送に比較してネットワーク１０１からのデータ伝送が間に合わないと判断した場合、このポイントを用いて蓄積メディア２からのデータと時間的に同期を取ることが可能となるデータのポイントを指定し、データサーバ１００に該当するポイントからのデータを要求する。
【００３１】
ポイントは、データサーバ１００と再生装置１とで共通の意味を持つ、いわば一種のタイムスタンプであり、データサーバ１００内のストリームデータと蓄積メディア２内のストリームデータとのそれぞれに、互いに対応する専用のコードデータとして設けても良いが、データサーバ１００側のポイントに対応する蓄積メディア２側のポイントとして、再生出力の時刻管理情報であるＰＴＳ（Presentation Time Stamp）や、チャプター番号等を利用することも可能である。
【００３２】
尚、データサーバ１００側のデータ（音声データ）に設けたポイントと、蓄積メディア２側のデータ（映像データ）に設けたポイントとは、必ずしもリップシンク的な同期を要求するものでなくとも良い。例えば、蓄積メディア２のコンテンツを構成するストリームデータの先頭のＰＴＳやチャプタ番号に合わせてデータサーバ１００側のポイントを合わせたり、ＰＴＳやチャプタ番号の所定間隔毎に、データサーバ１００側のポイントを合わせるようにしても良い。
【００３３】
そして、蓄積メディア２からのデータと時間的に同期可能なデータがデータサーバ１００からネットワーク１０１を介して送信されると、再生装置１では、それらのデータをバッファ１０，１１に格納し、それぞれのデータをデコーダ１３，１４によりデコードし（処理Ｓ６）、デコードされたデータをミキサ１５で同期を取って合成し、出力装置５に出力する（処理Ｓ７）。この蓄積メディア２からのデータとネットワーク１０１からのデータとの同期再生中は、コントローラ１２でネットワーク１０１の状態を定常的に監視し、ビットレートが変動した場合には、適宜、データサーバ１００に対するデータ要求を変更することで、ビットレートの変動に対処する。
【００３４】
以上のように、本実施の形態においては、１つのコンテンツが蓄積メディア２とネットワーク１０１とで分離されたデータストリームによって実現され、しかも、ネットワーク１０１のビットレートが変動する場合においても、蓄積メディア２からデータを読み出しながらネットワーク１０１からのデータをリアルタイムに同期させて再生することができ、より多様なコンテンツの再生が可能となる。
【００３５】
次に、本発明の実施の第２形態について説明する。図３及び図４は本発明の実施の第２形態に係り、図３はコンテンツ再生システムの全体構成図、図４はコンテンツ再生処理を示すフローチャートである。
【００３６】
第２形態は、前述の第１形態に対し、図３に示すように、蓄積メディア２のコンテンツ再生に先立ち、データサーバ１００からデータリストＬＳＴを、第１形態の再生装置１と同様の構成を有する再生装置１Ａ内にダウンロードしておくものである。この第２形態の再生装置１Ａにおいては、ダウンロードしたデータリストＤ＿ＬＳＴをコントローラ１２が参照し、データサーバ１００にデータを要求する。
【００３７】
このため、第２形態の再生システムにおいては、図４に示すフローチャートに従った処理が実行される。図４に示す処理では、第１形態の処理Ｓ１，Ｓ２，Ｓ３と同様、蓄積メディア２から伝送経路３を介してデータが伝送されると（処理Ｓ１１）、この蓄積メディア２からのデータを再生装置１Ａのバッファ１０内に保持し、コントローラ１２がバッファ１０内のデータから蓄積メディア２の再生に関する制御情報や時間情報を取得する（処理Ｓ１２）と共に、ネットワーク１０１のビットレートを測定する（処理Ｓ１３）。
【００３８】
次に、データサーバ１００にデータリストＬＳＴの送信を要求し（処理Ｓ１４）、データサーバ１００から送信されたデータリストＬＳＴをダウンロードし、再生装置１Ａの記憶領域内のデータリストＤ＿ＬＳＴとして保持する。そして、このダウンロードしたデータリストＤ＿ＬＳＴより、ネットワーク１０１のビットレート、蓄積メディア２の制御情報、時間情報に基づいて、蓄積メディア２のデータと時間的に同期可能なデータを選出し（処理Ｓ１５）、データサーバ１００に、該当するデータの送信を要求する（処理Ｓ１６）。
【００３９】
その結果、再生装置１Ａからのデータ要求に従って、データサーバ１００から該当するデータが送信されると（処理Ｓ１７）、再生装置１Ａでは、第１形態と同様、データ中のポイントにより各データストリーム間の同期を確認しながらデータを受信し、蓄積メディア２からのデータとネットワーク１０１からのデータとを、それぞれ、バッファ１０，１１に格納する。そして、バッファ１０，１１のデータをデコーダ１３，１４によりデコードし（処理Ｓ１８）、デコードされたデータをミキサ１５で同期を取って合成し、出力装置５に出力する（処理Ｓ１９）。蓄積メディア２からのデータとネットワーク１０１からのデータとの同期再生中は、コントローラ１２でネットワーク１０１の状態を定常的に監視し、ビットレートが変動した場合には、直ちにデータリストＤ＿ＬＳＴを参照してデータサーバ１００に適切なデータを要求し、ビットレートの変動に対処する。
【００４０】
第２形態では、第１形態と同様の効果が得られるばかりでなく、再生装置１Ａ内にデータリストＤ＿ＬＳＴを保持することから、このデータリストＤ＿ＬＳＴを利用し、例えば、多少の音飛びが予想される場合であっても、ユーザの好みに応じて蓄積メディア２からの映像に対して高品質の音声データを選択可能にする等して、より柔軟なシステムとすることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の第１形態に係り、コンテンツ再生システムの全体構成図
【図２】同上、コンテンツ再生処理を示すフローチャート
【図３】本発明の実施の第２形態に係り、コンテンツ再生システムの全体構成図
【図４】同上、コンテンツ再生処理を示すフローチャート
【符号の説明】
【００４２】
１  再生装置
２  蓄積メディア
１２  コントローラ
１５  ミキサ
１００  データサーバ
１０１  ネットワーク
ＬＳＴ，Ｄ＿ＬＳＴ  データリスト
【図１】
2006191186.tif 000003
【図２】
2006191186.tif 000004
【図３】
2006191186.tif 000005
【図４】
2006191186.tif 000006