(57)【要約】【課題】  高いリアルタイム性が要求されるストリーミング配信において、ネットワーク状況の悪化等による伝送路上で発生する遅延に対して有効な対処を可能とする。【解決手段】  ストリーミング信号受信部１１は、動画像・音声データとＰＴＳＶ，ＰＴＳＡを有するストリーミングデータをインターネット等のネットワークを通じて受信する。ビデオバッファ１３，オーディオバッファ１４はストリーミングデータをバッファリングする。ビデオデコーダ１６とオーディオデコーダ１７はエンコードされている動画像・音声データをデコードする。基準時計部１８は、最初のＰＴＳＶ、ＰＴＳＡから基準時間のカウントを開始する。制御部１０は、ネットワークの通信状況を表す所定の指標値（例えばバッファのデータ蓄積量）に応じて基準時計部１８の基準時間を調整する。【選択図】  図２
2010021867.tif 000002
【特許請求の範囲】
【請求項１】
少なくともコンテンツデータとそのコンテンツデータの再生開始指示時間情報とを有するストリーミング信号を、通信品質が保証されない伝送路を通じて受信するストリーミング信号受信部と、
上記ストリーミング信号受信部にて受信したストリーミング信号を一時的に蓄積するバッファ部と、
上記バッファ部に一時的に蓄積されたストリーミング信号を読み出し、そのストリーミング信号の再生処理を行う信号再生処理部と、
上記信号再生処理部が上記ストリーミング信号を再生する際の基準時間を発生する基準時計部と、
上記ストリーミング信号受信部に繋がった上記伝送路の通信状況を表す所定の指標値を求め、その指標値に応じて上記基準時計部の基準時間を調整する制御部と、
を有するストリーミング再生装置。
【請求項２】
上記制御部は、上記伝送路の通信状況が悪化したことを表す所定の指標値が求められた時、上記基準時計部の基準時間を遅らせるよう調整する請求項１記載のストリーミング再生装置。
【請求項３】
上記制御部は、上記基準時計部の基準時間を遅らせた後、上記伝送路の通信状況が回復した時、上記基準時計部の基準時間を元に戻すよう調整する請求項２記載のストリーミング再生装置。
【請求項４】
上記制御部は、上記バッファ部のデータ蓄積量を上記所定の指標値とする請求項１乃至請求項３記載のストリーミング再生装置。
【請求項５】
上記制御部は、上記ストリーミング信号受信部が受信する上記ストリーミング信号の信号欠落数を上記所定の指標値とする請求項１乃至請求項３記載のストリーミング再生装置。
【請求項６】
上記制御部は、上記ストリーミング信号受信部が受信する上記ストリーミング信号の順序の入れ替わり数を上記所定の指標値とする請求項１乃至請求項３記載のストリーミング再生装置。
【請求項７】
上記制御部は、上記ストリーミング信号受信部が受信する上記ストリーミング信号の信号受信間隔の揺らぎ量を上記所定の指標値とする請求項１乃至請求項３記載のストリーミング再生装置。
【請求項８】
上記制御部は、上記ストリーミング信号のコンテンツデータの種類に応じて、複数の指標値の中から上記所定の指標値を選択する請求項１乃至請求項３記載のストリーミング再生装置。
【請求項９】
上記制御部は、上記ストリーミング信号のコンテンツデータの種類に応じて、上記所定の指標値を設定する請求項１乃至請求項３記載のストリーミング再生装置。
【請求項１０】
ストリーミング受信装置からのリモート操作信号に応じて、少なくともコンテンツデータとそのコンテンツデータの再生開始指示時間情報とを有するストリーミング信号を、通信品質が保証されない伝送路を通じて配信するストリーミング送信装置と、
上記ストリーミング送信装置へリモート操作信号を送信し、当該リモート操作信号の送信に応じて上記伝送路を通じて配信されたストリーミング信号を受信し、その受信したストリーミング信号を基準時間の基で再生処理するとともに、上記伝送路の通信状況を表す所定の指標値を求め、その指標値に応じて上記基準時間を調整するストリーミング受信装置と、
からなるストリーミング配信再生システム。
【請求項１１】
上記ストリーミング送信装置は、上記コンテンツデータの種類を表す情報を上記ストリーミング信号に含めて配信し、
上記ストリーミング受信装置は、上記コンテンツデータの種類を表す情報により、複数の指標値の中から上記所定の指標値を選択する請求項１０記載のストリーミング配信再生システム。
【請求項１２】
上記ストリーミング送信装置は、上記コンテンツデータの種類を表す情報を上記ストリーミング信号に含めて配信し、
上記ストリーミング受信装置は、上記コンテンツデータの種類を表す情報により、上記所定の指標値を設定する請求項１０記載のストリーミング配信再生システム。
【請求項１３】
少なくともコンテンツデータとそのコンテンツデータの再生開始指示時間情報とを有するストリーミング信号を、通信品質が保証されない伝送路を通じて、ストリーミング信号受信部が受信するステップと、
上記ストリーミング信号受信部にて受信したストリーミング信号を、バッファ部に一時的に蓄積するステップと、
上記バッファ部に一時的に蓄積されたストリーミング信号を、信号再生処理部が読み出して、そのストリーミング信号の再生処理を行うステップと、
上記信号再生処理部が上記ストリーミング信号を再生する際の基準時間を、基準時計部が発生するステップと、
上記ストリーミング信号受信部に繋がった上記伝送路の通信状況を表す所定の指標値を、制御部が求めるとともに、その指標値に応じて上記基準時計部の基準時間を調整するステップと、
を有するストリーミング再生方法。
【請求項１４】
少なくともコンテンツデータとそのコンテンツデータの再生開始指示時間情報とを有するストリーミング信号が、通信品質の保証されない伝送路を通じて受信され、その受信ストリーミング信号が基準時間を基に信号再生処理回路にて再生処理される際に、
上記伝送路の通信状況を表す所定の指標値を求め、その指標値に応じて上記基準時間を調整する制御部として、
コンピュータを機能させるストリーミング再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば動画像や音声のマルチメディアデータなどのコンテンツデータからなるストリーミング信号を受信して再生するストリーミング再生装置、ストリーミング配信再生システム、ストリーミング再生方法及びストリーミング再生プログラムに関する。
【背景技術】
【０００２】
従来より、動画像や音声などのマルチメディアデータを配信する技術として、予めエンコードした動画像・音声データを順次ネットワークに送信し、それを受信及び再生するような、いわゆるストリーミングと呼ばれる配信技術が知られている。なお、ストリーミング配信技術の代表例としては、ＲＦＣ（Request for Comments）規格で策定されているＲＴＰ（Real-time Transport Protocol）などを挙げることができる。
【０００３】
ここで、インターネット等のネットワークを経由したストリーミング配信の場合、例えばネットワークの通信状態の悪化等の理由により、伝送路上で遅延が発生するという問題が知られている。このため、動画像や音声ファイル等のストリーミング信号が配信される場合には、受信側において、再生前のデータを相当量蓄積（バッファリング）することによって上記伝送路による遅延分を平滑化した後、その蓄積データを順次読み出して再生（デコード）するような対処方法が採られている。
【０００４】
また、ストリーミング配信では、実際に撮影されている動画像をリアルタイムに配信する場合もある。但し、リアルタイムなストリーミング配信であっても、送信側における実際の撮影時間から受信側での表示時間までの間の遅延については、例えば数秒〜数分等の比較的長い時間が許容されている。このため、当該リアルタイムなストリーミング配信の場合も上述同様に、受信側において、再生前のデータを相当量バッファリングすることで上記伝送路による遅延分を平滑化し、その蓄積データを順次再生するような手法が採用されている。
【０００５】
また、上記伝送路による遅延に対する別の対処方法としては、受信側で受信状況を監視し、その受信状況を送信側にフィードバックし、送信側において、送信するデータの量や内容を変化させるような方法も知られている。なお、このような対処法の代表例としては、ＲＦＣ規格で策定されているＲＴＣＰ（RTP Control Protocol）などを挙げることができる。
【０００６】
その他、例えば特許第３７５７９３３号（特許文献１）には、ネットワークに接続してパケットの送受信を行うネットワークデバイスを有する通信装置において、ホスト側制御部の状態によらず、ストリーミングの品質を保つことを可能とした技術が開示されている。すなわち、この特許文献１には、ストリーミング送信側にてエンコードされた情報データがトランスポートストリームのパケットになされ、そのパケットがネットワークへ送信され、一方、受信側では、受信したパケットをデコードすることで情報データを再生することが記載されている。
【０００７】
【特許文献１】特許第３７５７９３３号（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ストリーミング配信は、今後益々盛んになることが予想され、様々な目的での利用が考えられている。一例として、受信側にて再生を行いつつ、当該受信側から送信側をリモートコントロールするような用途が考えられる。
【０００９】
すなわち例えば、遠隔地のテレビジョン装置やビデオ装置或いは電子ゲーム装置の出力映像及び音声をストリーミング配信して受信機側にて再生しつつ、それら遠隔地の装置を受信機側からリモートコントロールするような用途が考えられる。
【００１０】
また、これら用途の場合、送信側での配信から受信側での再生までの遅延に対する許容量は、例えば数百ミリ秒〜一秒程度以内であることが要求される。つまり、この場合のストリーミング配信の際には、より高いリアルタイム性すなわち低遅延（短い遅延）で低レイテンシ（短い待ち時間）が要求されること、言い換えれば、より高いインタラクティブ性が要求されることになる。
【００１１】
ここで、そのような高いリアルタイム性が要求されるストリーミング配信において、例えば前述したバッファリングによる遅延平滑化の手法が用いられたとすると、受信側で実際に再生が行われるまでの遅延が、そのバッファリングの量に比例して大きくなってしまう。すなわち、従来のバッファリングによる遅延平滑化の手法は、送信側の配信から受信側の再生までの遅延許容量が数百ミリ秒〜一秒程度以内のように高いリアルタイム性が要求される用途には不向きである。
【００１２】
また、前述した受信状況を送信側にフィードバックする手法では、受信状況を送信側へ返送する時間や、送信側が当該フィードバック情報を送信データに反映させるまでの時間が必要となる。このため、当該受信状況をフィードバックする手法においても、上記バッファリングによる遅延平滑化手法の場合と同様に、高いリアルタイム性が要求されるストリーミング配信には不向きである。
【００１３】
このように、高いリアルタイム性が要求されるストリーミング配信を行う場合において、既存の技術では、ネットワーク状況の悪化により伝送路上で遅延が発生するという問題に対して効果的な対処が出来ない。したがって、高いリアルタイム性が要求されるストリーミング配信を行う場合に、ネットワーク状態が少しでも悪くなると、スムーズな動画像や音声の再生ができなくなるといった問題がある。
【００１４】
本発明は、このような実情に鑑みて提案されたものであり、高いリアルタイム性が要求されるストリーミング配信において、ネットワーク状況の悪化等による伝送路上で発生する遅延に対して有効に対処することが可能な、ストリーミング再生装置、ストリーミング配信再生システム、ストリーミング再生方法及びストリーミング再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、少なくともコンテンツデータとその再生開始指示時間情報とを有するストリーミング信号を、通信品質が保証されない伝送路を通じて受信し、一時的に蓄積した後に読み出して再生処理する。そして、その再生処理の際に用いる基準時間を、伝送路の通信状況を表す所定の指標値に応じて調整することにより、上述の課題を解決する。
【００１６】
すなわち、本発明によれば、通常は変動させるべきではない基準時間を、伝送路の通信状況に応じて適宜変更するように調整する。
【発明の効果】
【００１７】
本発明においては、通信品質が保証されない伝送路を通じて受信したストリーミング信号の再生処理に用いる基準時間を、伝送路の通信状況を表す所定の指標値に応じて調整することにより、高いリアルタイム性が要求されるストリーミング配信において、ネットワーク状況の悪化等による伝送路上で発生する遅延に対して有効に対処することが可能となる。すなわち本発明においては、高いリアルタイム性（低レイテンシ：短い待ち時間）での再生が要求されるストリーミング配信において、伝送路の通信状況の良し悪しの状態に応じて最適なレイテンシを設定可能となっている。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１９】
なお、以下の説明では、本発明の一適用例として、遠隔地のビデオ装置や電子ゲーム装置の出力動画像・音声データをストリーミング配信し、受信側の携帯電話端末にて当該動画像・音声を再生しつつそれら遠隔地の装置をリモート制御する例を挙げている。勿論本実施形態で挙げたものはあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
【００２０】
［システム概略構成］
図１には、本発明実施形態のストリーミング配信再生システム全体の概略構成を示す。
【００２１】
図１において、ストリーミング送信機３２とストリーミング受信機５０は、例えばローカルエリアネットワーク（ＬＡＮ）や８０２．１１ｂ／ｇで規格されている無線ＬＡＮ或いはインターネット等からなるネットワーク４０を通じて接続されている。すなわち、ストリーミング送信機３２とストリーミング受信機５０は、例えば同一建物の別の部屋や離れた建物の間など、互いに離れた場所（遠隔地）に置かれているものとする。また、ストリーミング送信機３２側には動画像・音声データ出力装置３１とテレビジョン装置３０が設けられており、上記動画像・音声データ出力装置３１はテレビジョン装置３０とストリーミング送信機３２に接続されている。
【００２２】
動画像・音声データ出力装置３１は、例えば電子ゲーム装置やハードディスクレコーダ等のように、動画像・音声等のコンテンツデータを出力可能な装置からなる。また、動画像・音声データ出力装置３１は、例えば赤外線等によるリモートコントロール信号にてリモート制御される装置となされている。本実施形態の場合、当該動画像・音声データ出力装置３１は、ストリーミング送信機３２に搭載されているリモートコントロール信号送光部３３から出射される赤外線リモートコントロール信号により、リモート制御可能となされている。
【００２３】
テレビジョン装置３０は、いわゆるテレビジョンモニタ装置であり、上記動画像・音声データ出力装置３１から出力された動画像・音声のデータが入力されると、それら動画像の表示と音声の出力を行う。
【００２４】
ストリーミング受信機５０は、例えば携帯電話端末であり、一般的な携帯電話端末が備えている各構成要素と共に、少なくともキー入力部５３と画像表示部５１と音声出力部５２を有している。上記キー入力部５３は、ユーザが操作入力を行うためのテンキーや十字キー等、それらキーの押下操作を押下信号に変換するキー操作信号発生回路等からなる。上記画像表示部５１は、動画像等を表示可能なディスプレイデバイスとその周辺回路及び画像処理回路等からなる。上記音声出力部５２は、音声等を出力可能なスピーカとその周辺回路及び音声処理回路等からなる。なお、一般的な携帯電話端末が備えている他の構成要素の図示及び説明は省略する。
【００２５】
また、ストリーミング受信機５０は、ユーザによる操作に応じてキー入力部５３が発生したキー操作信号を、例えばＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol），ＨＴＴＰ（HyperText Transfer Protocol）等の規格に則り、上記ネットワーク４０経由でストリーミング送信機３２へ送信可能となされている。
【００２６】
ここで、ユーザによる操作に応じてキー入力部５３が発生するキー操作信号は、一例として、上記動画像・音声データ出力装置３１をリモート制御する際のリモート操作信号となされる。すなわちこの場合、上記キー入力部５３が発生したリモート操作信号は、ネットワーク４０を介してストリーミング送信機３２へ送られる。
【００２７】
そして、このリモート操作信号を受信したストリーミング送信機３２は、当該リモート操作信号に応じた赤外線リモートコントロール信号を前記リモートコントロール信号送光部３３から動画像・音声データ出力装置３１へ送出させる。
【００２８】
言い換えると、本実施形態によれば、ストリーミング受信機５０は、ネットワーク４０とストリーミング送信機３２のリモートコントロール信号送光部３３を介することで、動画像・音声データ出力装置３１を間接的にリモート制御可能となされている。すなわち、ストリーミング受信機５０側のユーザは、ストリーミング送信機３２側の動画像・音声データ出力装置３１をリモート操作することが可能となる。
【００２９】
上記ストリーミング受信機５０のユーザによるリモート操作に応じて上記動画像・音声データ出力装置３１が出力した動画像・音声データは、前述のようにテレビジョン装置３０に出力されると共に、ストリーミング送信機３２にも送られる。
【００３０】
この時のストリーミング送信機３２は、上記動画像・音声データを例えばいわゆるＭＰＥＧ（Moving Picture Experts Group）等の規格に則って符号化する。また、ストリーミング送信機３２は、当該符号化後の動画像・音声データのフレーム毎に、ＲＴＰ等の規格に則って各フレームの再生開始指示時間情報を付加する。そして、ストリーミング送信機３２は、それら符号化された動画像・音声データと再生開始指示時間情報を有するストリーミングデータを、所定のパケット単位でネットワーク４０を経由してストリーミング受信機５０へ送信（配信）する。
【００３１】
ストリーミング受信機５０は、上記ストリーミングデータを受信すると、上記符号化された動画像・音声データを復号するとともに、その復号後の動画像・音声データを上記再生開始指示時間情報で指示される時間にて再生する。
【００３２】
これにより、ストリーミング受信機５０の画像表示部５１には、上記動画像・音声データ出力装置３１から送出された動画像が表示され、また、音声出力部５２からは、上記動画像・音声データ出力装置３１から送出された音声が出力される。
【００３３】
以上説明したように、本実施形態のシステムによれば、遠隔地にある動画像・音声データ出力装置３１が出力した動画像・音声データを、ネットワーク４０経由でストリーミング受信機５０へ配信することにより、当該ストリーミング受信機５０では、それら動画像・音声の再生が可能となる。同時に、本実施形態のシステムによれば、キー入力部５３からのリモート操作信号を、ネットワーク４０経由でストリーミング送信機３２側へ送ることにより、ストリーミング受信機５０は、遠隔地にある動画像・音声データ出力装置３１をリモート制御可能となされている。すなわち本実施形態によれば、ストリーミング受信機５０は、遠隔地にあるストリーミング送信機３２側の動画像・音声データ出力装置３１をリモート制御すると共に、そのリモート制御に応じて当該装置３１から出力されてストリーミング送信機３２より配信されてきた動画像及び音声データを再生可能となされている。
【００３４】
［リモート操作から動画像・音声再生までの時間遅延と動画像・音声の再生品質］
ところで、ストリーミング受信機５０側のユーザによる前記リモート操作としては、例えばハードディスクレコーダに記録されているビデオ番組の再生・停止・一時停止・早送り・早戻しなどの操作、或いは、電子ゲーム装置におけるゲームキャラクタの操作などが想定される。
【００３５】
そして、これらのリモート操作とその操作に応じた動画像・音声データのストリーミング配信及び再生が行われるような場合には、当該リモート操作の入力から動画像・音声の再生がなされるまでのレイテンシ（待ち時間）を最小にすることが望まれる。すなわち、このようなリモート操作に応じた動画像・音声データのストリーミング配信の際には、リモート操作入力から動画像・音声の再生までの遅延量が、例えば数百ミリ秒〜一秒程度以内となるような、高いリアルタイム性（低遅延）と低レイテンシ（短い待ち時間）、言い換えると高いインタラクティブ性が求められる。
【００３６】
ここで、上記ストリーミング送信機３２側において、リモート操作信号に応じた動画像・音声データの出力処理と、それら動画像・音声データの符号化及びネットワーク４０への送出処理は、略々全てがハードウェアにより行われる。このため、上記リモート操作信号に応じて動画像・音声データが出力され、それら動画像・音声データがネットワーク４０へ送出されるまでの時間は、数十ミリ秒〜数百ミリ秒程度であると考えられる。また、ストリーミング受信機５０側において、ネットワーク４０からの動画像・音声データの受信処理と、それら動画像・音声の復号及び再生処理についても、略々全てがハードウェアにより行われる。このため、上記動画像・音声データの受信から再生までの時間も同様に数十ミリ秒〜数百ミリ秒程度であると考えられる。
【００３７】
その一方で、ストリーミング送信機３２とストリーミング受信機５０との間を繋いでいるネットワーク４０は、インターネットやＬＡＮ、無線ＬＡＮなどであり、それらはＱｏＳ（ネットワーク品質）が一般的には保証されていないものである。このため、当該ネットワーク４０の伝送路上では、例えばパケット単位の欠落や遅延が発生する虞がある。
【００３８】
そして、これら欠落や遅延が発生する場合において、それらに対して何ら対処せずにそのまま動画像・音声の再生を行うと、映像が欠落したり音声が途切れた非常に品質の悪い動画像・音声が再生されてしまうことになる。
【００３９】
このため、一般的には、上述の欠落や遅延による動画像・音声品質の劣化を防ぐために、ストリーミング受信側において、ネットワークから不規則に到達する受信データを或る一定量、例えば数秒〜数分分のデータを、必ずバッファリングするようになされている。すなわち、ストリーミング受信側は、当該バッファリングによって上記欠落や遅延分の平滑化を行った後のデータを、動画像・音声の再生回路へ送出するようになされている。
【００４０】
しかしながら、受信データを上述のように数秒〜数分もの長い間バッファリングするようなことを行うと、前述した高いリアルタイム性（低遅延）を実現することはできなくなる。
【００４１】
このようなことから、本実施形態では、配信から再生までの遅延に対する許容量が、例えば数百ミリ秒〜一秒以内といった高いリアルタイム性（低遅延）が要求されるストリーミングを実現すると同時に、ネットワークの状況が悪化した場合でも必要最低限の遅延によるスムーズな動画像・音声の再生が可能となるよう調整を行う。すなわち、本実施形態では、ネットワークの通信状態が良い場合には遅延を最小限に抑え、一方、ネットワークの通信状態が悪い場合でもスムーズな動画像・音声の再生ができる範囲で必要最低限の遅延となるような調整を行う。これにより、本実施形態においては、ネットワークによる通信状態の良し悪しに関わらずに、その時の状況において最良の品質で動画像・音声を再生可能としている。
【００４２】
［ストリーミング受信機の詳細な構成］
図２には、上述のような再生品質の維持と遅延の調整を可能とする本発明実施形態のストリーミング受信機５０の詳細な構成例を示す。なお、図２のキー入力部２２は図１のキー入力部５３であり、図２の画像表示部１９は図１の画像表示部５１、図２の音声出力部２０は図１の音声出力部５２である。また、図３には、ストリーミング配信されるビデオデータとオーディオの概略的なデータ構造を示している。
【００４３】
図２においてキー入力部２２は、当該ストリーミング受信機５０側のユーザが操作入力を行うためのキーデバイス及びキー操作信号発生回路等からなる。このキー入力部２２を通じてユーザが例えば前述したリモート操作を行うと、そのリモート操作信号がキー信号送信部２１からネットワーク４０に送信され、ストリーミング送信機３２側へ送られる。
【００４４】
本実施形態のストリーミング受信機５０のストリーミング信号受信部１１は、ネットワーク４０を経由してストリーミング送信機３２から配信されてきたストリーミングデータを受信する。
【００４５】
当該ストリーミング信号受信部１１が受信するストリーミングデータは、図３に示すようなビデオデータとオーディオデータとを有したデータとなされている。ビデオデータは、１フレーム毎の符号化された動画像データとその１フレームに対応したＰＴＳＶ（video presentation time stamp）とが繋がったデータとなされている。同じく、オーディオデータは、１フレーム毎の符号化された音声データとその１フレームに対応したＰＴＳＡ（audio presentation time stamp）とが繋がったデータとなされている。そして、ストリーミングデータは、それらビデオデータの複数フレームからなるビデオパケットの単位と、同じくオーディオデータの複数フレームからなるオーディオパケットの単位で配信される。したがって、上記ストリーミング信号受信部１１は、それらパケット単位のストリーミングデータを受信する。なお、ＰＴＳＶは、符号化された動画像データの再生単位であるフレームの一つ一つに付けられた再生開始指示時間であり、その時間に当該フレームの動画像の再生（表示）を開始すべきことを指示する情報である。同じく、ＰＴＳＡは、符号化された音声データの再生単位であるフレームの一つ一つに付けられた再生開始指示時間であり、その時間に当該フレームの音声の再生（出力）を開始すべきことを指示する情報である。
【００４６】
ストリーミング信号受信部１１は、上記パケット単位でストリーミングデータを受信すると、その受信したパケットのストリーミングデータから上記１フレーム毎にビデオデータとオーディオデータを分離する。そして、ストリーミング信号受信部１１は、各フレームのビデオデータをビデオバッファ１３及びＰＴＳＶ抽出部１２へ出力し、また各フレームのオーディオデータをオーディオバッファ１４及びＰＴＳＡ抽出部１５へ出力する。
【００４７】
ＰＴＳＶ抽出部１２は、入力されたビデオデータから各フレームのＰＴＳＶデータを抽出し、それら抽出したＰＴＳＶデータを制御部１０へ出力する。また、ＰＴＳＡ抽出部１５は、入力されたオーディオデータから各フレームのＰＴＳＡデータを抽出し、それら抽出したＰＴＳＡデータを制御部１０へ出力する。
【００４８】
ビデオバッファ１３は、制御部１０による制御の基でビデオデータを蓄積し、後段のビデオデコーダ１６からの読み出し要求に応じてフレーム単位でビデオデータを出力する。また、ビデオバッファ１３は、データ蓄積量を常に制御部１０へ報告するようになされている。同様に、オーディオバッファ１４は、制御部１０による制御の基でオーディオデータを蓄積し、後段のオーディオデコーダ１７からの読み出し要求に応じてフレーム単位でオーディオデータを出力する。また、オーディオバッファ１４は、データ蓄積量を常に制御部１０へ報告するようになされている。
【００４９】
制御部１０は、ストリーミングデータとして最初に到着したビデオデータのＰＴＳＶ及びオーディオデータのＰＴＳＡを基に、基準時計（ＳＴＣ）部１８の時間初期値をセットする。また、詳細は後述するが、制御部１０は、本発明にかかるストリーミング再生プログラムにより、基準時計部１８の基準時間を所定の指標値に基づいて調整する処理を実行する。
【００５０】
基準時計部１８は、時間初期値がセットされると、ビデオデコーダ１６とオーディオデコーダ１７において各フレームデータをそれぞれＰＴＳＶとＰＴＳＡの再生開始指示時間で再生する際の基準となる時間のカウントアップをスタートする。そして、当該基準時計部１８は、その基準時間の情報をビデオデコーダ１６とオーディオデコーダ１７へ送出する。
【００５１】
ビデオデコーダ１６は、ビデオバッファ１３から読み出したビデオデータを内部バッファに蓄積し、その蓄積したビデオデータのＰＴＳＶにて指示される再生開始時間と上記基準時計部１８の基準時間とが一致した時に当該画像表示部１９のディスプレイ画面に表示させるように、そのＰＴＳＶのフレームデータをデコードする。同様に、オーディオデコーダ１７は、オーディオバッファ１４から読み出したオーディオデータを内部バッファに蓄積し、その蓄積したオーディオデータのＰＴＳＡで指示される再生開始時間と上記基準時計部１８の基準時間とが一致した時に当該音声出力部２０のスピーカから出力されるように、そのＰＴＳＡのフレームのデータをデコードする。
【００５２】
上記ビデオデコーダ１６にてデコードされた動画像データは画像表示部１９に送られ、当該画像表示部１９のディスプレイ画面に表示される。また、オーディオデコーダ１７にてデコードされた音声データは音声出力部２０に送られ、当該音声出力部２０のスピーカから出力される。
【００５３】
ここで、例えばネットワーク４０の通信状況が良く、ビデオデータとオーディオデータの各パケットが正しい順番でストリーミング信号受信部１１に到着している場合、上記ビデオバッファ１６とオーディオバッファ１７のデコードは順調に行われることになる。この場合、ビデオデコーダ１６は、ビデオバッファ１３から順次ビデオデータを読み出してデコードできるため、そのビデオバッファ１３のデータ蓄積量が或る程度以上に増えるようなことは無い。つまり、ビデオバッファ１３では、入力されたビデオデータが直ぐに出力されることになるため、データ蓄積量が増えることは無い。同様に、オーディオデコーダ１７においても、オーディオバッファ１４から順次オーディオデータを読み出すことができるため、オーディオバッファ１４のデータ蓄積量が或る程度以上に増えるようなことは無い。すなわち、オーディオバッファ１４では、入力されたオーディオデータが直ぐに出力されることになるため、データ蓄積量が増えることは無い。
【００５４】
一方で、例えばネットワーク４０の通信状況が悪く、ビデオデータとオーディオデータの各パケットが正しい順番でストリーミング信号受信部１１に到着しなくなると、上記ビデオデコーダ１６とオーディオデコーダ１７でのデコードは順調に行われなくなる。この場合、ビデオバッファ１３とオーディオバッファ１４のデータ蓄積量は徐々に増加していくことになる。すなわち例えば、順番として本来後に到着するはずのビデオデータのパケットが、本来先に到着するはずのパケットよりも前に到着してしまった場合、ビデオバッファ１３は、本来先に到着するべきパケットが到着するまで、上記後に到着するはずのパケットのデータを蓄積し続けることになる。このため、ビデオバッファ１３のデータ蓄積量が増加する。オーディオバッファ１４の場合も同様であり、本来後に到着するはずのオーディオデータのパケットが、本来先に到着するはずのパケットよりも前に到着してしまった場合、オーディオバッファ１４は、本来先に到着するべきパケットが到着するまで、上記後に到着するはずのパケットのデータを蓄積し続けることになる。この場合、オーディオバッファ１４のデータ蓄積量が増加する。
【００５５】
上述のように、ネットワーク４０の通信状況が悪化したことなどにより、上記ビデオバッファ１３とオーディオバッファ１４のデータ蓄積量が増加した場合、上記制御部１０は、上記基準時計部１８を制御して基準時間を遅らせる。
【００５６】
このように基準時間が遅らされると、上記ビデオデコーダ１６では、デコードされる動画像の再生タイミングが遅くなる。同様に、オーディオデコーダ１７でもデコードされる音声の再生タイミングが遅くなる。そして、このようにビデオデコーダ１６とオーディオデコーダ１７における動画像・音声の再生タイミングが遅くなると、当該ストリーミング受信機５０は、ネットワーク４０からのデータをより多くの時間待つことができるようになる。すなわちこの場合、動画像・音声再生の際の遅延は或る程度増加するものの、到着が遅れているパケットを待つことができるようになり、その結果として、より多くのパケットを再生できるようになる。
【００５７】
その後、ネットワーク４０の状況が再び良くなって、動画像・音声の再生が順調に進むようになると、ビデオバッファ１３とオーディオバッファ１４のデータ蓄積量が少なくなる。このようにデータ蓄積量が少なくなると、制御部１０は、上記基準時計部１８を制御して基準時間を進ませるようにする。
【００５８】
このように基準時間が進むと、上記ビデオデコーダ１６とオーディオデコーダ１７では、それぞれデコードされる動画像・音声の再生タイミングが速くなる。そして、ビデオデコーダ１６とオーディオデコーダ１７における動画像・音声の再生タイミングが速くなると、動画像・音声再生の際の遅延は解消されることになる。
【００５９】
本発明実施形態によれば、上述したように、ネットワークの通信状況の良し悪しに応じて基準時間を調整することにより、最適な遅延量を設定することができる。また、本発明実施形態によれば、ネットワークの通信状況が良い場合には、配信から再生までの遅延の許容量が数百ミリ秒〜一秒以内といった、より高いリアルタイム性（低遅延）が要求されるストリーミングを実現可能となる。一方、本発明実施形態によれば、ネットワークの通信状況が悪い場合でも、必要最低限の遅延で、良好な再生品質の動画像・音声データを得ることが可能となる。
【００６０】
［基準時間調整処理のフロー］
図４には、本発明にかかるストリーミング再生プログラムの実行により、制御部１０が基準時計部１８を制御する際の処理の概略的な流れを示す。
【００６１】
図４において、制御部１０は、ＰＴＳＶ抽出部１２とＰＴＳＡ抽出部１５から最初のストリーミングデータのＰＴＳＶとＰＴＳＡが供給されると、ステップＳ１の処理として、それらＰＴＳＶ，ＰＴＳＡにより基準時計部１８の時間初期値をセットする。
【００６２】
その後、制御部１０は、ステップＳ２の処理として、ビデオバッファ１３とオーディオバッファ１４から供給されるデータ蓄積量を所定の指標値として用いて、ネットワークの通信状況を監視する。
【００６３】
また、制御部１０は、ステップＳ３の処理としてネットワークの通信状況の良し悪しを判断する。すなわち例えば、制御部１０は、ビデオデコーダ１６とオーディオデコーダ１７のデコード処理が順調に進み、ビデオバッファ１３とオーディオバッファ１４のデータ蓄積量が例えば予め定めた閾値量よりも少ないような場合には、ネットワークの通信状況が良いと判断してステップＳ４へ処理を進める。一方、ビデオバッファ１３とオーディオバッファ１４のデータ蓄積量が予め定めた閾値量を超えたような場合、制御部１０は、ネットワークの通信状況が悪いと判断してステップＳ５へ処理を進める。
【００６４】
ネットワークの通信状況が良いと判断してステップＳ４の処理に進んだ場合、制御部１０は、基準時計部１８の基準時間が元々の変更されていない原基準時間となっているか否か判断する。そして、基準時間が上記原基準時間になっていると判断した場合、制御部１０は、ステップＳ２へ処理を戻す。一方、基準時間が変更されていると判断した場合、制御部１０は、ステップＳ６へ処理を進める。
【００６５】
ステップＳ６の処理に進むと、制御部１０は、基準時間が遅くなる方向に変更されている場合には、基準時間を進めるように基準時計部１８を制御して原基準時間に戻すようにする。なお、上記遅くなっている基準時間を原基準時間に戻すようにした場合の再生処理は、例えばいわゆる早送り再生のような処理が行われても良いし、いわゆるコマ飛ばし再生のような処理が行われても良い。そして、制御部１０は、基準時間が原基準時間になると、ステップＳ２へ処理を戻す。
【００６６】
また、ステップＳ３にてネットワークの通信状況が悪いと判断してステップＳ５の処理に進んだ場合、制御部１０は、基準時間を遅らせるように基準時計部１８を調整した後、ステップＳ２へ処理を戻す。なお、上記速くなっている基準時間を原基準時間に戻すようにした場合の再生処理は、例えばいわゆるスロー再生のような処理が行われても良いし、いわゆるコマ送りのような処理が行われても良い。
【００６７】
この図４のフローチャートの処理を制御部１０が実行することにより、前述したようなネットワークの通信状況の良し悪しに応じた基準時間の調整が実現されることになる。
【００６８】
［他の指標値の例］
上述の実施形態では、ネットワークの通信状況の良し悪しを判断して基準時計を調整する際の指標値として、バッファのデータ蓄積量を挙げているが、本発明において上記指標値はデータ蓄積量に限定されない。
【００６９】
他の指標値としては、例えばネットワークからのパケットの受信状況を表す情報などを挙げることもできる。ここで、パケットの受信状況を表す情報としては、例えば或る一定時間内における欠落パケットの数や、或る一定時間内で順序が入れ替わってしまったパケットの数、ストリーミング受信側に到着した各パケットの到着時間間隔の揺らぎ量などを挙げることができる。
【００７０】
すなわち、一定時間内の欠落パケット数を指標値として用いる場合、当該一定時間内の欠落パケット数は、一例としてストリーミング信号受信部１１がカウントする。そして、当該一定時間内の欠落パケット数のカウント情報が制御部１０へ報告される。制御部１０は、当該一定時間内の欠落パケット数が、例えば予め決めた閾値数未満である（或いは殆ど無い）ような場合にはネットワークの通信状況が良いと判断し、一方、欠落パケット数が上記閾値数を超えた（或いは欠落パケットが発生した）場合にはネットワークの通信状況が悪いと判断する。なお、当該ネットワークの通信状況の良し悪しの判断後の処理は前述同様であるためその説明は省略する。
【００７１】
また例えば、一定時間内で順序が入れ替わってしまったパケット数を指標値として用いる場合、当該一定時間内の入れ替わりパケット数は、一例としてストリーミング信号受信部１１がカウントする。そして、当該一定時間内の入れ替わりパケット数のカウント情報が制御部１０へ報告される。制御部１０は、当該一定時間内の入れ替わりパケット数が、例えば予め決めた閾値数未満である（或いは殆ど無い）場合にはネットワークの通信状況が良いと判断し、一方、入れ替わりパケット数が上記閾値数を超えた（或いは入れ替わりパケットが発生した）場合にはネットワークの通信状況が悪いと判断する。
【００７２】
また例えば、到着した各パケットの到着時間間隔の揺らぎ量を指標値として用いる場合、当該到着時間間隔の揺らぎ量は、一例としてストリーミング信号受信部１１が計測する。そして、当該到着時間間隔の揺らぎ量の情報が制御部１０へ報告される。制御部１０は、上記到着時間間隔の揺らぎ量が、例えば予め決めた閾値量未満である（或いは殆ど無い）場合にはネットワークの通信状況が良いと判断し、一方、到着時間間隔の揺らぎ量が上記閾値量を超えた（或いは揺らぎが発生した）ような場合にはネットワークの通信状況が悪いと判断する。
【００７３】
［指標値の選択］
本発明において、上述のような指標値は、複数の値があっても、或いは、指標値自身が複数種類あっても良い。そして、ストリーミング受信機は、それら指標値の複数の値の何れを用いるかや、複数種類の指標値の何れを用いるかを、適宜選択するようにしても良い。また、複数の値の指標値や複数種類の指標値の何れを選択するかは、例えばストリーミング配信されるコンテンツデータの種類に応じて決めることも可能である。
【００７４】
図５には、コンテンツデータの種類の一例として、電子ゲームの映像及び音声のデータ、ハードディスクレコーダの再生動画像及び音声のデータ、その他のデータ（標準）を挙げている。また、図５では、それら各コンテンツデータの種類に応じて、制御部１０が基準時計部１８の基準時間を制御することでレイテンシを調整する際の制御ポリシーと、コンテンツデータの種類に応じて選択及び設定される指標値の一例を挙げている。なお、言うまでもないが図５はあくまで一例である。
【００７５】
図５において、コンテンツデータの種類が例えば電子ゲームの映像及び音声のデータを表す場合、制御部１０は、当該電子ゲームの映像と音については或る程度途切れることを許容する一方で、レイテンシについては最小にするように、指標値を選択及び設定する。すなわちこの例の場合、制御部１０は、一例として、指標値にバッファのデータ蓄積量を用い、当該指標値としてのデータ蓄積量を少ない値に設定する。
【００７６】
また図５において、コンテンツデータの種類が例えばハードディスクレコーダの再生動画像及び音声のデータを表す場合、制御部１０は、バッファのデータ蓄積量に余裕を持たせるようにし、レイテンシが或る程度大きくなっても再生動画像と音声が途切れることのないように、指標値を選択及び設定する。すなわちこの場合、制御部１０は、一例として、指標値にバッファのデータ蓄積量と上記パケットの受信状況を用い、バッファのデータ蓄積量については大きな値に設定し、欠落パケット数やパケット順序の入れ替わり、パケット到着時間間隔の揺らぎ量などを表す指標値についてもそれらが少なくなるような値に設定する。
【００７７】
その他、図５において、コンテンツデータの種類が標準のデータを表す場合、制御部１０は、映像と音声が途切れない範囲内でレイテンシをなるべく少なくするように、指標値を選択及び設定する。すなわちこの例の場合、制御部１０は、一例として、指標値にバッファのデータ蓄積量を用い、当該指標値としてのデータ蓄積量を、上述の電子ゲームの映像及び音声やハードディスクレコーダの再生動画像及び音声のコンテンツの場合と比較して例えば中程度となる値に設定する。
【００７８】
［コンテンツの種類に応じた指標値の選択・設定と基準時間調整処理のフロー］
図６には、本発明にかかるストリーミング再生プログラムの実行により、制御部１０が基準時計部１８を制御する際の処理の他の実施形態として、上述のようにコンテンツデータの種類に応じた指標値の選択・設定を行う場合の基準時間調整処理の概略的な流れを示す。
【００７９】
図６において、制御部１０は、ＰＴＳＶ抽出部１２とＰＴＳＡ抽出部１５から最初のストリーミングデータのＰＴＳＶとＰＴＳＡが供給されると、ステップＳ１０の処理として、それらＰＴＳＶ，ＰＴＳＡにより基準時計部１８の時間初期値をセットする。
【００８０】
次に、制御部１０は、ステップＳ１１の処理として、ストリーミング信号受信部１１が受信したストリーミングデータのコンテンツデータの種類を判定する。なお、当該制御部１１におけるコンテンツデータの種類判定は、一例として、ストリーミングデータ内にコンテンツデータの種類を表す情報が含まれている場合にはその情報を用いて行われる。また例えば、ストリーミング受信機５０がリモート操作する際の対象機器が判っている場合、制御部１０は、そのリモート対象機器によりコンテンツデータの種類を判断することも可能である。
【００８１】
そして、制御部１０は、ステップＳ１１にてコンテンツデータの種類を判定すると、ステップＳ１２の処理として、そのコンテンツデータの種類に応じた指標値を選択及び設定する。
【００８２】
次に、制御部１０は、ステップＳ１３の処理として、ステップＳ１２にてセットされた指標値により、ネットワークの通信状況を監視する。
【００８３】
また、制御部１０は、ステップＳ１４の処理としてネットワークの通信状況の良し悪しを判断する。そして、制御部１０は、ネットワークの通信状況が良いと判断した時には、ステップＳ１５へ処理を進め、一方、ネットワークの通信状況が悪いと判断した時には、ステップＳ１６へ処理を進める。
【００８４】
ネットワークの通信状況が良いと判断してステップＳ１５の処理に進んだ場合、制御部１０は、基準時計部１８の基準時間が原基準時間であるか判断し、原基準時間である場合にはステップＳ１３へ処理を戻し、一方、基準時間が変更されている場合にはステップＳ１７へ処理を進める。
【００８５】
ステップＳ１７の処理に進むと、制御部１０は、基準時間が遅くなる方向に変更されている場合には、基準時間を進めるように基準時計部１８を制御して原基準時間に戻す。そして、制御部１０は、基準時間が原基準時間になると、ステップＳ１３へ処理を戻す。
【００８６】
また、ステップＳ１４にてネットワークの通信状況が悪いと判断してステップＳ１６の処理に進んだ場合、制御部１０は、基準時間を遅らせるように基準時計部１８を制御した後、ステップＳ１３へ処理を戻す。
【００８７】
この図６のフローチャートの処理を制御部１０が実行することにより、前述したようなコンテンツの種類に応じた指標値の選択及び設定と、その指標値を用いて判断したネットワークの通信状況の良し悪しに応じた基準時間の調整が実現されることになる。
【００８８】
［まとめ］
以上説明したように、本発明実施形態によれば、高いリアルタイム性が要求されるストリーミング配信において、ネットワーク状況の悪化等による伝送路上で発生する遅延に対して有効に対処することが可能となっている。
【００８９】
なお、本発明実施形態では、前述したように、ストリーミング受信機５０内の基準時計を操作することにより、再生されるデータの品質を最適にすることができるとともに、高いリアルタイム性が要求されるストリーミングにも対応可能となされている。ここで、基準時計の概念は、いわゆるＭＰＥＧを始めとして、略々あらゆるメディアの再生において使われている概念であり、その使用例の代表的なものとしては、ＤＶＤのような蓄積型メディアや地上波デジタル放送のような放送型メディア、ストリーミング配信などを挙げることができる。但し、それらにおいて基準時計を変化させるという考え方は存在せず、それは基準時計を変化させると映像や音が飛んでしまう結果を直接的にもたらすためである。しかしながら、近年は、電子ゲーム装置や家電機器等からの映像や音声を再生しながらそれらを遠隔操作するアプリケーションのように、映像や音声が飛んでしまうことよりも、遅延をより少なくすることを要求するアプリケーションが出現しつつある。そこで、本発明実施形態では、前述のように基準時計を意図的にずらすことによって、遅延を制御し、それにより電子ゲーム装置や家電機器を遠隔操作するようなアプリケーションの総合的且つ効果的な使用を可能としている。また、本実施形態のように、電子ゲーム装置や家電機器等のリモートコントロールを携帯電話端末にて実現するような場合、当該携帯電話端末は屋外や移動中などでも使用され、その際に利用するネットワークの通信品質は悪くなり易いことが想定される。本発明実施形態では、そのような使用用途においても、少ないレイテンシと良好な再生品質を両立することが可能となっている。
【００９０】
その他、上述した本発明の実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。
【図面の簡単な説明】
【００９１】
【図１】本発明実施形態のストリーミング配信再生システム全体の概略構成を示すブロック図である。
【図２】本発明実施形態のストリーミング受信機の詳細な構成例を示すブロック回路図である。
【図３】ストリーミング配信されるビデオデータとオーディオの概略的なデータ構造図である。
【図４】本発明にかかるストリーミング再生プログラムの実行により、制御部が基準時計部を制御する際の処理の概略的な流れを示すフローチャートである。
【図５】コンテンツの種類の一例と、それら各コンテンツの種類について、制御部が基準時間を制御することでレイテンシを調整する際の制御ポリシー、コンテンツの種類に応じて選択及び設定される指標値の一例を表に表した図である。
【図６】制御部が基準時計部を制御する際の処理の他の実施形態として、コンテンツの種類に応じた指標値の選択・設定を行う場合の基準時間調整処理の概略的な流れを示すフローチャートである。
【符号の説明】
【００９２】
１０  制御部、１１  ストリーミング信号受信部、１２  ＰＴＳＶ抽出部、１３  ビデオバッファ、１４  オーディオバッファ、１５  ＰＴＳＡ抽出部、１６  ビデオデコーダ、１７  オーディオデコーダ、１８  基準時計部、１９，５１  画像表示部、２０，５２  音声出力部、２１  キー信号送信部、２２，５３  キー入力部  ３０  テレビジョン装置、３１  動画像・音声データ出力装置、３２  ストリーミング送信機、３３  リモートコントロール信号送光部、４０  ネットワーク、５０  ストリーミング受信機
【図１】
2010021867.tif 000003
【図２】
2010021867.tif 000004
【図３】
2010021867.tif 000005
【図４】
2010021867.tif 000006
【図５】
2010021867.tif 000007
【図６】
2010021867.tif 000008