(57)【要約】配信サーバ１において、端末情報取得手段１１が受信端末５の端末情報を取得し、端末性能判別手段１３が端末情報と端末データベース１２とを照合して受信端末５の端末性能を判別する。接続環境判別手段１５は受信端末５の接続環境を判別し、帯域変動予測手段１７は接続環境と帯域測定手段１６で得られた現在の帯域とから一定期間将来の帯域変動を予測する。ビットレート決定手段１８は予測された帯域変動と端末リソース取得手段１４で得られた受信端末５で利用可能なリソースとを基に受信端末５へ配信する高品質なメディアの最適なビットレートを決定し、符号化手段１９は最適な符号化方法を選択する。
2008108379.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるメディア配信システムであって、
前記配信サーバは、前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを有し、
前記受信端末は、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング手段と、保存したメディアを再生する再生手段と、前記バッファリング手段と前記再生手段とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知手段とを有することを特徴とするメディア配信システム。
【請求項２】
前記配信サーバは、あらかじめ定められた時間間隔を複数通り保持する時間間隔保持手段を含み、
前記端末情報取得手段が、前記時間間隔保持手段からの時間間隔で前記端末情報を取得し、
前記端末性能判別手段が、前記時間間隔保持手段からの時間間隔で前記端末性能を判別し、
前記端末リソース取得手段が、前記時間間隔保持手段からの時間間隔で前記利用可能リソースを取得し、
前記接続環境判別手段が、前記時間間隔保持手段からの時間間隔で前記接続環境を判別し、
前記帯域変動予測手段が、前記時間間隔保持手段からの時間間隔で前記将来帯域変動を予測し、
前記ビットレート決定手段が、前記時間間隔保持手段からの時間間隔で前記最適なメディアのビットレートを決定することを特徴とする請求項１記載のメディア配信システム。
【請求項３】
前記配信サーバは、前記帯域変動予測手段で得られた帯域があらかじめ定められた帯域のしきい値より小さくなるかどうかを監視しかつ当該しきい値より小さくなると予測した場合に警告メッセージを送る帯域変動監視手段と、前記警告メッセージを受けた場合にあらかじめ定められた範囲において前記帯域測定手段から得られる現在の帯域を越えない範囲で帯域が前記しきい値より小さくなる将来期間のメディアデータを前記受信端末へ前もって配信するように前記配信手段に指示しかつ前記受信端末に対してバッファサイズを変更して前もって配信したメディアを保存するように指示する先送り手段とを含み、
前記受信端末は、前記先送り手段から指示を受けた場合にバッファサイズを変更するように前記バッファリング手段へ指示するバッファサイズ変更手段を含むことを特徴とする請求項１または請求項２記載のメディア配信システム。
【請求項４】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として動画のフレームサイズ、フレームレート、圧縮率、色数、階調数を変更することで前記ビットレートを変更するように前記符号化手段へ指示する動画符号化判別手段を含むことを特徴とする請求項１から請求項３のうちのいずれか記載のメディア配信システム。
【請求項５】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として動画のフレーム全体を一様な強度での平滑化、前記フレームの部分部分での平滑化の強度変更、動きの激しさによる平滑化の強度変更のいずれかを行うことで前記メディアにおける際立った画質の低下を抑えたまま前記ビットレートを変更するように前記符号化手段へ指示する画像処理手段を含むことを特徴とする請求項１から請求項４のうちのいずれか記載のメディア配信システム。
【請求項６】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として音声のサンプリングレート、サンプルあたりのビット数、周波数帯域、ステレオのチャンネル数を変更することで前記ビットレートを変更するように前記符号化手段へ指示する音声符号化判別手段を含むことを特徴とする請求項１から請求項５のうちのいずれか記載のメディア配信システム。
【請求項７】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのコーデック自体を変更して前記ビットレートを変更するように前記符号化手段へ指示する符号化選択手段を含むことを特徴とする請求項１から請求項６のうちのいずれか記載のメディア配信システム。
【請求項８】
前記配信サーバは、動画のフレームサイズ、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布と、音声のサンプリングレート、サンプルあたりのビット数、周波数帯域、チャンネル数と、前記メディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持するマトリックス保持手段と、前記ビットレート決定手段が決定した最適なビットレートと前記端末性能と前記帯域変動とに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法を選択して前記符号化手段へ指示する組み合わせ選択手段とを含むことを特徴とする請求項１から請求項７のうちのいずれか記載のメディア配信システム。
【請求項９】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として圧縮効率に影響のあるシーン内の人物及び物体の動きの激しさと前記フレーム内の画像の複雑度と少なくともスポーツ番組を含む番組の内容を示すコンテンツ種別とに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法を選択して前記符号化手段へ指示するシーン判別手段を含むことを特徴とする請求項８記載のメディア配信システム。
【請求項１０】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として少なくともスポーツ番組を含む番組の内容を示すコンテンツ種別とシーン内の人物及び物体の動きとに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択しかつあらかじめ定められた個数分の符号化方式候補のリストを前記受信端末へ配信するとともに、前記受信端末から指示された符号化方式にしたがって符号化方法を前記符号化手段へと指示する組み合わせ推薦手段を含み、
前記受信端末は、前記符号化方式候補を表示しかつユーザが選択した符号化方式で符号化されたメディアを前記配信サーバへ送付する符号化候補選択手段を含むことを特徴とする請求項８記載のメディア配信システム。
【請求項１１】
前記配信サーバは、前記受信端末へ前記メディアを配信する際に前記符号化手段に対して前記メディアへ誤り訂正信号を付加するよう指示しかつ誤り訂正信号の強度を変更することで前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのサイズを変更する誤り訂正符号化判別手段を含むことを特徴とする請求項１から請求項１０のうちのいずれか記載のメディア配信システム。
【請求項１２】
前記配信サーバは、前記受信端末へ前記メディアを配信する際に前記符号化手段に対して前記メディアを暗号化するよう指示しかつ前記暗号化の強度及び前記暗号化のアルゴリズム自体のいずれかを変更することで前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのサイズを変更する暗号化判別手段を含むことを特徴とする請求項１から請求項１１のうちのいずれか記載のメディア配信システム。
【請求項１３】
前記配信サーバは、前記受信端末の性能を調べるために複数のコーデック、複数のフレームサイズ、複数のフレームレートのテスト用のメディアを保持しかつ前記受信端末に対して当該テスト用メディアを配信するとともに、前記受信端末からのエラーメッセージを受信して端末毎に再生不可のメディア形式と記述して前記端末データベースに保存する端末性能評価手段を含み、
前記受信端末は、前記バッファリング手段を介して取得した前記テスト用メディアを再生しかつ当該テスト用メディアが正常に再生できなかった場合にエラーメッセージを前記配信サーバへ送付するテスト用メディア再生手段を含むことを特徴とする請求項１から請求項１２のうちのいずれか記載のメディア配信システム。
【請求項１４】
前記配信サーバは、あらかじめ定められたルールで前記メディアを区切るための分割点を求めて前記メディアを時間軸で区切るメディア分割手段を含み、
前記帯域変動予測手段が、あらかじめ定められた一定期間将来の帯域変動を前記接続環境判別手段で得られた接続環境と前記帯域測定手段で得られた現在の帯域とに基づいて前記分割点毎に予測して前記ビットレート決定手段へ通知することを特徴とする請求項１から請求項１３のうちのいずれか記載のメディア配信システム。
【請求項１５】
前記配信サーバは、音声の無音領域と話者切替わりと音楽切替わりとを少なくとも含むタイミングで音声を区切って前記帯域変動予測手段へ通知する音声分割手段を含むことを特徴とする請求項１４記載のメディア配信システム。
【請求項１６】
前記配信サーバは、動画のカットとシーン切替わりとを少なくとも含むタイミングで前記動画を区切って前記帯域変動予測手段へ通知する動画分割手段を含むことを特徴とする請求項１４または請求項１５記載のメディア配信システム。
【請求項１７】
前記配信サーバは、音声の無音領域と話者切替わりと音楽切替わりとを少なくとも含む第１のタイミングと、動画のカットとシーン切替わりとを少なくとも含む第２のタイミングとを照合して前記メディアの分割点として前記第１及び第２のタイミングのうちの少なくとも一方をあらかじめ定められたルールにしたがって決定しかつユーザに品質的に違和感のないタイミングでビットレートを変更するように前記メディアを区切って前記帯域変動予測手段へ通知する動画音声分割手段を含むことを特徴とする請求項１４から請求項１６のうちのいずれか記載のメディア配信システム。
【請求項１８】
前記配信サーバは、前記受信端末から再生中のメディアの再生箇所を受取って当該再生箇所と前記メディアのタイトル及びその内容を識別する識別情報とを保存しかつ前記受信端末に対して正常に配信した最後の箇所を中断箇所として保存する再生状況保存手段と、前記受信端末側で再度再生が指示された段階でユーザが指定した箇所から前記受信端末へと配信を始めるように前記配信手段へと指示する再送制御手段とを含み、
前記受信端末は、前記メディアの再生箇所を前記再生手段から取得して前記配信サーバに対して通知する再生箇所通知手段を含むことを特徴とする請求項１から請求項１７のうちのいずれか記載のメディア配信システム。
【請求項１９】
前記配信サーバは、あらかじめ受信を許可する複数の受信端末を登録しておく端末登録手段と、前記受信端末で前記メディアの再生を中断した後にこれまで再生していた第１の受信端末とは異なる第２の受信端末で再度の再生を指示した段階で前記第２の受信端末が前記端末登録手段に登録されている受信端末かどうかを調べかつ前記端末登録手段に登録済みの場合に前記メディアの中断箇所から前期第２の受信端末への配信を再開するように前記配信手段に対して指示するとともに、前記端末登録手段に未登録の場合に前記メディアの再生を要求した受信端末に対して少なくとも不許可のメッセージを送信する端末識別手段とを含むことを特徴とする請求項１８記載のメディア配信システム。
【請求項２０】
前記配信サーバは、前記メディアを配信できなかった場合に前記受信端末に所定のメディアを表示させるかがあらかじめ定められたルールを障害対応ルールとして保存しかつこの障害対応ルールを前記受信端末へと送信しておいて障害発生時に前記メディアの配信を停止するように前記配信手段に対して指示する障害対応ルール保存手段を含み、
前記受信端末は、前記障害発生時に前記障害対応ルールにしたがって前記所定のメディアを再生するように前記再生手段に対して指示する障害対応再生手段を含むことを特徴とする請求項１から請求項１９のうちのいずれか記載のメディア配信システム。
【請求項２１】
前記配信サーバは、前記メディアを配信できなかった場合に前記受信端末に表示させるためのメディアを予備メディアとして、前記帯域予測手段によって推測された帯域が不十分となる前にあらかじめ前記受信端末に配信する予備メディア配信手段を含み、
前記受信端末は、前記予備メディアを受信して専用のバッファに保存する予備メディア保存手段と、障害発生時に前記予備メディアを表示するように前記再生手段に指示する障害対応再生手段とを含むことを特徴とする請求項１から請求項２０のうちのいずれか記載のメディア配信システム。
【請求項２２】
前記配信サーバは、前記受信端末の位置及び移動の具合を前記受信端末からプレゼンスとして取得するプレゼンス取得手段を含み、
前記受信端末は、前記位置及び移動の具合を前記配信サーバへ通知するプレゼンス通知手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に前記プレゼンスを利用することを特徴とする請求項１から請求項２１のうちのいずれか記載のメディア配信システム。
【請求項２３】
前記配信サーバは、前記受信端末周囲の気象条件及び電磁環境を少なくとも含む物理環境を前記受信端末から受信環境として取得する受信環境取得手段を含み、
前記受信端末は、前記物理環境を測定するセンサと、前記物理環境を前記受信環境として前記配信サーバに通知する受信環境通知手段とを含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記受信環境を利用することを特徴とする請求項１から請求項２２のうちのいずれか記載のメディア配信システム。
【請求項２４】
前記配信サーバは、前記受信端末から現在実行中のプログラム種別と実行履歴とを取得するタスク取得手段と、あらかじめ指定されたプログラム種別の平均実行時間と前記現在実行中のプログラム種別と前記実行履歴と前記端末リソース取得手段にて得られた利用可能リソースとを用いて一定期間将来に利用可能となるリソースを予測して将来リソースとする端末リソース予測手段を含み、
前記受信端末は、前記現在実行中のプログラム種別と前記実行履歴とを前記配信サーバへ通知するタスク通知手段を含み、
前記ビットレート決定手段が、前記ビットレートを決定する際に前記利用可能リソースの代わりに前記将来リソースを利用することを特徴とする請求項１から請求項２３のうちのいずれか記載のメディア配信システム。
【請求項２５】
前記配信サーバは、前記受信端末の現在の位置及び移動の具合から一定期間将来の位置及び移動の具合を予測して将来プレゼンスとするプレゼンス予測手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記プレゼンスに代わって前記将来プレゼンスを利用することを特徴とする請求項２２から請求項２４のうちのいずれか記載のメディア配信システム。
【請求項２６】
前記配信サーバは、前記物理環境から一定期間将来の物理環境を予測して将来受信環境とする受信環境予測手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記受信環境に代わって前記将来受信環境を利用することを特徴とする請求項２３から請求項２５のうちのいずれか記載のメディア配信システム。
【請求項２７】
少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置であって、
前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを有することを特徴とする配信サーバ装置。
【請求項２８】
少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるシステムに用いるメディア配信方法であって、
前記配信サーバが、前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定処理と、
前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを実行し、
前記受信端末が、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング処理と、保存したメディアを再生する再生処理と、前記バッファリング処理と前記再生処理とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知処理とを実行することを特徴とするメディア配信方法。
【請求項２９】
少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置においてコンピュータに実行されるプログラムであって、
前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定処理と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラムに関し、特にパーソナルコンピュータや携帯情報端末に対して映像や音楽等のメディアを配信するシステムに関する。
【背景技術】
【０００２】
近年、上記のシステムでは、ネットワークのブロードバンド化とパーソナルコンピュータ（以下、パソコンとする）や携帯情報端末の高性能化に伴い、ネットワークを介して大容量の映像や音楽を閲覧するというニーズが高まっており、そのニーズに合わせて映像や音楽を配信するサービスが始まっている。このサービスとしては、ファイルをダウンロードする形式と逐次配信するストリーミング形式がある。ここでは、受信側でダウンロードしたメディアを保存するための大容量ストレージを必要としないストリーミング形式を対象とする。
メディアをストリーミング形式で配信するサービスの多くは、ユーザの通信環境に合わせてビットレートの異なるデータを用意している。一方、インタネットのようなオープンなネットワーク環境や無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）のように物理環境の変動が大きい環境では、通信帯域が変動するため、平均帯域ではユーザが指定したビットレートを上回っていても、タイミングによってはユーザが指定したビットレートを大きく下回る場合がある。
このような時、多くのサービスでは、メディアを受信の時間が余計に要するため、必要な分のメディアのダウンロードが済むまでユーザが待つことになったり、一部メディアが欠落して途切れが生じたりする。場合によっては、接続を最初からやり直さなければならないことがある。
このような帯域変動に合わせてメディアの品質を制御してビットレートを変更する方法としては、特開２００２−２０４２７８号公報、特開２００２−２０８９５４号公報、特開２００２−３２５０９５号公報、特開２００４−０１５４２９号公報、特開２００４−２１４７５５号公報、特開２００４−２２２０４４号公報、特開２００４−２７２５６３号公報、特開２００４−３５７２２６号公報、特開２００５−２８６９７８号公報、特開２００５−３１８０５７号公報（以下、順に文献１〜１０と記す）に記載の手法等が提案されている。また、現時点の帯域だけではなく、将来の帯域を予測する方法としては、特開２００５−１５１３５２号公報（以下文献１１と記す）に記載の手法が提案されている。さらに、帯域変動への追随については触れていないが、画像のデータ量を削減する方法としては、特開２００１−１２８１３２号公報（以下文献１２と記す）に記載の手法が提案されている。
これら以外に、帯域に合わせて通信セッションを制御する方法としては、特開２００５−１５７３２３号公報（以下文献１３と記す）に記載の手法が提案されているが、この方法はあくまでも、複数の通信端末が存在する場合に、各々の通信端末の通信内容によらず、できるだけ平等に帯域が割り当てられるように、回線割り当てを制御するものであって、単一端末の通信のビットレートを制御する本発明とは適用分野も目的も異なる。
また、これら以外に、帯域に余裕がある場合に、データを先送りする方法としては、特開２００３−２０９５９３号公報（以下文献１４と記す）に記載の手法が提案されているが、この方法は通信帯域の変動を想定しているものではなく、通信帯域の変動に合わせてメディアを最適なビットレートで送信する本発明とは目的が異なる。
さらに、これら以外に動画の容量を調整する方法としては、特開平１１−１３６６７３号公報（以下文献１５と記す）に記載の手法が提案されているが、この手法では、配信ではなく、蓄積されている映像を対象に、シーン毎に重要性を判定してビットレートを変更しているだけであり、通信帯域の変動に合わせてメディアを最適なビットレートで送信する本発明とは適用分野も目的も異なる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の技術では、上記の文献１〜１０に記載の手法の場合、何れも通信帯域を測定しているが、メディアの特定部分について、その部分を配信する前の帯域を知ることができるだけである。そのため、これらの手法では、帯域測定から実際の送信までの間に帯域が変動する場合に対応することができない。特に移動体通信の場合には、帯域変動が顕著であるため、測定した帯域と実際のデータ送信時の帯域とが大きく異なることがある。
また、これら文献１〜１０に記載の手法では、測定した時点での帯域にピタリ合うようにビットレートを調整するか、ある程度の期間の帯域の平均から適切なビットレートを推定することになる。しかしながら、測定した帯域にピタリ合うようにビットレートを調整するようにした場合には、帯域変動が頻繁で頻繁にメディアの品質が変動することになると、視聴に障害が出ることになる。ある程度の期間の帯域の平均はあくまでも過去の平均であるため、未来に適用すると乖離が大きくなる場合がある。
例えば、文献１では、将来の帯域予測を行わず、現在の帯域のみを利用している上に、一旦ジッタやパケット損失が生じてからビットレートの変更を実施しており、メディアの品質が一時的に著しく低下する可能性がある。それに加えＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）という特定の通信プロトコルに依存した手法であり、他のプロトコルへの適用は難しい場合がある。
画像符号化においても、ビットレート変更の具体な記述は動画のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）間隔を変更するだけの単純なものであり、メディア品質とビットレートとについてトレードオフの選択肢が狭く、低ビットレートで高品質を実現するのが難しい。また、上記の文献１では、ＧＯＰ間隔を用いているため、音声のみのメディアには適用不可である。
文献１２でも、ＧＯＰに相当するキーフレームを省くことによって、同じような動画のデータ量削減を行っているが、同様に低ビットレートで高品質を実現するのが難しく、音声のみのデータには無効である。
文献１５でも、データ量の調整の具体例として上げているのはＧＯＰの間隔の調整であり、上記と同様に、低ビットレートで高品質を実現するのが難しく、音声のみのデータには無効である。
同様に、例えば、文献４でも、将来の帯域予測を行わず、現在の帯域のみを利用している上に、一旦パケット損失が生じてからビットレートの変更することがあるため、メディアの品質が一時的に著しく低下する可能性がある。また、仮にパケット損失が起きなかったとしても、文献４では、帯域が急激に変動する場合を想定していないため、急激な帯域の変動時にビットレートが急激に変動してメディアの品質が低下する場合がある。また、この手法の特徴として、帯域を探るモードでは、コンテンツビットレートを変えずに送出ビットレートを変更しているが、メディアの尺（長さ）と送信時間とが合わないため、頻繁に最適なビットレートを探ろうとすると、再生が間延びしたりしてメディアの品質が低下してしまう。
さらに同様に、例えば、文献５においても、将来の帯域予測を行わず、現在の帯域のみを利用している。文献５では、途切れの無い再生を目標としており、帯域が急激に変動する場合、メディアの品質も急激に変動してしまう。
また、例えば、文献３においては、帯域の過去の平均を予測値としているが、実際の変動との乖離が大きくなる場合がある。
さらにまた、文献３では、ジッタを測定した後に帯域変更となるため、遅延が大きく、急激な帯域変動が発生すると、ビットレートの変更が追随できず、メディアの品質が著しく低下する場合がある。それに加え、文献３では、ＲＴＰという特定の通信プロトコルを想定しており、他のプロトコルへの適用は難しい場合がある。
上記の方法において、メディア変換に時間がかかる場合、前もって変換しておけば配信に間にあわせることができるが、これらの提案手法では現時点の帯域がわかるだけなので、帯域の変動を見越して様々なビットレートのメディアを用意する必要が出てくる。そのため、大容量のストレージが必要になるし、変換時間も大きくなってしまう。
一方、文献１１では、将来のある時点での帯域を予測しているが、受信端末として想定している車両の位置と速度とから将来のある時点でのその車両の位置を推測し、過去にあったその位置での受信状況から帯域を予測しているだけであるため、気象状況や電磁環境等の物理条件、他のユーザの使用による帯域占有率等が変動した場合に対応することができない。
また、文献１１では、メディアの途切れを軽減することを目指してはいるが、帯域が急激に変動する場合を想定していないため、帯域が急激に変動する場合、メディアの品質も急激に変動してしまう。
上述した文献１〜１２に記載の方法で動画のビットレートを変更する場合には、単純にビットレートを指定してエンコードすることのみを想定しており、ビットレートが小さい場合、ブロックノイズ等の視聴し辛い低品質となってしまう場合がある。
その上、これらの手法では、何れも受信端末の利用状況や受信端末の能力を想定したビットレートの変更をしておらず、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）のように機種によって仕様が多様なものが受信端末の場合、再生できないメディアが受信端末に送信される可能性がある。
そこで、本発明の目的は上記の問題点を解消し、頻繁に帯域変動する環境であっても、ユーザが違和感や不自然さを抱かない範囲でメディアの品質を安定させて配信することができるメディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラムを提供することにある。
【課題を解決するための手段】
【０００４】
本発明の一態様であるメディア配信システムは、少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるメディア配信システムであって、
前記配信サーバは、前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを備え、
前記受信端末は、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング手段と、保存したメディアを再生する再生手段と、前記バッファリング手段と前記再生手段とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知手段とを備えている。
本発明の他の一態様である配信サーバ装置は、少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置であって、
前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを備えている。
本発明の他の一態様であるメディア配信方法は、少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるシステムに用いるメディア配信方法であって、
前記配信サーバが、前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定処理と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを実行し、
前記受信端末が、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング処理と、保存したメディアを再生する再生処理と、前記バッファリング処理と前記再生処理とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知処理とを実行している。
本発明の他の一態様であるプログラムは、少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置においてコンピュータに実行されるプログラムであって、
前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、接続している環境種別と現在の使用可能な帯域とからあらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定するビットレート決定処理と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを含んでいる。
【発明の効果】
【０００５】
本発明は、上記のような構成及び動作とすることで、頻繁に帯域変動する環境であっても、ユーザが違和感や不自然さを抱かない範囲でメディアの品質を安定させて配信することができるという効果が得られる。
【図面の簡単な説明】
【０００６】
図１は本発明の第１の実施例によるメディア配信システムの構成を示すブロック図である。
図２は本発明の第１の実施例によるメディア配信システムの動作を示すシーケンスチャートである。
図３は本発明の第１の実施例による第１のビットレートの設定例を示す図である。
図４は本発明の第１の実施例による第２のビットレートの設定例を示す図である。
図５は本発明の第１の実施例による第３のビットレートの設定例を示す図である。
図６は本発明の第１の実施例による第４のビットレートの設定例を示す図である。
図７は本発明の第２の実施例によるメディア配信システムの構成を示すブロック図である。
図８は本発明の第３の実施例によるメディア配信システムの構成を示すブロック図である。
図９は本発明の第４の実施例によるメディア配信システムの構成を示すブロック図である。
図１０は本発明の第５の実施例によるメディア配信システムの構成を示すブロック図である。
図１１は本発明の第６の実施例によるメディア配信システムの構成を示すブロック図である。
図１２は本発明の第７の実施例によるメディア配信システムの構成を示すブロック図である。
図１３は本発明の第８の実施例によるメディア配信システムの構成を示すブロック図である。
図１４は本発明の第９の実施例によるメディア配信システムの構成を示すブロック図である。
図１５は本発明の第１０の実施例によるメディア配信システムの構成を示すブロック図である。
図１６は本発明の第１１の実施例によるメディア配信システムの構成を示すブロック図である。
図１７は本発明の第１２の実施例によるメディア配信システムの構成を示すブロック図である。
図１８は本発明の第１３の実施例によるメディア配信システムの構成を示すブロック図である。
図１９は本発明の第１４の実施例によるメディア配信システムの構成を示すブロック図である。
図２０は本発明の第１５の実施例によるメディア配信システムの構成を示すブロック図である。
図２１は本発明の第１６の実施例によるメディア配信システムの構成を示すブロック図である。
図２２は本発明の第１７の実施例によるメディア配信システムの構成を示すブロック図である。
図２３は本発明の第１８の実施例によるメディア配信システムの構成を示すブロック図である。
図２４は本発明の第１９の実施例によるメディア配信システムの構成を示すブロック図である。
図２５は本発明の第２０の実施例によるメディア配信システムの構成を示すブロック図である。
図２６は本発明の第２１の実施例によるメディア配信システムの構成を示すブロック図である。
図２７は本発明の第２２の実施例によるメディア配信システムの構成を示すブロック図である。
図２８は本発明の第２３の実施例によるメディア配信システムの構成を示すブロック図である。
図２９は本発明の第２４の実施例によるメディア配信システムの構成を示すブロック図である。
図３０は本発明の第２５の実施例によるメディア配信システムの構成を示すブロック図である。
図３１は本発明の第２６の実施例によるメディア配信システムの構成を示すブロック図である。
【発明を実施するための最良の形態】
【０００７】
次に、本発明の実施例について図面を参照して説明する。
【実施例１】
【０００８】
図１は本発明の第１の実施例によるメディア配信システムの構成を示すブロック図である。図１において、本発明の第１の実施例によるメディア配信システムは、映像や音楽といったメディアを配信する配信サーバ１と、ネットワーク１００を介してメディアを受信して再生する受信端末５とから構成されている。
配信サーバ１は、例えば、パーソナルコンピュータ（以下、パソコンとする）やワークステーションから構成される。受信端末５は、例えば、パソコンや携帯情報端末、携帯電話機、携帯音楽端末、情報家電から構成されるが、セットトップボックスやネットワーク機能を備えたテレビやラジオであってもよい。ネットワーク１００は、例えばインタネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から構成されるが、有線ＬＡＮ以外に、ブルートゥース（登録商標）を含む無線ＬＡＮ、赤外線通信、可視光通信、超音波通信を利用してもよい。
配信サーバ１は、端末情報取得手段１１と、端末データベース１２と、端末性能判別手段１３と、端末リソース取得手段１４と、接続環境判別手段１５と、帯域測定手段１６と、帯域変動予測手段１７と、ビットレート決定手段１８と、符号化手段１９と、配信手段２０とから構成されている。
端末情報取得手段１１は、受け手側である受信端末５の機種を示す端末情報を取得する。端末性能判別手段１３はその取得した端末情報を、システムの管理者があらかじめ保存してある端末データベース１２と照らし合わせて、受信端末５の処理能力や対応メディア形式を端末性能として判別する。端末リソース取得手段１４は、受信端末５から現在利用可能なメモリ容量やＣＰＵ（中央処理装置）（図示せず）の空きやディスク容量等のリソースを利用可能リソースとして取得する。
接続環境判別手段１５は、受信端末５がブロードバンド環境や無線ＬＡＮ、携帯電話網で接続しているか、受信端末５が接続している環境種別を接続環境として判別する。帯域測定手段１６は、現在の帯域を測定する。
帯域変動予測手段１７は、接続している環境種別と現在の帯域とから、システムの管理者があらかじめ定めた一定期間将来の帯域変動を予測して将来帯域変動とする。ビットレート決定手段１８は、上記の端末性能と将来帯域変動とから、帯域が急激に変動しても受信端末５でメディアが途切れずかつメディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートを決定する。符号化手段１９は、最適なビットレートを達成するために最適な符号化方法を選択し、メディアを符号化する。配信手段２０は、受信端末５へメディアを配信する。
受信端末５は、メディアをサーバ管理者または閲覧ユーザがあらかじめ指定した時間分のメディアをバッファ（図示せず）に保存するバッファリング手段５１と、保存したメディアを再生する再生手段５２と、バッファリング手段５１と再生手段５２とから現在利用可能なメモリ容量やＣＰＵ（図示せず）の空きやディスク容量等のリソースを利用可能リソースとして取得して配信サーバ１へ通知する端末リソース通知手段５３とを備えている。
図２は本発明の第１の実施例によるメディア配信システムの動作を示すシーケンスチャートであり、図３は本発明の第１の実施例による第１のビットレートの設定例を示す図であり、図４は本発明の第１の実施例による第２のビットレートの設定例を示す図であり、図５は本発明の第１の実施例による第３のビットレートの設定例を示す図であり、図６は本発明の第１の実施例による第４のビットレートの設定例を示す図である。これら図１〜図６を参照して本発明の第１の実施例によるメディア配信システムの動作について説明する。尚、図２に示す処理動作（上述した配信サーバ１の各手段の動作、受信端末５の各手段の動作）はそれぞれのＣＰＵがプログラムを実行することでも実現される。
配信サーバ１は受信端末５からの要求にしたがって、受信端末に対して映像や音楽等のメディアを配信する。メディアとしては静止画やテキストファイル、文書ファイルや様々なコンピュータアプリケーションのデータファイルが含まれていてもよい。
受信端末５は配信サーバ１から配信されたメディアを受信し、ユーザの指示にしたがって再生する。ユーザの指示として再生の他に、例えば、巻き戻し、早送り、コマ送り、倍速、シーン毎のスキップ、一時停止、停止が含まれていてもよい。ユーザの指示の入力方法としては、例えば、キーボード入力、タッチパネルによる入力、音声認識や文字認識を利用した入力であってもよい。
配信サーバ１においては、受信端末５から配信要求が送られてくると（図２の処理ａ１）、端末情報取得手段１１にて、受け手側である受信端末５の機種を示す端末情報を取得する（図２の処理ａ２）。例えば、端末情報取得手段１１はＷｅｂブラウザから送信されるユーザエージェント等のＷｅｂブラウザの情報を読取って受信端末５の機種を判別する。
端末性能判別手段１３は、端末情報取得手段１１が受信端末５から取得した端末情報を、端末データベース１２に登録されている端末の仕様や性能と照らし合わせて、接続して現在配信を要求している受信端末５の処理能力や対応メディア形式を端末性能として判別する（図２の処理ａ３）。
ここで、端末データベース１２には、受信端末５の機種毎に処理能力や対応メディア形式をリスト形式で保存されている。処理能力としては、例えば、ＣＰＵ性能やメモリ容量、ストレージ容量、画面サイズ、画面表示レスポンス、色数やコントラスト、ネットワーク速度、対応ネットワークプロトコル等が含まれるが、対応暗号化アルゴリズムや対応誤り訂正アルゴリズムが含まれていてもよい。
対応メディア形式としては、例えば、動画や音声のコーデック、動画のフレームサイズやフレームレート、圧縮率、色数、階調数、音声のサンプリングレートやサンプルあたりのビット数やチャンネル数等が含まれる。
端末データベース１２への登録については、例えば、システム管理者が手で入力してもいいし、印刷されたスペック表を文字認識して入力してもよいし、受信端末メーカからの電子ファイルによるスペック表を基に自動的に登録してもよい。
端末リソース取得手段１４は、受信端末５から取得した現在利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを利用可能リソースとして取得する（図２の処理ａ４）。
接続環境判別手段１５は、受信端末５がブロードバンド環境や無線ＬＡＮ、携帯電話網で接続しているか、受信端末５が接続している環境種別を接続環境として判別する（図２の処理ａ５）。例えば、接続環境判別手段１５は、受信端末５のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを基にネットワーク経路を割り出して判別してもよいし、受信端末５に試験的にデータを送信してその速度から推測してもよい。また、携帯電話の場合には、各キャリアに設置されたインタネットとのゲートウェイのＩＰアドレスが決まっているため、容易に携帯電話網を経由しているか、さらにどのキャリアの携帯電話からの接続かを判別することができる。
帯域測定手段１６は、現在の帯域を測定する（図２の処理ａ６）。帯域を測定する方法としては、例えば、受信端末５に試験的に既知のサイズのデータを送信してその速度から推測してもよい。
帯域変動予測手段１７は、接続環境判別手段１５で判別された接続環境の種別と帯域測定手段１６で測定された現在の帯域とから、システムの管理者があらかじめ定めた一定期間将来の帯域変動を予測し、その予測結果を将来帯域変動とする（図２の処理ａ７）。
帯域変動を予測する方法としては、例えば、回帰分析してモデルを構築し、そのモデルから帯域変動を関数として求める方法がある。この時、時間帯や季節等の環境を勘案してもよい。例えば、平日午前は仕事の連絡でネットワーク利用者が多く、利用できる帯域が狭い場合があり、その傾向を織り込んだモデルに基づいて帯域を推測することができる。
また、日単位で時間帯毎の帯域の平均を算出しておき、ある一定期間後の帯域は現在の帯域とこのあらかじめ求めた平均値との間の値となると推測してもよい。さらに、単純に過去の帯域変動に多項式関数を外挿して将来帯域変動を求めてもよい。
ビットレート決定手段１８は、端末性能判別手段１３で判別された端末性能と帯域変動予測手段１７で予測された帯域変動とから、受信端末５でメディアの品質が急激に変動しないように受信端末５へ配信する高品質なメディアの最適なビットレートを決定する（図２の処理ａ８）。
帯域にビットレートを正確に追随させると、例えば、携帯電話等の移動体での通信で帯域が急激に変動する場合に、頻繁に画質や音質が変化し非常に視聴し辛いものになる。また、帯域が確保できない場合には、即座に視聴できなくなる。そこで、本実施例では、帯域が変動しても頻繁にビットレートが変わらないように、帯域よりある程度余裕のあるビットレートを設定する。
ビットレートの変化を緩やかとする方法としては、例えば、図３に示すように、ある時間間隔を定め、その時間内は最小の帯域に合わせてビットレートを一定に設定する方法がある。このことによって、平均的な帯域より小さいビットレートでメディアを配信するため、帯域の予測外の変動への耐性がより高くなる。これによって、帯域が予想より急激に低下しても、ビットレートは急激には変化しないようにすることができる。
また、ビットレートの変化を緩やかとする方法としては、図４に示すように、ある時間間隔を定め、その時間内の平均帯域に合わせてビットレートを一定にする方法もある。この方法を採用することで、より高ビットレートで高品質のメディアを配信することができる。
さらに、ビットレートの変化を緩やかとする方法としては、図５に示すように、横軸を時間、縦軸を帯域とした帯域変動のグラフにおいて、極少点を直線で結んだものをビットレートと設定する方法や、帯域変動のグラフにおいて、帯域変動を平滑化したものをビットレートとする方法がある。
これらに加え、帯域変動が急激で将来帯域の信頼性が低い場合には、メディアの品質の安定性をより確実にするために、図６に示すように、現状の利用可能な帯域よりも大幅にメディアのビットレートを小さくする方法もある。
符号化手段１９は、ビットレート決定手段１８で決定された最適なビットレートを達成するために、最適な符号化方法を選択し、メディアを符号化する（図２の処理ａ９）。符号化方法としては、例えば、数多くある動画や音声のコーデックの中からどれかを選び、そのパラメータを調整する方法がある。
配信手段２０は、符号化手段１９で符号化されたメディアを受信端末５へ配信する（図２の処理ａ１０）。受信端末５は、上述したように、配信サーバ１から配信されたメディアを受信し、ユーザの指示にしたがって再生する（図２の処理ａ１１）。
受信端末５においては、バッファリング手段５１にて、サーバ管理者または閲覧ユーザがあらかじめ指定した時間分のメディアをバッファに保存する。バッファとしてはメモリであってもよいし、ディスクであってもよい。
再生手段５２は、バッファリング手段５１によってバッファに保存されたメディアをユーザ指示にしたがって再生する。再生手段５２としては、例えば、受信端末５に既にインストール済みの再生用のアプリケーションプログラムを利用する。また、再生手段５２としては、メディアの種類毎に異なる専用アプリケーションプログラムを配信サーバ１からダウンロードして再生してもよい。
端末リソース通知手段５３は、バッファリング手段５１と再生手段５２とから、現在利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを、利用可能リソースとして取得し、配信サーバ１へ通知する。リソースを求める方法としては、例えば、多くのＯＳ（オペレーティングシステム）に標準的に備わっているシステムモニタ等のモニタリング機能を利用する。また、リソースを求める方法としては、リソースを求めるソフトウェアを新たに受信端末５にインストールしてもよい。
これによって、本実施例では、帯域変動予測手段１７によって将来の帯域変動を予測することができ、端末性能判別手段１３と端末リソース取得手段１４とによって、受信端末５の現時点での性能を推測することができる。
また、本実施例では、ビットレート決定手段１８によって、帯域変動に基づいて、受信端末５でメディアの品質が急激に変動しないように、かつ受信端末５の現時点の性能に最適なビットレートを決定することができ、受信端末５において、急激な帯域変動があっても、急激なビットレートの変動がなく、違和感や不自然さなく、高品質なメディアを視聴することができる。
【実施例２】
【０００９】
図７は本発明の第２の実施例によるメディア配信システムの構成を示すブロック図である。図７において、本発明の第２の実施例によるメディア配信システムは、配信サーバ１ａに時間間隔保持手段２１を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。
時間間隔保持手段２１はシステムの管理者があらかじめ定めた時間間隔を複数通り保持しており、それらの時間間隔を端末情報取得手段１１と端末性能判別手段１３と端末リソース取得手段１４と接続環境判別手段１５と帯域変動予測手段１７とビットレート決定手段１８とにそれぞれ供給する。
端末情報取得手段１１は、時間間隔保持手段２１からの時間間隔で、受け手側である受信端末５の機種を示す端末情報を取得する。端末性能判別手段１３は、時間間隔保持手段２１からの時間間隔で、端末情報取得手段１１が取得した端末情報を、システムの管理者があらかじめ保存してある端末データベース１２と照らし合わせ、受信端末５の処理能力や対応メディア形式を端末性能として判別する。
端末リソース取得手段１４は、時間間隔保持手段２１からの時間間隔で、受信端末５から現在利用可能なメモリ容量やＣＰＵの空き、ディスク容量等のリソースを利用可能リソースとして取得する。接続環境判別手段１５は、時間間隔保持手段２１からの時間間隔で、受信端末５がブロードバンド環境や無線ＬＡＮ、携帯電話網で接続しているか、受信端末５が接続している環境種別を接続環境として判別する。
帯域変動予測手段１７は、時間間隔保持手段２１からの時間間隔で、接続環境判別手段１５が判別した環境種別と帯域測定手段１６が測定した現在の帯域とから、システムの管理者があらかじめ定めた一定期間将来の帯域変動を予測し、将来帯域変動とする。ビットレート決定手段１８は、時間間隔保持手段２１からの時間間隔で、端末性能判別手段１３が判別した端末性能と帯域変動予測手段１７が予測した帯域変動とから、帯域が急激に変動しても受信端末５でメディアが途切れずかつメディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なビットレートを決定する。
この図７を参照して本発明の第２の実施例によるメディア配信システムの動作について説明する。
本実施例においては、システムの管理者があらかじめ定めた時間間隔を複数通り保持する時間間隔保持手段２１を有することが上述した本発明の第１の実施例との違いである。時間間隔保持手段２１に保持する時間間隔は、１つであってもいいし、参照する手段によって異なるものであってもよいし、あらかじめ定めたルールにしたがって、時系列で変動するものであってもよい。
端末情報取得手段１１は時間間隔保持手段２１に保持されている時間間隔にしたがって端末情報を取得する。これによって、本実施例では、例えば、ユーザがメディアを視聴途中に受信端末５の機種が変更となっても探知することができる。外出時には携帯端末で閲覧し、帰宅時には大画面テレビでメディアを視聴するような状況において携帯電話から大画面テレビへの切替えを即座に察知することができる。また、本実施例では、例えば、バッテリ切れで性能や機能を切り詰めて縮退するような受信端末の場合、その縮退の状況を逐次察知することができる。
端末性能判別手段１３は、端末情報が変化するにしたがって、端末データベース１２を利用して、端末性能を抽出し直しする。端末リソース取得手段１４は、受信端末５から取得した現在利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを利用可能リソースとして取得する。
接続環境判別手段１５は、時間間隔保持手段２１に保持されている時間間隔にしたがって、受信端末５がブロードバンド環境や無線ＬＡＮ、携帯電話網で接続しているか、受信端末５が接続している環境種別を接続環境として判別する。これによって、本実施例では、例えば、受信端末５が無線ＬＡＮ機能を備えた携帯電話の場合、接続環境が携帯電話網から無線ＬＡＮに切替わったことを即座に察知することができる。
帯域変動予測手段１７は、例えば、時間間隔保持手段２１に保持されている時間間隔毎に帯域測定手段１６からの現在の帯域を把握し、それに基づいて帯域変動の予測を変える。これによって、本実施例では、予測した帯域変動と実際の帯域との差異を小さくすることができる。
ビットレート決定手段１８は、時間間隔保持手段２１に保持されている時間間隔にしたがって、各時点での予測した帯域変動に基づいてビットレートを決定する。これによって、本実施例では、実際の帯域に最適なビットレートを逐次決定することができる。
よって、本実施例では、帯域変動予測手段１７によって将来の帯域変動をシステムの管理者があらかじめ定めた時間間隔で予測することができ、端末性能判別手段１３と端末リソース取得手段１４とによって受信端末５の現時点での性能を推測することができる。
また、本実施例では、ビットレート決定手段１８によって帯域変動に基づいて、受信端末５でメディアの品質が急激に変動しないようにかつ受信端末５の現時点の性能に最適なビットレートをシステムの管理者があらかじめ定めた時間間隔で決定することができ、受信端末５において、急激な帯域変動があっても、急激なビットレートの変動がなく、違和感や不自然さなく、高品質なメディアを視聴することができる。
【実施例３】
【００１０】
図８は本発明の第３の実施例によるメディア配信システムの構成を示すブロック図である。図８において、本発明の第３の実施例によるメディア配信システムは、配信サーバ１ｂに先送り手段２２と帯域変動監視手段２３とを追加し、受信端末５ａにバッファサイズ変更手段５４を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２の実施例にも適用可能である。
帯域変動監視手段２３は、メディア配信システムの配信サーバ１ｂにおいて、システムの管理者があらかじめ定めた将来において、帯域変動予測手段１７で得られた帯域が、システムの管理者があらかじめ定めた帯域のしきい値より小さくなるかどうかを監視し、しきい値より小さくなると予測した場合、先送り手段２２へ警告メッセージを送る。
先送り手段２２は、帯域変動監視手段２３から警告メッセージを受けた場合、システムの管理者があらかじめ定めた範囲で、帯域測定手段１６から得られる現在の帯域を越えない範囲で、帯域がしきい値より小さくなる将来期間のメディアデータを受信端末５へ前もって配信するように配信手段２０に指示し、受信端末５ｂに対して、バッファサイズを変更して前もって配信したメディアを保存するように指示する。
バッファサイズ変更手段５４は、受信端末５ｂにおいて、先送り手段２２から指示を受けた場合に、バッファサイズを変更するようにバッファリング手段５１へ指示する。
帯域変動監視手段２３は、しきい値として、例えばシステム管理者があらかじめ定めた定数であってもよいし、ビットレート決定手段１８が決めたビットレートを採用してもよいし、該ビットレートを定数倍したものをしきい値としてもよい。
先送り手段２２は、帯域に余裕がある場合に将来のメディアを先行して配信する。帯域に余裕がある状況とは、受信端末５に予定通り滞りなく、メディアを配信している状況で、配信手段２０から配信されているメディアのビットレートが、現状の帯域より小さい場合である。
この時、例えば、受信端末５ａで即座に再生するメディアと並行して、あらかじめ定めた将来期間のメディアについて受信端末５へと先送りとして配信する。帯域に余裕がある場合には、必ず先送りするようにしてもいいし、受信端末５ａのユーザが先送りのタイミングを指定してもよい。受信端末５ａ側から先送りを停止するように依頼するメッセージが届いた場合には、先送りを停止するようにしてもよい。
先送りするデータの量としては、例えば余裕が全くなくなるように帯域を使い尽くすように先送りしてもよいし、あらかじめシステム管理者が定めた分だけ帯域に余裕を残して先送りするデータ量を決めてもよい。
バッファサイズ変更手段５４は受信端末５ａのメモリ容量が許す範囲でバッファサイズを変更するようにバッファリング手段５１へと指示する。先送りの指定が配信サーバ１ｂからあっても受信端末５ａに余裕がない場合には、配信サーバ１ｂに対して先送りを停止するように依頼するメッセージを発信してもよい。
これによって、本実施例では、帯域変動監視手段２３によって、帯域がしきい値より小さくなると予測した場合、先送り手段２２へ警告メッセージを送ることができる。
また、本実施例では、先送り手段２２によって、警告メッセージを受けた場合、帯域がしきい値より小さくなる将来期間のメディアデータを受信端末５ａへ前もって配信するように配信手段２０に指示し、受信端末５ａに対して、バッファサイズを変更して前もって配信したメディアを保存するように指示することができる。
これに加え、本実施例では、バッファサイズ変更手段５４によって、先送り手段２２から指示を受けた場合に、バッファサイズを変更することができる。本実施例では、これらの手段によって、通信帯域が著しく小さくなってメディアが配信できない状態でも、受信端末５ａで引き続きメディアの再生ができる。
【実施例４】
【００１１】
図９は本発明の第４の実施例によるメディア配信システムの構成を示すブロック図である。図９において、本発明の第４の実施例によるメディア配信システムは、配信サーバ１ｃに動画符号化判別手段２４を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２及び第３の実施例にも適用可能である。
動画符号化判別手段２４は、ビットレート決定手段１８が決定した最適なビットレートを目標として、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数を変更することによって、メディアのサイズであるビットレートを変更するように符号化手段１９へ指示する。
動画符号化判別手段２４は、例えば、動画の１フレームの縦横サイズを拡大縮小することにより、動画のサイズを変更するように符号化手段１９へ指示する。この場合、本実施例では、縦横のサイズ比であるアスペクト比が変更されてもよい。また、本実施例では、動画の縦横サイズが変化しても、表示では縦横サイズに変化がないように再生手段５２が再生時に拡大してもよい。さらに、本実施例では、フレームの拡大縮小に、画素間の補間としてバイリニアやバイキュービックで補間してもよく、面積平均法を使ってもよい。さらにまた、本実施例では、画素値をシステム管理者があらかじめ定めた関数形でモデル化して補間してもよい。
動画符号化判別手段２４は、その他に、例えば、フレームレートを増減させることによって、動画のサイズを変更するように符号化手段１９へ指示する。フレームレートを削減する場合には、単純に間引いてもよい。フレーム間のフレームを補間して削減してもよい。フレームレートを増大させる場合には、既存のフレームをそのままコピーして増やしてもよく、フレーム間のフレームを補間して増大させてもよい。
フレーム間のフレームを補間する方法としては、画素値をバイリニアやバイキュービックで補間してもよく、画素値をシステム管理者があらかじめ定めた関数系でモデル化して補間してもよい。また、本実施例では、フレーム内の人物等オブジェクトを切出し、オブジェクト毎に移動等の変動を予測して補間してもよい。
動画符号化判別手段２４は、その他に、例えば、圧縮率を変更することによって、動画のサイズを変更するように符号化手段１９へ指示する。圧縮率とメディアのサイズの関係については、一般的に、線形の関係にはなっていないが、システムの管理者があらかじめテスト用メディアで実験して求めておいてその関係を利用してもよい。あるいは、本実施例では、システムの管理者があらかじめ定めた手順にしたがって試行錯誤を繰り返して最適な圧縮率を探索してから指定してもよい。
動画符号化判別手段２４は、その他に、例えば色数を変更することによって、動画のサイズを変更するように符号化手段１９へ指示する。色数を変更する方法としては、例えば、ディザ法を利用してもよく、メディアンカット法等の画像処理手法を使ってもよい。
動画符号化判別手段２４は、その他に、例えば、階調数を変更することによって、動画のサイズを変更するように符号化手段１９へ指示する。階調数を変更する方法としては、例えば、ディザ法を利用してもよく、元の階調と変更後の階調とにあらかじめシステム管理者が関数を定め、その関数にしたがって変換してもよい。
動画符号化判別手段２４は、さらにフレームレート、圧縮率、色数、階調数から複数選択して各々変更させることによって、動画のサイズを変更してもよい。
これによって、本実施例では、動画符号化判別手段２４によって、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数を変更することによって、メディアのサイズを調整することができる。
【実施例５】
【００１２】
図１０は本発明の第５の実施例によるメディア配信システムの構成を示すブロック図である。図１０において、本発明の第５の実施例によるメディア配信システムは、配信サーバ１ｄに画像処理手段２５を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第４の実施例にも適用可能である。
画像処理手段２５は、ビットレート決定手段１８が決定した最適なビットレートを目標として、動画のフレーム全体を一様な強度で平滑化するか、フレームの部分部分で平滑化の強度を変更したり、動きの激しさによって平滑化の強度を変更することによって、ブロックノイズのように際立った画質の低下を抑えたまま、メディアサイズであるビットレートを変更するように符号化手段１９へ指示する。
画像処理手段２５は、例えば、画像を矩形ブロックに細分割し、システム管理者があらかじめ定めた範囲に含まれる矩形ブロックについて平滑化し、高周波領域を低減して圧縮率をあげて動画のサイズを削減する。または、画像処理手段２５は、色数や階調数を減らすことによって動画のサイズを削減する。
例えば、画像の周辺領域は画質が低下しても目立たないため、周辺領域のみ平滑化の強度を強くしてもよく、または周辺領域のみ色数や階調数を減らしてもよい。あるいは、人物等オブジェクトを抽出して、オブジェクト以外の部分については、圧縮率を上げたり、色数や階調数を減らしたりして動画のサイズを削減してもよく、さらには動きの激しいフレーム領域や時間領域に対して平滑化の強度を強くしたり弱くしたりしてもよい。
これによって、本実施例では、画像処理手段２５によって、動画のフレーム全体を一様な強度で平滑化するか、フレームの部分部分で平滑化の強度を変更したり、動きの激しさによって平滑化の強度を変更することによって、ブロックノイズのように際立った画質の低下を抑えたままメディアサイズを調整することができる。
【実施例６】
【００１３】
図１１は本発明の第６の実施例によるメディア配信システムの構成を示すブロック図である。図１１において、本発明の第６の実施例によるメディア配信システムは、配信サーバ１ｅに音声符号化判別手段２６を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第５の実施例にも適用可能である。
音声符号化判別手段２６は、ビットレート決定手段１８が決定した最適なビットレートを目標として、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、ステレオ等のチャンネル数を変更することによって、メディアのサイズであるビットレートを変更するように符号化手段１９へ指示する。
音声符号化判別手段２６は、例えば、音声のサンプリングレートを増減させることによって音声のサイズを変更する。サンプリングレート変換の方法としては、例えば、サンプル間をバイリニアやバイキュービックや多項式関数で補間してもよく、音声の波形をモデル化し、そのモデルにしたがって補間してもよい。
音声符号化判別手段２６は、その他に、例えば、サンプルあたりのビット数を増減させることによって音声のサイズを変更する。ビット数を増大させる方法としては、例えば、サンプル毎の音声のビットを単純に定数倍してもよく、または定数倍の後、音声の波形をモデル化してそのモデルにしたがってビットを調整してもよい。ビット数を削減する方法としては、例えば、単純に定数で割ってもよい。
音声符号化判別手段２６は、その他に、例えば、周波数帯域を変更することによって音声のサイズを変更する。この場合には、例えば、高周波をカットすることによって、音質に大きな違いがないままで音声データを削減してもよい。周波数帯域を変更する方法としては、例えば、ＦＩＲ（Ｆｉｎｉｔ−ｄｕｒａｔｉｏｎ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタやＩＩＲ（Ｉｎｆｉｎｉｔｅ−ｄｕｒａｔｉｏｎ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタを使用してもよく、フーリエ空間で周波数帯域を部分的に選択することによって周波数帯域を変更してもよい。
音声符号化判別手段２６は、その他に、例えば、ステレオをモノラルにする場合のようにチャンネル数を増減させることによって音声データのサイズを増減させてもよい。
音声符号化判別手段２６は、さらにサンプリングレートやサンプルあたりのビット数、周波数帯域、ステレオ等のチャンネル数から複数選択して各々変更させることによって音声のサイズを変更してもよい。
これによって、本実施例では、音声符号化判別手段２６によって、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、ステレオ等のチャンネル数を変更することによって、メディアのサイズを調整することができる。
【実施例７】
【００１４】
図１２は本発明の第７の実施例によるメディア配信システムの構成を示すブロック図である。図１２において、本発明の第７の実施例によるメディア配信システムは、配信サーバ１ｆに符号化選択手段２７を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第６の実施例にも適用可能である。
符号化選択手段２７は、ビットレート決定手段１８が決定した最適なビットレートを目標として、メディアのコーデック自体を変更してメディアのサイズであるビットレートを変更するように符号化手段１９へ指示する。
符号化選択手段２７は、例えば、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）で配信していた映像のビットレートを下げる場合、より高効率なＨ．２６４に切替えるというように、コーデックを変更することによって、ビットレートを変更する。例えば、ビットレートを上げたりさげたりする場合には、元のコーデックに対してビットレートを上げるか下げるかでどのコーデックに切替えるか、システムの管理者があらかじめルールを決めておくという方法がある。
これによって、本実施例では、符号化選択手段２７によって、メディアのコーデック自体を変更してメディアのサイズを調整することができる。
【実施例８】
【００１５】
図１３は本発明の第８の実施例によるメディア配信システムの構成を示すブロック図である。図１３において、本発明の第８の実施例によるメディア配信システムは、配信サーバ１ｇにマトリックス保持手段２８と組み合わせ選択手段２９とを追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第７の実施例にも適用可能である。
マトリックス保持手段２８は、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、チャンネル数、及びメディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持する。
組み合わせ選択手段２９は、端末性能と帯域変動とを基にして、マトリックス保持手段２８に保持されたマトリックスから受信端末５へ配信するメディアの最適な符号化方法を選択し、符号化手段１９へと指示する。
マトリックス保持手段２８は、例えば、市販されているデータベースソフトウェアから構成されてもよい。この場合には、マトリックスに保持されている動画のフレームサイズや、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、チャンネル数、及びメディアのコーデックを符号化パラメータとする。
特定のビットレートを指定した場合、複数の符号化のパラメータが存在する場合があるが、組み合わせ選択手段２９は上記のマトリックス保持手段２８が保持するマトリックスを参照して、ビットレート決定手段１８が決定したビットレートに最適な符号化パラメータの組み合わせを選択する。符号化パラメータの最適な組み合わせは、例えば、システムの管理者があらかじめ定めておいてもよいし、受信端末５のユーザが定めてもよい。
これによって、本実施例では、マトリックス保持手段２８によって、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、チャンネル数、及びメディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持することができる。
また、本実施例では、組み合わせ選択手段２９によって、端末性能と帯域変動とに基づいて、マトリックスから受信端末５へ配信するメディアの最適な符号化方法を選択することができる。
【実施例９】
【００１６】
図１４は本発明の第９の実施例によるメディア配信システムの構成を示すブロック図である。図１４において、本発明の第９の実施例によるメディア配信システムは、組み合わせ選択手段２９の代わりにシーン判別手段３０を配設した以外は、図１３に示す本発明の第８の実施例と同様の構成となっており、同一要素には同一符号を付してある。
シーン判別手段３０は、ビットレート決定手段１８が決定した最適なビットレートを目標として、圧縮効率に影響のあるシーン内の人物や物体の動きの激しさやフレーム内の画像の複雑度やスポーツ番組といったコンテンツ種別を基にして、上記のマトリックス保持手段２８が保持するマトリックスから受信端末５へ配信するメディアの最適な符号化方法を選択し、符号化手段１９へ指示する。
コンテンツ種別については、例えば、動きベクトルの大きさから動きが激しいシーンかどうかを判別することができる。画像の複雑度を算定する方法としては数多くの手法があるが、例えば、特開平０９−０１６７５４号公報にて提案されているようにフラクタル次元を使用してもよい。
また、メディアとして放送番組を配信する場合には、例えば、電子番組表によって番組単位で番組の種別の分類ができていれば、動きが大きいかどうかをあらかじめ判別しておくことができる。動きが激しいかどうかが判別できれば、例えば、ＭＰＥＧでは動きが小さいシーンについて、フレーム間圧縮の誤差が小さくなるので、フレーム間の差分情報のみを含むフレームの頻度を上げることによって、高い圧縮率を実現することができる。動きが大きいシーンについては、フレーム間圧縮の誤差が大きくなるので、フレーム間の差分情報のみを含むフレームの頻度を下げることによって、高い画質を実現することができる。
これによって、本実施例では、シーン判別手段３０によって、圧縮効率に影響のあるシーン内の人物や物体の動きの激しさやフレーム内の画像の複雑度や、スポーツ番組といったコンテンツ種別に基づいて、マトリックス保持手段２８が保持するマトリックスから受信端末５へ配信するメディアの最適な符号化方法を選択することができる。本実施例では、この手段によって、数多い符号化パラメータの組み合わせから最適な組み合わせを自動的に選択することができる。
【実施例１０】
【００１７】
図１５は本発明の第１０の実施例によるメディア配信システムの構成を示すブロック図である。図１５において、本発明の第１０の実施例によるメディア配信システムは、組み合わせ選択手段２９の代わりに組み合わせ推薦手段３１を配設し、受信端末５ｂに符号化候補選択手段５５を追加した以外は、図１３に示す本発明の第８の実施例と同様の構成となっており、同一要素には同一符号を付してある。
組み合わせ推薦手段３１は、ビットレート決定手段１８が決定した最適なビットレートを目標として、スポーツ番組といったコンテンツ種別や、シーン内の人物や物体の動きを基にして、マトリックス保持手段２８に保持されているマトリックスから受信端末５ｂへ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択し、サーバ管理者があらかじめ定めた個数分用意し、そのリストを受信端末５ｂへ配信し、受信端末５ｂから指示された符号化方式にしたがって符号化方法を符号化手段１９へと指示する。
符号化候補選択手段５５は、受信端末５ｂにおいて、符号化方式候補を表示してユーザに選択させ、ユーザが選択した符号化方式を配信サーバ１ｉへ送付する。
組み合わせ推薦手段３１は、例えば、画質優先や動き優先等の特徴を基に符号化のパラメータの組み合わせを分類して、受信端末５ｂへ送付してもよい。符号化候補選択手段５５は、例えば、符号化パラメータの組み合わせと、画質優先や動き優先といった分類を受信端末５ｂの画面上に表示し、ユーザがキーボードやマウスで選択した組み合わせを配信サーバ１ｉへと送信する。
これによって、本実施例では、組み合わせ推薦手段３１によって、スポーツ番組といったコンテンツ種別や、シーン内の人物や物体の動きに基づいて、マトリックス保持手段２８に保持されているマトリックスから受信端末５ｂへ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択し、サーバ管理者があらかじめ定めた個数分用意し、そのリストを受信端末５ｂへ配信することができる。
また、本実施例では、組み合わせ推薦手段３１によって、受信端末５ｂから指示された符号化方式にしたがって符号化方法を符号化手段１９へと指示することができる。
それに加え、本実施例では、符号化候補選択手段５５によって、受信端末５ｂにおいて、符号化方式の候補を表示し、ユーザに選択させ、ユーザが選択した符号化方式を、配信サーバ１ｉへ送付することができる。これらの手段によって、本実施例では、符号化のパラメータの組み合わせをユーザが選択することができる。
【実施例１１】
【００１８】
図１６は本発明の第１１の実施例によるメディア配信システムの構成を示すブロック図である。図１６において、本発明の第１１の実施例によるメディア配信システムは、配信サーバ１ｊに誤り訂正符号化判別手段３２を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１０の実施例にも適用可能である。
誤り訂正符号化判別手段３２は、配信サーバ１ｊから受信端末５へメディアを配信する際、符号化手段１９に対してメディアへ誤り訂正信号を付加するよう指示し、誤り訂正信号の強度を変更することによって、ビットレート決定手段１８が決定した最適なビットレートを目標として、メディアのサイズを変更する。
誤り訂正符号としては数多くの手法が提案されているが、システム管理者があらかじめこれらから選択する。例えば、誤り訂正符号としてはハミング符号やリードソロモン符号を適用してもよい。
また、本実施例では、例えば、誤り訂正符号において冗長ビット数を大きくすることによって、データサイズは大きくなるが、誤り耐性を強くすることができる。さらに、本実施例では、例えば、伝送路で誤り発生確率が低い場合、冗長ビット数を小さくして、データサイズを小さくすることもできる。さらにまた、本実施例では、誤り訂正符号方式によって生成されるデータサイズが異なるので、方式を選択して切替えることによってサイズを調整してもよい。
これによって、本実施例では、誤り訂正符号化判別手段３２によって、配信サーバ１ｊから受信端末５へ配信する際、符号化手段１９に対し、メディアへ誤り訂正信号を付加するよう指示し、誤り訂正信号の強度を変更することによって、メディアのサイズを調整することができる。
【実施例１２】
【００１９】
図１７は本発明の第１２の実施例によるメディア配信システムの構成を示すブロック図である。図１７において、本発明の第１２の実施例によるメディア配信システムは、配信サーバ１ｋに暗号化判別手段３３を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１１の実施例にも適用可能である。
暗号化判別手段３３は、配信サーバ１ｋから受信端末５へメディアを配信する際、符号化手段１９に対し、メディアを暗号化するよう指示し、暗号化の強度や暗号化のアルゴリズム自体を変更することによって、ビットレート決定手段１８が決定した最適なビットレートを目標として、メディアのサイズを変更する。
暗号化アルゴリズムとしては数多くの手法が提案されているが、システム管理者があらかじめこれらから選択する。例えば、暗号化アルゴリズムとしては、ＤＥＳ（Ｄａｔａ  Ｅｎｃｒｙｐｔｉｏｎ  Ｓｔａｎｄａｒｄ）やＲＳＡ（Ｒｉｖｅｓｔ  Ｓｈａｍｉｒ  Ａｄｌｅｍａｎ）を適用してもよい。
また、本実施例では、例えば、鍵のビット数を大きくすることによってデータサイズは大きくなるが、暗号の解読にくさを向上させることができる。さらに、本実施例では、例えば、通信路が安全だと確認された場合に鍵のビット数を小さくしてデータサイズを小さくすることもできる。本実施例では、暗号化のアルゴリズムによって生成されるデータサイズが異なるので、アルゴリズムを選択してサイズを調整してもよい。
これによって、本実施例では、暗号化判別手段３３によって、配信サーバ１ｋから受信端末５へ配信する際、符号化手段１９に対してメディアを暗号化するよう指示し、暗号化の強度や暗号化のアルゴリズム自体を変更することによって、メディアのサイズを調整することができる。
【実施例１３】
【００２０】
図１８は本発明の第１３の実施例によるメディア配信システムの構成を示すブロック図である。図１８において、本発明の第１３の実施例によるメディア配信システムは、配信サーバ１ｌに端末性能評価手段３４を追加し、受信端末５ｃにテスト用メディア再生手段５６を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１２の実施例にも適用可能である。
端末性能評価手段３４は、配信サーバ１ｌにおいて、受信端末５ｃの性能を調べるためにテスト用のメディアを保持し、受信端末５ｃに対して該テスト用メディアを配信し、受信端末５ｃからのエラーメッセージを受信し、端末データベース１２に端末毎に再生不可のメディアと記述して保存する。
テスト用メディア再生手段５６は、受信端末５ｃにおいて、バッファリング手段５１を介して取得した該テスト用メディアを再生し、正常に再生できなかった場合にエラーメッセージを配信サーバ１ｌへ送付する。この場合、テスト用メディアとしては、例えば、再生時間の短い音楽や映像のメディアを利用する。
端末性能評価手段３４は、受信端末５ｃが初めて配信サーバ１ｌにアクセスした時にテスト用メディアを配信してもよいし、配信するメディアの種類が変更するたびに、配信前に必ずテスト用メディアを配信してもよい。また、端末性能評価手段３４は、受信端末５ｃのユーザがテスト用メディアの配信を指定してもよい。
テスト用メディア再生手段５６は、テスト用メディアを再生できなかった場合にエラーメッセージを配信サーバ１ｌに返すだけでなく、正常再生できた場合もその旨を配信サーバ１ｌへ返信するようにしてもよい。これによって、メディアに起因して受信端末５ｃに障害が生じ、配信サーバ１ｌへエラーメッセージを送信できない場合でも、配信サーバ１ｌ側でエラーを察知することができる。
よって、本実施例では、端末性能評価手段３４によって、受信端末５ｃの性能を調べるためにテスト用のメディアを保持し、受信端末５ｃに対してそのテスト用メディアを配信し、受信端末５ｃからのエラーメッセージを端末データベース１２に端末毎に再生不可のメディアと記述して保存することができる。
また、本実施例では、テスト用メディア再生手段５６によって、受信端末５ｃにおいて、バッファリング手段５１を介して取得したテスト用メディアを再生し、正常に再生できなかった場合にエラーメッセージを配信サーバ１ｌへ送付することができる。これらの手段によって、本実施例では、視聴可能なメディアの型が不明な新しい機種の受信端末５ｃにおいても、最適なメディアを配信することができる。
【実施例１４】
【００２１】
図１９は本発明の第１４の実施例によるメディア配信システムの構成を示すブロック図である。図１９において、本発明の第１４の実施例によるメディア配信システムは、配信サーバ１ｍにメディア分割手段３５を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１３の実施例にも適用可能である。
メディア分割手段３５は、システム管理者があらかじめ定めたルールでメディアを区切るための分割点を求めてメディアを区切る。帯域変動予測手段１７は、システムの管理者があらかじめ定めた一定期間将来の帯域変動を、接続環境判別手段１５で得られた接続環境と帯域測定手段１６で得られた現在の帯域とを基に、メディア分割手段３５によって区切られた分割点毎に予測する。
メディア分割手段３５で適用するシステム管理者があらかじめ定めたルールとしては、例えば、一定時間毎に区切る方法がある。また、放送番組の場合には、番組毎に区切る方法やＣＭ（コマーシャル）放送のタイミングで区切る方法がある。
さらに、上記のルールとしては、特定の画像処理や音声処理を実施し、その結果得られる特徴量を基に分割点を決める方法もある。例えば、放送番組では番組のオープニングまたはエンディングの映像や音楽が決まっている場合があり、それらをあらかじめ登録しておき、画像や音声の一致の度合いからオープニングやエンディングを同定して区切る方法がある。
さらにまた、上記のルールとしては、ＣＭについても映像や音楽が決まっており、それらをあらかじめ登録しておき、画像や音声の一致の度合いからＣＭを同定して区切る方法もある。
これによって、本実施例では、メディア分割手段３５によって、特定のルールでメディアを区切ることができる。また、本実施例では、帯域変動予測手段１７によって、メディアの区切りである分割点毎に予測することができる。
【実施例１５】
【００２２】
図２０は本発明の第１５の実施例によるメディア配信システムの構成を示すブロック図である。図２０において、本発明の第１５の実施例によるメディア配信システムは、メディア分割手段３５の代わりに音声分割手段３６を配設した以外は、図１９に示す本発明の第１４の実施例と同様の構成となっており、同一要素には同一符号を付してある。
音声分割手段３６は、音声の無音領域や話者切替わり、音楽切替わり等のタイミングで音声を区切り、帯域変動予測手段１７へ通知する。ここで、無音領域の検出については、例えば、音量があらかじめシステム管理者が定めたしきい値を下回る場合を無音領域と見なす方法がある。また、無音領域の検出については、例えば、ＢＧＭ（Ｂａｃｋ  Ｇｒｏｕｎｄ  Ｍｕｓｉｃ）が鳴っていても、人物の発言があるかどうかを判定して無音領域と見なす方法がある。
人物の発言があるかどうかについては数多くの手法が提案されているが、例えば，スペクトル分析を実施し、人物の音声に特有な特徴があれば発言があった、なければ発言がなかったと見なす方法がある。話者の切替わりについては数多く提案されている話者同定の手法を利用することによって実現することができる。音楽の切替わりについても、話者同定の手法を適用することができる。
これによって、本実施例では、音声分割手段３６によって、音声の無音領域や話者切替わり、音楽切替わり等のタイミングで音声を区切ることができる。この手段によって、本実施例では、音声の品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることができる。
【実施例１６】
【００２３】
図２１は本発明の第１６の実施例によるメディア配信システムの構成を示すブロック図である。図２１において、本発明の第１６の実施例によるメディア配信システムは、メディア分割手段３５の代わりに動画分割手段３７を配設した以外は、図１９に示す本発明の第１４の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第１５の実施例にも適用可能である。
動画分割手段３７は、動画のカットやシーン切替わり等のタイミングで動画を区切り、帯域変動予測手段１７へ通知する。動画のカットやシーン切替わりの検出については数多くの手法が提案されているが、例えば、フレーム間の差分を随時算出し、その差分があらかじめシステム管理者が定めたしきい値より大きくなった場合に切替わりがあったと見なす方法がある。
これによって、本実施例では、動画分割手段３７によって、動画のカットやシーン切替わり等のタイミングで動画を区切ることができる。この手段によって、本実施例では、動画の品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることができる。
【実施例１７】
【００２４】
図２２は本発明の第１７の実施例によるメディア配信システムの構成を示すブロック図である。図２２において、本発明の第１７の実施例によるメディア配信システムは、メディア分割手段３５の代わりに動画音声分割手段３８を配設した以外は、図１９に示す本発明の第１４の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第１５及び第１６の実施例にも適用可能である。
動画音声分割手段３８は、音声の無音領域や話者切替わり、音楽切替わり等のタイミングと、動画のカットやシーン切り替わり等のタイミングを照らし合わせ、メディアの分割点としてどちらかのタイミングを採用するか、または両方のいずれのタイミングも採用するか、または音声と動画を異なったタイミングで分割するかを、あらかじめサーバ管理者が定めたルールにしたがって決定し、ユーザに違和感のないタイミングでメディアを区切り、帯域変動予測手段１７へ通知する。
メディアの分割点としては、例えば、音声の区切りと動画の区切りとの双方を分割点として指定する方法がある。また、メディアの分割点としては、音声の区切りのみを選択する方法や、動画の区切りのみを選択する方法がある。さらに、メディアの分割点としては、例えば、音声の区切りがあった後、動画の区切りがあるのを待って、その動画の区切りを分割点とする方法や、動画の区切りがあった後、音声の区切りがあるのを待って、その音声の区切りを分割点とする方法がある。
さらにまた、例えば、動画の区切りがなく、音声の区切りのみが検出されている場合でも、画面がボケていたり、暗かったりして多少品質が変動してもユーザに気づかれないと判定した場合には、その音声の区切りを分割点とする方法がある。同様に、例えば、音声の区切りがなく、動画の区切りのみが検出されている場合でも、音声にノイズ成分が多くふくまれて多少品質が変動してもユーザに気づかれないと判定した場合、その動画の区切りを分割点とする方法がある。
これによって、本実施例では、動画音声分割手段３８によって、音声の無音領域や話者切替わり、音楽切替わり等のタイミングと、動画のカットやシーン切替わり等のタイミングを照らし合わせ、メディアの分割点としてどちらかのタイミングを採用するか、または両方のいずれのタイミングも採用するか、または音声と動画とを異なったタイミングで分割するかを、あらかじめサーバ管理者が定めたルールにしたがって決定し、ユーザに違和感のないタイミングでメディアを区切ることができる。この手段によって、本実施例では、メディアの品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることができる。
【実施例１８】
【００２５】
図２３は本発明の第１８の実施例によるメディア配信システムの構成を示すブロック図である。図２３において、本発明の第１８の実施例によるメディア配信システムは、配信サーバ１ｑに再生状況保存手段３９と再送制御手段４０とを追加し、受信端末５ｄに再生箇所通知手段５７を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１７の実施例にも適用可能である。
再生状況保存手段３９は、受信端末５ｄから再生中のメディアの再生箇所を受取り、該再生箇所とメディアを識別するＩＤとを保存し、ユーザが受信端末５ｄで停止を指定した場合や、通信障害で受信端末５ｄへメディアを正常に配信できなかった場合、正常に配信した最後の箇所を中断箇所として保存する。
再送制御手段４０は、ユーザが受信端末５ｄ側で再度再生を指示した段階で、メディアの中断箇所から受信端末５ｄへと配信を始めるか、ユーザが受信端末５ｄで指定した任意の箇所から再生できるように、ユーザが指定した箇所から受信端末５ｄへと配信を始めるように配信手段２０へと指示する。
再生箇所通知手段５７は、メディア再生箇所を再生手段５２から取得し、そのメディア再生箇所を配信サーバ１ｑに対して通知する。
再生状況保存手段３９が保存するメディアの最後の箇所の指定の仕方としては、例えば、メディア開始からの時間を示す方法、あるいはメディア開始からの累積データサイズで示す方法がある。動画については、メディア開始からのフレーム番号で示す方法、さらにメディアをシーン分割し、シーン毎に番号付けしてその番号を示す方法がある。
これによって、本実施例では、再生状況保存手段３９によって、受信端末５ｄから再生中のメディアの再生箇所を受取り、該再生箇所とメディアのタイトルと内容を識別するＩＤとを保存し、ユーザが受信端末５ｄで停止を指定した場合や、通信障害で受信端末５ｄへメディアを正常に配信できなかった場合等において、正常に配信した最後の箇所を中断箇所として保存することができる。
また、本実施例では、受信端末５ｄにおける再生箇所通知手段５７によって、受信端末５ｄでどこまで正常にメディアを再生できたかを配信サーバ１ｑで把握することができる。
さらに、本実施例では、再送制御手段４０によって、ユーザが受信端末５ｄ側で再度再生を指示した段階で、メディアの中断箇所から受信端末５ｄへと配信を始めるか、ユーザが受信端末５ｄで指定した任意の箇所から再生するように、ユーザが指定した箇所から受信端末５ｄへと配信を始めることができる。
これらの手段によって、本実施例では、通信障害等で配信を受けられない場合でも、通信障害が回復後、正常に視聴できた時点から再開することができ、ユーザが指定した任意の箇所からの再生ができる。
【実施例１９】
【００２６】
図２４は本発明の第１９の実施例によるメディア配信システムの構成を示すブロック図である。図２４において、本発明の第１９の実施例によるメディア配信システムは、配信サーバ１ｒに端末登録手段４１と端末識別手段４２とを追加した以外は、図２３に示す本発明の第１８の実施例と同様の構成となっており、同一要素には同一符号を付してある。
端末登録手段４１は、システムの管理者があらかじめ受信を許可する複数の受信端末を登録しておく。端末識別手段４２は、受信端末５ｄで再生を中断した後、これまで再生していた受信端末５ｄとは異なる受信端末で再度の再生を指示した段階で、その受信端末が端末登録手段４１に登録されている受信端末かどうかを調べ、登録済みの場合、メディアの中断箇所から受信端末への配信を再開するように配信手段２０に対して指示し、未登録の場合、要求した受信端末に対して不許可等のメッセージを表示させる。
受信端末を登録する方法としては、例えば、携帯電話の場合、端末ＩＤによって登録することができる。また、受信端末を登録する方法としては、アクセスしたＩＰアドレスを基に登録する方法もある。さらに、受信端末を登録する方法としては、例えば、パソコンやＰＤＡの場合、ネットワークインタフェースのＭＡＣ（Ｍｅｄｉａ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ）アドレスを端末ＩＤとして使う方法、内蔵ディスクのＩＤを端末ＩＤとして使う方法がある。
未許可の受信端末がアクセスした場合には、例えば、不許可というメッセージを受信端末の画面上に表示する方法や、特定のメディアを再生する方法がある。また、未登録の受信端末でも一定時間だけは再生できるようにする方法もある。さらに、未登録の受信端末の場合、画像サイズを小さくしたりして画質を劣化させたメディアや帯域を絞って音質を劣化させたメディアを配信する方法がある。
上記のように、未登録の受信端末の場合には、一部のシーンのみ視聴可能としたり、フレーム内一部分のみ視聴可能とするといったようにメディアを部分的に露出することによって、未登録のユーザの登録を促すことができる。
これによって、本実施例では、端末登録手段４１によって、あらかじめ受信を許可する複数の受信端末を登録することができる。また、本実施例では、端末識別手段４２によって、受信端末５ｄで再生を中断した後、これまで再生していた受信端末とは異なる受信端末で再度の再生を指示した段階で、その受信端末が端末登録手段４１に登録されている受信端末かどうかを調べ、登録済みの場合、メディアの中断箇所かまたはユーザが指定した任意の箇所から受信端末への配信を再開し、未登録の場合、要求した受信端末に対して不許可等のメッセージを表示させることができる。
これらの手段によって、本実施例では、ユーザが表示デバイスを、例えば携帯電話からＰＣ（パソコン）等へ変更した場合であっても、同じコンテンツを引き続き視聴することができる。さらに、本実施例では、あらかじめ登録してある端末情報から、端末毎に最適なメディアをあらかじめ生成しておくことによって、ユーザから要求があった場合に即座に提供することができる。
【実施例２０】
【００２７】
図２５は本発明の第２０の実施例によるメディア配信システムの構成を示すブロック図である。図２５において、本発明の第２０の実施例によるメディア配信システムは、配信サーバ１ｓに障害対応ルール保存手段４３を追加し、受信端末５ｅに障害対応再生手段５８を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第１９の実施例にも適用可能である。
障害対応ルール保存手段４３は、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末５ｅで何を表示するか、サーバ管理者があらかじめ定めたルールを、障害対応ルールとして保存し、この障害対応ルールを受信端末５ｅへと送信し、障害発生時に配信を停止するように配信手段２０に対して指示する。
障害対応再生手段５８は、配信サーバ１ｓからの障害対応ルールにしたがって、障害時にこれまで受信したメディアや障害時専用のメディアを再生するように再生手段５２に対して指示する。障害対応再生手段５８は、例えば、障害時にこれまでに受信してバッファリング手段５１に残っているメディアを再生する、またはあらかじめシステムの管理者または受信端末のユーザが受信端末に保存しておいた障害時専用のメディアを再生するように再生手段５２に対して指示する。
障害時専用のメディアを取得する方法としては、例えば受信端末５ｅのネットワークインタフェースを介して取得する方法、あるいは受信端末５ｅとは別のパソコン等で外部メモリに保存し、その外部メモリを受信端末５ｅに装着することによって取得する方法がある。障害時にメディアを再生する場合には、例えば複数のメディアがある場合、保存した順番や指定した順番に再生する方法やランダムな順番に再生する方法がある。また、複数のメディアがある場合には、各々のメディアの再生途中で別のメディアを再生する方法がある。
これによって、本実施例では、障害対応ルール保存手段４３によって、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末５ｅで何を表示するか、サーバ管理者があらかじめ定めたルールを障害対応ルールとし、この障害対応ルールを受信端末５ｅへと送信し、障害発生時に配信を停止するように配信手段２０に対して指示することができる。
また、本実施例では、障害対応再生手段５８によって、障害対応ルールにしたがって、障害時にこれまで受信したメディアや障害時専用のメディアを再生することができる。
【実施例２１】
【００２８】
図２６は本発明の第２１の実施例によるメディア配信システムの構成を示すブロック図である。図２６において、本発明の第２１の実施例によるメディア配信システムは、配信サーバ１ｔに予備メディア配信手段４４を追加し、受信端末５ｆに障害対応再生手段５８と予備メディア保存手段５９とを追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第２０の実施例にも適用可能である。
配信サーバ１ｔにおいて、予備メディア配信手段４４は、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末５ｆで表示するメディアを予備メディアとして準備し、配信手段２０を介して受信端末５ｆへと配信する。
受信端末５ｆにおいて、予備メディア保存手段５９は、配信サーバ１ｔからの予備メディアを受信し、専用のバッファ（図示せず）に保存する。障害対応再生手段５８は、障害時に障害対応ルールにしたがって予備メディアを表示するように再生手段５２へ指示する。
予備メディアとしては、例えば、映画やテレビ番組の予告編や、ＣＭを使う方法がある。予備メディアは、例えば、システムの管理者があらじめ定めた時間帯に配信してもよいし、受信端末５ｆのユーザが指定した時間帯に配信してもよい。また、予備メディアは、例えば、帯域に余裕がある場合に、受信端末５ｆのユーザが視聴しているメディアと同時に配信してもよい。さらに、予備メディアは、例えば、受信端末５ｆでユーザが視聴を開始する際、視聴するメディア再生の直前に配信してもよい。
これによって、本実施例では、予備メディア配信手段４４によって、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末５ｆで表示するメディアを予備メディアとして準備することで、予備メディアを受信端末５ｆへと配信することができる。
また、本実施例では、予備メディア保存手段５９によって、受信端末５ｆにおいて予備メディアを受信することで、予備メディアを専用のバッファに保存することができる。それに加え、本実施例では、障害対応再生手段５８によって、障害時に障害対応ルールにしたがって予備メディアを表示することができる。
これらの手段によって、本実施例では、通信障害で配信サーバ１ｔからのメディアの配信が途絶え、受信端末５ｆのバッファのメディアを全て再生済みの場合でも、例えば予備メディアとして予告編やプレミア映像や広告を表示することによって、ユーザに対して継続視聴を促すことができる。
【実施例２２】
【００２９】
図２７は本発明の第２２の実施例によるメディア配信システムの構成を示すブロック図である。図２７において、本発明の第２２の実施例によるメディア配信システムは、配信サーバ１ｕにプレゼンス取得手段４５を追加し、受信端末５ｇにプレゼンス通知手段６０を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第２１の実施例にも適用可能である。
配信サーバ１ｕにおいて、プレゼンス取得手段４５は、受信端末５ｇの位置や移動の具合を受信端末５ｇからプレゼンスとして取得する。帯域変動予測手段１７は、一定期間将来の帯域変動を予測する際に、プレゼンス取得手段４５で取得したプレゼンスも利用する。
受信端末５ｇにおいて、プレゼンス通知手段６０は、受信端末５ｇの位置や移動の具合を配信サーバ１ｕへ通知する。
プレゼンスを取得する方法としては、例えば、受信端末５ｇにＧＰＳ（グローバルポジショニングシステム）の受信機を搭載し、その受信機にて受信したＧＰＳ信号から位置を取得する方法がある。また、プレゼンスを取得する方法としては、例えば、携帯電話の場合のように、基地局毎の電波強度から求めることができる。
その他に、プレゼンスを取得する方法としては、例えば、無線ＬＡＮ接続提供サービスであるホットスポットを使う場合、そのホットスポットの位置から受信端末５ｇの位置を推定することができる。
受信端末５ｇの移動の具合については、例えば、加速度センサやジャイロを利用することによって取得することができる。
これによって、本実施例では、プレゼンス取得手段４５とプレゼンス通知手段６０とによって、受信端末５ｇの位置や移動の具合から、将来の帯域変動の予測精度を高めることができる。
【実施例２３】
【００３０】
図２８は本発明の第２３の実施例によるメディア配信システムの構成を示すブロック図である。図２８において、本発明の第２３の実施例によるメディア配信システムは、配信サーバ１ｖに受信環境取得手段４６を追加し、受信端末５ｈにセンサ６１と受信環境通知手段６２とを追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第２２の実施例にも適用可能である。
配信サーバ１ｖにおいて、受信環境取得手段４６は受信端末５ｈ周囲の気象条件や電磁環境等の物理環境を受信端末５ｈから受信環境として取得する。帯域変動予測手段１７は、一定期間将来の帯域変動を予測する際に、受信環境取得手段４６で取得した受信環境も利用する。
受信端末５ｈにおいて、センサ６１は周囲の気象条件や電磁環境等の物理環境を測定する。受信環境通知手段６２はセンサ６１にて測定された物理環境を受信環境として配信サーバ１ｖに通知する。
例えば、降雨が激しい場合には電波の減衰が強い。電離層の活動によっては無線通信が通じにくい状況になる場合がある。こういった物理環境を測定するセンサとしては、例えば降雨計や降雨レーダ、風速計、気圧計、地磁気計、電離層測定レーダ等数多くの種類がある。また、物理環境の測定には、気象衛星等の地球観測衛星からの観測データを取得して利用してもよい。
これによって、本実施例では、受信環境取得手段４６と受信環境通知手段６２とによって、受信端末５ｈ周囲の気象条件や電磁環境から、将来の帯域変動の予測精度を高めることができる。
【実施例２４】
【００３１】
図２９は本発明の第２４の実施例によるメディア配信システムの構成を示すブロック図である。図２９において、本発明の第２４の実施例によるメディア配信システムは、配信サーバ１ｗにタスク取得手段４７と端末リソース予測手段４８とを追加し、受信端末５ｉにタスク通知手段６３を追加した以外は、図１に示す本発明の第１の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２〜第２３の実施例にも適用可能である。
配信サーバ１ｗにおいて、タスク取得手段４７は、受信端末５ｉから現在実行中のプログラム種別と実行履歴とを取得する。端末リソース予測手段４８は、あらかじめシステムの管理者が指定したプログラム種別の平均実行時間と、実行中のプログラム種別と、実行履歴と、端末リソース取得手段１４から得られた利用可能リソースとを用いて、一定期間将来に利用可能となるリソースを予測して将来リソースとする。ビットレート決定手段１８は、ビットレートを決定する際に、利用可能リソースの代わりに将来リソースを利用する。
受信端末５ｉにおいて、タスク通知手段６３は、現在実行中のプログラム種別と実行履歴とを配信サーバ１ｗへ通知する。
現在実行中のプログラム種別と実行履歴とを求める方法としては、例えば、多くのＯＳ（オペレーティングシステム）に標準的に備わっているシステムモニタやタスクモニタ等のモニタリング機能を利用する。また、他の方法としては、実行中のプログラム種別と実行履歴とを求めるソフトウェアを新たに受信端末５ｉにインストールしてもよい。
これによって、本実施例では、タスク取得手段４７とタスク通知手段６３と端末リソース予測手段４８とによって、受信端末５ｉで将来利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを基に、受信端末５ｉにとってより最適なメディアを配信することができる。
【実施例２５】
【００３２】
図３０は本発明の第２５の実施例によるメディア配信システムの構成を示すブロック図である。図３０において、本発明の第２５の実施例によるメディア配信システムは、配信サーバ１ｘにプレゼンス予測手段４９を追加した以外は、図２７に示す本発明の第２２の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２３及び第２４の実施例にも適用可能である。
配信サーバ１ｘにおいて、プレゼンス予測手段４９は、プレゼンス取得手段４５から得られた受信端末５ｇの現在の位置や移動の具合から一定期間将来の位置や移動の具合を予測して将来プレゼンスとする。帯域変動予測手段１７は、一定期間将来の帯域変動を予測する際に、プレゼンスに代わって将来プレゼンスを利用する。
プレゼンスを予測する方法としては、例えば、これまでのプレゼンスを回帰分析してモデルを構築し、そのモデルから帯域変動を関数として求める方法がある。この方法では、時間帯や季節等の環境や受信端末周囲の地理を勘案してもよい。
上記のプレゼンスを予測する方法では、例えば、鉄道の線路上にプレゼンスがあったならば、運行ダイヤを参照して将来の位置を推測することができる。また、上記のプレゼンスを予測する方法では、例えば、平日朝ならば通勤のためある程度経路や時間が固定されており、プレゼンスが容易に推測することができる。さらに、上記のプレゼンスを予測する方法では、過去のプレゼンスに単純に多項式関数を外挿して求めてもよい。
これによって、本実施例では、プレゼンス予測手段４９によって、受信端末５ｇの将来の位置や移動の具合を予測することができ、将来の帯域変動の予測精度を高めることができる。
【実施例２６】
【００３３】
図３１は本発明の第２６の実施例によるメディア配信システムの構成を示すブロック図である。図３１において、本発明の第２６の実施例によるメディア配信システムは、配信サーバ１ｙに受信環境予測手段５０を追加した以外は、図２８に示す本発明の第２３の実施例と同様の構成となっており、同一要素には同一符号を付してある。尚、本実施例は上記の本発明の第２２、第２４、第２５の実施例にも適用可能である。
配信サーバ１ｙにおいて、受信環境予測手段５０は、受信環境取得手段４６から得られた受信端末５ｈ周囲の現在の気象条件や電磁環境から一定期間将来の気象条件や電磁環境を予測して将来受信環境とする。帯域変動予測手段１７は、一定期間将来の帯域変動を予測する際に、受信環境に代わって将来受信環境を利用する。
気象条件や電磁環境を予測する方法としては、これまで提案されている様々な予報の手法を利用しても、または単純に公表されている天気予報等を利用してもよい。
これによって、本実施例では、受信環境予測手段５０によって、受信端末５ｈ周囲の将来の気象条件や電磁環境を予測することができ、将来の帯域変動の予測精度を高めることができる。
以上、実施の形態及び実施例を参照して本発明について説明したが、本発明はこれら実施の形態及び実施例に限定されるものではない。上述の実施の形態及び実施例に対して、本発明の技術的範囲内において当業者は様々な変更を行うことができる。
すなわち、本発明のメディア配信システムは、通信の帯域変動にしたがって品質を変化させることで高い効率を実現し、かつ帯域変動を予測することで安定な品質でメディアを閲覧することを可能としている。これによって、本発明のメディア配信システムでは、頻繁に帯域変動する環境であっても、ユーザが違和感や不自然さを抱かない範囲でメディアの品質を安定させて配信することが可能となる。
さらに、本発明のメディア配信システムでは、多様な受信端末に対して受信端末の性能や通信環境に変動があっても、滞りなく最適なメディアを配信することが可能となる。
本発明の第１のメディア配信システムは、映像や音楽といったメディアを配信する配信サーバと、ネットワークを介してメディアを受信して再生する受信端末とから構成されるシステムにおいて、配信サーバが、受信端末の処理能力や対応メディア形式を判別する端末性能判別手段と、受信端末から現在利用可能なメモリ容量やＣＰＵ（中央処理装置）の空きやディスク容量等のリソースを取得する端末リソース取得手段と、受信端末が接続している環境種別と現在の帯域からシステムの管理者があらかじめ定めた一定期間将来の帯域変動を予測する帯域変動予測手段と、受信端末の性能や利用可能なリソースと予測した将来の帯域変動から受信端末でメディアの品質が急激に変動しないように受信端末へ配信する高品質なメディアの最適なビットレートを決定するビットレート決定手段と、最適なビットレートを達成するために最適な符号化方法を選択してメディアを符号化する符号化手段とを有している。
また、本発明の第１のメディア配信システムでは、受信端末に、現在利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを配信サーバへ通知する端末リソース通知手段を有している。
これによって、本発明の第１のメディア配信システムでは、帯域変動予測手段によって将来の帯域変動を予測することが可能となり、端末性能判別手段と端末リソース取得手段とによって、端末の現時点での性能を推測することが可能となる。
また、本発明の第１のメディア配信システムでは、ビットレート決定手段によって、帯域変動に基づいて、受信端末でメディアの品質が急激に変動しないように、かつ受信端末の現時点の性能に最適なビットレートを決定することが可能となり、受信端末において、急激な帯域変動があっても、急激なビットレートの変動がなく、違和感や不自然さなく、高品質なメディアを視聴することが可能となる。
本発明の第２のメディア配信システムは、映像や音楽といったメディアを配信する配信サーバと、ネットワークを介してメディアを受信して再生する受信端末とから構成されるシステムにおいて、配信サーバが、受信端末の処理能力や対応メディア形式を判別する端末性能判別手段と、受信端末から現在利用可能なメモリ容量やＣＰＵの空き、ディスク容量等のリソースを取得する端末リソース取得手段と、システムの管理者があらかじめ定めた時間間隔を複数通り保持する時間間隔保持手段と、受信端末が接続している環境種別と現在の帯域からシステムの管理者があらかじめ定めた一定期間将来の帯域変動をその時間間隔で予測する帯域変動予測手段と、受信端末の性能や利用可能なリソースと予測した将来の帯域変動から受信端末でメディアの品質が急激に変動しないように受信端末へ配信する高品質なメディアの最適なビットレートを前記時間間隔で決定するビットレート決定手段と、最適なビットレートを達成するために最適な符号化方法を選択してメディアを符号化する符号化手段とを有している。
また、本発明の第２のメディア配信システムでは、受信端末に、現在利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを配信サーバへ通知する端末リソース通知手段を有している。
これによって、本発明の第２のメディア配信システムでは、帯域変動予測手段によって将来の帯域変動をシステムの管理者があらかじめ定めた時間間隔で予測することが可能となり、端末性能判別手段と端末リソース取得手段とによって端末の現時点での性能を推測することが可能となる。
また、本発明の第２のメディア配信システムでは、ビットレート決定手段によって帯域変動に基づいて、受信端末でメディアの品質が急激に変動しないようにかつ受信端末の現時点の性能に最適なビットレートをシステムの管理者があらかじめ定めた時間間隔で決定することが可能となり、受信端末において、急激な帯域変動があっても、急激なビットレートの変動がなく、違和感や不自然さなく、高品質なメディアを視聴することが可能となる。
本発明の第３のメディア配信システムは、上記の本発明の第１及び第２のメディア配信システムのいずれかの構成の他に、システムの管理者があらかじめ定めた将来において、上記の帯域変動予測手段で得られた帯域が、システムの管理者があらかじめ定めた帯域のしきい値より小さくなるかどうかを監視し、しきい値より小さくなると予測した場合、先送り手段へ警告メッセージを送る帯域変動監視手段と、警告メッセージを受けた場合、システムの管理者があらかじめ定めた範囲で、帯域測定手段から得られる現在の帯域を越えない範囲で帯域がしきい値より小さくなる将来期間のメディアデータを受信端末へ前もって配信するように配信手段に指示して受信端末に対してバッファサイズを変更して前もって配信したメディアを保存するように指示する先送り手段とを有している。
また、本発明の第３のメディア配信システムでは、受信端末に、先送り手段から指示を受けた場合に、バッファサイズを変更するようにバッファリング手段へ指示するバッファサイズ変更手段を有している。
これによって、本発明の第３のメディア配信システムでは、帯域変動監視手段によって、帯域がしきい値より小さくなると予測した場合、先送り手段へ警告メッセージを送ることが可能となる。
また、本発明の第３のメディア配信システムでは、先送り手段によって、警告メッセージを受けた場合、帯域がしきい値より小さくなる将来期間のメディアデータを受信端末へ前もって配信するように配信手段に指示し、受信端末に対して、バッファサイズを変更して前もって配信したメディアを保存するように指示することが可能となる。
これに加え、本発明の第３のメディア配信システムでは、バッファサイズ変更手段によって、先送り手段から指示を受けた場合に、バッファサイズを変更することが可能となる。本発明の第３のメディア配信システムでは、これらの手段によって、通信帯域が著しく小さくなってメディアが配信できない状態でも、受信端末で引き続きメディアの再生が可能となる。
本発明の第４のメディア配信システムは、上記の本発明の第１から第３のメディア配信システムのいずれかの構成の他に、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数を変更することによって、メディアのサイズを変更するように符号化手段へ指示する動画符号化判別手段を有している。
これによって、本発明の第４のメディア配信システムでは、動画符号化判別手段によって、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数を変更することによって、メディアのサイズを調整することが可能となる。
本発明の第５のメディア配信システムは、上記の本発明の第１から第４のメディア配信システムのいずれかの構成の他に、動画のフレーム全体を一様な強度で平滑化するか、フレームの部分部分で平滑化の強度を変更したり、動きの激しさによって平滑化の強度を変更することによって、ブロックノイズのように際立った画質の低下を抑えたまま、メディアサイズであるビットレートを変更するように符号化手段へ指示する画像処理手段を有している。
これによって、本発明の第５のメディア配信システムでは、画像処理手段によって、動画のフレーム全体を一様な強度で平滑化するか、フレームの部分部分で平滑化の強度を変更したり、動きの激しさによって平滑化の強度を変更することによって、ブロックノイズのように際立った画質の低下を抑えたままメディアサイズを調整することが可能となる。
本発明の第６のメディア配信システムは、上記の本発明の第１から第５のメディア配信システムのいずれかの構成の他に、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、ステレオ等のチャンネル数を変更することによって、メディアのサイズを変更するように符号化手段へ指示する音声符号化判別手段を有している。
これによって、本発明の第６のメディア配信システムでは、音声符号化判別手段によって、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、ステレオ等のチャンネル数を変更することによって、メディアのサイズを調整することが可能となる。
本発明の第７のメディア配信システムは、上記の本発明の第１から第６のメディア配信システムのいずれかの構成の他に、メディアのコーデック自体を変更してメディアのサイズを変更するように符号化手段へ指示する符号化選択手段を有している。
これによって、本発明の第７のメディア配信システムでは、符号化選択手段によって、メディアのコーデック自体を変更してメディアのサイズを調整することが可能となる。
本発明の第８のメディア配信システムは、上記の本発明の第１から第７のメディア配信システムのいずれかの構成の他に、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、チャンネル数、及びメディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持するマトリックス保持手段と、端末性能と帯域変動とに基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法を選択する組み合わせ選択手段とを有している。
これによって、本発明の第８のメディア配信システムでは、マトリックス保持手段によって、動画のフレームサイズや、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布、音声のサンプリングレートやサンプルあたりのビット数、周波数帯域、チャンネル数、及びメディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持することが可能となる。
また、本発明の第８のメディア配信システムでは、組み合わせ選択手段によって、端末性能と帯域変動とに基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法を選択することが可能となる。
本発明の第９のメディア配信システムは、上記の本発明の第８のメディア配信システムの構成の他に、圧縮効率に影響のあるシーン内の人物や動きの激しさやフレーム内の画像の複雑度や、スポーツ番組といったコンテンツ種別に基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法を選択するシーン判別手段を有している。
これによって、本発明の第９のメディア配信システムでは、シーン判別手段によって、圧縮効率に影響のあるシーン内の人物や物体の動きの激しさやフレーム内の画像の複雑度や、スポーツ番組といったコンテンツ種別に基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法を選択することが可能となる。本発明の第９のメディア配信システムでは、この手段によって、数多い符号化パラメータの組み合わせから最適な組み合わせを自動的に選択することが可能となる。
本発明の第１０のメディア配信システムは、上記の本発明の第８のメディア配信システムの構成の他に、スポーツ番組といったコンテンツ種別や、シーン内の人物や物体の動きに基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択し、サーバ管理者があらかじめ定めた個数分用意し、そのリストを受信端末へ配信し、受信端末から指示された符号化方式にしたがって符号化方法を符号化手段へと指示する組み合わせ推薦手段を有している。
また、本発明の第１０のメディア配信システムでは、受信端末に、符号化方式候補を表示し、ユーザに選択させ、ユーザが選択した符号化方式で符号化されたメディアを配信サーバへ送付する符号化候補選択手段を有している。
これによって、本発明の第１０のメディア配信システムでは、組み合わせ推薦手段によって、スポーツ番組といったコンテンツ種別や、シーン内の人物や物体の動きに基づいて、マトリックスから受信端末へ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択し、サーバ管理者があらかじめ定めた個数分用意し、そのリストを受信端末へ配信することが可能となる。
また、本発明の第１０のメディア配信システムでは、組み合わせ推薦手段によって、受信端末から指示された符号化方式にしたがって符号化方法を符号化手段へと指示することが可能となる。
それに加え、本発明の第１０のメディア配信システムでは、符号化候補選択手段によって、受信端末において、符号化方式の候補を表示し、ユーザに選択させ、ユーザが選択した符号化方式を、配信サーバへ送付することが可能となる。これらの手段によって、本発明の第１０のメディア配信システムでは、符号化のパラメータの組み合わせをユーザが選択することが可能となる。
本発明の第１１のメディア配信システムは、上記の本発明の第１から第１０のメディア配信システムのいずれかの構成の他に、配信サーバから受信端末へ配信する際、符号化手段に対し、メディアへ誤り訂正信号を付加するよう指示し、誤り訂正信号の強度を変更することによって、メディアのサイズを変更する誤り訂正符号化判別手段を有している。
これによって、本発明の第１１のメディア配信システムでは、誤り訂正符号化判別手段によって、配信サーバから受信端末へ配信する際、符号化手段に対し、メディアへ誤り訂正信号を付加するよう指示し、誤り訂正信号の強度を変更することによって、メディアのサイズを調整することが可能となる。
本発明の第１２のメディア配信システムは、上記の本発明の第１から第１１のメディア配信システムのいずれかの構成の他に、配信サーバから受信端末へ配信する際、符号化手段に対し、メディアを暗号化するよう指示し、暗号化の強度や暗号化のアルゴリズム自体を変更することによって、メディアのサイズを変更する暗号化判別手段を有している。
これによって、本発明の第１２のメディア配信システムでは、暗号化判別手段によって、配信サーバから受信端末へ配信する際、符号化手段に対し、メディアを暗号化するよう指示し、暗号化の強度や暗号化のアルゴリズム自体を変更することによって、メディアのサイズを調整することが可能となる。
本発明の第１３のメディア配信システムは、上記の本発明の第１から第１２のメディア配信システムのいずれかの構成の他に、受信端末の性能を調べるためにテスト用のメディアを保持し、受信端末に対して該テスト用メディアを配信し、受信端末からのエラーメッセージを受信し、端末データベースに端末毎に再生不可のメディアと記述して保存する端末性能評価手段を有している。
また、本発明の第１３のメディア配信システムでは、受信端末において、バッファリング手段を介して取得した該テスト用メディアを再生し、正常に再生できなかった場合にエラーメッセージを配信サーバへ送付するテスト用メディア再生手段を有している。
これによって、本発明の第１３のメディア配信システムでは、端末性能評価手段によって、受信端末の性能を調べるためにテスト用のメディアを保持し、受信端末に対して該テスト用メディアを配信し、受信端末からのエラーメッセージを端末データベースに端末毎に再生不可のメディアと記述して保存することが可能となる。
また、本発明の第１３のメディア配信システムでは、テスト用メディア再生手段によって、受信端末において、バッファリング手段を介して取得した該テスト用メディアを再生し、正常に再生できなかった場合にエラーメッセージを配信サーバへ送付することが可能となる。本発明の第１３のメディア配信システムでは、これらの手段によって、視聴可能なメディアの型が不明な新しい機種の受信端末においても、最適なメディアを配信することが可能となる。
本発明の第１４のメディア配信システムは、上記の本発明の第１から第１３のメディア配信システムのいずれかの構成の他に、システム管理者があらかじめ定めたルールでメディアを区切るための分割点を求めてメディアを時間軸で区切るメディア分割手段と、システムの管理者があらかじめ定めた一定期間将来の帯域変動を分割点毎に予測する帯域変動予測手段とを有している。
これによって、本発明の第１４のメディア配信システムでは、メディア分割手段によって、特定のルールでメディアを区切ることが可能となる。また、本発明の第１４のメディア配信システムでは、帯域変動予測手段によって、メディアの区切りである分割点毎に予測することが可能となる。
本発明の第１５のメディア配信システムは、上記の本発明の第１４のメディア配信システムの構成の他に、音声の無音領域や話者切り替わり、音楽切り替わり等のタイミングで音声を区切る音声分割手段を有している。
これによって、本発明の第１５のメディア配信システムでは、音声分割手段によって、音声の無音領域や話者切り替わり、音楽切り替わり等のタイミングで音声を区切ることが可能となる。本発明の第１５のメディア配信システムでは、この手段によって、音声の品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることが可能となる。
本発明の第１６のメディア配信システムは、上記の本発明の第１４または第１５のメディア配信システムの構成の他に、動画のカットやシーン切り替わり等のタイミングで動画を区切る動画分割手段を有している。
これによって、本発明の第１６のメディア配信システムでは、動画分割手段によって、動画のカットやシーン切り替わり等のタイミングで動画を区切ることが可能となる。本発明の第１６のメディア配信システムでは、この手段によって、動画の品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることが可能となる。
本発明の第１７のメディア配信システムは、上記の本発明の第１４から第１６のメディア配信システムのいずれかの構成の他に、音声の無音領域や話者切り替わり、音楽切り替わり等のタイミングと、動画のカットやシーン切り替わり等のタイミングを照らし合わせ、メディアの分割点としてどちらかのタイミングを採用するか、または両方のいずれのタイミングも採用するか、または音声と動画を異なったタイミングで分割するかをあらかじめサーバ管理者が定めたルールにしたがって決定し、ユーザに違和感のないタイミングでメディアを区切る動画音声分割手段を有している。
これによって、本発明の第１７のメディア配信システムでは、動画音声分割手段によって、音声の無音領域や話者切り替わり、音楽切り替わり等のタイミングと、動画のカットやシーン切り替わり等のタイミングを照らし合わせ、メディアの分割点としてどちらかのタイミングを採用するか、または両方のいずれのタイミングも採用するか、または音声と動画を異なったタイミングで分割するかを、あらかじめサーバ管理者が定めたルールに従い決定し、ユーザに違和感のないタイミングでメディアを区切ることが可能となる。
本発明の第１７のメディア配信システムでは、この手段によって、メディアの品質を変化させても、品質が変化した瞬間のユーザの違和感を最小限に抑えることが可能となる。
本発明の第１８のメディア配信システムは、上記の本発明の第１から第１７のメディア配信システムのいずれかの構成の他に、受信端末から再生中のメディアの再生箇所を受け取り、該再生箇所とメディアのタイトルや内容を識別するＩＤとを保存し、ユーザが受信端末で停止を指定した場合や、通信障害で受信端末へメディアを正常に配信できなかった場合、正常に配信した最後の箇所を中断箇所として保存する再生状況保存手段と、ユーザが受信端末側で再度再生を指示した段階で、メディアの前記中断箇所から受信端末へと配信を始めるか、ユーザが受信端末で指定した任意の箇所から再生できるべく、ユーザが指定した箇所から受信端末へと配信を始めるように配信手段へと指示する再送制御手段とを有している。
また、本発明の第１８のメディア配信システムでは、受信端末に、メディア再生箇所を再生手段から取得して配信サーバに対して通知する再生箇所通知手段を有している。
これによって、本発明の第１８のメディア配信システムでは、再生状況保存手段によって、受信端末から再生中のメディアの再生箇所を受取り、該再生箇所とメディアのタイトルと内容を識別するＩＤとを保存し、ユーザが受信端末で停止を指定した場合や、通信障害で受信端末へメディアを正常に配信できなかった場合等において、正常に配信した最後の箇所を中断箇所として保存することが可能となる。
また、本発明の第１８のメディア配信システムでは、受信端末における再生箇所通知手段によって、受信端末でどこまで正常にメディアを再生できたかを配信サーバで把握することが可能となる。
さらに、本発明の第１８のメディア配信システムでは、再送制御手段によって、ユーザが受信端末側で再度再生を指示した段階で、メディアの前記中断箇所から受信端末へと配信を始めるか、ユーザが受信端末で指定した任意の箇所から再生するように、ユーザが指定した箇所から受信端末へと配信を始めることが可能となる。
本発明の第１８のメディア配信システムでは、これらの手段によって、通信障害等で配信を受けられない場合でも、通信障害が回復後、正常に視聴できた時点から再開することが可能となり、ユーザが指定した任意の箇所からの再生が可能となる。
本発明の第１９のメディア配信システムは、上記の本発明の第１８のメディア配信システムの構成の他に、システムの管理者があらかじめ受信を許可する複数の受信端末を登録しておく端末登録手段と、受信端末で再生を中断した後、これまで再生していた受信端末とは異なる受信端末で再度の再生を指示した段階で、その受信端末が端末登録手段に登録されている受信端末かどうかを調べ、登録済みの場合、メディアの中断箇所から受信端末への配信を再開するように配信手段に対して指示し、未登録の場合、要求した受信端末に対して不許可等のメッセージを表示させる端末識別手段とを有している。
これによって、本発明の第１９のメディア配信システムでは、端末登録手段によって、あらかじめ受信を許可する複数の受信端末を登録することが可能となる。また、本発明の第１９のメディア配信システムでは、端末識別手段によって、受信端末で再生を中断した後、これまで再生していた受信端末とは異なる受信端末で再度の再生を指示した段階で、その受信端末が端末登録手段に登録されている受信端末かどうかを調べ、登録済みの場合、メディアの中断箇所かまたはユーザが指定した任意の箇所から受信端末への配信を再開し、未登録の場合、要求した受信端末に対して不許可等のメッセージを表示させることが可能となる。
本発明の第１９のメディア配信システムでは、これらの手段によって、ユーザが表示デバイスを、例えば携帯電話からＰＣ（パーソナルコンピュータ）等へ変更した場合であっても、同じコンテンツを引き続き視聴することが可能となる。さらに、本発明の第１９のメディア配信システムでは、あらかじめ登録してある端末情報から、端末毎に最適なメディアをあらかじめ生成しておくことによって、ユーザから要求があった場合に即座に提供することが可能となる。
本発明の第２０のメディア配信システムは、上記の本発明の第１から第１９のメディア配信システムのいずれかの構成の他に、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末で何を表示するか、サーバ管理者があらかじめ定めたルールを障害対応ルールとして保存し、この障害対応ルールを受信端末へと送信し、障害発生時に配信を停止するように配信手段に対して指示する障害対応ルール保存手段を有している。
また、本発明の第２０のメディア配信システムは、受信端末に、障害対応ルールにしたがって、障害時にこれまで受信したメディアや障害時専用のメディアを再生するように再生手段に対して指示する障害対応再生手段を有している。
これによって、本発明の第２０のメディア配信システムでは、障害対応ルール保存手段によって、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末で何を表示するか、サーバ管理者があらかじめ定めたルールを障害対応ルールとし、この障害対応ルールを受信端末へと送信し、障害発生時に配信を停止するように配信手段に対して指示することが可能となる。
また、本発明の第２０のメディア配信システムでは、障害対応再生手段によって、障害対応ルールにしたがって、障害時にこれまで受信したメディアや障害時専用のメディアを再生することが可能となる。
本発明の第２１のメディア配信システムは、上記の本発明の第１から第２０のメディア配信システムのいずれかの構成の他に、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末で表示するメディアを予備メディアとして準備し、受信端末へと配信する予備メディア配信手段を有している。
また、本発明の第２１のメディア配信システムは、受信端末に、予備メディアを受信し、専用のバッファに保存する予備メディア保存手段と、障害時に障害対応ルールにしたがって予備メディアを表示する障害対応再生手段とを有している。
これによって、本発明の第２１のメディア配信システムでは、予備メディア配信手段によって、通信障害等でメディアを配信できなかった場合に備え、配信できない場合に受信端末で表示するメディアを予備メディアとして準備し、受信端末へと配信することが可能となる。
また、本発明の第２１のメディア配信システムでは、予備メディア保存手段によって、受信端末において予備メディアを受信し、専用のバッファに保存することが可能となる。それに加え、本発明の第２１のメディア配信システムでは、障害対応再生手段によって、障害時に障害対応ルールにしたがって予備メディアを表示することが可能となる。
本発明の第２１のメディア配信システムでは、これらの手段によって、通信障害で配信サーバからのメディアの配信が途絶え、受信端末のバッファのメディアを全て再生済みの場合でも、例えば予備メディアとして予告編やプレミア映像や広告を表示することによって、ユーザに対して継続視聴を促すことが可能となる。
本発明の第２２のメディア配信システムは、上記の本発明の第１から第２１のメディア配信システムのいずれかの構成の他に、配信サーバ内に、受信端末の位置や移動の具合を受信端末からプレゼンスとして取得するプレゼンス取得手段と、一定期間将来の帯域変動を予測する際にプレゼンスも利用する帯域変動予測手段とを有している。また、本発明の第２２のメディア配信システムは、受信端末内に、位置や移動の具合を配信サーバへ通知するプレゼンス通知手段を有している。
これによって、本発明の第２２のメディア配信システムでは、プレゼンス取得手段とプレゼンス通知手段とによって、受信端末の位置や移動の具合から、将来の帯域変動の予測精度を高めることが可能となる。
本発明の第２３のメディア配信システムは、上記の本発明の第１から第２３のメディア配信システムのいずれかの構成の他に、配信サーバ内に、受信端末周囲の気象条件や電磁環境等の物理環境を受信端末から受信環境として取得する受信環境取得手段と、一定期間将来の帯域変動を予測する際に、受信環境も利用する帯域変動予測手段とを有している。
また、本発明の第２３のメディア配信システムは、受信端末内に、周囲の気象条件や電磁環境等の物理環境を測定するセンサと、前記物理環境を受信環境として配信サーバに通知する受信環境通知手段とを有している。
これによって、本発明の第２３のメディア配信システムでは、受信環境取得手段と受信環境通知手段とによって、受信端末周囲の気象条件や電磁環境から、将来の帯域変動の予測精度を高めることが可能となる。
本発明の第２４のメディア配信システムは、上記の本発明の第１から第２３のメディア配信システムのいずれかの構成の他に、配信サーバ内に、受信端末から現在実行中のプログラム種別と実行履歴を取得するタスク取得手段と、あらかじめシステムの管理者が指定したプログラム種別の平均実行時間及び実行中のプログラム種別と、実行履歴と、端末リソース取得手段から得られた利用可能リソースとを用いて一定期間将来に利用可能となるリソースを予測して将来リソースとする端末リソース予測手段と、ビットレートを決定する際に、利用可能リソースの代わりに将来リソースを利用するビットレート決定手段とを有している。また、本発明の第２４のメディア配信システムは、受信端末内に、現在実行中のプログラム種別と実行履歴とを配信サーバへ通知するタスク通知手段を有している。
これによって、本発明の第２４のメディア配信システムでは、タスク取得手段とタスク通知手段と端末リソース予測手段とによって、受信端末で将来利用可能なメモリ容量やＣＰＵの空きやディスク容量等のリソースを元に、受信端末にとってより最適なメディアを配信することが可能となる。
本発明の第２５のメディア配信システムは、上記の本発明の第２２から第２３のメディア配信システムのいずれかの構成の他に、配信サーバ内に、受信端末の現在の位置や移動の具合から一定期間将来の位置や移動の具合を予測して将来プレゼンスとするプレゼンス予測手段と、一定期間将来の帯域変動を予測する際に、プレゼンスに代わって将来プレゼンスを利用する帯域変動予測手段とを有している。
これによって、本発明の第２５のメディア配信システムでは、プレゼンス予測手段によって、受信端末の将来の位置や移動の具合を予測することが可能となり、将来の帯域変動の予測精度を高めることが可能となる。
本発明の第２６のメディア配信システムは、上記の本発明の第２３から第２５のメディア配信システムのいずれかの構成の他に、配信サーバ内に、受信端末周囲の現在の気象条件や電磁環境から一定期間将来の気象条件や電磁環境を予測して将来受信環境とする受信環境予測手段と、一定期間将来の帯域変動を予測する際に受信環境に代わって将来受信環境を利用する帯域変動予測手段とを有している。
これによって、本発明の第２６のメディア配信システムでは、受信環境予測手段によって、受信端末周囲の将来の気象条件や電磁環境を予測することが可能となり、将来の帯域変動の予測精度を高めることが可能となる。
本願は、２００７年２月２８日出願の日本国特許出願２００７−０４８２７１を基礎とするものであり、同特許出願の開示内容は全て本願に組み込まれる。
【図１】
2008108379.tif 000003
【図２】
2008108379.tif 000004
【図３】
2008108379.tif 000005
【図４】
2008108379.tif 000006
【図５】
2008108379.tif 000007
【図６】
2008108379.tif 000008
【図７】
2008108379.tif 000009
【図８】
2008108379.tif 000010
【図９】
2008108379.tif 000011
【図１０】
2008108379.tif 000012
【図１１】
2008108379.tif 000013
【図１２】
2008108379.tif 000014
【図１３】
2008108379.tif 000015
【図１４】
2008108379.tif 000016
【図１５】
2008108379.tif 000017
【図１６】
2008108379.tif 000018
【図１７】
2008108379.tif 000019
【図１８】
2008108379.tif 000020
【図１９】
2008108379.tif 000021
【図２０】
2008108379.tif 000022
【図２１】
2008108379.tif 000023
【図２２】
2008108379.tif 000024
【図２３】
2008108379.tif 000025
【図２４】
2008108379.tif 000026
【図２５】
2008108379.tif 000027
【図２６】
2008108379.tif 000028
【図２７】
2008108379.tif 000029
【図２８】
2008108379.tif 000030
【図２９】
2008108379.tif 000031
【図３０】
2008108379.tif 000032
【図３１】
2008108379.tif 000033
【手続補正書】
【提出日】平成20年12月2日(2008.12.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるメディア配信システムであって、
前記配信サーバは、前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、あらかじめ定めた一定期間将来の帯域変動を、あらかじめ取得した帯域変動に基づいて予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートをあらかじめ取得した帯域変動に基づいて決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを有し、
前記受信端末は、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング手段と、保存したメディアを再生する再生手段と、前記バッファリング手段と前記再生手段とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知手段とを有することを特徴とするメディア配信システム。
【請求項２】
前記配信サーバは、あらかじめ定められた時間間隔を複数通り保持する時間間隔保持手段を含み、
前記端末情報取得手段が、前記時間間隔保持手段からの時間間隔で前記端末情報を取得し、
前記端末性能判別手段が、前記時間間隔保持手段からの時間間隔で前記端末性能を判別し、
前記端末リソース取得手段が、前記時間間隔保持手段からの時間間隔で前記利用可能リソースを取得し、
前記接続環境判別手段が、前記時間間隔保持手段からの時間間隔で前記接続環境を判別し、
前記帯域変動予測手段が、前記時間間隔保持手段からの時間間隔で前記将来帯域変動を予測し、
前記ビットレート決定手段が、前記時間間隔保持手段からの時間間隔で前記最適なメディアのビットレートを決定することを特徴とする請求項１記載のメディア配信システム。
【請求項３】
前記配信サーバは、前記帯域変動予測手段で得られた帯域があらかじめ定められた帯域のしきい値より小さくなるかどうかを監視しかつ当該しきい値より小さくなると予測した場合に警告メッセージを送る帯域変動監視手段と、前記警告メッセージを受けた場合にあらかじめ定められた範囲において前記帯域測定手段から得られる現在の帯域を越えない範囲で帯域が前記しきい値より小さくなる将来期間のメディアデータを前記受信端末へ前もって配信するように前記配信手段に指示しかつ前記受信端末に対してバッファサイズを変更して前もって配信したメディアを保存するように指示する先送り手段とを含み、
前記受信端末は、前記先送り手段から指示を受けた場合にバッファサイズを変更するように前記バッファリング手段へ指示するバッファサイズ変更手段を含むことを特徴とする請求項１または請求項２記載のメディア配信システム。
【請求項４】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として動画のフレームサイズ、フレームレート、圧縮率、色数、階調数を変更することで前記ビットレートを変更するように前記符号化手段へ指示する動画符号化判別手段を含むことを特徴とする請求項１から請求項３のうちのいずれか記載のメディア配信システム。
【請求項５】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として動画のフレーム全体を一様な強度での平滑化、前記フレームの部分部分での平滑化の強度変更、動きの激しさによる平滑化の強度変更のいずれかを行うことで前記メディアにおける際立った画質の低下を抑えたまま前記ビットレートを変更するように前記符号化手段へ指示する画像処理手段を含むことを特徴とする請求項１から請求項４のうちのいずれか記載のメディア配信システム。
【請求項６】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として音声のサンプリングレート、サンプルあたりのビット数、周波数帯域、ステレオのチャンネル数を変更することで前記ビットレートを変更するように前記符号化手段へ指示する音声符号化判別手段を含むことを特徴とする請求項１から請求項５のうちのいずれか記載のメディア配信システム。
【請求項７】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのコーデック自体を変更して前記ビットレートを変更するように前記符号化手段へ指示する符号化選択手段を含むことを特徴とする請求項１から請求項６のうちのいずれか記載のメディア配信システム。
【請求項８】
前記配信サーバは、動画のフレームサイズ、フレームレート、圧縮率、色数、階調数、平滑化の強度、平滑化の強度のフレーム上の分布と、音声のサンプリングレート、サンプルあたりのビット数、周波数帯域、チャンネル数と、前記メディアのコーデックについて組み合わせ毎に達成されるビットレートを記載したマトリックスを保持するマトリックス保持手段と、前記ビットレート決定手段が決定した最適なビットレートと前記端末性能と前記帯域変動とに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法を選択して前記符号化手段へ指示する組み合わせ選択手段とを含むことを特徴とする請求項１から請求項７のうちのいずれか記載のメディア配信システム。
【請求項９】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として圧縮効率に影響のあるシーン内の人物及び物体の動きの激しさと前記フレーム内の画像の複雑度と少なくともスポーツ番組を含む番組の内容を示すコンテンツ種別とに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法を選択して前記符号化手段へ指示するシーン判別手段を含むことを特徴とする請求項８記載のメディア配信システム。
【請求項１０】
前記配信サーバは、前記ビットレート決定手段が決定した最適なビットレートを目標として少なくともスポーツ番組を含む番組の内容を示すコンテンツ種別とシーン内の人物及び物体の動きとに基づいて前記マトリックス保持手段から前記受信端末へ配信するメディアの最適な符号化方法から複数の方法を符号化方式候補として選択しかつあらかじめ定められた個数分の符号化方式候補のリストを前記受信端末へ配信するとともに、前記受信端末から指示された符号化方式にしたがって符号化方法を前記符号化手段へと指示する組み合わせ推薦手段を含み、
前記受信端末は、前記符号化方式候補を表示しかつユーザが選択した符号化方式で符号化されたメディアを前記配信サーバへ送付する符号化候補選択手段を含むことを特徴とする請求項８記載のメディア配信システム。
【請求項１１】
前記配信サーバは、前記受信端末へ前記メディアを配信する際に前記符号化手段に対して前記メディアへ誤り訂正信号を付加するよう指示しかつ誤り訂正信号の強度を変更することで前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのサイズを変更する誤り訂正符号化判別手段を含むことを特徴とする請求項１から請求項１０のうちのいずれか記載のメディア配信システム。
【請求項１２】
前記配信サーバは、前記受信端末へ前記メディアを配信する際に前記符号化手段に対して前記メディアを暗号化するよう指示しかつ前記暗号化の強度及び前記暗号化のアルゴリズム自体のいずれかを変更することで前記ビットレート決定手段が決定した最適なビットレートを目標として前記メディアのサイズを変更する暗号化判別手段を含むことを特徴とする請求項１から請求項１１のうちのいずれか記載のメディア配信システム。
【請求項１３】
前記配信サーバは、前記受信端末の性能を調べるために複数のコーデック、複数のフレームサイズ、複数のフレームレートのテスト用のメディアを保持しかつ前記受信端末に対して当該テスト用メディアを配信するとともに、前記受信端末からのエラーメッセージを受信して端末毎に再生不可のメディア形式と記述して前記端末データベースに保存する端末性能評価手段を含み、
前記受信端末は、前記バッファリング手段を介して取得した前記テスト用メディアを再生しかつ当該テスト用メディアが正常に再生できなかった場合にエラーメッセージを前記配信サーバへ送付するテスト用メディア再生手段を含むことを特徴とする請求項１から請求項１２のうちのいずれか記載のメディア配信システム。
【請求項１４】
前記配信サーバは、あらかじめ定められたルールで前記メディアを区切るための分割点を求めて前記メディアを時間軸で区切るメディア分割手段を含み、
前記帯域変動予測手段が、あらかじめ定められた一定期間将来の帯域変動を前記接続環境判別手段で得られた接続環境と前記帯域測定手段で得られた現在の帯域とに基づいて前記分割点毎に予測して前記ビットレート決定手段へ通知することを特徴とする請求項１から請求項１３のうちのいずれか記載のメディア配信システム。
【請求項１５】
前記配信サーバは、音声の無音領域と話者切替わりと音楽切替わりとを少なくとも含むタイミングで音声を区切って前記帯域変動予測手段へ通知する音声分割手段を含むことを特徴とする請求項１４記載のメディア配信システム。
【請求項１６】
前記配信サーバは、動画のカットとシーン切替わりとを少なくとも含むタイミングで前記動画を区切って前記帯域変動予測手段へ通知する動画分割手段を含むことを特徴とする請求項１４または請求項１５記載のメディア配信システム。
【請求項１７】
前記配信サーバは、音声の無音領域と話者切替わりと音楽切替わりとを少なくとも含む第１のタイミングと、動画のカットとシーン切替わりとを少なくとも含む第２のタイミングとを照合して前記メディアの分割点として前記第１及び第２のタイミングのうちの少なくとも一方をあらかじめ定められたルールにしたがって決定しかつユーザに品質的に違和感のないタイミングでビットレートを変更するように前記メディアを区切って前記帯域変動予測手段へ通知する動画音声分割手段を含むことを特徴とする請求項１４から請求項１６のうちのいずれか記載のメディア配信システム。
【請求項１８】
前記配信サーバは、前記受信端末から再生中のメディアの再生箇所を受取って当該再生箇所と前記メディアのタイトル及びその内容を識別する識別情報とを保存しかつ前記受信端末に対して正常に配信した最後の箇所を中断箇所として保存する再生状況保存手段と、前記受信端末側で再度再生が指示された段階でユーザが指定した箇所から前記受信端末へと配信を始めるように前記配信手段へと指示する再送制御手段とを含み、
前記受信端末は、前記メディアの再生箇所を前記再生手段から取得して前記配信サーバに対して通知する再生箇所通知手段を含むことを特徴とする請求項１から請求項１７のうちのいずれか記載のメディア配信システム。
【請求項１９】
前記配信サーバは、あらかじめ受信を許可する複数の受信端末を登録しておく端末登録手段と、前記受信端末で前記メディアの再生を中断した後にこれまで再生していた第１の受信端末とは異なる第２の受信端末で再度の再生を指示した段階で前記第２の受信端末が前記端末登録手段に登録されている受信端末かどうかを調べかつ前記端末登録手段に登録済みの場合に前記メディアの中断箇所から前期第２の受信端末への配信を再開するように前記配信手段に対して指示するとともに、前記端末登録手段に未登録の場合に前記メディアの再生を要求した受信端末に対して少なくとも不許可のメッセージを送信する端末識別手段とを含むことを特徴とする請求項１８記載のメディア配信システム。
【請求項２０】
前記配信サーバは、前記メディアを配信できなかった場合に前記受信端末に所定のメディアを表示させるかがあらかじめ定められたルールを障害対応ルールとして保存しかつこの障害対応ルールを前記受信端末へと送信しておいて障害発生時に前記メディアの配信を停止するように前記配信手段に対して指示する障害対応ルール保存手段を含み、
前記受信端末は、前記障害発生時に前記障害対応ルールにしたがって前記所定のメディアを再生するように前記再生手段に対して指示する障害対応再生手段を含むことを特徴とする請求項１から請求項１９のうちのいずれか記載のメディア配信システム。
【請求項２１】
前記配信サーバは、前記メディアを配信できなかった場合に前記受信端末に表示させるためのメディアを予備メディアとして、前記帯域予測手段によって推測された帯域が不十分となる前にあらかじめ前記受信端末に配信する予備メディア配信手段を含み、
前記受信端末は、前記予備メディアを受信して専用のバッファに保存する予備メディア保存手段と、障害発生時に前記予備メディアを表示するように前記再生手段に指示する障害対応再生手段とを含むことを特徴とする請求項１から請求項２０のうちのいずれか記載のメディア配信システム。
【請求項２２】
前記配信サーバは、前記受信端末の位置及び移動の具合を前記受信端末からプレゼンスとして取得するプレゼンス取得手段を含み、
前記受信端末は、前記位置及び移動の具合を前記配信サーバへ通知するプレゼンス通知手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に前記プレゼンスを利用することを特徴とする請求項１から請求項２１のうちのいずれか記載のメディア配信システム。
【請求項２３】
前記配信サーバは、前記受信端末周囲の気象条件及び電磁環境を少なくとも含む物理環境を前記受信端末から受信環境として取得する受信環境取得手段を含み、
前記受信端末は、前記物理環境を測定するセンサと、前記物理環境を前記受信環境として前記配信サーバに通知する受信環境通知手段とを含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記受信環境を利用することを特徴とする請求項１から請求項２２のうちのいずれか記載のメディア配信システム。
【請求項２４】
前記配信サーバは、前記受信端末から現在実行中のプログラム種別と実行履歴とを取得するタスク取得手段と、あらかじめ指定されたプログラム種別の平均実行時間と前記現在実行中のプログラム種別と前記実行履歴と前記端末リソース取得手段にて得られた利用可能リソースとを用いて一定期間将来に利用可能となるリソースを予測して将来リソースとする端末リソース予測手段を含み、
前記受信端末は、前記現在実行中のプログラム種別と前記実行履歴とを前記配信サーバへ通知するタスク通知手段を含み、
前記ビットレート決定手段が、前記ビットレートを決定する際に前記利用可能リソースの代わりに前記将来リソースを利用することを特徴とする請求項１から請求項２３のうちのいずれか記載のメディア配信システム。
【請求項２５】
前記配信サーバは、前記受信端末の現在の位置及び移動の具合から一定期間将来の位置及び移動の具合を予測して将来プレゼンスとするプレゼンス予測手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記プレゼンスに代わって前記将来プレゼンスを利用することを特徴とする請求項２２から請求項２４のうちのいずれか記載のメディア配信システム。
【請求項２６】
前記配信サーバは、前記物理環境から一定期間将来の物理環境を予測して将来受信環境とする受信環境予測手段を含み、
前記帯域変動予測手段が、一定期間将来の帯域変動を予測する際に、前記受信環境に代わって前記将来受信環境を利用することを特徴とする請求項２３から請求項２５のうちのいずれか記載のメディア配信システム。
【請求項２７】
少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置であって、
前記受信端末の機種を示す端末情報を取得する端末情報取得手段と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得手段で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別手段と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得手段と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別手段と、現在の帯域を測定する帯域測定手段と、あらかじめ定めた一定期間将来の帯域変動を、あらかじめ取得した帯域変動に基づいて予測して将来帯域変動とする帯域変動予測手段と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートをあらかじめ取得した帯域変動に基づいて決定するビットレート決定手段と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化手段と、その符号化されたメディアを前記受信端末へ配信する配信手段とを有することを特徴とする配信サーバ装置。
【請求項２８】
少なくとも映像及び音楽を含むメディアを配信する配信サーバと、前記配信サーバからネットワークを介して前記メディアを受信して再生する受信端末とからなるシステムに用いるメディア配信方法であって、
前記配信サーバが、前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、あらかじめ定めた一定期間将来の帯域変動を、あらかじめ取得した帯域変動に基づいて予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートをあらかじめ取得した帯域変動に基づいて決定するビットレート決定処理と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを実行し、
前記受信端末が、前記メディアをあらかじめ指定された時間分バッファに保存するバッファリング処理と、保存したメディアを再生する再生処理と、前記バッファリング処理と前記再生処理とから現在利用可能なリソースを利用可能リソースとして取得して前記配信サーバへ通知する端末リソース通知処理とを実行することを特徴とするメディア配信方法。
【請求項２９】
少なくとも映像及び音楽を含むメディアをネットワークを介して受信端末に配信する配信サーバ装置においてコンピュータに実行されるプログラムであって、
前記受信端末の機種を示す端末情報を取得する端末情報取得処理と、前記端末情報をあらかじめ保存する端末データベースと、前記端末情報取得処理で取得した端末情報と前記端末データベースの端末情報とを照合して前記受信端末の処理能力及び対応メディア形式を端末性能として判別する端末性能判別処理と、前記受信端末から現在利用可能なメモリ容量と中央処理装置の空き状態とディスク容量とを少なくとも含むリソースを利用可能リソースとして取得する端末リソース取得処理と、前記受信端末が接続している環境種別を接続環境として判別する接続環境判別処理と、現在の帯域を測定する帯域測定処理と、あらかじめ定めた一定期間将来の帯域変動を、あらかじめ取得した帯域変動に基づいて予測して将来帯域変動とする帯域変動予測処理と、前記端末性能と前記利用可能リソースと前記将来帯域変動とから帯域が急激に変動しても前記受信端末でメディアが途切れずかつ前記メディアの品質が高品質を維持しつつ将来に渡って急激に変動しないような最適なメディアのビットレートをあらかじめ取得した帯域変動に基づいて決定するビットレート決定処理と、前記最適なビットレートを達成するために最適な符号化方法を選択して前記メディアを符号化する符号化処理と、その符号化されたメディアを前記受信端末へ配信する配信処理とを含むことを特徴とするプログラム。
【請求項３０】
前記帯域変動予測手段は、回帰分析により構築したモデルを表す関数を予め求め、当該関数に基づいて帯域変動を予測することを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３１】
前記帯域変動予測手段は、日単位で時間帯毎に予め予測した帯域の平均と、前記帯域測定手段にて測定した現在の帯域との間の値を前記将来帯域変動とすることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３２】
前記帯域変動予測手段は、予め記録した帯域変動に多項式関数を外挿して前記将来帯域変動を求めることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３３】
前記ビットレート決定手段は、前記予め取得した帯域変動における予め定められた時間間隔内の最小の帯域に応じてビットレートを定めることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３４】
前記ビットレート決定手段は、前記予め取得した帯域変動における予め定められた時間間隔内の平均帯域に応じてビットレートを定めることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３５】
前記ビットレート決定手段は、前記予め取得した帯域変動のグラフにおける極小点を直線で結んだものをビットレートとして定めることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【請求項３６】
前記ビットレート決定手段は、前記予め取得した帯域変動のグラフにおいて平滑化したものをビットレートとして定めることを特徴とする請求項１から請求項２６のうちのいずれか記載のメディア配信システム。
【国際調査報告】
2008108379.tif 000034
2008108379.tif 000035
2008108379.tif 000036
2008108379.tif 000037