(57)【要約】【課題】  通信可用帯域が保証されないネットワークを介して受信した映像データを再生する際に視聴者の体感品質を向上させることができなかった。【解決手段】  映像再生装置は、再生バッファに格納されている映像データの残再生時間を推定し、ネットワークを介して受信するシーンの切り替わり箇所を示す情報に基づいてシーンの切り替わり箇所を出力し、補填映像の映像データとその映像データの再生時間を示す情報とを対応付けて記憶し、残再生時間とシーンの切り替わり箇所とに基づいて、補填映像の映像データを再生手段に再生させる時刻と補填映像の映像データを再生手段に再生させる時間とを特定できる情報を生成し、この情報で特定される再生時間を示す情報と対応付けられている補填映像の映像データを再生手段に渡す。再生手段は、補填映像の映像データを受け取ると、再生バッファから映像データを読み出す速度を減少させ、補填映像の映像データを再生する。【選択図】図１
2010171828.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して受信する映像データを格納する再生バッファと、
前記再生バッファから前記映像データを読み出して再生する再生手段と、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記再生バッファに格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定手段と、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力手段と、
補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶手段と、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生手段に再生させる時刻と前記補填映像の映像データを前記再生手段に再生させる時間とを特定できる情報を生成する再生計画手段と、
前記再生計画手段にて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを前記再生手段に渡す補填映像挿入手段と、
を備え、
前記再生手段は、前記補填映像挿入手段から補填映像の映像データを受け取ると、前記再生バッファから映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する、映像再生装置。
【請求項２】
請求項１に記載の映像再生装置であって、
前記再生手段は、前記補填映像挿入手段から補填映像の映像データを受け取ると、前記再生バッファからの映像データの読み出しを停止し、前記受け取る補填映像の映像データを再生する、映像再生装置。
【請求項３】
請求項１または２に記載の映像再生装置であって、
前記残再生時間推定手段は、所定時間あたりに受信する前記映像データのデータ量と前記再生バッファに格納されている前記映像データのデータ量と前記再生計画手段にて生成される挿入計画とに基づいて前記残再生時間を推定する、映像再生装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の映像再生装置であって、
前記再生計画手段は、前記残再生時間があらかじめ定められた時間である最低残再生時間未満を示す場合に、前記シーン切り替わり箇所に該当する時刻に前記補填映像の映像データを前記再生手段に再生させるように、前記補填映像の映像データと前記補填映像の映像データを前記再生手段に再生させる時刻とを特定できる情報を生成する、映像再生装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の映像再生装置であって、
前記残再生時間推定手段は、所定時間あたりに受信する前記映像データのデータ量と前記再生手段が前記再生バッファから所定時間あたりに読み出すデータ量とに基づいて前記残再生時間を推定する、映像再生装置。
【請求項６】
請求項４に記載の映像再生装置であって、
前記再生計画手段は、前記シーンチェンジ出力手段が出力するシーンの切り替わり箇所の所定時間当たりの回数に基づき最低残再生時間を算出する、映像再生装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の映像再生装置であって、
前記再生計画手段は、前記残再生時間と挿入する補填映像の映像データの再生時間との和があらかじめ定められた時間である目標残再生時間になるように、かつ、前記シーン切り替わり箇所に該当する時刻に前記補填映像の映像データを前記再生手段に再生させるように、前記補填映像の映像データと前記補填映像の映像データを前記再生手段に再生させる時刻とを特定できる情報を生成する、映像再生装置。
【請求項８】
請求項７に記載の映像再生装置であって、
前記ネットワークから受信する映像データには当該映像データの内容を示す情報を含み、
前記再生計画手段は、映像データの内容を示す情報と目標残再生時間を示す情報とを対応付けて記憶し、前記ネットワークから受信する映像データに対応付けられた前記映像データの内容を示す情報に対応付けられている目標残再生時間に基づいて、前記シーン切り替わり箇所に該当する時刻に前記補填映像の映像データを前記再生手段に再生させるように、前記補填映像の映像データと前記補填映像の映像データを前記再生手段に再生させる時刻とを特定できる情報を生成する、映像再生装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の映像再生装置であって、
前記補填映像記憶手段は、前記ネットワークから受信する映像データのうち所定時間分の映像データを補填映像の映像データとして、前記所定時間を示す情報と対応付けて記憶する、映像再生装置。
【請求項１０】
ネットワークを介して受信する映像データを格納する再生バッファと、
前記再生バッファから前記映像データを読み出して再生する再生手段と、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記再生バッファに格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定手段と、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力手段と、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生手段に繰り返し再生させる時刻と前記映像データを前記再生手段に繰り返し再生させる時間とを特定できる情報を生成する再生計画手段と、
前記再生計画手段が生成した情報に基づいて、前記再生手段に前記再生バッファから読み出す映像データの所定の部分を繰り返し再生するよう前記再生手段に指示する繰り返し再生手段と、
を備え、
前記再生手段は、前記繰り返し再生手段からの指示を受けると、前記再生バッファから読み出す前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記再生バッファから読み出す速度を減少させる、映像再生装置。
【請求項１１】
ネットワークを介して受信する映像データを格納するバッファリングステップと、
前記バッファリングステップにより格納される前記映像データを読み出して再生する再生ステップと、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリングステップにより格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定ステップと、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力ステップと、
補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶ステップと、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生ステップにて再生させる時刻と前記補填映像の映像データを前記再生ステップにて再生させる時間とを特定できる情報を生成する再生計画ステップと、
前記再生計画ステップにて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを渡す補填映像挿入ステップと、
を含み、
前記再生ステップは、前記補填映像挿入ステップによって補填映像の映像データを受け取ると、前記バッファリングステップによって格納されている前記映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する、映像再生方法。
【請求項１２】
請求項１１に記載の映像再生方法であって、
前記再生ステップは、前記補填映像挿入ステップによって補填映像の映像データを受け取ると、前記バッファリングステップによって格納されている前記映像データの読み出しを停止し、前記受け取る補填映像の映像データを再生する、映像再生方法。
【請求項１３】
請求項１１または１２に記載の映像再生方法であって、
前記残再生時間推定ステップは、所定時間あたりに受信する前記映像データのデータ量と前記バッファリングステップによって格納されている前記映像データのデータ量と前記再生計画ステップにて生成される挿入計画とに基づいて前記残再生時間を推定する、映像再生方法。
【請求項１４】
ネットワークを介して受信する映像データを格納するバッファリングステップと、
前記バッファリングステップにより格納される前記映像データを読み出して再生する再生ステップと、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリングステップにより格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定ステップと、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力ステップと、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生ステップにて繰り返し再生させる時刻と前記映像データを前記再生ステップにて繰り返し再生させる時間とを特定できる情報を生成する再生計画ステップと、
前記再生計画ステップにて生成される情報に基づいて、前記再生ステップにて、前記バッファリングステップによって格納されている映像データの所定の部分を繰り返し再生させるよう指示する繰り返し再生ステップと、
を含み、
前記再生ステップにおいては、前記繰り返し再生ステップによって指示を受けると、前記バッファリングステップによって格納されている前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記バッファリングステップによって格納されている前記映像データを読み出す速度を減少させる、映像再生方法。
【請求項１５】
コンピュータに、
ネットワークを介して受信する映像データを格納するバッファリング処理と、
前記バッファリング処理により格納される前記映像データを読み出して再生する再生処理と、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリング処理により格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定処理と、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力処理と、
補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶処理と、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生処理にて再生させる時刻と前記補填映像の映像データを前記再生処理にて再生させる時間とを特定できる情報を生成する再生計画処理と、
前記再生計画処理にて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを渡す補填映像挿入処理と、
を実行させ、
前記再生処理は、前記補填映像挿入処理によって補填映像の映像データを受け取ると、前記バッファリング処理によって格納されている前記映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する、映像再生プログラム。
【請求項１６】
請求項１５に記載の映像再生プログラムであって、
前記再生処理は、前記補填映像挿入処理によって補填映像の映像データを受け取ると、前記バッファリング処理によって格納されている前記映像データの読み出しを停止し、前記受け取る補填映像の映像データを再生する、映像再生プログラム。
【請求項１７】
請求項１５または１６に記載の映像再生プログラムであって、
前記残再生時間推定処理は、所定時間あたりに受信する前記映像データのデータ量と前記バッファリング処理によって格納されている前記映像データのデータ量と前記再生計画処理にて生成される挿入計画とに基づいて前記残再生時間を推定する、映像再生プログラム。
【請求項１８】
コンピュータに、
ネットワークを介して受信する映像データを格納するバッファリング処理と、
前記バッファリング処理により格納される前記映像データを読み出して再生する再生処理と、
所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリング処理により格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定処理と、
シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力処理と、
前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生処理にて繰り返し再生させる時刻と前記映像データを前記再生処理にて繰り返し再生させる時間とを特定できる情報を生成する再生計画処理と、
前記再生計画処理にて生成される情報に基づいて、前記再生処理にて、前記バッファリング処理によって格納されている映像データの所定の部分を繰り返し再生させるよう指示する繰り返し再生処理と、
を実行させ、
前記再生処理においては、前記繰り返し再生処理によって指示を受けると、前記バッファリング処理によって格納されている前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記バッファリング処理によって格納されている前記映像データを読み出す速度を減少させる、映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置、映像再生方法および映像再生プログラムに関する。
【背景技術】
【０００２】
映像データを、ネットワークを介して受信して視聴する技術が実用化されている。映像データを配信する配信サーバは、前記映像データをストリームとして受信機へと配信する。受信機は、前記ストリームを受信し、このストリームに基づいて映像データを再生する。この方法において、映像データを配信するためのネットワークとしては、コンテンツデリバリネットワーク（Ｃｏｎｔｅｎｔｓ  Ｄｅｌｉｖｅｒｙ  Ｎｅｔｗｏｒｋ：ＣＤＮ）と呼ばれる大容量のデジタルコンテンツを配信するために通信可用帯域が保証されたネットワークが用いられることが一般的であった。
【０００３】
しかしながら、近年、通信可用帯域が保証されないインターネットや広域無線網を介して映像データを配信するケースが多くなってきている。前記のように通信可用帯域が保証されないネットワークを介して映像データを配信する場合に、例えば通信可用帯域よりも映像データのビットレートの方が大きくなってしまうと、バッファリングのため映像データが再生されるまでに多くの時間がかかったり、映像データの再生中にバッファが枯渇する、つまりバッファに蓄積されているデータが所定量を下回って映像データの再生が停止してしまったりする問題があった。
【０００４】
前記問題を解決する技術が例えば、特許文献１、特許文献２および特許文献３に記載されている。
【０００５】
特許文献１記載の動画再生制御方法および動画サーバは、複数のシーンからなる動画情報が複数記憶されている記憶装置から要求された動画情報を読み出して再生するための動画再生制御方法において、動画サーバ内に、前記動画情報における各々の隣接シーン間の切れ目に相当する位置の情報を記録しておき、前記動画サーバは、動画再生を途切れさせると判断された場合には、前記切れ目に相当する位置まで動画を配信し続けた後に、動画の配信を一時中断することを特徴とする。
【０００６】
このような特徴を有する特許文献１記載の動画再生制御方法および動画サーバによって、前記切れ目で中断することができかつ通信可用帯域が十分になるまでユーザを飽きさせずに待たせることができる。
【０００７】
特許文献２記載の電子機器は、動画データを受信する通信手段と、前記通信手段により受信される動画データを順次入力し蓄積してから順次出力するバッファ手段と、前記バッファ手段から順次出力されるデータを記録または再生する動画処理手段と、前記通信手段において受信される動画データのストリームが途切れ、かつ前記バッファ手段に蓄積されているデータの量が所定量未満である場合、動画データの代替となる代替データが前記バッファ手段に入力されるよう制御する制御手段とから構成されている。
【０００８】
このような構成を有する特許文献２記載の電子機器は、次のように動作する。前記電子機器は、動画データのストリームが途切れておりかつ前記バッファ手段に蓄積されているデータの量が所定量未満である場合、動画データの代替となる代替データを前記バッファ手段に入力する。前記のような動作によって、ネットワークの状態によってストリームが途中で途切れた場合でも、ユーザに代替動画を視聴させることで不利益を低減させることができる。
【０００９】
特許文献３記載のネットワーク経由でメディアストリームを受信し再生する方法は、リアルタイムでメディアストリームを受信するステップと、前記メディアストリームをバッファに格納するステップと、前記バッファが所定のスレッショールドまで満たされるのを待たずに、減速した再生速度で、前記受信したメディアストリームを前記バッファから再生するステップとから構成されている。
【００１０】
このような構成を有する特許文献３記載のネットワーク経由でメディアストリームを受信し再生する方法は、減速した再生速度で再生するため、再生しながら前記バッファを補充することができるため、前記バッファが満たされるのを待たずに受信したメディアストリームを再生することができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−０３７８２１号公報
【特許文献２】特開２００６−３３２７５９号公報
【特許文献３】特開２００７−１９５１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述したいずれの関連技術も、通信可用帯域の変動を考慮した再生制御を行っていないので、例えば、一時的にネットワーク状況が悪化し、再生バッファのデータ蓄積量が少なくなり、その後のネットワーク状況の回復によって再生バッファ内のデータ蓄積量の減少がおさまった場合に効率よく再生制御を行うことができない。したがって視聴者の体感品質を向上させることができない。
【００１３】
［発明の目的］
そこで、本発明の目的の一つは、通信可用帯域が保証されないネットワークを介して受信した映像データを再生する際に視聴者の体感品質を向上させることができる映像再生装置、映像再生方法および映像再生プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明の映像再生装置は、ネットワークを介して受信する映像データを格納する再生バッファと、前記再生バッファから前記映像データを読み出して再生する再生手段と、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記再生バッファに格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定手段と、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力手段と、補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶手段と、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生手段に再生させる時刻と前記補填映像の映像データを前記再生手段に再生させる時間とを特定できる情報を生成する再生計画手段と、前記再生計画手段にて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを前記再生手段に渡す補填映像挿入手段と、を備え、前記再生手段は、前記補填映像挿入手段から補填映像の映像データを受け取ると、前記再生バッファからの前記映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する。
【００１５】
また、本発明の映像配信装置は、ネットワークを介して受信する映像データを格納する再生バッファと、前記再生バッファから前記映像データを読み出して再生する再生手段と、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記再生バッファに格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定手段と、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力手段と、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生手段に繰り返し再生させる時刻と前記映像データを前記再生手段に繰り返し再生させる時間とを特定できる情報を生成する再生計画手段と、前記再生計画手段が生成した情報に基づいて、前記再生手段に前記再生バッファから読み出す映像データの所定の部分を繰り返し再生するよう前記再生手段に指示する繰り返し再生手段と、を備え、前記再生手段は、前記繰り返し再生手段からの指示を受けると、前記再生バッファから読み出す前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記再生バッファから読み出す速度を減少させる。
【００１６】
また、本発明の映像配信方法は、ネットワークを介して受信する映像データを格納するバッファリングステップと、前記バッファリングステップにより格納される前記映像データを読み出して再生する再生ステップと、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリングステップにより格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定ステップと、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力ステップと、補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶ステップと、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生ステップにて再生させる時刻と前記補填映像の映像データを前記再生ステップにて再生させる時間とを特定できる情報を生成する再生計画ステップと、前記再生計画ステップにて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを渡す補填映像挿入ステップと、を備え、前記再生ステップは、前記補填映像挿入ステップによって補填映像の映像データを受け取ると、前記バッファリングステップによって格納されている前記映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する。
【００１７】
また、本発明の映像配信方法は、ネットワークを介して受信する映像データを格納するバッファリングステップと、前記バッファリングステップにより格納される前記映像データを読み出して再生する再生ステップと、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリングステップにより格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定ステップと、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力ステップと、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生ステップにて繰り返し再生させる時刻と前記映像データを前記再生ステップにて繰り返し再生させる時間とを特定できる情報を生成する再生計画ステップと、前記再生計画ステップにて生成される情報に基づいて、前記再生ステップにて、前記バッファリングステップによって格納されている映像データの所定の部分を繰り返し再生させるよう指示する繰り返し再生ステップと、を含み、前記再生ステップにおいては、前記繰り返し再生ステップによって指示を受けると、前記バッファリングステップによって格納されている前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記バッファリングステップによって格納されている前記映像データを読み出す速度を減少させる。
【００１８】
また、本発明の映像再生プログラムは、コンピュータに、ネットワークを介して受信する映像データを格納するバッファリング処理と、前記バッファリング処理により格納される前記映像データを読み出して再生する再生処理と、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリング処理により格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定処理と、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力処理と、補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶処理と、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生処理にて再生させる時刻と前記補填映像の映像データを前記再生処理にて再生させる時間とを特定できる情報を生成する再生計画処理と、前記再生計画処理にて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを渡す補填映像挿入処理と、を実行させ、前記再生処理は、前記補填映像挿入処理によって補填映像の映像データを受け取ると、前記バッファリング処理によって格納されている前記映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する。
【００１９】
また、本発明の映像再生プログラムは、コンピュータに、ネットワークを介して受信する映像データを格納するバッファリング処理と、前記バッファリング処理により格納される前記映像データを読み出して再生する再生処理と、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記バッファリング処理により格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定処理と、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力処理と、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記映像データを前記再生処理にて繰り返し再生させる時刻と前記映像データを前記再生処理にて繰り返し再生させる時間とを特定できる情報を生成する再生計画処理と、前記再生計画処理にて生成される情報に基づいて、前記再生処理にて、前記バッファリング処理によって格納されている映像データの所定の部分を繰り返し再生させるよう指示する繰り返し再生処理と、を実行させ、前記再生処理においては、前記繰り返し再生処理によって指示を受けると、前記バッファリング処理によって格納されている前記映像データの所定の部分を記憶し前記所定の部分を繰り返して再生し、前記バッファリング処理によって格納されている前記映像データを読み出す速度を減少させる。
【発明の効果】
【００２０】
本発明によれば、通信可用帯域が保証されないネットワークを介して受信した映像データを再生する際に視聴者の体感品質を向上させることができる映像再生装置、映像再生方法および映像再生プログラムを提供できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】再生計画手段１０７が生成する挿入計画の一例である。
【図３】再生計画手段１０７が生成する挿入計画の一例である。
【図４】ネットワークから受信する映像データと補填映像の映像データとを組み合わせて再生させる場合の映像データの具体例である。
【図５】映像再生装置１００が受信する階層符号化された映像データと高解像度で再生可能なシーンの数との対応を示したグラフである。
【図６】再生バッファ１０３に格納される映像データのデータ量が所定量を下回るまでの時間を推定する方法の具体例における再生可能時間Ｘ（ｔ）の推移を示すグラフである。
【図７】本発明の第１の実施の形態の動作例を示すフローチャートである。
【図８】本発明の第１の実施の形態の一の変形例の構成を示すブロック図である。
【図９】補填映像の映像データを識別できる識別子と当該映像データの再生時間を示す情報とが対応付けられて補填映像記憶手段１０８に記憶される様子を示す例である。
【図１０】本発明の第２の実施の形態を説明する具体例における受信レートＲ（ｔ）の推移を示すグラフである。
【図１１】本発明の第２の実施の形態を説明する具体例において、受信手段１０１が受信する番組のシーン構成を示す図である。
【図１２】本発明の第２の実施の形態の具体例を適用しない場合における再生可能時間の推移の結果を示すグラフである。
【図１３】本発明の第２の実施の形態の具体例を適用した場合における再生可能時間の推移の結果を示すグラフである。
【図１４】本発明の一形態の構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００２３】
［第１の実施の形態］
第１の実施の形態について説明する。図１は本発明の第１の実施の形態における映像再生装置１００のブロック図である。映像再生装置１００は、図示しない中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）及び記憶装置（メモリ及びハードディスク駆動装置（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ））を備える。映像再生装置１００は、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、後述する機能手段を実現するように構成されている。
【００２４】
図１を参照すると、本発明の第１の実施の形態における映像再生装置１００は、受信手段１０１と、復号手段１０２と、再生バッファ１０３と、映像再生手段１０４と、残再生時間推定手段１０５と、シーンチェンジ出力手段１０６と、再生計画手段１０７と、補填映像記憶手段１０８と、補填映像挿入手段１０９と、を備える。受信手段１０１は復号手段１０２と残再生時間推定手段１０５とそれぞれ接続されている。復号手段１０２は受信手段１０１と再生バッファ１０３とシーンチェンジ出力手段１０６と補填映像記憶手段１０８とそれぞれ接続されている。再生バッファ１０３は復号手段１０２と映像再生手段１０４と残再生時間推定手段１０５とそれぞれ接続されている。映像再生手段１０４は再生バッファ１０３と補填映像挿入手段１０９とそれぞれ接続されている。残再生時間推定手段１０５は受信手段１０１と再生バッファ１０３と再生計画手段１０７とそれぞれ接続されている。シーンチェンジ出力手段１０６は復号手段１０２と再生計画手段１０７とそれぞれ接続されている。再生計画手段１０７は残再生時間推定手段１０５とシーンチェンジ出力手段１０６と補填映像挿入手段１０９とそれぞれ接続されている。補填映像記憶手段１０８は復号手段１０２と補填映像挿入手段１０９とそれぞれ接続されている。補填映像挿入手段１０９は映像再生手段１０４と再生計画手段１０７と補填映像記憶手段１０８とそれぞれ接続されている。
【００２５】
次に映像再生装置１００に含まれる構成要素について詳細に説明する。
【００２６】
＜受信手段１０１＞
受信手段１０１は、ネットワークを介して符号化された映像データを受信する。そして受信手段１０１は受信した映像データを復号手段１０２に渡す。
【００２７】
ネットワークは電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。また、映像データはネットワークを介して配信可能な情報であればよい。
【００２８】
＜復号手段１０２＞
復号手段１０２は、受信手段１０１にて受信した映像データを復号する。そして復号手段１０２は、復号された映像データを再生バッファ１０３に格納する。
【００２９】
＜再生バッファ１０３＞
再生バッファ１０３は、復号手段１０２が復号した映像データを格納する。再生バッファ１０３に格納された映像データは後述の映像再生手段１０４によって読み取られる。
【００３０】
＜映像再生手段１０４＞
映像再生手段１０４は、再生バッファ１０３に格納された映像データを読み出して再生する。また、映像再生手段１０４は後述の補填映像挿入手段１０９から補填映像の映像データを受け取ると再生バッファ１０３から映像データを読み出す速度を減少させ、受け取った補填映像の映像データを再生する。映像再生手段１０４が再生バッファ１０３から映像データを単位時間当たりに読み出すデータ量（再生レート）の特定方法については後述する。
【００３１】
＜残再生時間推定手段１０５＞
残再生時間推定手段１０５は、受信手段１０１にて受信している映像データの受信レートと再生バッファ１０３に格納されている映像データのデータ量と、後述の再生計画手段１０７にて生成される補填映像の映像データの挿入計画に基づいて再生バッファ１０３に格納されている映像データのデータ量が所定量を下回るまでの時間である残再生時間を推定する。
【００３２】
受信手段１０１にて受信している映像データの受信レートは、所定の単位時間あたりに受信する映像データを映像再生手段１０４が再生できる再生時間で表されてもよい。この再生時間を、受信した映像データのデータ量と受信した映像データのビットレートとに基づいて残再生時間推定手段１０５が算出するようにしてもよい。
【００３３】
例えば、所定の単位時間を１秒とした場合、受信手段１０１が３８４ｋｂｐｓの映像データを１秒間で４８ｋｂｙｔｅ受信したとすると、単位時間当たりの受信レートは（３８４÷８）÷４８＝１となる。また、受信手段１０１が３８４ｋｂｐｓの映像データを１秒間で２４ｋｂｙｔｅ受信したとすると、単位時間あたりの受信レートは０．５となり、受信手段１０１が３８４ｋｂｐｓの映像データを１秒間で９６ｋｂｙｔｅ受信したとすると、単位時間当たりの受信レートは２となる。
【００３４】
受信レートが１以上の場合は、単位時間当たりに再生バッファ１０３に格納されるデータ量のほうが、映像再生手段１０４が再生バッファ１０３から単位時間当たりに読み出すデータ量よりも多いので、再生バッファ１０３に格納されている映像データのデータ量が減少しない。一方、受信レートが１未満の場合は単位時間当たりに再生バッファ１０３に格納されるデータ量のほうが、映像再生手段１０４が再生バッファ１０３から単位時間当たりに読み出すデータ量よりも少ないので、再生バッファ１０３に格納されている映像データのデータ量が減少する。
【００３５】
なお、前記再生時間の代わりに映像データの受信レートとして所定の単位時間当たりに受信した映像データのデータ量を用いてもよい。
【００３６】
また、映像データのビットレートについて、残再生時間推定手段１０５が受信手段１０１にて受信する映像データのデータ量に基づいて当該映像データのビットレートを特定してもよい。具体的には、残再生時間推定手段１０５が、受信手段１０１にて受信する映像データに含まれる１枚のピクチャのデータサイズと当該データの受信時刻履歴に基づきビットレートを算出するようにしてもよい。例えば、１枚あたりのピクチャのデータサイズが１２ｋｂｉｔであり、受信手段１０１はこのピクチャを１秒間に２９．９７枚受信するような場合、残再生時間推定手段１０５はこの映像データのビットレートを３５９．６４ｋｂｐｓと算出できる。また、残再生時間推定手段１０５が、映像データのヘッダなどにあらかじめ付与されている付加情報に基づいてビットレートを特定するようにしてもよい。例えば、映像データのヘッダに“３８４ｋｂｐｓ”といったビットレートを示す情報を含ませておく構成にしてもよい。
【００３７】
また、残再生時間推定手段１０５は、再生バッファ１０３に格納されている映像データを映像再生手段１０４で再生できる時間である再生可能時間を算出する。例えば再生バッファ１０３に３８４ｋｂｐｓの映像データが４８０ｋｂｙｔｅ格納されている場合、残再生時間推定手段１０５は再生可能時間を１０秒と算出する。
【００３８】
また、残再生時間推定手段１０５は、後述の再生計画手段１０７にて生成される挿入計画を当該再生計画手段１０７から取得する。挿入計画とは、補填映像の映像データを映像再生手段１０４に再生させる時刻と前記補填映像の映像データの再生時間とを特定できる情報である。また、挿入計画は、複数の補填映像の映像データについて各補填映像の映像データを映像再生手段１０４に再生させる時刻と前記各補填映像の映像データの再生時間とを特定できる情報であってもよい。あるいは、挿入計画は補填映像の映像データを映像再生手段１０４に再生させる時刻を示す情報とこの補填映像の映像データの再生時間を示す情報とを含む情報であってもよいし、図２に示すように補填映像の映像データを映像再生手段１０４に再生させる時刻を示す情報とこの補填映像の映像データの再生時間を示す情報とを対応付けている情報であってもよい。また、挿入計画は複数の補填映像の映像データについて各補填映像の映像データを映像再生手段１０４に再生させる時刻を示す情報とこの各補填映像の映像データの再生時間を示す情報とを含む情報であってもよいし、図３に示すように複数の補填映像の映像データについて各補填映像の映像データを映像再生手段１０４に再生させる時刻を示す情報と前記各補填映像の映像データの再生時間を示す情報とを対応付けている情報であってもよい。
【００３９】
残再生時間推定手段１０５は、前述のような方法などにより得た映像データの受信レートと再生可能時間と挿入計画とに基づいて残再生時間を推定する。ここで、この残再生時間を推定する具体的な方法を説明する。ここでは簡単のため、再生バッファ１０３に格納されている映像データのデータ量が所定量を下回るまでの時間は、再生バッファ１０３に格納されている映像データのデータ量が０ｋｂｙｔｅになるまでの時間であるとする。
【００４０】
ある時刻ｔにおける映像データの受信レートをＲ（ｔ）、再生バッファ１０３に格納されている映像データを再生できる時間である再生可能時間をＸ（ｔ）、基準となる時刻ｔ０（例えば再生開始時）の再生バッファ１０３に格納されている映像データを再生できる時間である再生可能時間をＸ（ｔ０）、挿入計画に示されている、挿入が計画されているｋ番目の補填映像の映像データの再生時間をＩｋ、ｋ番目の補填映像の映像データの再生時刻をＴｋ、再生バッファ１０３から映像データを読み出すレートを再生レートＳ（ｔ）とすると式１が成り立つ。
【００４１】
【数１】
2010171828.tif 000003
【００４２】
ここで、再生レートＳ（ｔ）は、再生バッファ１０３における再生可能時間Ｘ（ｔ）が０より大きくてかつ補填映像の映像データを再生していない場合Ｓ（ｔ）＝１となり、再生バッファ１０３における再生可能時間Ｘ（ｔ）＝０のときもしくは補填映像の映像データを再生しているときＳ（ｔ）＝αとなるようにとる。これを式２に表す。ただしαは０≦α＜１を満たす任意の値である。
【００４３】
【数２】
2010171828.tif 000004
【００４４】
このとき、式１においてＸ（ｔ）＝０となる最初のｔが、再生バッファ１０３に格納されている映像データのデータ量が所定量を下回る最初の時刻に等しくなる。
【００４５】
なお、αが０でない場合、映像再生手段１０４は図示しないバッファを備え、再生バッファ１０３から読み出す映像データを当該バッファに格納してもよい。映像再生手段１０４による補填映像の映像データの再生が終了すると、まずこの図示しないバッファから映像データを読み出し再生する。映像再生手段１０４に映像データの一部を格納しておくことで、この映像再生手段１０４で再生される映像データの切り替え時に、よりスムーズな切り替えを行うことを可能にする。
【００４６】
また、αが０でない場合、映像再生手段１０４は再生バッファ１０３から低解像度の映像データのみを読み出して当該映像データを再生するようにしてもよい。この場合、映像再生手段１０４は当該映像データにて表示されるサイズを小さくし、表示サイズの領域の余白部分には補填映像の映像データを組み合わせるような新たな映像データを生成する。例えば図４のような構成としてもよい。補填映像の映像データを組み合わせる代わりに「低解像度で映像データを再生している」旨を提示するためのデータを組み合わせてもよい。この生成された映像データを映像再生手段１０４は再生するように構成してもよい。
【００４７】
例えば、ネットワークから受信される映像データがＨ．２６４／ＳＶＣなどの階層符号化されたデータであり、１階層の基本レイヤの映像データと１階層の拡張レイヤの映像データとが所定の間隔で交互に配信される場合を考える。そして、αを映像データのビットレートと基本レイヤの映像データのビットレートとの比とする。例えば図５に示されるように基本レイヤの映像データおよび拡張レイヤの映像データを映像再生装置１００が受信する場合について説明する。時刻５において、高解像度で再生できる映像データはシーン１の映像データしかない。この場合にＳ（ｔ）＝αになったとすると、映像再生手段１０４は拡張レイヤの映像データの読み出しを停止し、基本レイヤの映像データの読み出しのみを行う。そして映像再生手段１０４は図４に示すように映像データの表示サイズを縮小し、補填映像の映像データを組み合わせて再生する。このような構成によると、映像再生手段１０４は再生レートをαに下げることによって再生できるシーンが１から３までに増えることになる。したがって、映像再生手段１０４にて再生されている映像データが途切れてしまう可能性を減らすことになり視聴者の体感品質を向上させることが可能となる。
【００４８】
一方、αが０の場合、映像再生手段１０４が再生バッファからの映像データの読み出しを停止することを意味する。この場合、映像再生手段１０４は前記のバッファを備えなくてもよい。また再生バッファ１０３により多くのデータを格納させることになるためより最適な残再生時間を算出することができる。これにより、不必要に補填映像の映像データが挿入される可能性を減少させ、視聴者の体感品質をさらに向上させることが可能となる。さらに、上記のように映像再生手段１０４が再生バッファ１０３から読み出す映像データと補填映像の映像データとを同時に再生させる必要がなくなり構成が簡単になる。以上の点からαが０の場合がより好適であるといえる。
【００４９】
なお、前述のαは、現在時刻における再生可能時間Ｘ（ｔ）または受信レートＲ（ｔ）や図示しないバッファに格納されているデータ量などに基づいて残再生時間推定手段１０５にて算出される構成としてもよい。例えば、再生可能時間Ｘ（ｔ）＝０の場合には再生バッファに格納されている映像データがないということを示しているので、残再生時間推定手段１０５はα≦Ｒ（ｔ）を満たすようにαを算出するとしてもよい。残再生時間推定手段１０５は、例えば再生計画手段１０７を介してαを示す情報を映像再生手段１０４に渡すようにしてもよい。
【００５０】
具体的な例を用いて、再生バッファ１０３に格納される映像データのデータ量が所定量を下回るまでの時間である残再生時間を推定する方法を説明する。現在時刻をｔ０とする。また簡単のため、受信レートは一定でＲ（ｔ）＝０．５とし、再生バッファ１０３における再生可能時間Ｘ（ｔ）＝０のときもしくは補填映像の映像データを再生しているとき再生レートＳ（ｔ）＝０とする。そして、現在再生バッファ１０３に格納されている映像データの再生可能時間をＸ（ｔ０）＝５（秒）とする。また、ｔ０から４秒後に１秒分の補填映像の映像データ（Ｔ１＝ｔ０＋４、Ｉ１＝１）、ｔ０から１０秒後に２秒分の補填映像の映像データ（Ｔ２＝ｔ０＋１０、Ｉ２＝２）の再生が挿入計画にて計画されているとする。このとき式１を用いてＸ（ｔ）＝０となる最初のｔを算出すると、ｔ＝ｔ０＋１６秒となる。したがって、現在時刻ｔ０における再生バッファ１０３に格納される映像データのデータ量が所定量を下回るまでの時間は１６秒である。この具体例におけるＸ（ｔ）を示した図が図６である。補填映像の映像データを再生していないときは、１−０．５＝０．５のレートでＸ（ｔ）が減少し、補填映像の映像データの再生中は０．５のレートでＸ（ｔ）が増加することがわかる。
【００５１】
上記の方法は例示であって、受信レートＲ（ｔ）に応じて計算方法を適宜変更してもよい。
【００５２】
また、残再生時間推定手段１０５は、上記の方法などによって算出した残再生時間を示す情報を再生計画手段１０７に渡す。
【００５３】
＜シーンチェンジ出力手段１０６＞
シーンチェンジ出力手段１０６は、復号手段１０２にて復号された映像データのシーンの切り替わり箇所を出力する。シーンの切り替わり箇所の出力方法としては、映像データの画像解析によりシーンの切り替わり箇所を検出してから当該箇所を出力する方法でもよいし、映像データに含まれるメタ情報を利用してシーンの切り替わり箇所を検出してから当該箇所を出力する方法でもよい。画像解析によるシーンの切り替わり箇所の検出方法は、例えば、一般的に用いられるように、映像データに含まれる各ピクチャの特徴量の変化量が閾値を超えた場合をシーンの切り替わり箇所としてもよい。この各ピクチャの特徴量については、“動きベクトル”、“輝度”、“色差”などから１つまたは複数用いられる方法によって実現してもよい。映像データに含まれるメタ情報としては、例えばシーンの切り替わり箇所に該当するピクチャのヘッダに当該切り替わり箇所を示す情報を含ませることによって実現してもよいし、シーンの切り替わり箇所に該当する時刻を示す情報を映像データに含ませることによって実現してもよい。
【００５４】
シーンチェンジ出力手段１０６が、映像データの画像解析によりあるいは映像データに含まれるメタ情報を利用してシーンの切り替わり箇所を検出することによりシーンの切り替わり箇所を示す情報をあらかじめ用意しておくという必要がなくなる。
【００５５】
ネットワークを介して、シーンの切り替わり箇所を示す情報を例えば受信手段１０１が受信し、受信した情報をシーンチェンジ出力手段１０６が出力してもよい。また、シーンの切り替わり箇所を示す情報を映像データの再生時刻または映像データの再生開始時刻からの経過時間を示す情報としてシーンチェンジ出力手段１０６が記憶しておき、この記憶しておいた箇所をシーンチェンジ出力手段１０６が出力してもよい。例えば、再生時刻００：０４、００：２０、０１：０３、・・・のように、映像データの再生開始時刻からの経過時間で表わされるシーンの切り替わり箇所をシーンチェンジ出力手段１０６が記憶しておき、この記憶しておいた箇所をシーンチェンジ出力手段１０６が出力してもよい。
【００５６】
＜再生計画手段１０７＞
再生計画手段１０７は、残再生時間推定手段１０５にて算出した残再生時間とシーンチェンジ出力手段１０６にて出力したシーンの切り替わり箇所とに基づいて、補填映像の映像データを映像再生手段１０４に再生させる時刻と前記補填映像の映像データの再生時間とを特定する情報である挿入計画を生成する。
【００５７】
例えば、再生計画手段１０７は、残再生時間推定手段１０５から取得する残再生時間を示す情報が所定の時間よりも短い場合に適当なシーンの切り替わり箇所をシーンチェンジ出力手段１０６が出力したシーンの切り替わり箇所の中から適宜特定し、当該箇所を示す時刻に所定の再生時間である補填映像の映像データを映像再生手段１０４に再生させるようにする挿入計画を生成する。これにより映像再生手段１０４での映像データの再生が途中で停止してしまう状況を回避する。
【００５８】
ここで、再生計画手段１０７が残再生時間に基づいて補填映像の映像データを映像再生手段１０４に再生させる時刻と前記補填映像の映像データの再生時間とを特定する情報である挿入計画を生成する具体的な方法の一例について説明する。はじめに、この映像再生装置１００のユーザなどが閾値である最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とをあらかじめ設定しておく。ここで、残再生時間推定手段１０５が推定した残再生時間をＸとする。この残再生時間ＸがＸ＞ＸＴ１を満たす場合、再生計画手段１０７は、補填映像の映像データを再生させないように挿入計画を生成する。一方、残再生時間ＸがＸ≦ＸＴ１を満たす場合、再生計画手段１０７は、シーンチェンジ出力手段１０６にて出力したシーンの切り替わり箇所の中から当該挿入計画を生成する時点から直近のシーン切り替わり箇所に該当する時刻を特定する。次に再生計画手段１０７は、（Ｘ＋Ｙ）≧ＸＴ２を満たすような再生時間Ｙの補填映像の映像データを前記特定した時刻に挿入するように挿入計画を生成する。
【００５９】
上記ではあらかじめ最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とがユーザなどによって設定されている例を示したが、これらの値を再生計画手段１０７が設定してもよい。最低残再生時間ＸＴ１と目標残再生時間ＸＴ２との設定方法としては、シーンチェンジ出力手段１０６が出力するシーンの切り替わり箇所の出現率または出現回数に基づいた設定方法であってもよいし、映像データの内容に基づいた設定方法であってもよい。
【００６０】
シーンの切り替わり箇所の出現率または出現回数に基づいた設定方法としては、頻繁にシーンの切り替わり箇所が出現するならＸＴ１を小さく設定し、あまりシーンの切り替わり箇所が出現しないならシーン途中で映像データの再生が停止してしまわないようにＸＴ１を大きく設定する方法が考えられる。具体的には、再生計画手段１０７がシーンの切り替わり箇所の出現率または出現回数とＸＴ１との対応付けを示す情報をあらかじめ記憶し、その情報に基づきＸＴ１を算出する方法が考えられる。
【００６１】
また、映像データの内容に基づいた決定方法としては、ニュース番組のように短い時間で前後の関係性が薄い内容となっている場合、短い補填映像の映像データを細かく挿入するようにＸＴ２を小さくとり、スピード感のあるアクション映画などでは頻繁に補填映像の映像データが入ってはスピード感が失われてしまうため、少ない挿入箇所で長めの補填映像の映像データを挿入するようにＸＴ２を大きくとる方法が考えられる。このような方法をとることで、映像データの内容または内容の属性や特性に基づいて補填映像が適切に挿入されるので、視聴者の体感品質をさらに向上させることが可能となる。映像データの内容の特定方法としては、映像データにメタ情報として映像データの内容を示す情報を含ませるようにすることで再生計画手段１０７が特定できるようにしてもよい。そして再生計画手段１０７は映像データの内容とＸＴ２との対応付けを示す情報をあらかじめ記憶し、その情報に基づきＸＴ２を算出する方法が考えられる。
【００６２】
上記のそれぞれの方法は例示であって、最低残再生時間ＸＴ１と目標残再生時間ＸＴ２との設定方法としては任意の設定方法であってよい。また、前記のような設定方法でなく、これらの閾値最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とをこの映像再生装置１００のユーザが好みの値に設定できるようにしてもよい。
【００６３】
＜補填映像記憶手段１０８＞
補填映像記憶手段１０８は、あらかじめ補填映像の映像データを記憶しておく。補填映像の映像データの内容としては、ＣＭ（Ｃｏｍｍｅｒｃｉａｌ  ｍｅｓｓａｇｅ）、アイキャッチ（民放などにおけるテレビ番組においてＣＭの前後に挟まれる映像）、ショートコンテンツなどであってもよい。また、補填映像記憶手段１０８は各補填映像の映像データを識別できる識別子と当該映像データの再生時間を示す情報とを対応付けて記憶しておいてもよい。このような構成をとることで後述の補填映像挿入手段１０９が再生時間を示す情報に基づいて補填映像の映像データを適宜選択することができる。
【００６４】
＜補填映像挿入手段１０９＞
補填映像挿入手段１０９は、再生計画手段１０７が生成した挿入計画に基づき、補填映像記憶手段１０８に記憶されている補填映像の映像データを映像再生手段１０４に渡す。具体的には、補填映像挿入手段１０９は、挿入計画に含まれている、補填映像の映像データの再生時間を示す情報に基づいて補填映像記憶手段１０８を検索し、当該再生時間を示す情報に対応付けられている映像データの識別子で識別できる映像データを読み出すようにしてもよい。
【００６５】
次に、本実施の形態の全体の動作について説明する。
【００６６】
図７は、本発明の第１の実施の形態の動作の概要を示すシーケンス図である。
【００６７】
残再生時間推定手段１０５は、受信手段１０１にて受信している映像データの受信レートを算出する（ステップＳ２０１）。また、残再生時間推定手段１０５は、再生バッファ１０３に格納されている映像データを映像再生手段１０４で再生できる時間である再生可能時間を算出する（ステップＳ２０２）。また、残再生時間推定手段１０５は、再生計画手段１０７にて生成される挿入計画を取得する（ステップＳ２０３）。なお、再生計画手段１０７にて挿入計画が生成されていない場合には残再生時間推定手段１０５は再生計画手段１０７から挿入計画を取得しなくてもよい。また、シーンチェンジ出力手段１０６は、復号手段１０２にて復号された映像データのシーンの切り替わり箇所を出力する（ステップＳ２０４）。
【００６８】
次に、残再生時間推定手段１０５は、ステップＳ２０１にて算出された受信レートと、ステップＳ２０２にて算出された再生可能時間と、ステップＳ２０３にて取得した挿入計画とに基づいて、再生バッファ１０３に格納される映像データのデータ量が所定量を下回るまでの時間である残再生時間を推定する（ステップＳ２０５）。次に、再生計画手段１０７は、シーンチェンジ出力手段１０６がステップＳ２０４にて出力したシーンの切り替わり箇所と、残再生時間推定手段１０５が推定した残再生時間とに基づいて、補填映像の映像データを映像再生手段１０４に再生させる時刻と前記補填映像の映像データの再生時間とを特定する情報である挿入計画を生成する（ステップＳ２０６）。
【００６９】
次に、補填映像挿入手段１０９は、再生計画手段１０７が生成した挿入計画に基づき、補填映像記憶手段１０８に記憶されている補填映像の映像データを映像再生手段１０４に渡す（ステップＳ２０７）。次に、映像再生手段１０４は、再生バッファ１０３に格納された映像データを読み出して再生する。また、映像再生手段１０４は、補填映像挿入手段１０９から補填映像の映像データを受け取ると再生バッファ１０３から映像データを読み出す速度を減少させ、受け取った補填映像の映像データを再生する（ステップＳ２０８）。
【００７０】
以上のステップＳ２０１乃至ステップＳ２０８の動作を所定の時刻において繰り返し実行する。なお、上記ステップが繰り返して実行される際には、２回目以降の動作において、残再生時間推定手段１０５はステップＳ２０３において、１つ前の動作のステップＳ２０６にて再生計画手段１０７が生成した挿入計画を取得する。
【００７１】
第１の実施の形態では、残再生時間推定手段１０５が、受信手段１０１にて受信している映像データの受信レートと、再生バッファ１０３に格納されている映像データを映像再生手段１０４で再生できる時間である再生可能時間と、再生計画手段１０７にて生成される挿入計画と、に基づいて再生バッファ１０３に格納される映像データのデータ量が所定量を下回るまでの時間である残再生時間を推定する。そして、再生計画手段１０７は、シーンチェンジ出力手段１０６が出力したシーンの切り替わり箇所と、残再生時間推定手段１０５が推定した残再生時間とに基づいて、補填映像の映像データを映像再生手段１０４に再生させる時刻と前記補填映像の映像データの再生時間とを特定する情報である挿入計画を生成する。この動作を繰り返し実行することで、補填映像挿入手段１０９は、適切なシーンの切り替わり箇所で補填映像の映像データを映像再生手段１０４に再生させるように補填映像の映像データを映像再生手段１０４に渡すことができる。したがって映像再生手段１０４においては、シーンの途中で補填映像の映像データが再生されることがなくなるので視聴者の体感品質を向上させることが可能となる。さらに、上記動作を繰り返し実行することで、残再生時間および挿入計画がネットワークの状況に応じて逐次更新されていく。したがってネットワークの状況に応じて適切に補填映像の映像データを挿入することができる。そして、シーンの切り替わり箇所において冗長な補填映像の映像データが挿入される可能性を減少させ、視聴者の体感品質を向上させることが可能となる。
【００７２】
第１の実施の形態において、受信手段１０１にて受信する番組の映像データの一部または全部を補填映像の映像データとして補填映像記憶手段１０８に記憶させることも可能である。この場合、復号手段１０２と補填映像記憶手段１０８とが接続され、補填映像記憶手段１０８は復号手段１０２が復号した映像データを所定の再生時間の映像データに分割した部分映像データを、あるいは復号した映像データ全体を、補填映像の映像データとして当該所定の再生時間を示す情報と対応付けて記憶しておいてもよい。また、補填映像記憶手段１０８は、受信手段１０１が番組の映像データとは異なる映像データを受信して、この受信した映像データを補填映像の映像データとして記憶することも可能である。
【００７３】
この構成によれば、補填映像記憶手段１０８はあらかじめ補填映像の映像データを記憶しておく必要がなくなる。したがって、この映像データの配信者においては補填映像の映像データを用意する必要がなくなり、またその補填映像の映像データを映像再生装置１００にあらかじめ別途送信する必要もなくなりネットワーク利用の効率化が図れる。その分視聴者が視聴したい番組の映像データ配信のためにより多くのネットワーク帯域を割り当てることが可能となり、視聴者の体感品質をさらに向上させることも可能となる。
【００７４】
また、第１の実施の形態において、補填映像記憶手段１０８と補填映像挿入手段１０９とを備える代わりに繰り返し再生手段１１０を備える構成であってもよい。図８はこの変形例における映像再生装置１００のブロック図である。繰り返し再生手段１１０は映像再生手段１０４と再生計画手段１０７とそれぞれ接続されている。
【００７５】
＜繰り返し再生手段１１０＞
繰り返し再生手段１１０は、再生計画手段１０７が生成した挿入計画に基づき、映像再生手段１０４に再生バッファ１０３から読み出す映像データの所定の部分を繰り返し再生するよう映像再生手段１０４に指示する。この場合、再生計画手段１０７は、残再生時間推定手段１０５にて算出した残再生時間とシーンチェンジ出力手段１０６にて出力したシーンの切り替わり箇所とに基づいて、再生バッファ１０３から読み出す映像データを映像再生手段１０４に繰り返し再生させる時刻と当該映像データの再生時間とを特定する情報である挿入計画を生成する。
【００７６】
そして繰り返し再生手段１１０は、当該時刻及び時間を示す情報を映像再生手段１０４に渡す。映像再生手段１０４は、繰り返し再生手段１１０から繰り返し再生させる時刻と時間とを示す情報を受け取る。繰り返し再生させる時刻となった場合に、映像再生手段１０４はあらかじめ図示しないバッファに再生した映像データを格納する。そして、このバッファに格納される映像データが繰り返し再生させる時間再生できるデータ量となった場合に、再生バッファ１０３から映像データを読み出す速度を減少させ、このバッファに格納されている映像データを、前記受け取った繰り返し再生させる時間再生する。
【００７７】
この構成によれば、補填映像の映像データをあらかじめ生成する必要がなくなる。したがって、コンテンツ配信業者においては補填映像の映像データを用意する必要がなくなり、またその補填映像の映像データを映像再生装置１００にあらかじめ別途送信する必要もなくなりネットワーク利用の効率化が図れる。その分視聴者が視聴したい番組の映像データ配信のためにより多くのネットワーク帯域を割り当てることが可能となり、視聴者の体感品質をさらに向上させることも可能となる。また、映像再生装置１００において番組の映像データから補填映像の映像データを生成する必要もなくなる。
【００７８】
なお、上記の第１の実施の形態における種々の変形例を互いに組み合わせる実施の例も実現可能である。
【００７９】
［第２の実施の形態］
次に第２の実施の形態について説明する。第２の実施の形態は第１の実施の形態を、具体例を用いて詳細に説明するものである。映像再生装置１００は、図示しない中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）及び記憶装置（メモリ及びハードディスク駆動装置（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ））を備える。映像再生装置１００は、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、図１に示すような受信手段１０１、復号手段１０２、再生バッファ１０３、映像再生手段１０４、残再生時間推定手段１０５、シーンチェンジ出力手段１０６、再生計画手段１０７、補填映像記憶手段１０８、補填映像挿入手段１０９として各種機能を実現するコンピュータとして動作する。
【００８０】
補填映像記憶手段１０８には図９に示すように補填映像の映像データを識別できる識別子と当該映像データの再生時間を示す情報とが対応付けて記憶されている。
【００８１】
ここでは簡単のため、再生バッファ１０３に格納されている映像データのデータ量が所定量を下回るまでの時間は、再生バッファ１０３に格納されている映像データのデータ量が０ｋｂｙｔｅになるまでの時間であるとする。受信レートは図１０に示すように推移するものとする。なお、図１０は本具体例における受信レートの推移の実績を示した図であって、映像再生装置１００はあらかじめこの受信レートの推移を示す情報を与えられているものではない。したがって受信レートは次のように近似されて処理される。時刻τのときにおける将来の時刻ｔの受信レートＲ（ｔ）は、Ｒ（ｔ）≒Ｒ（τ）＋Ｒ’（τ）（ｔ−τ）と近似されるものとする。また将来の時刻ｔの再生可能時間Ｘ（ｔ）は前述の式１にて算出されるものとする。なお本例においては、現在の時刻ｔの再生可能時間Ｘ（ｔ）は再生バッファ１０３に格納されている映像データのデータ量とこの映像データのビットレートとから算出されるものとする。再生バッファ１０３における再生可能時間Ｘ（ｔ）＝０のときもしくは補填映像の映像データを再生しているときＳ（ｔ）＝０とする。時刻０の再生バッファ１０３における再生可能時間Ｘ（０）＝５とする。閾値である最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とをそれぞれＸＴ１＝３、ＸＴ２＝５とする。時刻０において、再生計画手段１０７によって挿入計画が生成されていないものとする。受信手段１０１が受信する番組は図１１のようにシーンが構成されているものとする。
【００８２】
残再生時間推定手段１０５は、時刻５において受信手段１０１にて受信している映像データの受信レートを算出する。残再生時間推定手段１０５は時刻５において受信レートＲ（５）＝２であると算出する。また、残再生時間推定手段１０５は、時刻５における再生可能時間をＸ（５）＝２であると算出する。また残再生時間推定手段１０５は再生計画手段１０７から挿入計画の取得を試みるが、時刻５において再生計画手段１０７は挿入計画を生成していない。したがって残再生計画推定手段１０５は再生計画手段１０７から挿入計画を取得しない。
【００８３】
また、時刻５において、残再生時間推定手段１０５は前記算出した受信レートと再生可能時間とに基づいて残再生時間を推定する。時刻５において受信レートＲ（５）＝２、再生バッファ１０３に格納されている映像データの再生可能時間Ｘ（５）＝２である。また、前述の式２により時刻５における再生レートＳ（５）＝１と求められる。よって、受信レートを前述のように近似し、前述の式１にこれらの値を代入すると、Ｘ（ｔ）＝０に最初になるまでの時間である残再生時間は存在しないことになる。この場合、残再生時間推定手段１０５は、残再生時間が無限大であることを示す情報を再生計画手段１０７に渡す。
【００８４】
シーンチェンジ出力手段１０６は、復号手段１０２にて復号された映像データに基づいてシーンの切り替わり箇所を出力する。シーンチェンジ出力手段１０６は図１１に示すように映像データの開始時刻から６の時刻および１１の時刻にシーンの切り替わり箇所があることを出力する。シーンチェンジ出力手段１０６はシーンの切り替わり箇所を示す情報を再生計画手段１０７に渡す。
【００８５】
次に再生計画手段１０７は、残再生時間が無限大であるという情報と、シーンの切り替わり箇所を示す情報、具体的には映像データの開始時刻から６の時刻および１１の時刻という情報と、に基づいて、挿入計画を生成する。本例において、閾値である最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とはそれぞれＸＴ１＝３、ＸＴ２＝５である。これらの値に基づくと、残再生時間Ｘと最低残再生時間ＸＴ１とについてＸ＞ＸＴ１が成立する。したがって再生計画手段１０７は、補填映像の映像データを再生させないように挿入計画を生成する。具体的には再生計画手段１０７が補填映像の映像データを再生させる時刻と前記補填映像の映像データの再生時間とを示す情報を含まない挿入計画を生成すればよい。あるいは、補填映像の映像データを再生させないために再生計画手段１０７は挿入計画を生成しないという構成にしてもよい。再生計画手段１０７は、生成した挿入計画を補填映像挿入手段１０９に渡す。
【００８６】
次に補填映像挿入手段１０９は、再生計画手段１０７が生成した挿入計画に基づき、補填映像記憶手段１０８に記憶されている補填映像の映像データを映像再生手段１０４に渡す。本例の場合、補填映像挿入手段１０９は映像再生手段１０４に何も渡さなくてもよい。
【００８７】
映像再生手段１０４は、補填映像挿入手段１０９から補填映像の映像データを受け取らないので、番組の映像データを再生バッファ１０３から読み出して当該映像データの再生を継続させる。
【００８８】
次に、残再生時間推定手段１０５は、時刻１０において受信手段１０１にて受信している映像データの受信レートを算出する。残再生時間推定手段１０５は時刻１０において受信レートＲ（１０）＝０．２であると算出する。また、残再生時間推定手段１０５は、時刻１０における再生可能時間をＸ（１０）＝１．４であると算出する。また残再生時間推定手段１０５は再生計画手段１０７が時刻５において生成した挿入計画をこの再生計画手段１０７から取得する。この挿入計画は具体的には再生計画手段１０７が補填映像の映像データを再生させる時刻と前記補填映像の映像データの再生時間とを示す情報を含まない挿入計画である。あるいは再生計画手段１０７は補填映像の映像データを再生させないために挿入計画を生成しない構成も可能である。
【００８９】
次に時刻１０において、残再生時間推定手段１０５は前記算出した受信レートと再生可能時間と前記取得した挿入計画とに基づいて残再生時間を推定する。時刻１０において受信レートＲ（１０）＝０．２、再生バッファ１０３に格納されている映像データの再生可能時間Ｘ（１０）＝１．４である。また、前述の式２により時刻１０における再生レートＳ（１０）＝１である。よって、前述の式１にこれらの値を代入すると、Ｘ（ｔ）＝０に最初になるまでの時間である残再生時間は１．７５と求められる。
【００９０】
次に再生計画手段１０７は、残再生時間１．７５という情報と、シーンの切り替わり箇所を示す情報、具体的には映像データの開始時刻から６の時刻および１１の時刻という情報と、に基づいて、挿入計画を生成する。閾値である最低残再生時間ＸＴ１と目標残再生時間ＸＴ２とはそれぞれＸＴ１＝３、ＸＴ２＝５である。これらの値に基づくと、残再生時間Ｘと最低残再生時間ＸＴ１とについてＸ＜ＸＴ１が成立する。したがって再生計画手段１０７は（Ｘ＋Ｙ）≧ＸＴ２となるような補填映像の映像データの再生時間Ｙを算出する。結果としてＹ≧３．２５が得られる。再生計画手段１０７は、例えば時刻１０に最も近いシーンの切り替わり箇所である時刻１１に補填映像の映像データの再生時間４の補填映像の映像データを再生させる挿入計画を生成し、補填映像挿入手段１０９に渡す。このとき選択される補填映像の映像データの再生時間はＹより大きい値をもつものであればよい。補填映像の映像データの再生時間としてＹにより近い値が選ばれる場合がより好適である。
【００９１】
次に補填映像挿入手段１０９は、再生計画手段１０７が生成した挿入計画に基づき、補填映像記憶手段１０８に記憶されている再生時間４の補填映像の映像データを時刻１１までの所定の時刻に映像再生手段１０４に渡す。この所定の時刻は挿入計画に示される補填映像の映像データの再生時刻に基づいて算出されるものであってもよい。例えば挿入計画に示される補填映像の映像データの再生時刻から一定の時間を引いた値を所定の時刻としてもよい。
【００９２】
映像再生手段１０４は、時刻１１になると再生バッファ１０３からの読み出しを停止し、補填映像挿入手段１０９から受け取った再生時間４の補填映像の映像データを再生する。補填映像の映像データの再生が終わると再生バッファから番組の映像データを再び読み出して当該映像データの再生時間１１からの映像データの再生を継続させる。
【００９３】
第２の実施の形態によれば、時刻５において再生バッファ１０３に格納されるデータ量が少ない、つまり残再生時間が短い場合であっても再生計画手段１０７は補填映像の映像データを再生させないように挿入計画を生成できる。これは、残再生時間推定手段１０５が、再生バッファ１０３に格納されているデータ量だけではなく、受信手段１０１の受信レート、または、再生計画手段１０７が生成する挿入計画にも基づいて残再生時間を推定し、再生計画手段１０７が、推定された前記残再生時間に基づいて補填映像の映像データを映像再生手段１０４に再生させるか否かを決定する挿入計画を生成するからである。
【００９４】
つまり、本願の各関連技術では図１２に示すようにシーンの切り替わり箇所で冗長な補填映像の映像データが再生されてしまう。本実施形態にかかる映像再生装置においては図１３に示すとおりシーンの切り替わり箇所にて適切に補填映像の映像データを再生させることが可能となるので視聴者の体感品質を向上させることができる。ただし、図１２及び図１３は本具体例もしくは本願の各関連技術を実際に適用した際の再生可能時間の推移の実績を示した図であって、映像再生装置１００はあらかじめこれら再生可能時間の推移を示す情報を与えられているものではない。
【００９５】
なお、本発明の一形態である映像再生装置９０（図１４）は、ネットワークを介して受信する映像データを格納する再生バッファ（例えば再生バッファ９１）と、前記再生バッファから前記映像データを読み出して再生する再生手段（例えば再生手段９２）と、所定時間あたりに受信する前記映像データのデータ量に基づいて、前記再生バッファに格納されている映像データのデータ量が所定の値を下回るまでの時間である残再生時間を推定する残再生時間推定手段（例えば残再生時間推定手段９３）と、シーンの切り替わり箇所を示す情報に基づいて前記映像データのシーンの切り替わり箇所を出力するシーンチェンジ出力手段（例えばシーンチェンジ出力手段９４）と、補填映像の映像データと前記補填映像の映像データの再生時間を示す情報とを対応付けて記憶する補填映像記憶手段（例えば補填映像記憶手段９５）と、前記残再生時間と前記シーンの切り替わり箇所とに基づいて、前記補填映像の映像データを前記再生手段に再生させる時刻と前記補填映像の映像データを前記再生手段に再生させる時間とを特定できる情報を生成する再生計画手段（例えば再生計画手段９６）と、前記再生計画手段にて生成される情報に基づいて前記情報で示される再生時間を示す情報と対応付けられている前記補填映像の映像データを前記再生手段に渡す補填映像挿入手段（例えば補填映像挿入手段９７）と、を備え、前記再生手段は、前記補填映像挿入手段から補填映像の映像データを受け取ると、前記再生バッファから映像データを読み出す速度を減少させ、前記受け取る補填映像の映像データを再生する。
【００９６】
これによれば、映像再生装置９０は、番組の映像データを受信すると、受信する受信レートと前記映像再生装置に格納される映像データのデータ量と補填映像の映像データを再生させる時刻および時間を特定するための情報である挿入計画とに基づき前記映像再生装置が映像データの再生を停止させることなく再生できる時間である残再生時間を推定する。そして映像再生装置９０は、残再生時間と番組のシーンの切り替わり箇所とに基づき前記挿入計画を生成する。この動作を繰り返し実行することで、通信可用帯域が保証されないネットワークを介して番組の映像データを受信する際においても、残再生時間および挿入計画がネットワークの状況に応じて逐次更新されていく。したがってネットワークの状況に応じて適切に補填映像の映像データを挿入することができる。例えばシーンの切り替わり箇所において冗長な補填映像の映像データが挿入される可能性を減少させるので、視聴者の体感品質を向上させることができる。
【００９７】
以上、これまで述べてきた各実施の形態は、本発明の好適な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００９８】
また、本発明の各実施の形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、コンピュータとプログラムとで実現することができる。プログラムは磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。
【産業上の利用可能性】
【００９９】
本発明によれば、テレビ、セットトップボックス（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ：ＳＴＢ）、パーソナルビデオレコーダ（Ｐｅｒｓｏｎａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒ：ＰＶＲ）、ネットワークパーソナルビデオレコーダ（ｎｅｔｗｏｒｋ  Ｐｅｒｓｏｎａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒ：ｎＰＶＲ）、メディアプレーヤソフトウェアなどネットワークを介して受信した映像データを再生する機器やプログラムに適用可能である。
【符号の説明】
【０１００】
９０  映像再生装置
９１  再生バッファ
９２  映像再生手段
９３  残再生時間推定手段
９４  シーンチェンジ出力手段
９５  再生計画手段
９６  補填映像記憶手段
９７  補填映像挿入手段
１００  映像再生装置
１０１  受信手段
１０２  復号手段
１０３  再生バッファ
１０４  映像再生手段
１０５  残再生時間推定手段
１０６  シーンチェンジ出力手段
１０７  再生計画手段
１０８  補填映像記憶手段
１０９  補填映像挿入手段
１１０  繰り返し再生手段
【図１】
2010171828.tif 000005
【図２】
2010171828.tif 000006
【図３】
2010171828.tif 000007
【図４】
2010171828.tif 000008
【図５】
2010171828.tif 000009
【図６】
2010171828.tif 000010
【図７】
2010171828.tif 000011
【図８】
2010171828.tif 000012
【図９】
2010171828.tif 000013
【図１０】
2010171828.tif 000014
【図１１】
2010171828.tif 000015
【図１２】
2010171828.tif 000016
【図１３】
2010171828.tif 000017
【図１４】
2010171828.tif 000018