(57)【要約】【課題】映像コンテンツの動画サムネイルを一覧表示するに際し、動画サムネイルを映像コンテンツの通常の再生レートで再生するためにユーザ操作を必要とせず、且つ限られたリソースの中で可能な限りの数の動画サムネイルを通常の再生レートで再生・表示させる。【解決手段】映像コンテンツ再生装置１の復号制御部１４は、映像コンテンツ毎に、動画像ストリームデータの表示又は復号に関する予定時刻に対する復号終了時点での遅延量に基づき、遅延が生じているか否かを判定し、遅延なしの映像コンテンツについては入力された全ての動画像ストリームデータを復号する通常再生モードで、遅延ありの映像コンテンツについては、単位時間当たりの復号処理量を通常再生モード時より下げて復号するスロー再生モード、若しくは入力されたうちの一部の動画像ストリームデータのみを復号するスキップ再生モードで、動画像復号部１３における復号動作を制御する。【選択図】図１
2011188244.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示するための映像コンテンツ再生装置であって、
動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータから、動画像ストリームデータと該動画像ストリームデータの表示又は復号に関する予定時刻を示す時刻情報とを取得するストリーム処理部と、
該ストリーム処理部で取得した動画像ストリームデータを復号することで動画サムネイル用の動画像フレームを得ると共に、前記時刻情報が示す予定時刻に対する復号終了時点での遅延量を算出する動画像復号部と、
該動画像復号部における復号動作を、前記遅延量に基づき制御する復号制御部と、
前記時刻情報に基づき、前記動画像復号部で得られた動画像フレームを調整しながら出力する画像出力部と、
を備え、
前記復号制御部は、前記映像コンテンツ毎に前記遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては、入力された全ての動画像ストリームデータを復号する通常再生モードで前記動画像復号部における復号動作を制御し、遅延が生じていると判定された映像コンテンツについては、単位時間当たりの復号処理量を前記通常再生モード時より下げて復号するスロー再生モード、若しくは入力されたうちの一部の動画像ストリームデータのみを復号するスキップ再生モードで、前記動画像復号部における復号動作を制御することを特徴とする映像コンテンツ再生装置。
【請求項２】
複数の映像コンテンツのうち優先して動画サムネイル用の復号処理を施す映像コンテンツを設定する設定部をさらに備え、
前記復号制御部は、前記設定部で優先すると設定された映像コンテンツについては、前記遅延量にかかわらず通常再生モードで、前記動画像復号部における復号動作を制御することを特徴とする請求項１に記載の映像コンテンツ再生装置。
【請求項３】
音声ストリームデータを復号する音声復号部をさらに備え、
前記ストリーム処理部は、前記設定部で優先すると設定された映像コンテンツについて、前記動画像復号部で前記動画像ストリームデータを復号することで得られた動画像フレームの時刻情報に合わせて、該動画像ストリームデータに対応する音声ストリームデータを取得し、該音声ストリームデータを前記音声復号部に供給することを特徴とする請求項２に記載の映像コンテンツ再生装置。
【請求項４】
前記動画像復号部は、復号処理対象となる動画像ストリームデータに対応する時刻情報を、前記復号制御部で決定された再生モードに応じて、若しくは前記遅延量に応じて変更することを特徴とする請求項１〜３のいずれか１項に記載の映像コンテンツ再生装置。
【請求項５】
一覧表示させる複数の動画サムネイルのうち一つの動画サムネイルについては、前記遅延量にかかわらず、音声を同期させて通常再生で再生処理を実行することを特徴とする請求項３に記載の映像コンテンツ再生装置。
【請求項６】
複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示するための、映像コンテンツ再生装置における制御方法であって、
動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータから、動画像ストリームデータと該動画像ストリームデータの表示又は復号に関する予定時刻を示す時刻情報とを取得する取得ステップと、
該取得ステップで取得した動画像ストリームデータを復号することで動画サムネイル用の動画像フレームを得ると共に、前記時刻情報が示す予定時刻に対する復号終了時点での遅延量を算出する動画像復号ステップと、
該動画像復号ステップにおける復号動作を、前記遅延量に基づき制御する復号制御ステップと、
前記時刻情報に基づき、前記動画像復号ステップで得られた動画像フレームを調整しながら出力する出力ステップと、
を有し、
前記復号制御ステップは、前記映像コンテンツ毎に前記遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては、入力された全ての動画像ストリームデータを復号する通常再生モードで前記動画像復号ステップにおける復号動作を制御し、遅延が生じていると判定された映像コンテンツについては、単位時間当たりの復号処理量を前記通常再生モード時より下げて復号するスロー再生モード、若しくは入力されたうちの一部の動画像ストリームデータのみを復号するスキップ再生モードで、前記動画像復号ステップにおける復号動作を制御することを特徴とする制御方法。
【請求項７】
複数の映像コンテンツのうち優先して動画サムネイル用の復号処理を施す映像コンテンツを設定する設定ステップをさらに有し、
前記復号制御ステップは、前記設定ステップで優先すると設定された映像コンテンツについては、前記遅延量にかかわらず通常再生モードで、前記動画像復号ステップにおける復号動作を制御することを特徴とする請求項６に記載の制御方法。
【請求項８】
前記設定ステップで優先すると設定された映像コンテンツについて、前記動画像復号ステップにより前記動画像ストリームデータを復号することで得られた動画像フレームの時刻情報に合わせて、該動画像ストリームデータに対応する音声ストリームデータを取得するステップと、
該音声ストリームデータを復号する音声復号ステップと、
をさらに有することを特徴とする請求項７に記載の制御方法。
【請求項９】
前記動画像復号ステップは、復号処理対象となる動画像ストリームデータに対応する時刻情報を、前記復号制御部で決定された再生モードに応じて、若しくは前記遅延量に応じて変更するステップを有することを特徴とする請求項６〜８のいずれか１項に記載の制御方法。
【請求項１０】
一覧表示させる複数の動画サムネイルのうち一つの動画サムネイルについては、前記算出ステップで算出された遅延量にかかわらず、音声を同期させて通常再生で再生処理を実行することを特徴とする請求項８に記載の制御方法。
【請求項１１】
請求項６〜１０のいずれか１項に記載の制御方法を、コンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムをコンピュータ読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像コンテンツの中から、サムネイルの一覧表示により所望の映像コンテンツの選択を可能にする映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、映像コンテンツを記録媒体に記録するレコーダ等の記録装置では、多数の映像コンテンツを一覧表示するために、映像コンテンツを代表する静止画像として映像コンテンツの動画像１フレームを縮小表示することが行なわれている。このような映像コンテンツを代表する画像は、一般にサムネイルと呼ばれている。複数の映像コンテンツが記録されている場合には、複数のサムネイルを一画面に一覧表示して、この一覧表示によりユーザに所望の映像コンテンツを選択させるように、記録装置を構成することができる。
【０００３】
ところで、近年の記録媒体の大容量化や通信回線の高速化を背景に、ローカルな記録媒体に記録されたりネットワークを介してアクセス可能とされる映像コンテンツの量は、着実に増加している。このように映像コンテンツの数が多くなった場合に、所望の映像コンテンツにアクセスするためには、静止画によるサムネイル表示では不十分である。なぜなら多数の映像コンテンツを記録した状態では、視聴前から個別にその映像コンテンツの内容を把握していることもあるが、視聴前において映像コンテンツに関する漠然としたイメージ以上の知識を持っていないことも多く、表示される情報だけから映像コンテンツの内容を判断するのが困難であるからである。このような場合の例としては、個人により撮影や編集された映像コンテンツを視聴する場合や、ユーザ自身が個別に録画設定をしなくとも、自動的に視聴履歴やキーワード設定などに従ったユーザ好みに応じて録画された映像コンテンツを視聴する場合が挙げられる。
【０００４】
このようなときに目的の映像コンテンツを効率的に検索するためには、一覧表示において映像コンテンツの内容を端的に表している動画像を見ながら探すことが有効である。そのため、サムネイルに動画像を用いることが提案されているものの、処理量が増加してしまうといった問題が生じ得る。
【０００５】
この問題を解決するために、一覧表示の中でユーザが選択したものを通常の映像再生時と同じ再生レートで再生し、それ以外のものは処理量の少ない再生とする技術が開示されている。例えば、特許文献１には、記録媒体に記録されている複数の動画像データの内の所定数の動画像データの縮小画像（動画像）を所定の配列形式で一覧表示する機能を有するディスプレイと、ディスプレイに表示されている所定数の縮小画像のうちから少なくとも１つを選択する選択キーと、選択キーにより選択された動画像データの再生レート（再生フレームレート）を、選択されなかった動画像データより高くするようにディスプレイを制御する制御部とを具備する画像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術をはじめとする従来の技術では、通常の再生レートの映像として表示させるためにはユーザが対象となる映像コンテンツを逐一指定する必要があり、操作感としては、サムネイルとして静止画像を一覧表示させた状態で１つずつ再生してみることと大差がない。つまり、従来の技術では、動画像によるサムネイル（つまり動画サムネイル）を一覧表示しているにもかかわらず、同時視聴のメリットを十分に生かすことができていないという問題がある。
【０００８】
本発明は、上述のような実状に鑑みてなされたものであって、その目的は、複数の映像コンテンツについての動画サムネイルを一覧表示するに際し、動画サムネイルを映像コンテンツの通常の再生レートで再生するためにユーザ操作を必要とせず、且つ限られたリソースの中で可能な限りの数の動画サムネイルを通常の再生レートで再生・表示させることが可能な映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の技術手段は、複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示するための映像コンテンツ再生装置であって、動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータから、動画像ストリームデータと該動画像ストリームデータの表示又は復号に関する予定時刻を示す時刻情報とを取得するストリーム処理部と、該ストリーム処理部で取得した動画像ストリームデータを復号することで動画サムネイル用の動画像フレームを得ると共に、前記時刻情報が示す予定時刻に対する復号終了時点での遅延量を算出する動画像復号部と、該動画像復号部における復号動作を、前記遅延量に基づき制御する復号制御部と、前記時刻情報に基づき、前記動画像復号部で得られた動画像フレームを調整しながら出力する画像出力部と、を備え、前記復号制御部は、前記映像コンテンツ毎に前記遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては、入力された全ての動画像ストリームデータを復号する通常再生モードで前記動画像復号部における復号動作を制御し、遅延が生じていると判定された映像コンテンツについては、単位時間当たりの復号処理量を前記通常再生モード時より下げて復号するスロー再生モード、若しくは入力されたうちの一部の動画像ストリームデータのみを復号するスキップ再生モードで、前記動画像復号部における復号動作を制御することを特徴としたものである。
【００１０】
第２の技術手段は、第１の技術手段において、複数の映像コンテンツのうち優先して動画サムネイル用の復号処理を施す映像コンテンツを設定する設定部をさらに備え、前記復号制御部は、前記設定部で優先すると設定された映像コンテンツについては、前記遅延量にかかわらず通常再生モードで、前記動画像復号部における復号動作を制御することを特徴としたものである。
【００１１】
第３の技術手段は、第２の技術手段において、音声ストリームデータを復号する音声復号部をさらに備え、前記ストリーム処理部は、前記設定部で優先すると設定された映像コンテンツについて、前記動画像復号部で前記動画像ストリームデータを復号することで得られた動画像フレームの時刻情報に合わせて、該動画像ストリームデータに対応する音声ストリームデータを取得し、該音声ストリームデータを前記音声復号部に供給することを特徴としたものである。
【００１２】
第４の技術手段は、第１〜第３のいずれかの技術手段において、前記動画像復号部は、復号処理対象となる動画像ストリームデータに対応する時刻情報を、前記復号制御部で決定された再生モードに応じて、若しくは前記遅延量に応じて変更することを特徴としたものである。
【００１３】
第５の技術手段は、第３の技術手段において、一覧表示させる複数の動画サムネイルのうち一つの動画サムネイルについては、前記遅延量にかかわらず、音声を同期させて通常再生で再生処理を実行することを特徴としたものである。
【００１４】
第６の技術手段は、複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示するための、映像コンテンツ再生装置における制御方法であって、動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータから、動画像ストリームデータと該動画像ストリームデータの表示又は復号に関する予定時刻を示す時刻情報とを取得する取得ステップと、該取得ステップで取得した動画像ストリームデータを復号することで動画サムネイル用の動画像フレームを得ると共に、前記時刻情報が示す予定時刻に対する復号終了時点での遅延量を算出する動画像復号ステップと、該動画像復号ステップにおける復号動作を、前記遅延量に基づき制御する復号制御ステップと、前記時刻情報に基づき、前記動画像復号ステップで得られた動画像フレームを調整しながら出力する出力ステップと、を有し、前記復号制御ステップは、前記映像コンテンツ毎に前記遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては、入力された全ての動画像ストリームデータを復号する通常再生モードで前記動画像復号ステップにおける復号動作を制御し、遅延が生じていると判定された映像コンテンツについては、単位時間当たりの復号処理量を前記通常再生モード時より下げて復号するスロー再生モード、若しくは入力されたうちの一部の動画像ストリームデータのみを復号するスキップ再生モードで、前記動画像復号ステップにおける復号動作を制御することを特徴としたものである。
【００１５】
第７の技術手段は、第６の技術手段において、複数の映像コンテンツのうち優先して動画サムネイル用の復号処理を施す映像コンテンツを設定する設定ステップをさらに有し、前記復号制御ステップは、前記設定ステップで優先すると設定された映像コンテンツについては、前記遅延量にかかわらず通常再生モードで、前記動画像復号ステップにおける復号動作を制御することを特徴としたものである。
【００１６】
第８の技術手段は、第７の技術手段において、前記設定ステップで優先すると設定された映像コンテンツについて、前記動画像復号ステップにより前記動画像ストリームデータを復号することで得られた動画像フレームの時刻情報に合わせて、該動画像ストリームデータに対応する音声ストリームデータを取得するステップと、該音声ストリームデータを復号する音声復号ステップと、をさらに有することを特徴としたものである。
【００１７】
第９の技術手段は、第６〜第８のいずれかの技術手段において、前記動画像復号ステップは、復号処理対象となる動画像ストリームデータに対応する時刻情報を、前記復号制御部で決定された再生モードに応じて、若しくは前記遅延量に応じて変更するステップを有することを特徴としたものである。
【００１８】
第１０の技術手段は、第８の技術手段において、一覧表示させる複数の動画サムネイルのうち一つの動画サムネイルについては、前記算出ステップで算出された遅延量にかかわらず、音声を同期させて通常再生で再生処理を実行することを特徴としたものである。
【００１９】
第１１の技術手段は、第６〜第１０のいずれかの技術手段における制御方法を、コンピュータに実行させるためのプログラムである。
第１２の技術手段は、第１１の技術手段におけるプログラムをコンピュータ読み取り可能に記録した記録媒体である。
【発明の効果】
【００２０】
本発明によれば、映像コンテンツ再生装置において、複数の映像コンテンツについての動画サムネイルを一覧表示するに際し、動画サムネイルを映像コンテンツの通常の再生レートで再生するためにユーザ操作を必要とせず、限られたリソースの中で可能な限りの数の動画サムネイルを通常の再生レートで再生・表示させることが可能になる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る映像コンテンツ再生装置の構成例を示すブロック図である。
【図２】図１の映像コンテンツ再生装置を適用したシステム構成例を示す図である。
【図３】図２のシステムにおけるディスプレイの一覧表示画面の例を示す模式図である。
【図４】図１の映像コンテンツ再生装置の動作における内部状態の遷移例を示す図である。
【図５】図１の映像コンテンツ再生装置の動作の一例を示すフローチャート図である。
【図６】図５の処理における表示時刻情報の書き換え処理の一例を示す図である。
【図７】図１の映像コンテンツ再生装置における表示時刻情報の変化の一例を示す図である。
【図８】図１の映像コンテンツ再生装置における表示時刻情報の変化の一例を示す図である。
【図９】図１の映像コンテンツ再生装置における音声再生処理の一例を示すフロー図である。
【図１０】図１の映像コンテンツ再生装置における制御情報の加工例を示す図である。
【図１１】図１０の制御情報に従った一覧表示画面の遷移の一例を示す図である。
【図１２】図１の映像コンテンツ再生装置における制御情報の他の加工例を示す図である。
【発明を実施するための形態】
【００２２】
本発明に係る映像コンテンツ再生装置は、複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示すること、若しくは一覧表示のために出力することが可能な装置である。前者の場合、映像コンテンツ再生装置にディスプレイが含まれ、後者の場合、以下の例で挙げるように映像コンテンツ再生装置にディスプレイが接続されることになる。以下、本発明について、図面を参照しながら、一覧表示のための処理を同時に行う映像コンテンツのストリームデータ数を４とした例を挙げて説明するが、ストリームデータ数はこれに限ったものではなく、複数であれば効果を奏する。
【００２３】
図１は、本発明の一実施形態に係る映像コンテンツ再生装置の構成例を示すブロック図である。映像コンテンツ再生装置１は、再生制御部１０、及び再生制御部１０を制御する制御部１８を備える。再生制御部１０は、データ取得部１１、ストリーム処理部１２、動画像復号部１３、復号制御部１４、画像出力部１５、音声復号部１６、及び音声出力部１７を備える。
【００２４】
本発明の構成要素である各部は、例えば、マイクロプロセッサ、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現される。上記ハードウェアの一部又は全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の構成要素の各部の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【００２５】
データ取得部１１は、動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータを再生制御部１０の外部から入力することで取得し、ストリーム処理部１２へ出力する。データ取得部１１はデータ入力部とも呼べる。
【００２６】
ストリーム処理部１２は、データ取得部１１から入力されるストリームデータについて、そのヘッダ解析及び解析した結果に基づき、ストリームデータに多重化された動画像ストリームデータ、及び音声ストリームデータを分離して取得する。ストリーム処理部１２は、分離した動画像ストリームデータを動画像復号部１３に、音声ストリームデータを音声復号部１６に出力する。
【００２７】
データ取得部１１及びストリーム処理部１２では、制御部１８から指定された映像コンテンツについての動画像ストリームデータ及び音声ストリームデータを取得する。音声ストリームデータは、２以上の音声出力経路を有するよう構成しておけば動画像ストリームデータとの同数再生できるように取得させてもよいが、そのような構成でなければ複数の映像コンテンツの中の１つについての音声ストリームデータのみ再生できるように取得させればよい。
【００２８】
ここで、制御部１８は、表示エリアや１つの動画サムネイルの表示サイズや他の予め定められた規則に従って、表示できる数の映像コンテンツについて取得を行うようデータ取得部１１等を制御すればよい。例えば映像コンテンツの取得元がローカルやネットワーク上の記録装置である場合、デフォルト又はユーザ指定のフォルダ内にある映像コンテンツの中から、ファイル名の昇降順やファイル容量の大きい順や小さい順などの所定の順序で、且つ、デフォルト又はユーザ指定された表示サイズの動画サムネイルが表示エリアに収まる数だけ若しくはデフォルト又はユーザ指定された数だけ（この数と表示エリアで表示サイズも自動的に決定できる）、映像コンテンツを抽出するよう指定すればよい。なお、１つ又は所定数の映像コンテンツについてのみ音声ストリームデータを再生させる場合には、例えば、指定された複数の映像コンテンツのうちの一番最初又は一番最初から上記所定数分の映像コンテンツに対応するものを再生対象とすることができる。しかし、後述するように通常の再生レートで表示されている動画像ストリームデータに対応する音声データを再生対象とすることが好ましい。そのため、通常の再生レートで動画像が再生されているという条件を満たす映像コンテンツの音声データを優先的に再生対象とすることが好ましい。
【００２９】
また、動画像ストリームデータは一般に動画像１フレーム分の符号化データで構成される。動画像の各フレームには表示されるべき時刻（表示予定時刻）の情報が付随しており、ストリーム処理部１２は、動画像ストリームデータを出力する際に、当該動画像ストリームデータの表示予定時刻を示す情報（以下、表示時刻情報）を同時に取得して出力する。
【００３０】
表示時刻情報としてストリームに付随している表示予定時刻としては、映像コンテンツの開始をゼロとしてカウントした時刻、若しくは放送時刻が適用できる。この表示時刻情報として、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２等においては復号・再生の単位であるアクセスユニット毎に付されたタイムスタンプのＰＴＳ（Presentation Time Stamp）と呼ばれる情報が適用できる。なお、表示予定時刻（すなわち再生予定時刻）を示す表示時刻情報を用いることを前提に説明するが、この表示時刻情報の代わりの時刻情報である、復号予定時刻を示す復号時刻情報（ＭＰＥＧ−２の例ではＤＴＳ（Decoding Time Stamp））を採用してもよく、その場合にも以下に説明する処理と基本的に同様の思想で処理を行うことができる。
【００３１】
動画像復号部１３は、入力された動画像ストリームデータから動画像の１フレームを復号する。この繰り返しにより、動画像復号部１３は、動画像ストリームデータから動画サムネイル用の一連の動画像フレームを得る。また、動画像ストリームデータと同時に入力される表示時刻情報は、当該復号フレームを表示するタイミングを指定するものであり、復号フレームと合わせて画像出力部１５に出力される。
【００３２】
さらに動画像復号部１３は、復号処理の終了が表示時刻情報が示す表示予定時刻に対してどの程度遅延しているかを示す遅延量（遅延時間、若しくは遅延時間に関係する量）を算出し、算出した遅延量を復号制御部１４に出力する。また、動画像復号部１３は、復号制御部１４の制御により復号時の動作が変更可能となっており、復号動作によってはフレームの表示時刻情報を書き換えて出力する。動画像復号部１３は、表示予定時刻に対する復号終了時点での遅延量を映像コンテンツ毎に算出する。なお、上述したように遅延量は復号予定時刻に対する遅延量であってもよい。その場合には復号予定時刻に対する復号開始時の時刻の遅れが遅延量となり、復号から表示までに要する時間を考慮するか若しくは無視するかにより、以下の説明が援用できる。
【００３３】
復号制御部１４は、動画サムネイルの一覧表示処理時の動画像復号部１３の動作を、遅延量に基づき映像コンテンツ毎に制御する。より具体的には、復号制御部１４は、動画像復号部１３から入力される遅延量に基づき、復号処理に遅延が発生しているかを判定し、遅延発生時にはその映像コンテンツについて、単位時間当りの処理量を減らす方向に動画像復号部１３の動作を制御する。ここで動画像復号部１３における動作の違いを再生モードの違いとして記載する。なお、本発明におけるこの再生モードは、再生レートに関するモードであり、従って本発明の制御とは別にユーザ指定も可能に構成しておくことができる。
【００３４】
さらに具体的には、復号制御部１４は、遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては、入力された全ての動画像ストリームデータを復号する通常再生モードで、動画像復号部１３における復号動作を制御する。通常再生モードとは、映像コンテンツのストリームデータの再生レート（フレームレート）で再生することを指す。
【００３５】
一方で復号制御部１４は、遅延が生じていると判定された映像コンテンツについては、スロー再生モード、若しくはスキップ再生モードで、動画像復号部１３における復号動作を制御する。ここで、スロー再生モードやスキップ再生モードは、以下に説明するように通常再生モードより処理負荷が軽い動作を行うため、遅延量を低減することができる。
【００３６】
スロー再生モードとは、単位時間当たりの復号処理量を通常再生モード時のレートより下げて復号するモードを指す。スキップ再生モードとは、入力されたうちの一部の動画像ストリームデータ（すなわち一部のフレーム）のみを復号して他をスキップするモードを指し、例えば決まった枚数のフレーム間隔、Ｉフレーム間隔、決まった枚数のＩフレーム間隔などで復号・再生するモードを指す。スロー再生モード若しくはスキップ再生モードのいずれを採用して制御するかは、設計により予め決めておけばよい。また、単位時間当りの処理量を減らす方向に段階的に再生モードを切り替えるように制御してもよい。その場合、スロー再生やスキップ再生の度合いによって設計できるため、スロー再生モードを採用しておきさらに遅延が大きければスキップ再生モードを採用しても、逆にスキップ再生モードを採用しておきさらに遅延が大きければスロー再生モードを採用してもよい。
【００３７】
また、図１の構成例では４つの映像コンテンツについての処理を行う例を挙げているため、データ取得部１１をデータ取得部１１ａ〜１１ｄ、ストリーム処理部１２をストリーム処理部１２ａ〜１２ｄ、動画像復号部１３を動画像復号部１３ａ〜１３ｄと、それぞれ４つに分けて図示している。しかし、動画像復号部１３ａ〜１３ｄのそれぞれはソフトウェアの各要素を指し、基本的には復号処理を行うハードウェア（復号ハードウェア、又は復号プログラムを実行するＣＰＵ）は１つであり、ストリームデータ毎にハードウェアリソースが予め設けられている訳ではない。また、データ取得部１１ａ〜１１ｄのそれぞれ、ストリーム処理部１２ａ〜１２ｄのそれぞれについても同様である。このように、再生制御部１０では映像コンテンツ毎にデータの取得、分離、復号及び遅延量算出を行うが、本発明の映像コンテンツ再生装置１では基本的に、あるストリームデータの遅延は、他のストリームデータの復号状況を含む処理負荷の影響を受けて変わる。
【００３８】
動画サムネイルの再生の初期動作について補足すると、動画サムネイルの再生開始時点では、全ての動画サムネイルが通常の再生レートで再生されることが望ましい。しかし、初期動作はこれに限ったものではない。例えば１つ又は所定数の映像コンテンツについてのみ通常の再生レートで再生させると決めておき、指定された複数の映像コンテンツのうちの最初又は最初から上記所定数分の映像コンテンツに対応するものを通常の再生レートでの再生対象とし、それ以外はスロー再生モード又はスキップ再生モードとしてもよい。また、スロー再生モード及びスキップ再生モードの双方を段階的に採用する構成では、スロー再生モードとスキップ再生モードの数も予め決めておいてもよい。さらに、表示させる動画サムネイルの数に応じて、通常再生モード、スロー再生モード、スキップ再生モード、それぞれの数を決めて、再生開始を行ってもよい。これにより、再生開始から直ぐに遅延が発生するようなことを未然に防ぐことができ、各映像コンテンツに対する再生モードが収斂し易くなる。
【００３９】
画像出力部１５は、復号された各フレームの出力タイミングを表示時刻情報に基づき調整しながら、動画サムネイルとして出力を行う。より具体的には画像出力部１５は、表示時刻情報に基づき、入力された復号後のフレーム毎に表示してもよいかどうかを判断し、表示可能な場合には外部に出力する。表示可能か否かの判断については後述する。また、動画像フレームのデータ形式、カラーフォーマットなどを必要に応じて変換する。例えば、フレームがＹ，Ｕ，Ｖの色空間データで、表示がＲ，Ｇ，Ｂ色空間であるとき、ＹＵＶからＲＧＢに変換する。
【００４０】
音声復号部１６は入力された音声ストリームデータから音声の１フレームを復号する。この繰り返しにより、音声復号部１６は、音声ストリームデータから動画サムネイルと合わせて出力するための一連の音声フレームを得る。なお、所定数のサンプルから構成される音声データの集合をフレームと呼んでいる。音声出力部１７は、音声復号部１６から入力された音声データを出力する。また、動画サムネイルは音声なしでも再生できるため、この動画サムネイルの再生に関しては音声復号部１６及び音声出力部１７は必須ではない。
【００４１】
また、映像コンテンツ再生装置１は次の設定部を備えることが好ましい。この設定部は、複数の映像コンテンツのうち優先して動画サムネイル用の復号処理を施す映像コンテンツ、すなわち複数の動画サムネイルのうち優先して処理する動画サムネイルを設定する。この設定部は、制御部１８及び設定を受け付ける図示しない操作部などで例示できる。
【００４２】
ここでなされる優先設定は、複数のサムネイルを再生・表示した状態でそのうちの１つを選択するといったユーザ操作によってなされるものは含まず、あくまでサムネイル一覧表示処理前に設定されるもの、若しくはサムネイル一覧表示処理前に少なくともそのルールが設定されるものとする。また、優先設定は、例えば制御部１８が外部から取得する制御情報や、上記操作部でのユーザ操作により生成され制御部１８が受け取る操作情報に基づき、１つの映像コンテンツに対して行われる。以下の例では１つのみ優先設定される場合についてのみ説明するが、無論、映像コンテンツ再生装置１のスペックによりサムネイル表示可能数より少ない所定数の映像コンテンツについて、優先指定を行ってもよい。
【００４３】
制御部１８が上述したような優先設定に従って優先の映像コンテンツを１つ指定することで、再生制御部１０を次のように制御する。復号制御部１４は、複数の映像コンテンツの中から他に優先して再生すべき映像コンテンツの指定を制御部１８から受けた場合、遅延量（現在の遅延量、現在の状態）にかかわらず、無論その時点における再生モードにもよらず、当該映像コンテンツが通常再生モード（つまり通常の再生レート）での再生となるように、動画像復号部１３の復号動作を制御する。これにより遅延する映像コンテンツが累積して多数の映像コンテンツを通常再生してしまい、処理すべき量がスペックを上回ってしまうといった事態を防ぐことができるため好ましい。
【００４４】
制御情報による優先設定としては、後述の図１０で例示するような事前設定ルールに従って設定されるものが挙げられる。ここでの事前設定ルールとは、映像コンテンツ配信側が指定した区間を制御部１８が判定し、その区間についてはその映像コンテンツを優先設定するといったルールである。また、制御情報が外部の情報から与えられない場合には、適宜、所定のルールに従って優先指定の制御情報を生成すればよい。上記所定のルーととしては、例えば映像コンテンツの再生時間の長さを取得し、長さの順に優先指定をしてもよいし、画面に表示した際の並び順に例えば上から下、左から右の順に一定時間優先指定してもよいし、全くランダムに優先指定してもよい。
【００４５】
また、操作情報による優先設定としては、例えば一番上／中央／一番下に表示されるべきサムネイルを優先とするといったルールなど、事前にユーザが複数のルールの中から１つのルールを指定するといった設定であってもよい。また、上記所定のルールのいずれか複数の中から選択できるようにしてもよい。また、操作情報による優先設定の他の例としては、後述する図１０における調整ルールに従うようなユーザ設定を採用することもできる。この調整ルールは、最初に遅延した映像コンテンツを優先して指定しておき、次に遅延した映像コンテンツが発生した時点でその映像コンテンツを優先として指定するといったルールである。
【００４６】
次に図２〜図１２を参照しながら、映像コンテンツ再生装置１を含むシステム構成例や、上記設定部を設けた好ましい例について説明する。図２は、図１の映像コンテンツ再生装置を適用したシステム構成例を示す図である。図３は、図２のシステムにおけるディスプレイの一覧表示画面の例を示す模式図である。
【００４７】
図２で例示するコンテンツ表示システムは、複数の映像コンテンツを処理し同時に動画サムネイルの表示を行うことが可能な上述のごとき映像コンテンツ再生装置１に、記録装置２、上記操作部の一例である操作デバイス５、ディスプレイ３、スピーカ４を接続して構成される。このコンテンツ表示システムとしては、例えばテレビ装置、携帯電話機など様々な機器が挙げられる。また、記録装置２は、記録媒体とその読み取り装置で構成される。なお、記録装置２に蓄積された映像コンテンツに限らず、通信により得た映像コンテンツなども動画サムネイルの表示対象とすることができる。
【００４８】
ディスプレイ３は、図３に例示するように、マルチコンテンツを動画サムネイルで表示ができるユーザインターフェースの表示部となる。ディスプレイ３上には、図３に示すように複数の映像コンテンツの動画サムネイル３１ａ〜３１ｄが表示される。そのうちの１つの映像コンテンツについて付随する音声を鳴らすことができる。例えば、制御部１８が記録装置２に記録された制御情報を読み出して、その制御情報に基づき音声を鳴らす映像コンテンツを決定することができる。この制御情報としては、例えば上述したように、複数の映像コンテンツのうちの一番最初の映像コンテンツに対応する音声を指定する情報や、通常の再生レートで表示されている動画像ストリームデータに対応する音声を指定する情報などが挙げられる。また、動画サムネイル３１ａ〜３１ｄのそれぞれについて、付随するテキスト情報３２ａ〜３２ｄもストリームデータから分離して表示させることで、ユーザはより実際に視聴したい映像コンテンツを選択し易くなる。
【００４９】
図４は、図１の映像コンテンツ再生装置の動作における内部状態の遷移例を示す図である。起動後は初期状態Ｉである。処理すべき最初の映像コンテンツが指定されて動画サムネイル表示処理を開始すると、内部状態は一覧表示状態ＩＶのうちの優先指定なしの再生状態ＩＩに遷移する。この状態ＩＩでは映像コンテンツを全て非優先として音声を出力しなければよい。システム全体の処理量が少なければ算出した遅延量もなく、引き続き通常再生モードのままの再生となり、多ければ遅延が生じ、遅延が発生した段階でスロー再生モード又はスキップ再生モードでの再生が実行される。ここで事前の優先設定に従って優先指定ありの再生状態ＩＩＩに遷移する。この状態ＩＩＩでは１つの映像コンテンツが優先して処理され、通常再生モードで動画サムネイルを再生すると共に、その音声も再生する。優先指定が解除されると優先指定なしの再生状態ＩＩＩに遷移する。また、優先指定の映像コンテンツが変更されても状態は優先指定ありの再生状態ＩＩＩのまま変化しない。
【００５０】
図５を併せて参照しながら、図４における優先指定なしの再生状態におけるデータ取得部１１、ストリーム処理部１２、動画像復号部１３の動作例を説明する。図５は、図１の映像コンテンツ再生装置の動作の一例を示すフローチャート図である。
【００５１】
まず始めに、制御部１８は、動画サムネイルを再生すべき映像コンテンツを特定する（ステップＳ１）。例えば、記録媒体上にファイルとして記録されている映像コンテンツを読み出して特定したり、ネットワーク上のサーバにアクセスして利用可能な映像コンテンツ名を取得したりする。さらに制御部１８は、制御部１８自身の内部など、映像コンテンツ再生装置１の内部に保持している基準となるシステム時刻を初期化する。
【００５２】
なお、図５で説明する処理は、特に個々のステップについて言及しないが、複数の映像コンテンツのそれぞれに対して基本的に独立した処理でなされる。但し、算出される遅延量は他の映像コンテンツの影響を受ける。ステップＳ１における動画サムネイルを再生すべき映像コンテンツの特定は、順番に開始していけばよい。
【００５３】
次にストリーム処理部１２は、制御部１８の制御に従い、データ取得部１１を経由して映像コンテンツのストリームデータを取得し、その映像コンテンツのストリームデータを解析し、動画像と音声ストリームについての情報を取得する（ステップＳ２）。ここで取得できる情報は、動画像の場合、解像度、フレームレート、符号化方式、ストリームデータ中のどの位置から動画像の１フレーム分のデータが取得できるかを示すオフセット値、表示時刻情報などである。ストリーム解析終了後、ストリーム処理部１２は、動画像ストリームデータを取り出し、このデータに対応した表示時刻情報を必要に応じて加工して、動画像ストリームデータと共に動画像復号部１３に出力する（ステップＳ３）。そして、ストリーム処理部１２は、データが終了したか否かを判定し（ステップＳ４）、終了していれば処理を終了する。一方、データが終了していない場合、次のステップＳ５へ進む。
【００５４】
次に動画像復号部１３は、復号制御部１４により指定された再生モードに基づき、入力された表示時刻情報を書き換えが必要か否かを判定し（ステップＳ５）、必要な場合のみ書き換えを実行する（ステップＳ６）。ここで、再生モードとは、上述したように通常再生、スロー再生、スキップ再生のいずれかの動作を示す。また、ステップＳ６では、動画像復号部１３は、復号処理対象となる動画像ストリームデータに対応する表示時刻情報（つまり表示予定時刻）を、復号制御部１４から指示された再生モードに応じて変更する。また、再生モードに応じて変更する代わりに、遅延量に応じて変更するようにしてもよく、いずれの場合でも動作状況に応じて変更がなされる。なお、この変更処理（書き換え処理）を再生モードに基づき動画像復号部１３が実行するものとして説明するが、復号制御部１４からの書き換え制御に基づき動画像復号部１３が実行するようにしてもよい。
【００５５】
ここで、図６を参照しながらこの書き換え処理の一例を説明する。図６は、図５の処理における表示時刻情報の書き換え処理の一例を示す図で、動画像復号部１３における表示時刻情報の変更前後の関係の例を示す図である。システム時刻が表示時刻情報が示す表示予定時刻（又はその時刻から算出された時刻、以下同様）Ｌｃに達するまで、通常再生モードで動作していたとすると、システム時刻がＬｃに達するまでは表示時刻情報を書き換える必要がなく、表示時刻情報をそのまま出力すればよい。
【００５６】
システム時刻が表示予定時刻Ｌｃに達したときに通常再生モードからスロー再生モードになったとし、２倍スローになったとして説明する。２倍スローとは、例えば１００フレームを１０コマ／秒の再生レート（表示レート）で再生して１０秒かかる再生を通常再生レートとすると、５コマ／秒の表示レートで再生すること、つまり１００フレームを２０秒で再生することを指す。
【００５７】
２倍スローであれば表示予定時刻の変更前後の関係は直線Ａから傾きが２倍の直線Ｂに変わるため、この直線Ｂに従うように表示時刻情報における表示予定時刻を書き換える。例えばシステム時刻がＬｉ−１、Ｌｉのときには、通常再生モードのままの場合、それぞれ表示予定時刻Ｌｉ−１のフレーム、Ｌｉのフレームが再生されるはずであった。しかし、２倍スロー再生に制御が変わっているため、その表示予定時刻Ｌｉ−１、ＬｉをそれぞれＬｉ´−１、Ｌｉ´に書き換えて出力する。システム時刻がＬｄになったときにスロー再生モードから再度、通常再生モードに移行すると、表示予定時刻の関係は直線Ｂから直線Ａ´に変更となる。ここで直線Ａと直線Ａ´とは傾きが同じであるが切片が異なるため、通常再生モードに戻ってはいるものの表示時刻情報を書き換える必要がある。従って、例えば表示予定時刻Ｌｄをそのまま出力せず、Ｌ´ｄに書き換えてから出力する。
【００５８】
図５の処理においてステップＳ６に続き、動画像復号部１３は、動画像ストリームデータを復号するか否かを判定し（ステップＳ７）、ＮＯであればステップＳ２へ戻り、ＹＥＳであれば復号処理を実行する（ステップＳ８）。ステップＳ８では、動作モードが通常再生モードやスロー再生モードである場合には、そのまま復号する。但し、スロー再生モードの場合には再生レートに従ったレートで復号を実行すれば済む。スキップ再生モードである場合には、復号処理の前に動画像ストリームデータを調べ、その符号化モードを取得する。ここで、符号化モードとは、動画像１フレームのストリームデータが当該フレームのストリームデータのみで復号できるか（イントラ）、それとも他のフレームの情報を利用するか（インター）を指す。スキップ再生モードでは、例えば符号化モードがイントラのストリームデータのみを復号する。なお、スキップ再生モードでは、そのモード以前にスロー再生モードを経ない限り、基本的に通常再生モードと同様に、表示時刻情報が示す表示予定時刻に基づいた再生を行えばよい。但し、スキップ再生モードでも遅延が生じない限りサムネイル再生処理の速度を早めて再生してもよいし、逆に速度を遅めて再生（つまりスキップ且つスロー再生）して他の動画ストリームデータについての遅延の解消などに寄与するようにしてもよく、いずれの場合でも、表示予定時刻の書き換えが必要となる。
【００５９】
動画像復号部１３は、ステップＳ８における復号処理終了後、復号制御部１４から遅延量に基づき決定された再生モードを取得し（ステップＳ９）、ステップＳ２へ戻る。次のループでは、取得した再生モードに基づきステップＳ２でのデータの取得やステップＳ８での復号処理などが施される。
【００６０】
復号制御部１４は、図５の処理で示される動作とは独立して動作し、動画像復号部１３での復号処理の遅延量を監視する。遅延の発生は、システム時刻を取得して表示予定時刻に対する遅延量を算出し、例えば、遅延量が所定の閾値を越えた場合や所定時間において遅延量が一定割合以上増加し続ける場合に生じているとすればよい。復号制御部１４は、遅延量から遅延が発生していると判定した場合、各動画像復号部１３の動作モードを例えば通常→スロー→スキップの順に負荷の軽い方向へ変更し、遅延が発生せず十分に処理に余裕があると判定した場合には逆に負荷の大きい方向へ変更する。この変更された再生モード、若しくは遅延していない場合には維持された再生モードが、ステップＳ９で動画像復号部１３に渡されることになる。
【００６１】
画像出力部１５は、各動画像復号部１３ａ〜１３ｄからの復号フレーム及び表示時刻情報のデータ出力に合わせて、表示のための出力タイミングを調整する。より具体的には画像出力部１５は、システム時刻を取得し、復号フレームの現在の表示時刻情報と比較する。システム時刻と表示時刻情報が示す表示予定時刻との差が所定の閾値以下の場合、若しくは表示予定時刻がシステム時刻に対して遅れている場合には、復号フレームを出力する。
【００６２】
復号フレームの出力タイミングとそれに先立ってなされる表示時刻情報の変化について、図７及び図８を参照しながら説明する。図７及び図８は、図１の映像コンテンツ再生装置における表示時刻情報の変化の一例を示す図である。図７及び図８では、再生処理の開始時に制御部１８がシステム時刻をＴ０に初期化したとする。ストリーム処理部１２は、ストリームデータに付加された表示予定時刻ｔ（ｉ）をＴ（ｉ）＝Ｔ０＋ｄ＋ｔ（ｉ）に変更する。この変更は図５のステップＳ４で説明した加工に該当する処理である。また、ｄは表示予定時刻を更に一定だけ遅らせるためのオフセット値であり、ストリームデータにおいて放送時刻で表示予定時刻が指定されている場合にはこのオフセット値ｄは適用しない。
【００６３】
次に、ストリーム処理部１２は、Ｔ（ｉ）を動画像復号部１３に出力する。動画像復号部１３は、図５のステップＳ６で説明したようにＴ（ｉ）をＴ´（ｉ）＝Ｔ（ｉ）＋αに書き換える。ここで、αは図６を参照して説明した、（変換後の表示予定時刻）−（変換前の表示予定時刻）が示す値に相当し、通常再生モードやスキップ再生時には、スロー再生を経た場合は上記値、それ以外はゼロとなり、スロー再生時には徐々に最大で上記値まで変化していく。
【００６４】
図７の例では、復号処理が終了した時点でのシステム時刻をＴ１としている。この場合、動画像復号部１３はＴ１−Ｔ´（ｉ）を遅延量として出力する。図７の例ではＴ´（ｉ）＞Ｔ１であり、遅延は生じていない。このとき、動画像復号部１３は画像出力部１５に表示予定時刻としてＴ´（ｉ）をそのまま出力し、画像出力部１５はシステム時刻がＴ´（ｉ）になった時点で復号フレームを出力する。
【００６５】
図８の例では、復号処理が終了した時点でのシステム時刻をＴ２としている。この場合、動画像復号部１３はＴ２−Ｔ´（ｉ）を遅延量として出力する。図８の例ではＴ´（ｉ）＜Ｔ２あり、遅延が生じている。このとき、動画像復号部１３は画像出力部１５に表示予定時刻としてＴ´（ｉ）をそのまま出力するが、画像出力部１５はシステム時刻がＴ２の時点、つまり復号フレームを受け取った時点で即座にその復号フレームを出力する。
【００６６】
次に、上述した例における音声の再生例について説明する。図４における優先指定ありの再生状態IIIでは、１つの映像コンテンツを優先として音声を出力する。この場合、図５のステップＳ４で動画像ストリームデータだけでなくそれに対応した音声ストリームデータを取得し、音声復号部１６で復号処理を実行する。さらに、復号制御部１４は他の映像コンテンツの状態にかかわらず、優先指定された映像コンテンツを処理する動作モード（例えば動画像復号部１３ａの動作モード）を通常再生モードとする。
【００６７】
ここで、図９を参照して、図４における優先指定なしの状態ＩＩから優先指定ありの状態IIIへの遷移した際の音声再生処理の具体例を説明する。図９は、図１の映像コンテンツ再生装置における音声再生処理の一例を示すフロー図である。状態IIでは一例を挙げたように音声出力はなされないことを前提として処理を説明する。
【００６８】
まず、制御部１８は、優先指定後に復号された動画フレームの表示時刻情報を取得し（ステップＳ１１）、取得した表示時刻情報をストリーム処理部１２に入力する。ステップＳ１１で取得する表示時刻情報は、画像出力部１５にて扱われる最終的な表示予定時刻Ｔ´（ｉ）とは異なり、動画像ストリームデータに付随して映像コンテンツのストリームデータに多重化されている値ｔ（ｉ）である。これは、前述のように再生制御が行われると表示時刻情報の書き換えがなされるためである。ステップＳ１１で値ｔ（ｉ）が必要となるため、動画フレームに関する表示時刻情報の書き換えはｔ（ｉ）を残す形で差分を追記するか、若しくはその差分を別途保存しておきステップＳ１１で再度計算しｔ（ｉ）を得ればよい。
【００６９】
ストリーム処理部１２ではデータ取得部１１を経由して音声ストリームデータを取得する（ステップＳ１２）。このように、ストリーム処理部１２は、優先すると設定された映像コンテンツについて、動画像復号部１３で動画像ストリームデータを復号することで得られた動画像フレームの表示時刻情報ｔ（ｉ）に合わせて、その動画像ストリームデータに対応する音声ストリームデータを取得し、音声復号部１６に供給するとよい。
【００７０】
そして、入力された表示時刻情報が示す表示予定時刻と取得した音声ストリームデータの表示時刻情報が示す表示予定時刻とを比較する（ステップＳ１３）。なお、動画フレームに関する表示時刻情報の書き換えを完全に実行する場合でステップＳ１１で再計算しない場合には、上記差分を保存しておきその差分を加味してステップＳ１３で比較を実行すればよい。音声ストリームデータは必ずしも指定時刻のものが得られるとは限らないため、出力時に動画像との同期をとる。音声ストリームデータの表示予定時刻と、入力された動画像ストリームデータに関する表示予定時刻との差が所定の値以下であれば、その音声ストリームデータは出力可能であり、そうでなければ出力不可である。出力不可となった音声ストリームデータは、表示予定時刻となるまで保存してもよいし、破棄してもよい。ストリーム処理部１２は、このような判断基準に基づき音声出力が可能か否かを判定し（ステップＳ１４）、ＮＯであればステップＳ１２へ戻ってさらに別の音声ストリームデータを取得する。
【００７１】
ステップＳ１４でＹＥＳの場合、すなわち音声ストリームデータの出力が可能と判定された場合、ストリーム処理部１２はデータ取得部１１を経由して取得した音声ストリームデータを音声復号部１６に渡す。音声復号部１６は、その音声ストリームデータの復号処理を開始し、音声出力部１７に出力する。そして、音声出力部１７は必要に応じて種々の音声処理を施し、復号された音声データは動画サムネイルに対して、互いのストリーム付加の表示予定時刻やそれに基づき算出された時刻の情報に基づき同期した状態で、音声を出力する。
【００７２】
次に、図１０〜図１２を参照しながら制御情報による優先設定について具体例を挙げて説明する。図１０は、図１の映像コンテンツ再生装置における制御情報の加工例を示す図で、図１１は、図１０の制御情報に従った一覧表示画面の遷移の一例を示す図である。
【００７３】
制御部１８で扱う制御情報は、映像コンテンツの再生時間のうちある区間を指定する情報で構成される。ここで制御情報により指定される区間のことを強調区間と呼ぶ。制御部１８は、強調区間では、映像コンテンツを優先として通常再生レートで且つ音声込みで再生するよう再生制御部１０を制御する。制御情報の強調区間は、例えば配信側が映像コンテンツのハイライトとして指定した区間を、その映像コンテンツの動画サムネイルの優先指定のために抽出するといった事前設定ルールに基づき、制御部１８が判定することができる。これにより、映像コンテンツ提供側の意図を反映することができる。
【００７４】
また、制御部１８は、複数の映像コンテンツについて指定された強調区間に重なりがあれば、それらの調整を行う。調整ルールとしては、例えば強調区間の早い順に並べた後に重なる区間について全体の割合に応じて優先とする長さを決定するといったルールを採用してもよいし、強調区間の長さの短いものを優先するといったルールを採用してもよいし、それ以外のルールを採用してもよい。この調整ルールは上述したようにユーザ設定により決めることも可能にしておいてもよい。
【００７５】
図１０の例では、制御情報Ｃ１〜Ｃ４はそれぞれ映像コンテンツ１〜４に対応した制御情報であり、それぞれでｐ１、ｐ２、ｐ３及びｐ４、ｐ５の強調区間があるものとする。この場合、強調区間が重なっているため、例えば制御情報Ｃとして示すように、ｔ０〜ｔ１では映像コンテンツ２を優先とし、ｔ１〜ｔ２では映像コンテンツ３を優先とし、ｔ２〜ｔ３では映像コンテンツ１を優先とし、ｔ３〜ｔ４では映像コンテンツ４を優先としている。これにより、図１１に示すように表示画面が画面３０ａ、画面３０ｂ、画面３０ｃ、画面３０ｄと遷移していく。図１１の画面３０ａ〜３０ｄではそれぞれ映像コンテンツの動画サムネイル３３ａ〜３３ｄが通常再生モードで再生され、それに付随して音声も出力される。
【００７６】
図１０の例のように、調整ルールとしては、最初に遅延した映像コンテンツを優先して指定しておき、次に遅延した映像コンテンツが発生した時点でその映像コンテンツを優先として指定するといったルールを採用することもできる。また、この調整ルールを採用する場合、ある映像コンテンツが事前にストリームデータで設定された強調区間に入ったときでも、所定のユーザ操作が受け付けられたときには優先設定をキャンセルして優先設定前の制御に戻す処理を付加することや、所定のユーザ操作が受け付けられたときにはその戻す処理を行うものの他の映像コンテンツの強調区間があればそちらを自動的に優先設定する処理を付加することもできる。これにより、映像コンテンツ提供側の意図を反映するだけでなくユーザの意思も反映できる。
【００７７】
図１０では強調区間の調整により通常再生を行うストリームデータが１つに制御された例を挙げたが、次に、スロー再生モードとスキップ再生モードとの振り分けも施した例を、図１２を参照しながら説明する。図１２は、図１の映像コンテンツ再生装置における制御情報の他の加工例を示す図である。
【００７８】
図１２の例では、制御情報Ｃ１〜Ｃ４はそれぞれ映像コンテンツ１〜４に対応した制御情報であり、それぞれでｐ１、ｐ２、ｐ３及びｐ４、ｐ５の強調区間があるものとする。この場合、強調区間が重なっているため、制御部１８は、強調区間として通常再生したのち、他に強調区間が移ったあとはスロー再生モードへ移行するように制御情報を調整している。図１２では各映像コンテンツ１〜４についての制御情報として、無色で示す時間帯は通常再生モードで、縦線のハッチングで示す時間帯はスロー再生モードで、黒色のべた塗りで示す時間帯はスキップ再生モードで、それぞれ制御することを示している。例えば映像コンテンツ１の制御情報は、ｔ２以前とｔ４以降はスキップ再生モードで制御し、ｔ２〜ｔ３は優先指定により通常再生モードで制御し、ｔ３〜ｔ４はスロー再生モードで制御するように調整する。
【００７９】
以上、図１〜図１２を参照しながら説明したように、映像コンテンツの動画サムネイル一覧表示における再生方法（通常再生と低負荷の再生）を、処理負荷を示す量の一例である遅延量に基づき制御することで、過度に負荷がかかることを防ぐことができる。特に、本発明では、動画サムネイルを映像コンテンツの通常の再生レートで再生するためにユーザ操作を必要とせず、限られたリソースの中で可能な限りの数の動画サムネイルを通常の再生レートで再生・表示させることができ、一覧性及び視認性を損なうことなく同時視聴のメリットを生かすことができる。また、再生方法の変化に伴って動画像フレームの表示時刻情報が復号処理で書き換えられても、通常再生における動画像と音声の同期を実現し、見やすい表示が実現できる。なお、本発明の思想は遅延量以外で処理負荷を求める場合にも適用できる。
【００８０】
また、優先指定する映像コンテンツについては一覧表示の再生方法の如何を問わず通常レートで再生することで、映像コンテンツのサムネイル一覧表示に要するシステム全体の処理量を抑えつつ、優先的に再生すべき映像コンテンツに対してはユーザが指定することなく速やかに通常再生に切り替えることができ、これによりユーザにとって映像コンテンツの内容把握が簡便で好みの映像コンテンツを見つけやすい視聴環境を提供できる。さらに優先指定する映像コンテンツを適宜切り替えて表示し、その際に例えば制御情報の強調区間として映像コンテンツのハイライトを指定することで、ユーザに視聴のポイントをガイドし、映像コンテンツの内容把握を容易とし、好みの映像コンテンツを選択しやすくすることができる。つまり、ユーザに対して、簡単且つ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供可能となる。
【００８１】
また、本発明に係る映像コンテンツ再生装置における動画サムネイル一覧表示処理について様々な例を説明したが、このような一覧表示により表示された複数の動画サムネイルのうち、好みの１つを選択することでその１つの動画サムネイルの元の映像コンテンツがはじめから再生されるように構成しておけばよい。そして、この再生に必要な構成要素は、図１のデータ取得部１１、ストリーム処理部１２、動画像復号部１３、画像出力部１５、音声復号部１６、音声出力部１７、及び制御部１８でまかなえるように構成することができる。
【００８２】
また、以上説明したように、本発明に係る映像コンテンツ再生装置は、動画サムネイルを一覧表示させる際に、元の映像コンテンツの表示レートで再生する通常再生と、その元の映像コンテンツより表示レートを下げて再生するスロー再生と、その元の映像コンテンツの一部のフレームをスキップして再生するスキップ再生とのいずれを実行するかを、再生処理の遅延量に基づき動画サムネイル毎（つまり映像コンテンツ毎）に判定して、判定結果に従って再生処理を実行する装置であると言える。ここで、スロー再生やスキップ再生については復号処理を無理に省略する必要は装置のスペックによっては必要なくなる場合がある。さらに、この映像コンテンツ再生装置は、上述したように、一覧表示させる複数の動画サムネイルのうち一つの動画サムネイルについては、遅延量にかかわらず音声を同期させて通常再生（通常の再生レート）で再生処理を実行するよう構成することもでき、この構成は特に携帯電話機や携帯情報端末やテレビ装置に組み込むことで有益になる。
【００８３】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）によりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体は本発明を構成することになる。
【００８４】
また、処理の手順を図示しながら説明したように、本発明としては、複数の映像コンテンツのそれぞれについての動画サムネイルを一覧表示するための、映像コンテンツ再生装置における制御方法としての形態も採用することができる。なお、上記プログラムコード自体は、換言すると、この制御方法をコンピュータに実行させるためのプログラムである。
【００８５】
簡単に説明すると、この制御方法は、次の取得ステップ、動画像復号ステップ、復号制御ステップ、及び出力ステップを有する。取得ステップは、動画サムネイルを一覧表示する対象の映像コンテンツのストリームデータから、動画像ストリームデータとその動画像ストリームデータの表示又は復号に関する予定時刻を示す時刻情報とを取得する。動画像復号ステップは、取得ステップで取得した動画像ストリームデータを復号することで動画サムネイル用の動画像フレームを得ると共に、時刻情報が示す予定時刻に対する復号終了時点での遅延量を算出する。復号制御ステップは、動画像復号ステップにおける復号動作を、遅延量に基づき制御する。出力ステップは、表示時刻情報に基づき、動画像復号ステップで得られた動画像フレームを調整しながら出力する。そして、復号制御ステップは、映像コンテンツ毎に遅延量に基づき遅延が生じているか否かを判定し、遅延が生じていないと判定された映像コンテンツについては通常再生モードで、遅延が生じていると判定された映像コンテンツについてはスロー再生モード若しくはスキップ再生モードで、動画像復号ステップにおける復号動作を制御する。その他の応用例については、映像コンテンツ再生装置について説明した通りのものが適用できるため、その説明を省略する。
【００８６】
以上、本発明について説明したが、本発明の映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。
【符号の説明】
【００８７】
１…映像コンテンツ再生装置、２…記録装置、３…ディスプレイ、４…スピーカ、５…操作デバイス、１０…再生制御部、１１…データ取得部、１２…ストリーム処理部、１３…動画像復号部、１４…復号制御部、１５…画像出力部、１６…音声復号部、１７…音声出力部、１８…制御部。
【図１】
2011188244.tif 000003
【図２】
2011188244.tif 000004
【図３】
2011188244.tif 000005
【図４】
2011188244.tif 000006
【図５】
2011188244.tif 000007
【図６】
2011188244.tif 000008
【図７】
2011188244.tif 000009
【図８】
2011188244.tif 000010
【図９】
2011188244.tif 000011
【図１０】
2011188244.tif 000012
【図１１】
2011188244.tif 000013
【図１２】
2011188244.tif 000014