(57)【特許請求の範囲】
【請求項１】
ストリームメディアに付与されたシーンの開始位置と終了位置を記述したインデクス情報を用いて、該ストリームメディアを部分再生するストリームメディア再生装置において、
１つのシーンに対して、複数の再生開始位置および複数の再生終了位置が記述されたインデクス情報と、
前記インデクス情報を有するシーンを選択する手段と、
前記選択されたシーンに対して、当該シーンに対応付けられた複数の再生開始位置から１つの再生開始位置を決定するとともに、当該シーンに対応付けられた複数の再生終了位置から１つの再生終了位置を決定して、１つの映像再生区間を決定する手段と、
前記決定された映像再生区間を再生する手段と、
を有することを特徴とするストリームメディア再生装置。
【請求項２】
前記決定する手段は、ユーザから入力されたキーワードに基づいて、ルールに基づき前記１つの再生開始位置、および前記１つの再生終了位置を決定する、請求項１に記載のストリームメディア再生装置。
【請求項３】
コンピュータを、請求項１または請求項２に記載のストリームメディア再生装置として機能させるストリームメディア再生プログラム。
【請求項４】
コンピュータを、請求項１または請求項２に記載のストリームメディア再生装置として機能させるストリームメディア再生プログラムを記録した記録媒体。
【請求項５】
ストリームメディアに付与されたシーンの開始位置と終了位置を記述したインデクス情報を用いて、該ストリームメディアを部分配信する配信サーバと、該ストリームメディアを受信し、再生するストリームメディア再生装置とを含むストリームメディア配信システムにおいて、
前記配信サーバが、
１つのシーンに対して、複数の再生開始位置および複数の再生終了位置が記述されたインデクス情報と、
前記インデクス情報を有するシーンを選択する手段と、
前記選択されたシーンに対して、当該シーンに対応付けられた複数の再生開始位置から１つの再生開始位置を決定するとともに、当該シーンに対応付けられた複数の再生終了位置から１つの再生終了位置を決定して、１つの映像再生区間を決定する手段と、
前記決定された映像再生区間を配信する手段と、
を有することを特徴とするストリームメディア配信システム。
【請求項６】
前記配信サーバは、ユーザから入力されたキーワードを前記ストリームメディア再生装置から受信する手段を有し、
前記決定する手段は、前記キーワードに基づいて、ルールに基づき前記１つの再生開始位置、および前記１つの再生終了位置を決定する、請求項５に記載のストリームメディア配信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ストリームメディア、例えば、映像、音声に付与された、シーンの開始位置と終了位置を記述したインデクス情報を用いて、映像、音声を部分再生するストリームメディア再生方法および装置に関する。
【０００２】
【従来の技術】
デジタル放送や、電子化された映像など、様々なデジタル映像が大量に作成されている。これらの映像に対し、映像の内容を記述したメタ情報が付与されたり、また、シーン毎にその意味を示すインデクス情報が振られることが多くなってきた。メタ情報、インデクス情報の記述の仕方として、国際的な標準化が進んでおり、有名な標準記述に、MPEG―7 (ISO/IEC 15938)がある。
【０００３】
インデクス情報には様々な情報が含まれるが、主たるものとして、シーンの映像中の位置を指す時刻情報、シーンの内容を示すシーン情報がある。元来、インデクス情報はシーンを記述したものであるので、シーンの開始時間位置、終了時間位置が記述されている。そこで例えば、特定のシーンを検索し、そのシーンだけを再生しようとする場合に使われていた。つまり、インデクス情報のうち、シーン情報を用いて映像を検索し、時刻情報を用いてそのシーン開始時間位置から終了時間位置まで映像を再生することによって、特定のシーンだけを再生するという方法があった。
【０００４】
【発明が解決しようとする課題】
ユーザがシーンを再生する場合、その目的は様々な場合がある。例えば、サッカーなどのスポーツ映像で、「Ａ選手のシュート」のシーン再生の目的は、「Ａ選手の活躍する姿が見たい」、「試合の展開としてシュートに持ち込んだ戦術が見たい」、「シュート時のキーパーの動きが見たい」など、様々な目的がある。それぞれの目的に応じるためには、「Ａ選手がシュートした」瞬間のシーンを中心にして、その前後の映像も含めて再生しなければならない場合がある。
【０００５】
従来のシーン再生方法では、インデクス情報に指定された開始時間位置と終了時間位置が予め指定されていて、上記の様々な目的に応じて再生位置を変更する手段が存在しなかったため、どの場合においても全て同じ映像を再生していた。
【０００６】
本発明の目的は、ユーザが指定するシーンの再生時に再生目的に応じて、適切な再生開始／終了位置で映像シーンを見せることができるストリームメディア再生方法、装置、およびシステムを提供することにある。
【０００７】
本発明の他の目的は、ユーザの目的に応じた映像再生が可能なストリームメディア再生方法、装置、およびシステムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、インデクス情報に複数の再生開始位置を記述し、インデクス情報に記述されている複数の再生開始位置のうち、１つの再生開始位置を選択して、該再生位置から映像再生を開始する。
【０００９】
また、インデクス情報に複数の再生終了位置を記述し、インデクス情報に記述されている複数の再生終了位置のうち、１つの再生終了位置を選択し、該再生終了位置で映像再生を終了する。
【００１０】
そのため、１つのシーンに対して、ユーザの目的に応じた複数の再生開始／終了位置をインデクス情報として予め付与しておけば、ユーザが指定するシーンの再生時に再生目的に応じて、適切な再生開始／終了位置で映像を見せることが可能になる。
【００１１】
さらに、本発明は、インデクス情報に記述されているシーン開始位置とユーザの再生目的から映像再生開始位置を算出し、インデクス情報に記述されているシーン終了位置とユーザの再生目的から映像再生終了位置を算出する。
【００１２】
そのため、その再生／終了位置を用いてシーン再生を行えば、ユーザの目的に応じた映像再生が可能である。
【００１３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１４】
図１は本発明の第１の実施形態のストリームメディア再生装置の構成図である。
【００１５】
本実施形態のストリームメディア再生装置は具体的には映像再生装置で、映像ＤＢ１０１と映像再生制御器１０２と再生位置決定器１０３とインデクス情報ＤＢ１０４と映像再生器１０５と目的指示器１０６で構成されている。なお、映像ＤＢ１０１とインデクス情報ＤＢ１０４は、１つのＤＢとして構成されることもある。
【００１６】
映像ＤＢ１０１には映像が蓄積されている。インデクス情報ＤＢ１０４にはシーンに付与されたインデクス情報が格納されている。目的指示器１０６はユーザが再生目的を入力するためのものである。再生位置決定器１０３は、シーンに付与されたインデクス情報をインデクス情報ＤＢ１０４から取出し、目的指示器１０６から入力された再生目的に応じて、ルールに基づきシーンの再生開始位置、終了位置を決定する。映像再生制御器１０２は再生位置決定器１０３で決定された再生開始位置から終了位置までの映像を映像ＤＢ１０１から取出し、映像再生器１０５に送り、映像を再生する。ここで、目的指示器１０６は画面と入力デバイスの組を想定している。あるいは、目的指示器１０６はユーザの操作履歴から自動的に再生目的を推定するものであってもよい。
【００１７】
次に、ユーザが見たいシーンを、映像および映像に付与されたインデクス情報を用いてシーン検索するなどの別の手段を用いて決定した後の、本装置の動作について説明する。
【００１８】
例えば、サッカーなどのスポーツ映像の各シーンに付与されるインデクス情報には、「シュート」や「ゴール」などといった映像中で発生したイベントに関する情報や、そのイベントを起こした選手名などが記述されている。また、そのイベント開始時間位置、終了時間位置が記述されている。
【００１９】
本実施形態では、インデクス情報にはユーザの目的に応じて、例えば、「シュートをする選手がボールを持ってから、シュートを打つまで」や「シュートに繋がるパスを出す選手がボールを持ってから、シュート後のキーパーの動きが止まるまで」など複数のシーン開始時間位置、終了時間位置が予め記述されている。
【００２０】
ユーザが所望のシーンを再生するとき、まず目的指示器１０６を用いて、自分の再生目的を指示する。例えば、「選手の活躍を見るため」や「試合の展開を見るため」などといったキーワードでユーザが直接指定しても構わないし、ユーザの再生操作履歴やユーザの脳波や眼球運動などを測定するセンサから、ユーザの目的を抽出する手段を用いても構わない。
【００２１】
指示された目的は再生位置決定器１０３に送られる。再生位置決定器１０３はシーンに付与されたインデクス情報をインデクス情報ＤＢ１０４から取出して、ユーザの視聴目的に応じて、ルールに基づきシーンの再生開始位置、終了位置を決定する。例えば、ユーザの目的が、「選手の活躍を見るため」であった場合、「シュートをする選手がボールを持ってから、シュートを打つまで」の開始時間、終了時間を、また、「試合の展開を見るため」であった場合、「シュートに繋がるパスを出す選手がボールを持ってから、シュート後のキーパーの動きが止まるまで」の開始時間、終了時間を、ルールに基づいてそれぞれシーンの再生開始位置、終了位置として決定する。ここで、ルールは表形式で記述されていてもよいし、目的に最も近い再生開始時間と終了時間を推論エンジン等を用いて別の手段で導出してもよい。
【００２２】
インデクス情報の表現方法として、異なるシーン開始位置、終了位置を持つ同じシーンを、複数の別々のシーンとして定義し、各々に振られるインデクス情報をインデクス情報ＤＢ１０４に格納することもある。その場合は、再生位置決定器１０３が目的に応じて所望のシーン開始位置、終了位置を持つインデクス情報を選択する。
【００２３】
決定された、シーンの再生開始位置、終了位置は映像再生制御器１０２へ送られる。映像再生制御器１０２は、指定された開始位置から終了位置まで映像を映像ＤＢ１０１から取出し、映像再生器１０５へ送る。映像再生器１０５は送られた映像を再生し、ユーザに提供する。
【００２４】
以上の動作により、ユーザの視聴目的に応じたシーン再生が行える。
【００２５】
また、第２の例として、再生位置決定器１０３がシーンの再生開始位置、終了位置を算出する例について図１を用いて説明する。
【００２６】
第１の例と同様に、ユーザが所望のシーンを再生するとき、まず目的指示器１０６を用いて、自分の再生目的を指示する。指示された目的は再生位置決定器１０３に送られる。再生位置決定器１０３はシーンに付与されたインデクス情報をインデクス情報ＤＢ１０４から取出して、ユーザの視聴目的に応じて、ルールに基づきシーンの再生開始位置、終了位置を算出し、決定する。再生開始位置、終了位置の算出は例えば、以下のような手順で行われる。インデクス情報として振られているシーン開始位置を中心にして、映像ＤＢ１０１から映像を取出し、その前後の映像を解析する。解析では、例えば、映像のカット点を検出したり、映像中に映っている選手や風景などを認識してその登場点を検出したりする。解析結果を用いて、目的に応じた適切な再生開始位置を選択する。例えば、ユーザの目的が「選手の活躍を見るため」であった場合、「シュートをする選手がボールを持つ」瞬間を映像の認識により求め、その時点を再生開始位置と決定する。再生終了位置についても同様である。
【００２７】
第１の例と同様に、決定されたシーンの再生開始位置、終了位置は映像再生制御器１０２へ送られる。映像再生制御器１０２は、指定された開始位置から終了位置まで映像を映像ＤＢ１０１から取出し、映像再生器１０５へ送る。映像再生器１０５は送られた映像を再生し、ユーザに提供する。
【００２８】
図２は本発明の第２の実施形態であるストリームメディア配信システムの構成図である。なお、図１中と同番号は同じ構成要素を示している。
【００２９】
本ストリームメディア配信システムは、映像を配信する配信サーバ１と、映像を再生するクライアントである再生装置２で構成されている。配信サーバ１と再生装置２は、例えばインターネットを始めとするＩＰ網や電話回線などのネットワークや通信回線で結ばれている。
【００３０】
配信サーバ１は映像ＤＢ１０１と映像配信制御器１０７と再生位置決定器１０３とインデクス情報ＤＢ１０４と映像送信器１０８で構成されている。再生装置２は映像受信器１０９と映像再生器１０５と目的指示器１０６で構成されている。
【００３１】
次に、ユーザが見たいシーンを、映像および映像に付与されたインデクス情報を用いてシーン検索するなどの別の手段を用いて決定した後、配信サーバ１から配信された所望の映像を再生装置２で、ユーザが視聴する本システムの動作について説明する。
【００３２】
インデクス情報にはユーザの目的に応じて、複数のシーン開始時間位置、終了時間位置が予め記述されている。
【００３３】
第１の例と同様に、ユーザが所望のシーンを再生するとき、まず目的指示器１０６を用いて、自分の再生目的を指示する。指示された目的は再生位置決定器１０３に送られる。再生位置決定器１０３はシーンに付与されたインデクス情報をインデクス情報ＤＢ１０４から取出して、ユーザの視聴目的に応じて、ルールに基づきシーンの再生開始位置、終了位置を決定する。また、第２の例と同様に、映像ＤＢ１０１から映像を取出し、そのシーン開始位置、終了位置の前後の映像を解析して目的に応じた適切な再生開始位置、終了位置を算出してもよい。
【００３４】
決定された、シーンの再生開始位置、終了位置は映像配信制御器１０７へ送られる。映像配信制御器１０７は、指定された開始位置から終了位置まで映像を映像送信器１０８へ送り、再生装置２へ配信する。再生装置２では、映像受信器１０９で配信された映像を受信し、映像再生器１０５が送られた映像を再生し、ユーザに提供する。
【００３５】
以上の動作により、ユーザの視聴目的に応じたシーン再生が行える。
【００３６】
なお、以上説明したストリームメディア再生装置、システム内の処理は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ―ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、１つのシーンに対して、ユーザの目的に応じた複数の再生開始／終了位置をインデクス情報として予め付与しておくことにより、ユーザが指定するシーンの再生時に再生目的に応じて、適切な再生開始／終了位置で映像を見せることが可能になる。また、再生開始／終了位置として、ユーザの目的に応じて再生開始／終了位置を算出することが可能であるので、その再生／終了位置を用いてシーン再生を行えば、ユーザの目的に応じた映像再生が可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態であるストリームメディア再生装置の構成図である。
【図２】本発明の第２の実施形態であるストリームメディア配信システムの構成図である。
【符号の説明】
１    配信サーバ
２    再生装置
１０１    映像ＤＢ
１０２    映像再生制御器
１０３    再生位置決定器
１０４    インデクス情報ＤＢ
１０５    映像再生器
１０６    目的指示器
１０７    映像配信制御器
１０８    映像送信器
１０９    映像受信器
【図１】
0004629298.tif 000002
【図２】
0004629298.tif 000003