(57)【要約】      （修正有）【課題】種々の映像に対して，映像の内容を確認しながら従来技術よりも短時間で所望のシーンを視聴できるようにする。【解決手段】再生対象映像について時空間画像生成部１２が映像内容を概観できる時空間画像を生成し，映像提示部１５が時空間画像を表示装置３０に表示する。アクセス要求受付部１１は，表示した時空間画像を映像再生制御のためのコントローラーとして用い，時空間画像へのポインティングを受け付ける。映像提示部１５は，ポインティングされた時空間画像での位置または区間に基づいて，再生対象映像中のフレーム画像または部分映像を提示する。【選択図】図１
2010187046.tif 000002
【特許請求の範囲】
【請求項１】
入力装置から再生対象映像の指定と映像再生制御に関する要求を受け付けるアクセス要求受付部と，
前記アクセス要求受付部で受け付けた再生対象映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成部と，
前記時空間画像および前記再生対象映像を表示装置に出力する映像提示部とを備え，
前記アクセス要求受付部において前記映像再生制御に関する要求として時空間画像へのポインティングを受け付けると，
前記映像提示部は，ポインティングされた時空間画像での位置に基づいて，前記再生対象映像中のフレーム画像を選択して前記表示装置に出力する，または前記時空間画像から切り出した部分画像を前記表示装置に出力する
ことを特徴とする映像再生制御装置。
【請求項２】
入力装置から再生対象映像の指定と映像再生制御に関する要求を受け付けるアクセス要求受付部と，
前記アクセス要求受付部で受け付けた再生対象映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成部と，
前記時空間画像および再生対象映像を表示装置に出力する映像提示部とを備え，
前記アクセス要求受付部において前記映像再生制御に関する要求として前記表示装置における時空間画像への複数回のポインティングまたは連続したポインティングを受け付けると，
前記映像提示部は，複数回のポインティングの位置またはポインティングの軌跡に基づいて，前記再生対象映像中の区間を選択してその区間の映像を前記表示装置に再生表示する，または前記時空間画像から切り出した部分画像を前記表示装置に出力する
ことを特徴とする映像再生制御装置。
【請求項３】
請求項２に記載の映像再生制御装置において，
前記映像提示部は，前記アクセス要求受付部によって前記再生対象映像中の区間を選択する要求を受け付けた場合に，その再生区間の開始フレーム画像と終了フレーム画像を示す区間マークを前記時空間画像に表示し，
前記アクセス要求受付部は，前記時空間画像における区間マークを別の位置に移動する要求を受け付け，
前記映像提示部は，前記区間マークを別の位置に移動する要求が受け付けられた場合に，再生区間を変更して前記再生対象映像の再生表示を行う
ことを特徴とする映像再生制御装置。
【請求項４】
請求項１，請求項２または請求項３に記載の映像再生制御装置において，
前記アクセス要求受付部において，現在提示している前記再生対象映像とは別の映像を参照映像として提示する要求を受け付けると，
前記時空間画像生成部は，前記参照映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成し，
前記映像提示部は，前記参照映像の時空間画像を表示装置に出力するとともに，前記再生対象映像の時空間画像に対してポインティング操作が行われている場合には，そのポインティングを前記参照映像の時空間画像における対応する位置または区間を示すポインティングにマッピングし，前記ポインティングのマッピングに基づいて，前記参照映像のフレーム画像もしくは区間の映像を前記表示装置に出力する，または時空間画像の部分画像を前記表示装置に出力する
ことを特徴とする映像再生制御装置。
【請求項５】
アクセス要求受付部と時空間画像生成部と映像提示部とを備える映像再生制御装置が実行する映像再生制御方法であって，
前記アクセス要求受付部が，入力装置から再生対象映像の指定を受け付ける過程と，
前記時空間画像生成部が，前記再生対象映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する過程と，
前記映像提示部が，前記時空間画像を表示装置に出力する過程と，
前記アクセス要求受付部が，前記映像再生制御に関する要求として前記時空間画像へのポインティングを受け付ける過程と，
前記映像提示部が，ポインティングされた時空間画像での位置に基づいて，前記再生対象映像中のフレーム画像を選択して前記表示装置に出力する，または前記時空間画像から切り出した部分画像を前記表示装置に出力する過程とを有する
ことを特徴とする映像再生制御方法。
【請求項６】
アクセス要求受付部と時空間画像生成部と映像提示部とを備える映像再生制御装置が実行する映像再生制御方法であって，
前記アクセス要求受付部が，入力装置から再生対象映像の指定を受け付ける過程と，
前記時空間画像生成部が，前記再生対象映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する過程と，
前記映像提示部が，前記時空間画像を表示装置に出力する過程と，
前記アクセス要求受付部が，前記映像再生制御に関する要求として前記表示装置における時空間画像への複数回のポインティングまたは連続したポインティングを受け付ける過程と，
前記映像提示部が，複数回のポインティングの位置またはポインティングの軌跡に基づいて，前記再生対象映像中の区間を選択してその区間の映像を前記表示装置に再生表示する，または前記時空間画像から切り出した部分画像を前記表示装置に出力する過程とを有する
ことを特徴とする映像再生制御方法。
【請求項７】
請求項６に記載の映像再生制御方法において，
前記映像提示部が，前記アクセス要求受付部によって前記再生対象映像中の区間を選択する要求を受け付けた場合に，その再生区間の開始フレーム画像と終了フレーム画像を示す区間マークを前記時空間画像に表示する過程と，
前記アクセス要求受付部が，前記時空間画像における区間マークを別の位置に移動する要求を受け付ける過程と，
前記映像提示部が，前記区間マークを別の位置に移動する要求が受け付けられた場合に，再生区間を変更して前記再生対象映像の再生表示を行う過程とを有する
ことを特徴とする映像再生制御方法。
【請求項８】
請求項５，請求項６または請求項７に記載の映像再生制御方法において，
前記アクセス要求受付部が，現在提示している前記再生対象映像とは別の映像を参照映像として提示する要求を受け付ける過程と，
前記時空間画像生成部が，前記参照映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する過程と，
前記映像提示部が，前記参照映像の時空間画像を表示装置に出力するとともに，前記再生対象映像の時空間画像に対してポインティング操作が行われている場合には，そのポインティングを前記参照映像の時空間画像における対応する位置または区間を示すポインティングにマッピングし，前記ポインティングのマッピングに基づいて，前記参照映像のフレーム画像もしくは区間の映像を前記表示装置に出力する，または時空間画像の部分画像を前記表示装置に出力する過程とを有する
ことを特徴とする映像再生制御方法。
【請求項９】
請求項５から請求項８までのいずれか１項に記載の映像再生制御方法を，コンピュータに実行させるための映像再生制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像の内容を確認しながら所望のシーンを視聴できるように映像の再生制御を行う装置や方法に関する。
【背景技術】
【０００２】
映像の再生制御を行う従来技術として，次の３種類がある。
【０００３】
１．映像プレイヤーでのインタフェースを用いた再生制御（従来技術１）
この方法は，ビデオやＤＶＤなどの再生装置に代表されるような，再生，コマ送り，巻き戻しなどの再生制御を行えるインタフェースを用いる方法である。
【０００４】
２．映像イベントの代表画像提示（従来技術２）
この方法は，映像中の特徴的なイベントを自動抽出し，イベント出現区間のフレーム画像を代表画像として，映像メディア時刻順に並べて提示する方法である。代表画像をクリックすると該当のイベント区間を再生することで，利用者は，所望のシーンに効率的にアクセスできるようになる。映像中のイベントとして，シーンチェンジ，カメラワーク，音，音声，テロップ提示，話者，突発音などが自動検出されている（非特許文献１，非特許文献２参照）。
【０００５】
３．映像の構造化による可視化（従来技術３）
第３の方法は，対象となる映像が本来持っている構造を検出し，検出した構造に基づいて映像を可視化する方法である。例えば，野球映像であれば，スコアブックと野球映像との時間的な対応付けを行い，スコアブックで映像内容を可視化でき，スコアブックに記載された各種イベントをクリックすると該当する映像を再生することで，利用者は，所望のシーンに効率的にアクセスできるようになる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】桑野秀豪，山田智一，川添雄彦：メディア認識結果へのルール適用によるメタデータの自動生成とダイジェスト配信サービスへの適用，電子情報通信学会技術研究報告，PRMU Vol.105，No.674，pp.283-288，2006.
【非特許文献２】三上弾，紺谷精一，森本正志：突発音検出と教師なし動きクラスタリングを用いた野球映像からの投球イベント検出，電子情報通信学会論文誌，Vol.J90-D ，No.2，pp.526-534，2007.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術１の映像プレイヤーのインタフェースを用いる方法は，所望のシーンまでたどりつくまでに何回も操作する手間や時間がかかることが問題である。
【０００８】
また，従来技術２や従来技術３では，映像自体に自動抽出できる特徴点なイベントや構造が明確に出現しない場合には適用困難である。
【０００９】
特に，分析や調査などを目的に同一映像に対して様々な観点からの部分視聴を何回も行う場合には，従来技術の任意シーンへのアクセスに関する効率の悪さが大きな問題となる。
【００１０】
本発明は，上記課題の解決を図り，種々の映像に対して，映像の内容を確認しながら従来技術よりも短時間で所望のシーンを視聴できるような映像の再生制御手段を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明では，上記目的を達成するために，映像内容を概観できる時空間画像を生成し，時空間画像を映像再生制御のためのコントローラーとして用いることで，映像の所望のフレーム画像やシーンに容易にアクセスできるようにする。
【００１２】
以上の点に鑑み，本発明は，映像の時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成部と，映像再生制御に関する要求を受け付けるアクセス要求受付部と，アクセス要求に基づいて提示する画像や映像を生成して提示する映像提示部とを備え，アクセス要求受付部において時空間画像へのポインティングを受け付けると，映像提示部は，ポインティングされた時空間画像での位置に基づいて，映像中のフレーム画像を選択して提示，または，時空間画像から切り出した部分画像を提示することを特徴とする。
【００１３】
また，上記発明において，アクセス要求受付部において時空間画像へのポインティングが連続して行われると，映像提示部は，ポインティングの軌跡に基づいて，映像中の区間を選択してその区間の再生表示，または，時空間画像から切り出した部分画像を提示することを第２の特徴とする。
【００１４】
また，上記発明において，アクセス要求受付部は，映像提示部において選択された，映像中の再生区間の開始フレーム画像と終了フレーム画像が分かる区間マークを時空間画像に表示し，区間の変更を指示するモードで当該区間マークを指定して別の位置に移動できる要求を受け付けることを第３の特徴とする。
【００１５】
また，上記発明において，アクセス要求受付部が時空間画像へのポインティングや連続したポインティングを行った直後にターゲット映像と別の映像を参照映像として提示する要求を受け付けると，参照映像から時空間画像を生成して提示するとともに，ターゲット映像の時空間画像に対するポインティングを参照映像の時空間画像に対するポインティングにマッピングし，映像提示部は，参照映像の時空間映像に対するポインティングの位置や軌跡に基づいて参照映像のフレーム画像提示，映像区間再生，時空間画像の部分画像を提示することを第４の特徴とする。
【発明の効果】
【００１６】
上記のように本発明によれば，提示したい映像の時空間画像へポインティングすると，ポインティングした映像時刻に該当するフレーム画像が再生画面に提示されるので，時空間画像で映像内容を概観しながら所望のシーンの近傍をポインティングし，提示されたフレーム画像を確認して時空間画像へのポインティングを修正する視覚フィードバックにより，利用者はコマ送り，コマ戻し，早送り，早巻き戻しなどの操作を行うよりも効率的に所望のフレーム画像にアクセスできるようになる。同様に，映像の所望の部分区間の再生や他の映像との比較再生なども時空間画像へのポインティングにより容易に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施例に係る映像再生制御装置のブロック図である。
【図２】時空間画像の生成例を示す図である。
【図３】時空間画像の生成例を示す図である。
【図４】映像選択時の処理フローチャートである。
【図５】提示する映像の選択を受け付ける画面の例を示す図である。
【図６】時空間画像Ｋの提示例を示す図である。
【図７】フレーム画像選択時の処理フローチャートである。
【図８】映像Ａの提示したいフレーム画像の選択例を示す図である。
【図９】映像再生区間選択の処理フローチャートである。
【図１０】映像Ａの提示したい再生区間の選択例を示す図である。
【図１１】映像再生区間変更の処理フローチャートである。
【図１２】映像比較時の処理フローチャートである。
【図１３】映像Ａと映像Ｂの比較提示の例を示す図である。
【発明を実施するための形態】
【００１８】
以下，図面を用いて本発明の実施の形態を詳細に説明する。図１は，本発明の一実施例に係る映像再生制御装置の構成を示す図である。同図に示す映像再生制御装置１０は，アクセス要求受付部１１，時空間画像生成部１２，映像管理部１３，画像情報記憶部１４，映像提示部１５から構成される。これらは，ＣＰＵや記憶装置などからなるコンピュータとソフトウェアプログラム等によって実現される。また，映像再生制御装置１０には，ポインティングデバイスなどの入力装置２０，映像を提示するための表示装置３０が接続される。
【００１９】
アクセス要求受付部１１は，ユーザからの各種要求を，入力装置２０を介して受け付ける。提示する映像の選択要求を受け付けた場合には，その映像を特定する情報（ファイル名など）を時空間画像生成部１２に出力し，時空間画像の提示を要求する信号を映像提示部１５に出力する。また，時空間画像へのポインティングの要求を受け付けた場合には，映像提示部１５にポインティング情報を出力する。
【００２０】
時空間画像生成部１２は，アクセス要求受付部１１から映像を特定するファイル名などを受け取ると，映像管理部１３に要求を出して映像を取得する。取得した映像から時空間画像を生成し，生成した時空間画像を画像情報記憶部１４に出力する。
【００２１】
時空間画像は，映像内容の空間的情報と時間的情報を１枚の静止画像で表現したものである。時空間画像の生成の例として，例えば，人物や車両などの移動する物体を追跡するようにカメラを動かしながら撮影した映像の場合には，前後２フレーム画像間での変動をカメラの動きによる背景の変動と物体の動きによる変動に分離し，背景の変動から２フレーム画像間でのカメラの動きを検出し，後のフレーム画像から移動物体領域を除いた領域を，検出したカメラの動きと反対方向にずらして前のフレーム画像との背景が一致するように合成する処理を，映像の全フレーム画像について行うことでパノラマ背景画像を生成し，パノラマ背景画像に適当な時間間隔でのフレーム画像における移動物体領域を重畳する方法が有効である。
【００２２】
スキージャンプの様子を人物が画面中央に位置するようにカメラを動かしながら撮影した映像から時空間画像を生成した例を図２に示す。
【００２３】
図２（Ａ）は，再生対象として選択された映像の主要なフレーム画像を示している。これらの一連のフレーム画像からスキージャンプをしている人物の移動物体領域を取り除いた画像を用いて作成したパノラマ画像が，図２（Ｂ）に示すパノラマ背景画像である。このパノラマ背景画像に，適当な時間でスキージャンプをしている人物の画像を重畳した画像が，図２（Ｃ）に示す時空間画像であり，この時空間画像を表示装置３０に表示してユーザに提示する。
【００２４】
また，固定カメラで移動する物体を撮影した映像の場合には，全フレーム画像の平均画像，または，各画素の値の中央値を選択するメディアンフィルター処理後の画像を背景画像として生成し，背景画像と各フレーム画像との差分から移動物体領域を抽出し，その移動物体領域を背景画像に重畳する方法が有効である。歩行する人物の様子を撮影した映像から時空間画像を生成した例を図３に示す。
【００２５】
図３（Ａ）は，カメラが固定されている場合の再生対象映像の主要なフレーム画像を示している。この映像では，歩行人物が画面の左側から右側へ向かって移動している。これらの一連のフレーム画像から歩行人物の移動物体領域を取り除いた画像が，図３（Ｂ）に示す背景画像である。この背景画像に，適当な時間で歩行人物の画像を重畳した画像が，図３（Ｃ）に示す時空間画像であり，この時空間画像が表示装置３０に表示される。
【００２６】
なお，指定された映像から時空間画像を生成するときに，例えばシーンチェンジやカメラの移動方向の変化などに応じて，映像のセグメンテーションを行い，各映像セグメントごとに複数の時空間画像を提示するような実施も好適である。
【００２７】
映像管理部１３は，事前に映像を蓄積・管理しておき，時空間画像生成部１２や映像提示部１５から映像を特定する情報を受け取ると該当する映像をそれぞれに出力する。
【００２８】
画像情報記憶部１４は，時空間画像生成部１２から受け取った時空間画像を管理し，映像提示部１５からその出力要求を受け付けると，該当の時空間画像を，映像提示部１５に出力する。
【００２９】
映像提示部１５は，アクセス要求受付部１１から時空間画像の提示を要求する信号を受け付けると，画像情報記憶部１４に要求を出して時空間画像を取得し，表示装置３０に表示して利用者に提示する。また，アクセス要求受付部１１から時空間画像へのポインティングなどの要求を受け付けた場合には，必要な映像と画像情報を映像管理部１３と画像情報記憶部１４とから取得し，利用者に提示する。
【００３０】
次に，利用者の各種要求をアクセス要求受付部１１で受け付けたときに映像提示部１５にどのような情報をどのように提示するかについて説明する。
【００３１】
利用者の要求として，本実施例では，
（１）提示したい映像の選択，
（２）選択した映像における所望のフレーム画像の提示，
（３）選択した映像における所望の区間の再生表示，
（４）指定した再生区間の始点や終点の変更，
（５）現在提示している映像と別の映像との比較再生，
がある。以下では，各要求に対する映像提示部１５での処理フローを説明する。
【００３２】
（１）提示したい映像の選択
利用者が提示したい映像の選択を行うときの映像提示部１５の処理フローを，図４に示す。
【００３３】
図５は，提示する映像の選択を受け付ける画面の例を示している。提示する映像の選択を受け付ける画面には，図５に示すように，各種のプルダウンメニュー３１や，映像選択後に，選択された映像が提示される映像提示エリア３２や，映像選択後に，選択された映像の時空間画像が提示される時空間画像提示エリア３３が設けられる。
【００３４】
アクセス要求受付部１１は，最初に提示する映像（映像Ａとする）の選択を受け付ける（ステップＳ１０１）。映像の選択は，例えば図５のプルダウンメニュー３１からファイルオープンが選択された場合に，ファイル名を入力するダイアログボックスなどのユーザインタフェースを提供することで，受け付けることができる。
【００３５】
提示する映像Ａが選択されると，次に，時空間画像生成部１２により，映像Ａの時空間画像Ｋを生成する（ステップＳ１０２）。生成した時空間画像Ｋを画像情報記憶部１４で保存する（ステップＳ１０３）。
【００３６】
映像提示部１５は，画像情報記憶部１４から時空間画像Ｋを取得し，利用者に提示する（ステップＳ１０４）。提示した例を図６に示す。映像提示部１５により，図６に示すように，画面中の時空間画像提示エリア３３に，映像Ａから生成された時空間画像Ｋが表示される。
【００３７】
（２）選択した映像における所望のフレーム画像の提示
選択した映像において，所望のフレーム画像の提示を行うときの処理フローを，図７に示す。
【００３８】
アクセス要求受付部１１は，時空間画像Ｋを提示した後に，映像Ａの提示したいフレーム画像を時空間画像Ｋへのポインティングとして受け付ける（ステップＳ２０１）。すなわち，利用者がマウスなどの入力装置２０により時空間画像提示エリア３３における時空間画像Ｋの一部をクリックすると，その位置をポインティング位置として受け付ける。
【００３９】
映像提示部１５は，時空間画像Ｋへのポインティング位置から提示するフレーム画像Ｆを選定する（ステップＳ２０２）。例えば，時空間画像Ｋがパノラマ画像で構成される場合，時空間画像Ｋへのポインティング位置が，パノラマ画像における元のフレーム画像の中央に最も近いフレーム画像を選択すればよい。図３に示すような背景画像が動かないような映像の場合には，例えば，ポインティング位置にもっとも近い位置に移動物体が表示されているフレーム画像Ｆを選択する選択方法を用いることもできる。
【００４０】
ここで，図８に示すように，時空間画像Ｋにおいて，選択したフレーム画像に対応するエリアを太枠３４などにより示せば，時空間画像Ｋによるポインティングで映像Ａのどのフレーム画像を選択しているかを利用者に示すことができる。
【００４１】
映像提示部１５は，画像情報記憶部１４から時空間画像Ｋを取得し，時空間画像Ｋにおいてポインティングされた位置を中央とする予め設定しておいた範囲を切り出した時空間画像Ｋ１を生成して提示する（ステップＳ２０３）。時空間画像Ｋは映像内容の全体を俯瞰できるような画像であるので，詳細な分析には十分な情報を得ることが難しい。そこで，図８の画面に示すように，時空間画像Ｋの部分画像を切り出した時空間画像Ｋ１を原寸で提示する。これにより，利用者は詳細な分析を行うことが可能となる。さらに，時空間画像生成部１２において，移動物体領域を貼り付ける時間間隔を短くした時空間画像Ｋ′（図示省略）を別途作成しておき，時空間画像Ｋの代わりに時空間画像Ｋ′の部分画像を原寸で提示するようにしてもよい。こうすれば，空間分解能だけでなく時間分解能も向上させることができ有効な提示方法となる。
【００４２】
次に，映像提示部１５は，映像Ａの時空間画像Ｋで指示された時刻のフレーム画像Ｆを，図８に示すように映像提示エリア３２に提示し，再生停止（ポーズ）状態とする（ステップＳ２０４）。
【００４３】
以上の処理により，映像Ａの時空間画像Ｋへポインティングすると，ポインティングした映像時刻に該当するフレーム画像が再生画面に提示されるので，時空間画像Ｋで映像内容を概観しながら所望のシーンの近傍をポインティングし，提示されたフレーム画像を確認して時空間画像Ｋへのポインティングを修正する視覚フィードバックにより，利用者は，コマ送り，コマ戻し，早送り，早巻き戻しなどの操作を行うよりも効率的に所望のフレーム画像にたどり着くことができるようになる。
【００４４】
（３）選択した映像における所望の区間の再生表示
選択した映像において，所望の区間の再生表示を行うときの処理フローを，図９に示す。
【００４５】
利用者が，選択した映像において所望の区間を表示させたいとき，画面上の時空間画像Ｋにおいて，ポインティング移動操作（マウスのドラッグ等）を，映像Ａの提示したい再生区間の始点から終点まで行う。アクセス要求受付部１１は，この時空間画像Ｋへのポインティング移動を受け付ける（ステップＳ３０１）。
【００４６】
映像提示部１５は，時空間画像Ｋへのポインティング移動の軌跡の始点と終点に対応する映像Ａのフレーム画像を映像再生区間の始点Ｔ１と終点Ｔ２として選定する（ステップＳ３０２）。フレーム画像の具体的な選定方法は，図７のステップＳ２０２と同じ処理で行えばよい。
【００４７】
映像提示部１５は，図１０に示すように，時空間画像ＫにＴ１とＴ２のフレーム画像に相当するエリアを提示する（ステップＳ３０３）。すなわち，時空間画像提示エリア３３に表示された時空間画像Ｋにおいて，マウスのドラッグの端点である再生区間の始点と終点に対応するフレーム画像を，太枠などの区間マーク３５によって提示する。
【００４８】
次に，映像提示部１５は，画像情報記憶部１４から時空間画像Ｋを取得し，時空間画像Ｋにおいて始点Ｔ１と終点Ｔ２の範囲を切り出した時空間画像Ｋ２を生成して提示する（ステップＳ３０４）。
【００４９】
映像提示部１５は，映像Ａの再生画面として，映像提示エリア３２に映像再生区間を繰り返し再生する（ステップＳ３０５）。
【００５０】
以上の処理により，映像Ａの時空間画像Ｋで映像内容を概観しながら所望の再生区間に該当する範囲をマウスでのドラッグなどのポインティング移動の操作を行うだけで，映像Ａの所望のシーンを容易に部分視聴することができるようになる。なお，ドラッグなどの連続したポインティングの操作ではなく，メニュー等により再生区間指定モードを選択した後に複数回のポインティング操作で再生区間を指定する実施も可能である。
【００５１】
（４）指定した再生区間の始点や終点の変更
指定した再生区間の始点を変更するときの処理フローを，図１１に示す。同図において，
図１０に示すような画面において，利用者が再生区間の始点（終点も同様）を変更するとき，アクセス要求受付部１１は，入力装置２０から時空間画像Ｋに提示されているＴ１のフレーム画像に相当するエリア（区間マーク３５）を修正モードで選択する要求を受け付ける（ステップＳ４０１）。修正モードの指定方法として，例えば，時空間画像Ｋへのポインティングをマウス操作で行う場合に，Ｔ１のフレーム画像のエリアを右クリックすると，それは修正モードの選択であるというようにルール化しておけばよい。
【００５２】
次に，アクセス要求受付部１１は，選択されたエリアの時空間画像Ｋにおける移動後の位置を受け付ける（ステップＳ４０２）。
【００５３】
映像提示部１５は，アクセス要求受付部１１からの入力によって，映像再生区間の始点を移動後の位置に対応するフレーム画像に変更する（ステップＳ４０３）。
【００５４】
映像提示部１５は，画像情報記憶部１４から時空間画像Ｋを取得し，時空間画像Ｋにおいて修正後の始点と終点の範囲を切り出した時空間画像Ｋ３（図示省略）を生成して提示する（ステップＳ４０４）。
【００５５】
その後，映像提示部１５は，映像Ａの再生画面として，映像提示エリア３２に映像再生区間を繰り返し再生する（ステップＳ４０５）。
【００５６】
以上の処理により，再生区間の始点を容易に変更することができる。同様の方法により再生区間の終点を変更する処理も実現できる。
【００５７】
（５）現在提示している映像と別の映像との比較再生
現在提示している映像と別の映像との比較再生を行うときの処理フローを，図１２に示す。
【００５８】
利用者は，再生されている映像Ａと他の同様な映像Ｂとを比較したいような場合がよくある。例えば，スキージャンプの選手の姿勢を比較したり，ゴルフやバッテイングのレッスンなどの映像の場合に，本人のスイングとモデルとなるプロ選手のスイングとを比較して視聴したい場合などがある。このような場合のために，本実施例では，次のような比較提示のユーザインタフェースを提供する。
【００５９】
まず，アクセス要求受付部１１は，映像Ａを再生している状態で，入力装置２０から提示する他の参照映像Ｂの指定を受け付ける（ステップＳ５０１）。映像Ｂの指定を受け付けると，時空間画像生成部１２が呼び出される。時空間画像生成部１２は，映像Ｂの時空間画像Ｌを生成する（ステップＳ５０２）。
【００６０】
図１３に示すように，映像提示部１５は，画面上の時空間画像提示エリア３３に提示していた時空間画像Ｋを時空間画像Ｌの提示に変え，時空間画像Ｋにおける映像再生区間の始点と終点のフレーム画像を表すエリア（区間マーク３５′）を時空間画像Ｌにマッピングして提示する（ステップＳ５０３）。
【００６１】
時空間画像Ｋにおけるエリアを時空間画像Ｌにマッピングする方法として，映像Ａの映像再生区間の始点と終点の時刻をそのまま映像Ｂの時刻とする方法，映像Ａと映像Ｂでのオブジェクトの動きやカメラワーク変化，音・音声などの特徴的なイベントを検出しておき，映像再生区間の始点や終点付近での映像Ａで生じたイベントと同一のイベントが映像Ｂで生じた時刻にマッピングする方法などが有効である。
【００６２】
映像提示部１５は，画像情報記憶部１４から時空間画像Ｌを取得し，時空間画像Ｌにおいて映像再生区間の始点と終点の範囲を切り出した時空間画像Ｌ１を生成して提示する（ステップＳ５０４）。図１３に示すように，映像Ａの時空間画像Ｋ１と映像Ｂの時空間画像Ｌ１が対比して提示されるので，利用者は２つの映像の比較を容易に行うことができる。
【００６３】
映像提示部１５は，映像提示エリア３２と同様な他の映像提示エリア３２′に映像Ｂの映像再生区間を繰り返し再生する（ステップＳ５０５）。図１３に示すように，映像Ａと映像Ｂを同期再生すると，利用者は２つの映像の比較を容易に行うことができる。
【００６４】
以上の映像再生制御の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００６５】
１０    映像再生制御装置
１１    アクセス要求受付部
１２    時空間画像生成部
１３    映像管理部
１４    画像情報記憶部
１５    映像提示部
２０    入力装置
３０    表示装置
３１    プルダウンメニュー
３２    映像提示エリア
３３    時空間画像提示エリア
３４    太枠
３５    区間マーク
【図１】
2010187046.tif 000003
【図２】
2010187046.tif 000004
【図３】
2010187046.tif 000005
【図４】
2010187046.tif 000006
【図５】
2010187046.tif 000007
【図６】
2010187046.tif 000008
【図７】
2010187046.tif 000009
【図８】
2010187046.tif 000010
【図９】
2010187046.tif 000011
【図１０】
2010187046.tif 000012
【図１１】
2010187046.tif 000013
【図１２】
2010187046.tif 000014
【図１３】
2010187046.tif 000015