(57)【要約】【課題】  アノテーションを行いたい場面を撮影している映像選択を容易に選択するための表示を可能にする。【解決手段】  本発明は、撮影対象を見ている端末のユーザが複数の映像に対してアノテーションを付与する際に、アノテーションを行うユーザから見た、複数の撮影機器で撮影される撮影対象の重心の位置関係と、ユーザの端末に表示する複数の撮影機器を示すアイコンの配置が類似するように配置となるように、撮影機器アイコンをユーザ座標系に合わせて表示する。このとき、アノテーション日時を映像時間（映像開始点を０とした積算時間）に変換してアノテーション情報を登録しておき、撮影済みの映像に対して映像区間を定義し、アノテーションを含む映像区間を対象にダイジェスト映像を作成し、アノテーション情報を同期表示する。【選択図】  図１
2010074437.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影対象の映像に対して、映像撮影中にライブでアノテーションを付与するサーバにおけるアノテーション付与方法であって、
ユーザ端末から撮影場所ＩＤ、撮影機器ＩＤに対応する撮影対象絶対座標、視点ＩＤに対応する視点基準点、撮影対象範囲絶対座標、撮影対象代表画像、撮影場所を含む場所撮影環境管理情報を取得して場所撮影環境管理情報記憶手段に格納する場所撮影環境管理情報取得ステップと、
前記場所撮影環境情報記憶手段を参照して、前記撮影場所ＩＤに対応する場所に設置された撮影機器の撮影機器ＩＤと、各撮影機器で撮影される撮影対象の重心である撮影対象代表座標からなる撮影対象絶対座標値と、視点基準点を取得する参照ステップと、
前記撮影場所ＩＤに対応する前記各撮影機器の撮影対象代表座標と、前記視点基準点で示された変換パラメータを用いて、該撮影機器に対する撮影対象代表座標を、ユーザから見た場合の各撮影機器が撮影している撮影対象の配置であるユーザ座標系に座標変換し、該撮影対象絶対座標を前記場所撮影環境管理情報記憶手段に出力する座標変換ステップと、
を行うことを特徴とするアノテーション付与方法。
【請求項２】
前記撮影対象の方を向いているユーザが、前記撮影対象を撮影した映像を表示するユーザ端末の複数の映像に対してライブでアノテーションを付与する際に、
前記ユーザ端末から指定された撮影場所ＩＤ，視点ＩＤに基づいて、前記場所撮影環境管理情報記憶手段から前記撮影対象絶対座標を取得し、該撮影対象絶対座標に基づいて、前記ユーザが使用するユーザ端末の端末キーと撮影機器で撮影している撮影映像を対応付けてユーザ・端末毎映像端末キー対応情報記憶手段に保持する映像端末キー対応付けステップと、
前記ユーザ端末から撮影開始要求を受け付けると、現在日時を撮影開始日時として保持し、撮影機器が録画を開始していなければ、録画開始と撮影開始映像時間オフセットを０にセットし、該撮影機器が常時撮影している場合、現在の映像時間を撮影開始時間オフセットにセットし、撮影ＩＤ、撮影機器ＩＤと共に映像管理情報記憶手段に格納する映像開始点保持ステップと、
前記ユーザ端末からアノテーション付与要求を取得すると、前記映像管理情報記憶手段から対象となる撮影機器ＩＤの撮影開始日時、撮影開始映像時間オフセットを取得して、アノテーション付与映像時間を算出するアノテーション時間変換ステップと、
前記アノテーション付与映像時間と前記ユーザ端末から取得したアノテーション情報をアノテーション情報記憶手段に登録するアノテーション情報登録ステップと、
撮影済みの映像に対して指定特徴量を用いて映像区間を定義して、前記アノテーションを含む映像区間を対象にダイジェスト映像を生成し、前記アノテーション情報記憶手段から前記映像日時及び前記アノテーション情報を取得して、該ダイジェスト映像と同期表示するアノテーション付きダイジェスト映像再生ステップと、
を更に行う請求項１記載のアノテーション付与方法。
【請求項３】
複数の撮影対象の映像に対して、映像撮影中にライブでアノテーションを付与するサーバにおけるアノテーション付与装置であって、
ユーザ端末から撮影場所ＩＤ、撮影機器ＩＤに対応する撮影対象絶対座標、視点ＩＤに対応する視点基準点、撮影対象範囲絶対座標、撮影対象代表画像、撮影場所を含む場所撮影環境管理情報を取得して場所撮影環境管理情報記憶手段に格納する場所撮影環境管理情報取得手段と、
前記場所撮影環境情報記憶手段を参照して、前記撮影場所ＩＤに対応する場所に設置された撮影機器の撮影機器ＩＤと、各撮影機器で撮影される撮影対象の重心である撮影対象代表座標からなる撮影対象絶対座標値と、視点基準点を取得する参照手段と、
前記撮影場所ＩＤに対応する前記各撮影機器の撮影対象代表座標と、前記視点基準点で示された変換パラメータを用いて、該撮影機器に対する撮影対象代表座標を、ユーザから見た場合の各撮影機器が撮影している撮影対象の配置であるユーザ座標系に座標変換し、該撮影対象絶対座標を前記場所撮影環境管理情報記憶手段に出力する座標変換手段と、
を有することを特徴とするアノテーション付与装置。
【請求項４】
前記ユーザ端末から指定された撮影場所ＩＤ，視点ＩＤに基づいて、前記場所撮影環境管理情報記憶手段から前記撮影対象絶対座標を取得し、該撮影対象絶対座標に基づいて、前記ユーザが使用するユーザ端末の端末キーと撮影機器で撮影している撮影映像を対応付けてユーザ・端末毎映像端末キー対応情報記憶手段に保持する映像端末キー対応付け手段と、
前記ユーザ端末から撮影開始要求を受け付けると、現在日時を撮影開始日時として保持し、撮影機器が録画を開始していなければ、録画開始と撮影開始映像時間オフセットを０にセットし、該撮影機器が常時撮影している場合、現在の映像時間を撮影開始時間オフセットにセットし、撮影ＩＤ、撮影機器ＩＤと共に映像管理情報記憶手段に格納する映像開始点保持手段と、
前記ユーザ端末からアノテーション付与要求を取得すると、前記映像管理情報記憶手段から対象となる撮影機器ＩＤの撮影開始日時、撮影開始映像時間オフセットを取得して、アノテーション付与映像時間を算出するアノテーション時間変換手段と、
前記アノテーション付与映像時間と前記ユーザ端末から取得したアノテーション情報をアノテーション情報記憶手段に登録するアノテーション情報登録手段と、
撮影済みの映像に対して指定特徴量を用いて映像区間を定義して、前記アノテーションを含む映像区間を対象にダイジェスト映像を生成し、前記アノテーション情報記憶手段から前記映像日時及び前記アノテーション情報を取得して、該ダイジェスト映像と同期表示するアノテーション付きダイジェスト映像再生手段と、
を更に有する請求項３記載のアノテーション付与装置。
【請求項５】
請求項３または４記載のアノテーション付与装置を構成する各手段としてコンピュータを機能させるためのアノテーション付与プログラム。
【請求項６】
請求項５記載のアノテーション付与プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、複数撮影対象を同期的に撮影している場合に、ライブで映像対象を簡易に指定し、対象映像にアノテーションを付与するライブアノテーション付与を行い、そのアノテーション結果によって、重要箇所を即覧するためのダイジェストを構成するためのアノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来は、撮影後に映像時間、映像時間区間に対して、アノテーションする方法がある（例えば、特許文献１参照）。撮影後の映像に対して、アノテーションする方法は、撮影会場にいないユーザと撮影会場にいたユーザの双方がアノテーションに参加可能であり、非同期のコミュニケーションとして有効である。一方、撮影会場に参加しているユーザが臨場感を感じながら、即時にライブでアノテーションする方法がある（例えば、非特許文献１参照）。撮影会場において、ユーザが撮影会場で感じていたこと、重要と感じた箇所等を即時アノテーションすることで、ユーザは忘却することなく、その場の感性でアノテーションを残すことができること、また、他のユーザとアノテーション付与する時間帯を共有しているため、付与したアノテーションが閲覧されやすく、また閲覧したアノテーションに対するレスポンスも期待されやすいことから、撮影後にアノテーションする場合よりアノテーションされる確率が高くなることが考えられる。また、後から閲覧した場合でも、記載ユーザはその場の雰囲気を再認することができ、その他のユーザもその場で感じた意見、参考情報を閲覧することは有意義である。
【０００３】
また、複数の映像に対してアノテーションを行う際には、複数の映像からアノテーションを行う映像を選択する処理が必要となる。この処理を支援する方法として、通常アノテーション対象となる映像には変化があるとの仮定のもと、映像に対して動体検知を行い、動物体が複数のカメラの撮影範囲を跨って動く場合に、地図画面上にてカメラアイコンを動物体の動いた経路を示す矢印で連結して表示することで，アノテーション対象を撮影しているカメラの選択を支援している（例えば、特許文献２参照）。
【特許文献１】特開２００３−２８３９８１号公報
【特許文献２】特開２００６−６７１３９号公報
【非特許文献１】宮田仁(2002)携帯電話対応コメントカードシステムを活用した多人数講義における授業コミュニケーションの改善、教育情報研究、１８巻３号、pp. 11-19.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の特許文献１の手法は、複数映像対象にアノテーションを付与する場合では、撮影後にアノテーションを行うこととなるため、撮影会場にいるユーザが撮影中に感じていた点を忘却すること、またアノテーションする時間が撮影時とは別に必要となること、他のユーザとアノテーションするタイミングが同期しないことが原因でアノテーションが十分に行われないことが問題となる。
【０００５】
また、上記の非特許文献１の手法のように、アノテーションを講義中に行うことができるとしても、アノテーションがどの対象、どの撮影映像に対して行われたかがわからない場合、アノテーションを閲覧する場合にアノテーション内容が充分に理解されない、あるいは、間違って解釈されることが問題となる。
【０００６】
また、講義映像と違い、サッカーや野球などのフィールドスポーツなどでは、撮影対象となりうるバリエーションが多く、状況によっては撮影映像数も増えるため、役割が異なる場合が多く、付与されたアノテーション内容からアノテーション対象を理解することはより難しくなる。さらに、アノテーション対象映像の指定を行う場合、アノテーション対象映像を選択するタイミングではまだアノテーション対象映像は視聴できない状態であるため、複数映像のどの映像を対象として指定するかを間違わずに指定することを支援することも課題となる。
【０００７】
また、撮影中にアノテーションを行う時に、少し前にアノテーションした場面と関連して付与する場合では、前のアノテーション付与の状況を確認したいがそういった方法をライブでのアノテーションあるいは短い時間で参考となる情報に目を通したいということが考えられる。短時間で理解し易くするには、自分が注目した撮影対象を中心にダイジェスト映像化されると、これまでの注目した流れを追えるためよい。一方、短時間で参考となる情報に目を通したい場合は、視聴ユーザの多くが注目した撮影対象を中心にダイジェスト映像化された方がよいと考えられる。
【０００８】
本発明は、上記の点に鑑みなされたもので、複数の撮影映像に対して、ライブでアノテーションを行う際に、アノテーションを行いたい場面を撮影している映像選択を容易に選択するための表示が可能なアノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理を説明するための図である。
【００１０】
本発明（請求項１）は、複数の撮影対象の映像に対して、映像撮影中にライブでアノテーションを付与するサーバにおけるアノテーション付与方法であって、
ユーザ端末から撮影場所ＩＤ、撮影機器ＩＤに対応する撮影対象絶対座標、視点ＩＤに対応する視点基準点、撮影対象範囲絶対座標、撮影対象代表画像、撮影場所を含む場所撮影環境管理情報を取得して場所撮影環境管理情報記憶手段に格納する場所撮影環境管理情報取得ステップ（ステップ１）と、
場所撮影環境情報記憶手段を参照して、撮影場所ＩＤに対応する場所に設置された撮影機器の撮影機器ＩＤと、各撮影機器で撮影される撮影対象の重心である撮影対象代表座標からなる撮影対象絶対座標値と、視点基準点を取得する参照ステップ（ステップ２）と、
撮影場所ＩＤに対応する各撮影機器の撮影対象代表座標と、視点基準点で示された変換パラメータを用いて、該撮影機器に対する撮影対象代表座標を、ユーザから見た場合の各撮影機器が撮影している撮影対象の配置であるユーザ座標系に座標変換し、該撮影対象絶対座標を場所撮影環境管理情報記憶手段に出力する座標変換ステップ（ステップ３）と、
を行う。
【００１１】
また、本発明（請求項２）は、撮影対象の方を向いているユーザが、撮影対象を撮影した映像を表示するユーザ端末の複数の映像に対してライブでアノテーションを付与する際に、
ユーザ端末から指定された撮影場所ＩＤ，視点ＩＤに基づいて、場所撮影環境管理情報記憶手段から撮影対象絶対座標を取得し、該撮影対象絶対座標に基づいて、ユーザが使用するユーザ端末の端末キーと撮影機器で撮影している撮影映像を対応付けてユーザ・端末毎映像端末キー対応情報記憶手段に保持する映像端末キー対応付けステップと、
ユーザ端末から撮影開始要求を受け付けると、現在日時を撮影開始日時として保持し、撮影機器が録画を開始していなければ、録画開始と撮影開始映像時間オフセットを０にセットし、該撮影機器が常時撮影している場合、現在の映像時間を撮影開始時間オフセットにセットし、撮影ＩＤ、撮影機器ＩＤと共に映像管理情報記憶手段に格納する映像開始点保持ステップと、
ユーザ端末からアノテーション付与要求を取得すると、映像管理情報記憶手段から対象となる撮影機器ＩＤの撮影開始日時、撮影開始映像時間オフセットを取得して、アノテーション付与映像時間を算出するアノテーション時間変換ステップと、
アノテーション付与映像時間とユーザ端末から取得したアノテーション情報をアノテーション情報記憶手段に登録するアノテーション情報登録ステップと、
撮影済みの映像に対して指定特徴量を用いて映像区間を定義して、アノテーションを含む映像区間を対象にダイジェスト映像を生成し、アノテーション情報記憶手段から映像日時及びアノテーション情報を取得して、該ダイジェスト映像と同期表示するアノテーション付きダイジェスト映像再生ステップと、を更に行う。
【００１２】
図２は、本発明の原理構成図である。
【００１３】
本発明（請求項３）は、複数の撮影対象の映像に対して、映像撮影中にライブでアノテーションを付与するサーバにおけるアノテーション付与装置であって、
ユーザ端末から撮影場所ＩＤ、撮影機器ＩＤに対応する撮影対象絶対座標、視点ＩＤに対応する視点基準点、撮影対象範囲絶対座標、撮影対象代表画像、撮影場所を含む場所撮影環境管理情報を取得して場所撮影環境管理情報記憶手段１３０に格納する場所撮影環境管理情報取得手段１２１と、
場所撮影環境管理情報記憶手段１３０を参照して、撮影場所ＩＤに対応する場所に設置された撮影機器の撮影機器ＩＤと、各撮影機器で撮影される撮影対象の重心である撮影対象代表座標からなる撮影対象絶対座標値と、視点基準点を取得する参照手段１２２と、
撮影場所ＩＤに対応する各撮影機器の撮影対象代表座標と、視点基準点で示された変換パラメータを用いて、該撮影機器に対する撮影対象代表座標を、ユーザから見た場合の各撮影機器が撮影している撮影対象の配置であるユーザ座標系に座標変換し、該撮影対象絶対座標を場所撮影環境管理情報記憶手段１３０に格納力する座標変換手段１２３と、を有する。
【００１４】
また、本発明（請求項４）は、ユーザ端末から指定された撮影場所ＩＤ，視点ＩＤに基づいて、場所撮影環境管理情報記憶手段１３０から撮影対象絶対座標を取得し、該撮影対象絶対座標に基づいて、ユーザが使用するユーザ端末の端末キーと撮影機器で撮影している撮影映像を対応付けてユーザ・端末毎映像端末キー対応情報記憶手段に保持する映像端末キー対応付け手段と、
ユーザ端末から撮影開始要求を受け付けると、現在日時を撮影開始日時として保持し、撮影機器が録画を開始していなければ、録画開始と撮影開始映像時間オフセットを０にセットし、該撮影機器が常時撮影している場合、現在の映像時間を撮影開始時間オフセットにセットし、撮影ＩＤ、撮影機器ＩＤと共に映像管理情報記憶手段に格納する映像開始点保持手段と、
ユーザ端末からアノテーション付与要求を取得すると、映像管理情報記憶手段から対象となる撮影機器ＩＤの撮影開始日時、撮影開始映像時間オフセットを取得して、アノテーション付与映像時間を算出するアノテーション時間変換手段と、
アノテーション付与映像時間とユーザ端末から取得したアノテーション情報をアノテーション情報記憶手段に登録するアノテーション情報登録手段と、
撮影済みの映像に対して指定特徴量を用いて映像区間を定義して、アノテーションを含む映像区間を対象にダイジェスト映像を生成し、アノテーション情報記憶手段から映像日時及びアノテーション情報を取得して、該ダイジェスト映像と同期表示するアノテーション付きダイジェスト映像再生手段と、を更に有する。
【００１５】
本発明（請求項５）は、請求項３または４記載のアノテーション付与装置を構成する各手段としてコンピュータを機能させるためのアノテーション付与プログラムである。
【００１６】
本発明（請求項６）は、請求項５記載のアノテーション付与プログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１７】
上記のように、本発明によれば、撮影中にライブでアノテーションを行うことが可能となる。また、ライブ中にアノテーションを付与するユーザが現実の撮影場所と近い空間感覚の端末キーを指定することで、間違わずにアノテーション対象映像を選択することが可能となる。このようなアノテーション対象映像とアノテーション情報の関連が規定されるため、アノテーションと対象が正確に対応付いて表示できるため、映像閲覧者も理解し易い映像再生を行うことが可能となる。また、同時に映像がアノテーション付与されている部分に限定されてダイジェスト化されるため、振り返るための速覧が可能となり、短い時間でアノテーション付与する内容を支援することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
本発明は、端末利用者（閲覧者）の視点から見た複数の撮影機材で撮影される撮影対象の重心の位置関係と、端末の位置を用いて、"端末に表示する、複数の撮影機材を示すアイコンの配置"が類似する配置となるように、端末での撮影機材を示すアイコンの表示位置を制御するものである。この結果、閲覧者が直感的に撮影機材を選択可能となる。
【００２０】
［第１の実施の形態］
図３は、本発明の第１の実施の形態におけるシステム構成を示す。
【００２１】
同図に示すシステムは、サーバ１００とユーザ端末２００から構成され、これらは、それぞれの通信部１１０，２１０を介して通信する。
【００２２】
サーバ１００は、通信部１１０、処理部１２０、ＤＢ１３０を有する。
【００２３】
ＤＢ１３０には、場所撮影環境管理情報１３１が記録されている。当該場所撮影環境管理情報１３１の例を図４に示す。場所撮影環境管理情報１３１は、撮影場所ＩＤと対応付けて、予め定めた撮影対象絶対座標と、予め定めた視点基準点、撮影対象範囲絶対座標、撮影対象代表画像、撮影場所等を管理している。
【００２４】
撮影場所ＩＤとは、「国立競技場」のような、撮影現場を表すＩＤである。なお、撮影対象絶対座標（撮影場所ＩＤに対応付けられた撮影機材のＩＤと、予め撮影場所毎に定めた座標系の中で、その撮影機器で撮影される撮影対象の重心座標値である撮影対象代表座標値からなる）は、予め定められ、撮影場所ＩＤに対応付けて場所撮影環境管理情報１３１として管理される。つまり、撮影機器の台数と、各撮影機器はどこを撮影するような設定になっているかについては、予め定められ、撮影場所ＩＤと対応付けて場所撮影環境管理情報で管理される。撮影対象代表座標値は、場所ＩＤ毎に予め定めた座標系を用いて表現する。
【００２５】
また、撮影場所ＩＤ毎に、ユーザが選択可能な視点基準点についても予め定め、場所撮影環境管理情報で管理する。視点基準点は、視点ＩＤと変換パラメータからなる。なお、視点ＩＤとは、撮影場所ＩＤで指定した場所の中で、おおよそどのエリアにいるのかを示すＩＤである。例えば、撮影場所ＩＤで示す場所が「サッカーの競技場」の場合は、ホームゴール裏、ホームゾーン、アウェイゴール裏、アウェイゾーンの４つの場所を示す視点ＩＤを設ける方法がある。ホームゾーン、アウェイゾーンを更に１階、２階に分割して合計６つの撮影場所ＩＤを設けてもよい。ところで、視点ＩＤで示された位置にユーザがいる時に、ユーザが撮影対象の方を向いた場合に（例えば、撮影場所ＩＤで示される場所が「サッカー競技場」の場合、ユーザがフィールドの方向を向いた場合に）ユーザの位置と視線方向を基準としたユーザ座標系を想定する。撮影場所ＩＤ毎に定めた座標系をユーザ座標系に変換するための変換パラメータを、視点ＩＤ毎に予め求めておき、視点ＩＤに対応付けて予めＤＢ１３０の場所撮影環境管理情報１３１に設定しておおく。図４の場合、視点ＩＤに対応付けられた、回転角度、平行移動、拡大縮小とのパラメータが変換パラメータである。
【００２６】
図５は、本発明の第１の実施の形態におけるサーバの処理のフローチャートである。
【００２７】
ステップ１００）  サーバ１００の処理部１２０が、ユーザ端末２００から送信された撮影場所ＩＤ、視点ＩＤに対応する場所撮影環境管理情報を取得する。
【００２８】
ステップ１０１）  撮影場所ＩＤ、視点ＩＤをユーザが指定すると、ユーザ端末２００の通信部２１０を介して、サーバ１００の通信部１１０が撮影場所ＩＤ、視点ＩＤを取得する。
【００２９】
ステップ１０２）  処理部１２０は、ＤＢ１３０の場所撮影環境管理情報１３１を参照して、撮影場所ＩＤに対応する撮影対象絶対座標値と視点基準点を取得する。なお、撮影対象絶対座標値は、その撮影場所ＩＤで示される場所に設置された撮影機器のＩＤ（撮影機器ＩＤ）と、各撮影機器で撮影される撮影対象の重心である撮影対象代表座標からなる。
【００３０】
ステップ２００）  処理部１２０は、ユーザから見た場合の、各撮影機器が撮影している対象の配置（例：３つの撮影機器での撮影対象が縦に１列に等間隔で並んでいる）を求める。
【００３１】
ステップ２０１）  ステップ１０２で取得した撮影機器ＩＤの中に、未処理の機器ＩＤがあるかどうかを判定する。未処理の撮影機器ＩＤがない場合には、終了に進む。未処理の撮影機器ＩＤがある場合、ステップ２０２に進み、未処理と判定された１つの撮影機器ＩＤに対して、ステップ２０２以降の処理を実施する。
【００３２】
ステップ２０２）  処理部１２０は、場所撮影環境管理情報１３１を参照して、ステップ１０２で取得した撮影場所ＩＤに対応する各撮影機器に対する撮影対象代表座標と、視点基準点を用いて、撮影機器に対する撮影対象代表座標をユーザ座標系に座標変換する。具体的には、処理部１２０は、場所撮影環境管理情報１３１の各機器ＩＤに対する撮影対象絶対座標値に対して、視点基準点で示された変換パラメータを適用して、撮影機器に対する撮影対象代表座標値をユーザ座標系に座標変換する。ユーザ座標系で撮影対象絶対座標値を表現した結果が、ユーザ視点から見たときの各撮影機器で撮影した映像の配置となる。処理部１２０は、当該ステップ２０２の座標変換結果をステップ２０３の処理に渡す。なお、撮影対象絶対座標値を（ｘ，ｙ）、視点ＩＤで示される回転角をθ、ｘ方向の平行移動量をα、ｙ方向の平行移動量をβ、ｘ方向の拡大率をｊ、ｙ方向の拡大率をｋとすると、変換後の座標値（Ｓ，Ｔ）は、以下の式を用いて算出される。
【００３３】
【数１】
2010074437.tif 000003
ステップ２０３）  処理部１２０は、ユーザ座標系に変換された撮影対象絶対座標値を、撮影場所ＩＤ、撮影機器ＩＤ、視点ＩＤに対応付けたＤＢ１３０に記録する。必要に応じて、ステップ２０２以降の処理を実施した機器ＩＤが処理済であることを保持した後、ステップ２０１に戻る。
【００３４】
なお、上記の図５のフローチャートでは、ステップ２０３で座標変換結果をＤＢ１３０に記録する処理を示したが、ステップ２０３ではＤＢ１３０は座標変換結果を単に保持することとし、ステップ２０１にて全ての機器ＩＤが処理済と判定された場合に、座標変換結果を他の処理に引き渡すこととしてもよい。
【００３５】
ステップ２０３で算出した座標変換結果の利用方法としては、例えば、ユーザが保持する端末に複数の撮影機器のアイコンを表示する際に、ユーザ視点で見た各撮影機器の配置とアイコンの配置が類似するようにする方法がある。
【００３６】
具体的には、複数の機器で撮影された現場を見ながら、映像に対してアノテーションを行う状況を想定する。この時、ユーザは現場を目で見ているが、何らかのタイミングで映像に対してアノテーションを行いたいと感じることがある。アノテーションを実施したいと感じた状況は、どのカメラで撮影されているのかを短時間で判断可能とする支援方法の１つとして、実際のカメラの配置と、端末上で表示するカメラアイコンの配置を一致させる方法が有効である。
【００３７】
例えば、サッカー場に３台の撮影機器が設置されており、２つのゴールとフィールド中央がカメラで撮影されている状況を想定する。さらに、ユーザはアウェイチームのゴール裏にいる状況を想定する。このとき、ユーザが保持する端末には、縦に３つ、撮影機器を示すアイコンが並んでいる。この状況下で、ユーザがホームチームのゴールシーンに対してアノテーションを行いたいと感じた場合、アウェイのゴールを撮影している撮影機器を選択して、その機器で撮影している映像に対してアノテーションを行う必要がある。撮影機器を選択する際、各撮影機器で撮影している場所の配置と、端末に表示された撮影機器での撮影対象を示す場所の配置が類似している場合、ユーザは直感的にアノテーションを行いたい撮影機器を選択可能となる。例えば、この例の場合、ユーザは３つの撮影機器を示す縦に３つ並んだアイコンのうち、最も下に表示されたアイコンを選択することで、アウェイのゴール付近の撮影中の撮影機器を選択可能となる。
【００３８】
［第２の実施の形態］
本実施の形態では、第１の実施の形態でのステップ２０３で算出した座標値を用いて、ユーザが保有する端末に、撮影機器を示すアイコンを表示する処理を含めた例を説明する。
【００３９】
図６は、本発明の第２の実施の形態におけるシステム構成図である。同図に示すシステムは、サーバ３００とユーザ端末４００から構成される。
【００４０】
サーバ３００は、映像端末キー対応付け処理部３１０、複数映像開始点保持処理部３２０、アノテーション対象指定処理部３３０、アノテーション付与処理部３４０、アノテーション時間変換処理部３５０、アノテーション登録処理部３６０、ダイジェスト映像再生処理部３７０、場所撮影環境管理情報ＤＢ３０１、ユーザ・端末毎端末キー対応情報ＤＢ３０２、映像管理情報ＤＢ３０３、アノテーション情報ＤＢ３０４から構成される。
【００４１】
図７は、本発明の第２の実施の形態におけるサーバの処理のフローチャートである。
【００４２】
ステップ３０１）  映像端末キー対応付け処理部３１０は、場所撮影環境管理情報ＤＢ３０１に記憶された場所撮影環境管理情報で管理されている撮影対象絶対座標値を取り出す。また、図８に示すような、ユーザが指定したユーザ端末ＩＤに対応するユーザ端末情報のキーパターン、キー配列を、ユーザ端末４００から取得する。次に、ユーザ端末から指定されたユーザＩＤ、撮影場所ＩＤ、視点ＩＤを用いて、後述する図１０、図１１に示す方法により、端末キー、撮影機器対応処理により、ユーザＩＤで指定されたユーザが使用する端末のキーと撮影機器との対応付けデータがユーザ・端末毎映像端末キー対応情報ＤＢ３０２に保持される。ユーザ・端末毎映像端末キー対応情報ＤＢ３０２には、図９に示すようなユーザ端末ＩＤ，撮影場所ＩＤ，キー文字撮影映像対応マップ｛キー配列、（キー文字、撮影機器ＩＤ）の組｝が格納される。
【００４３】
この対応付け処理は、撮影対象の位置を視聴するユーザが見る視点に合わせて座標系を変換することで、ユーザ視線の座標系での撮影対象の位置関係を把握し、その位置関係に合わせてユーザ端末４００のキーの配列にマッピングすることを目的としている。具体的な処理詳細については、図１０、図１１を用いて説明する。
【００４４】
なお、図１０では、固定キー配列の場合を示し、図１１では、自由キー配列の場合を示す。
【００４５】
ステップ４０１）  まず、ユーザからの撮影場所ＩＤ、視点ＩＤ、ユーザ端末ＩＤを受信する。
【００４６】
ステップ４０２）  ユーザから撮影対象の始点で撮影対象の位置関係を捉えることができるように撮影対象座標を絶対座標系から視点からの座標系に変換する。ここでは、撮影場所ＩＤで場所撮影環境管理情報ＤＢ３０１から撮影対象絶対座標を取得し、視点ＩＤでユーザ視点での座標系に変換するための回転角度、並行移動、拡大縮小率のデータを取得する。この取得した変換前の撮影対象絶対座標をｘ，ｙに、回転をθとし、ｘ拡大率（ｊ）、ｙ拡大率（ｋ）とすると、以下の式で座標変換（Ｓ，Ｔ）が行える。
【００４７】
【数２】
2010074437.tif 000004
これにより、撮影機器と対応した撮影対象の視点から座標系での座標値を計算できる。
【００４８】
ステップ４０３）  視点からの座標系で撮影対象が横に並んで見えるのか、縦に並んで見えるのかを考慮して、見えによって横方向（視点座標系のｘ方向）、または縦方向（視点座標系のｙ方向）に並んでいると考え、端末キーに対応付けていく。具体的には、このステップ４０３では、ステップ４０２の結果座標値でのｘ座標の分散、ｙ座標の分散を計算し、分散の大きい方の座標系を使って、視点座標系のｘ座標値で撮影機器をソートする。その分散が大きい方が基準の軸となる。図１０、図１１の処理では、ここまではほぼ同じ処理となる。
【００４９】
ステップ４０４）  固定のキー配置の場合（図１０）を説明する。
【００５０】
ユーザ端末ＩＤ，ステップ４０３の基準軸の結果を使って、ユーザ端末情報から入力端末のキー配列の基準キーを取得し、ステップ４０３でソートした結果の順に撮影機器ＩＤを読み、キー文字は基準キーから順にキー文字を読み、そのセットとユーザ端末のキー配列をユーザ・端末毎映像端末キー対応情報ＤＢ３０２に出力する。固定キー配列の場合は、キー配列のｘ方向及びｙ方向の数が決まっているため、撮影機器が端末キーの各方向の個数より大きい場合は、どの文字キーをマッピングするのかの情報を予め指定しておくことにより、対応可能である。
【００５１】
ステップ４０４'）また、当該ステップで自由キーの場合（図１１）では、ステップ４０３で決定した方向に撮影対象分のキーを作成し、ソート結果順に、撮影機器とキー文字との対応テーブルを作成する。自由キー配置の場合は、決定した基準軸で、その方向に撮影機器分の個数を並べて表示することを想定すればよい。これでユーザの端末キーと、アノテーション対象との関連付けの準備が完了となる。
【００５２】
また、視点角度が違う場合の例を図１２に示す。同図では、長方形以外のライブ観戦でも対応できるようにした例である。同図の例では、カメラAからCが視点１側から撮影しているものとする。同図の例における処理は、基本的には図１０または図１１と同様であるが、ステップ４０２の座標系変換が異なる。図１２における各視点からの座標系変換例は以下通りである。
【００５３】
視点１：グローバル座標系と同じ（Ａ（ax，ay），Ｂ（bx，by），Ｃ（cx，cy））
視点２：拡大率１倍、４５度回転、（a，0）並行移動
視点３：拡大率１倍、１８０度回転、（a，a）並行移動
視点４：拡大率１倍、−４５度回転、（−ａ／√２，ａ／√２）並行移動
θ：回転度,（α，β）が並行移動でこれを行列計算図１０の行列計算式（２）に代入すれば、結果座標が求められる。そして、ｘ軸、ｙ軸の分散が大きい方を基準軸として、図１０または図１１のキー配置への変換配置とする。
【００５４】
図１２においては、サッカーやテニス、一般的な教室といった長方形をベースしたものでなくとも、同様に上記のステップ４０１〜４０４の処理を実行できる。
【００５５】
ステップ３０２）  次に、ユーザは撮影場所において、撮影開始要求を行うことで、実際の各撮影機器からの撮影映像の同期処理と現在の日時と撮影映像上の映像時間との対応付けを行うことを目的とする。
【００５６】
図１３に示すように、ユーザが撮影開始要求を行うと、複数映像開始点保持処理部３２０は、ユーザからの撮影開始要求を受け付け（ステップ５０１）、サーバ３００が現在日時を撮影開始日時としてメモリ（図示せず）に保持し、また物理的に撮影機器が録画を開始していなければ、録画開始と撮影開始映像時間オフセットを０にセットし、撮影機器が常時撮影している場合には、現在の映像時間を撮影開始映像時間オフセットにセットする。これらの結果は、図１４のような映像管理情報として映像管理情報ＤＢ３０３に保持される。図１４に示す映像管理情報には、撮影ＩＤ、撮影機器ＩＤ、撮影開始日時、撮影開始映像時間オフセット、録画済撮影映像ファイル保存先が設定される。これでアノテーション対象を選択し、アノテーション情報を付与するための準備が完了となる。この処理は、撮影場所に存在する１ユーザが設定すればよい。
【００５７】
ステップ３０３）  次に、ユーザは撮影場所で、ライブで視聴しながらライブの撮影対象と視覚的な順に関連付いた端末キーを選択することで、どの撮影機器で撮影した映像にアノテーション情報を付与するかを選択することができる。具体的には、図１５に示すようなインタフェース例が考えられる。固定キー配置の場合（図１５（Ａ））、各撮影機器に対応した代表画像を固定キー配置と同じ並びで表示することで、どの端末キーがどの撮影機器に対応するかを確認しながら入力することができるインタフェースの例である。一方、自由キー配列の場合（図１５（Ｂ））は、画面上に入力キーを自由に配置できるため、各撮影機器の代表画像自体を実際に見える位置（視点座標系での撮影対象座標）で配置して表示し、サーバ３００へはキー文字を送信することが可能である。また、固定キーのケースと類似の表示形態として、代表画面を１画面上で分離して表示することも考えられる。このように実際のユーザからのライブでの見えと感覚的に近いインタフェースで撮影対象を選択可能とすることが可能となる。
【００５８】
具体的には、図１６に示すように、ユーザ端末４００からアノテーション対象映像指定要求により、ユーザ端末ＩＤ，端末キー情報をサーバ３００に送信すると、サーバ３００のアノテーション対象指定処理部３３０は、図８に示すユーザ端末ＩＤ、端末キー、撮影場所ＩＤを受信し（ステップ６０１）、これらの情報に基づいて、ユーザ・端末毎撮影映像端末キー対応情報ＤＢ３０２から図９に示すようなユーザ・端末毎撮影映像端末キー対応情報とユーザ端末情報を検索し、ユーザＩＤ、撮影機器ＩＤをアノテーション付与処理部３４０へ送信する（ステップ６０２）。
【００５９】
これで、ユーザが指定したアノテーション対象に対応した撮影機器ＩＤをアノテーション付与処理部３４０へ渡すことができ、アノテーション付与処理部３４０で受け取るアノテーション情報を撮影機器ＩＤが撮影した映像と関連付けることができる。
【００６０】
ステップ３０４）  次に、ユーザ端末４００からアノテーション付与要求として、撮影ＩＤ、ユーザＩＤ、アノテーション情報（コメント、公開フラグ、投票、タイムマークのいずれか）をサーバ３００に送信すると、アノテーション付与処理部３４０では、図１７に示すように、アノテーション対象指定処理部３３０からユーザＩＤ、撮影機器ＩＤを受信し（ステップ６１０）、ユーザ入力である撮影ＩＤ、ユーザＩＤ、アノテーション情報を受信し、アノテーション受信日時として、受信日時を保持する（ステップ６１１）。最後に、ユーザＩＤ、アノテーション受信日時、撮影ＩＤ、撮影機器ＩＤ、アノテーション情報をセットにして、アノテーション時間変換処理部３５０に出力する（ステップ６１２）。ここでは、アノテーション対象映像指定処理部３３０の入力とユーザの入力タイミングでの受信日時の保持、及びユーザ入力情報を全てマージして、アノテーション時間変換処理部３５０へ渡すことを行っている。
【００６１】
ステップ３０５）  次に、アノテーション時間変換処理部３５０では、図１８に示すように、アノテーション付与処理部３４０からの送信（ユーザＩＤ、アノテーション受信日時、撮影ＩＤ、撮影機器ＩＤ、アノテーション情報のセット）を受信し（ステップ７０１）、撮影ＩＤ、撮影機器ＩＤに基づいて映像管理情報ＤＢ３０３から対象撮影機器ＩＤの撮影開始日時、撮影開始映像時間オフセットを取得し（ステップ７０２）、アノテーション付与の映像時間を次の式により計算して導く（ステップ７０３）。
【００６２】
［アノテーション付与映像時間］＝［アノテーション受信日時］−［撮影開始日時］
＋［撮影開始映像時間オフセット］
最後に、ユーザＩＤ，ステップ７０３で計算したアノテーション付与映像時間、撮影ＩＤ，撮影機器ＩＤ，アノテーション情報をセットにして、アノテーション登録処理部３６０に出力する（ステップ７０４）。ここでは、各撮影機器で撮影された映像の時間に付与するアノテーションを対応付けるための処理を行っている。
【００６３】
ステップ３０６）  次に、アノテーション登録処理部３６０では、アノテーション時間変換処理部３５０から受信したデータをアノテーション情報ＤＢ３０４に記憶する。具体的なアノテーション情報ＤＢ３０４への登録結果例を図１９に示す。
【００６４】
これにより、アノテーション情報が撮影機器の映像と対応付け可能な状態で保持されることになる。アノテーション情報としては、
・コメント：コメントテキスト；
・公開フラグ：コメントを公開するか、個人メモとするか；
・投票：アノテーション（アノテーションＩＤ指定）に投票（コメントへの投票）；
・タイムマーク：対象映像の映像時間へのマーク（重要と思われる対象と時間をマーク）；
などがある。
【００６５】
ステップ３０７）  最後にダイジェスト映像再生処理について説明する。
【００６６】
図２０は、本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部の内部処理の概要のフローチャートである。
【００６７】
ステップ８１０）  まず、ダイジェスト映像再生処理部３７０は、ダイジェスト映像を構成する。ここでは、アノテーション情報を指定ユーザ、あるいは、ユーザ全体で重要映像区間を判定しながら、ダイジェスト映像再生リストを構成する。
【００６８】
ステップ８２０）  映像区間に関連するアノテーションを取得し、ダイジェスト映像と同期しながら表示再生する。
【００６９】
以下では、ステップ８１０、ステップ８２０に関して順次詳細に説明する。
【００７０】
上記のステップ８１０では、ユーザからダイジェスト映像再生要求でのユーザＩＤ、撮影、ＩＤ、ダイジェスト映像再生時間または重要度閾値の送信により、ダイジェスト映像再生処理部３７０では、図２１または、図２３に示すような処理を行う。
【００７１】
最初に、指定ユーザパターンについて説明する。
【００７２】
図２１は、本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部のダイジェスト映像処理（指定ユーザパターン）のフローチャートである。
【００７３】
ステップ８１１）  まず、受信したユーザＩＤ、撮影ＩＤに関連する各撮影機器の録画済映像を読み込む。映像管理情報ＤＢ３０３に録画済映像の置き場所を管理しているので、その情報から録画済映像を指定することができる。
【００７４】
ステップ８１２）  映像機器毎の録画済映像を各々映像区間に分割し、分割した各分割の開始映像時間、終了映像時間を分割点として、各分割点間を映像区間としてセットする。映像を映像区間に分割する方法として、例えば、同じ背景景色を写し続けている場面、ある人物が表示されている区間、音声発話がある区間、意味的な区間が考えられる。意味的な区間についてはライブ映像を確認しながら、手動で映像区観点をセットすることになる。それ以外は物理的な特徴量を対象に映像解析技術を使って自動で分割する方法がある。映像解析技術に関しては、特開平８−２１４２１０号公報、特開平９−２３８２９８号公報、特開平１１−１７８００７号公報等に記載されている。本実施の形態では、図２２に示すように、場面の切り替わり点を用いた映像区間から最終的な映像区間をセットする方法を用いるものとする。
【００７５】
ステップ８１３）  アノテーション情報ＤＢ３０４からユーザＩＤ、撮影ＩＤをキーとして、指定のユーザのアノテーション情報を取得する。
【００７６】
ステップ８１４）  ステップ８１２で分割した映像区間情報を取得し、ステップ８１３のアノテーション情報を対象として、撮影映像・映像区間毎に以下の処理を行う分割した映像区間毎に、コメントありのアノテーション数を総計し、アノテーション量（Ａ）としてセットし、分割した映像区間毎に、"投票有"のアノテーション数を総計し、アノテーション評価度（Ｂ）としてセットし、分割した映像区間毎に、"タイムマーク有"のアノテーション数を総計し、映像区間注目度（Ｃ）としてセットし、重要度（Ｘ）を以下の方法で算出し、各撮影映像の映像区間毎に重要度を保持する。
【００７７】
重要度（Ｘ）＝αＡ＋βＢ＋γＣ    （０≦α，β，γ≦１）
ステップ８１５）  最初の映像区間から最後の映像区間まで順に以下の処理を行う。同映像区間で重要度の一番高い撮影映像ＩＤ及びその重要度を降順でメモリ（図示せず）に保持する。
【００７８】
ステップ８１６ａ）  重要度閾値が指定されている場合は、ステップ８１５においてメモリ（図示せず）に保持されている結果順に読み出し、重要度が当該重要度閾値以上である限り、撮影映像ＩＤ、重要度、映像区間の組を取得することで重要度閾値を超えた映像区間だけを探すことができる。
【００７９】
ステップ８１６ｂ）  ダイジェスト再生時間が指定されている場合、ステップ８１５においてメモリ（図示せず）に保持されている結果順により読み出し、映像区間の映像時間を累積で加算し、
累積加算時間≦生成時間
が成立する間、撮影映像ＩＤ、重要度、映像区間の組を取得することで再生時間以内の映像ダイジェストを構成することができる。
【００８０】
ステップ８１７）  ステップ８１６の結果を映像区間の開始映像時間順にソートし直し、ダイジェスト映像再生リストとして、撮影映像ＩＤ、映像区間（区間開始時間、区間終了時間）のセットを次のダイジェスト再生処理へ送信する。この処理により、ユーザ自身がアノテーション情報を付与したものに基づいてダイジェスト映像再生リストが構成される。
【００８１】
次に、全ユーザ統計パターンについて説明する。
【００８２】
図２３は、本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部のダイジェスト映像構成処理（全ユーザ統計パターン）のフローチャートである。
【００８３】
ステップ８１１´）  受信した撮影ＩＤに関連する各撮影機器の録画済映像を読み込む。映像管理情報ＤＢ３０３に録画済映像の置き場所を管理しているので、その情報から録画済映像を指定することができる。
【００８４】
ステップ８１２´）  前述の図２１の場合と同様に、撮影機器毎の録画済映像を各々映像区間に分割し、分割した各分割開始映像時間、終了映像時間を分割点として、各分割点を映像区間としてセットする。図２２の方法で映像区間がセットできる。
【００８５】
ステップ８１３´）  アノテーション情報ＤＢ３０４から撮影ＩＤをキーとして、全ユーザのアノテーション情報を取得する。
【００８６】
これ以降のステップ８１４´からステップ８１７´までは図２１のステップ８１４からステップ８１７と同様の処理となる。これで撮影場所にいる全利用ユーザを対象としたアノテーション情報付与に基づいてダイジェスト映像再生リストが生成できる。
【００８７】
次に、図２０のステップ８２０の処理について説明する。
【００８８】
図２３は、本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部の同期再生処理のフローチャートである。
【００８９】
ステップ８２１）  まず、ダイジェスト映像再生処理部３７０は、図２１、図２３の処理によって作成されたダイジェスト映像再生リストを読み込む。
【００９０】
ステップ８２２）  リストの最初から順に映像対象の映像区間を取得する。
【００９１】
ステップ８２３）  映像対象の映像区間を再生する。当該ステップの表示処理でのユーザ側へのインタフェースの例を図２５に示す。同図において、映像領域とコメント領域を分離して表示する（図２５，パターン１）、映像領域内にコメント領域を重畳させて表示する（図２５，パターン２）、２画面を分離したディスプレイを持つ端末では映像とコメント領域を画面毎に分離して表示する（図２５，パターン３）、ダイジェスト映像再生リストをサムネイルとコメントを併記しながら一覧でき、サムネイルを選択、または、音声のみ再生しながら、サムネイルとコメント併記の画面が同期しながらスクロールするなどして速覧する（図２５，パターン４）等のインタフェースが考えられる。
【００９２】
ステップ８２４）  再生中の映像対象と映像区間に対応したアノテーション情報を取得し、映像区間の再生が終了するまで同期して表示を行う。
【００９３】
以上により、ライブでのスポーツのスタジアムでの観戦中に撮影対象を選択して、アノテーション情報を付与することや、講義や講演といったライブでのプレゼンテーション受講中に撮影対象を選択して、アノテーション情報を付与することなど、複製撮影機器で撮影することを前提として、様々なライブでのアノテーション情報付与において、携帯端末などの持ち運び易い端末機器からライブでのユーザの視点に合わせた映像対象へのアノテーション情報付与や、複数カメラからの同期映像の中からユーザに理解し易い、ユーザ全体の利用統計情報からの重要な映像区間を複数映像からダイジェスト映像を構成することができることで、短時間で理解し易くかつ重要な箇所を拾いながら効果的に速覧することで、ライブ状態でも迷わず、他ユーザでも間違った理解をされないような、アノテーション情報提供、付与環境を提供することができる。
【００９４】
なお、上記の第１の実施の形態におけるサーバ１００、第２の実施の形態におけるサーバ３００の構成要素の動作をプログラムとして構築し、当該サーバとして利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００９５】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００９６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００９７】
本発明は、映像に対してアノテーションを付与する技術に適用可能である。
【図面の簡単な説明】
【００９８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態におけるシステム構成図である。
【図４】本発明の第１の実施の形態における場所撮影環境管理情報の例である。
【図５】本発明の第１の実施の形態におけるサーバの処理のフローチャートである。
【図６】本発明の第２の実施の形態におけるシステム構成図である。
【図７】本発明の第２の実施の形態におけるサーバの処理のフローチャートである。
【図８】本発明の第２の実施の形態における映像端末キー対応付け処理部の入力例である。
【図９】本発明の第２の実施の形態における映像端末キー対応付け処理部の結果の例である。
【図１０】本発明の第２の実施の形態における映像端末キー対応付け処理部のフローチャート（固定キー配列）である。
【図１１】本発明の第２の実施の形態における映像端末キー対応付け処理部のフローチャート（自由キー配列）である。
【図１２】本発明の第２の実施の形態における映像端末キー対応付け処理部を説明するための図（視点の角度が違う例）である。
【図１３】本発明の第２の実施の形態における複数映像開始点保持処理部のフローチャートである。
【図１４】本発明の第２の実施の形態における複数映像開始点保持処理部の登録結果（映像管理情報例）である。
【図１５】本発明の第２の実施の形態におけるアノテーション対象指定時の指定インタフェース例である。
【図１６】本発明の第２の実施の形態におけるアノテーション対象指定処理部のフローチャートである。
【図１７】本発明の第２の実施の形態におけるアノテーション付与処理部のフローチャートである。
【図１８】本発明の第２の実施の形態におけるアノテーション時間変換処理部のフローチャートである。
【図１９】本発明の第２の実施の形態におけるアノテーション登録処理部のアノテーション情報ＤＢへの登録結果例である。
【図２０】本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部の概要動作のフローチャートである。
【図２１】本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部のダイジェスト映像構成処理のフローチャート（指定ユーザパターン）である。
【図２２】本発明の第２の実施の形態における映像分割方法の例である。
【図２３】本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部のダイジェスト映像構成処理のフローチャート（全ユーザ統計パターン）である。
【図２４】本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部の同期再生処理のフローチャートである。
【図２５】本発明の第２の実施の形態におけるアノテーション付きダイジェスト映像再生処理部の表示例（同期再生）を示す図である。
【符号の説明】
【００９９】
１００  サーバ
１１０  通信部
１２０  処理部
１２１  場所撮影環境管理情報取得手段
１２２  参照手段
１２３  座標変換手段
１３０  場所撮影環境管理情報記憶手段、ＤＢ
１３１  場所撮影環境管理情報
２００  ユーザ端末
２１０  通信部
３００  サーバ
３０１  場所撮影環境管理情報ＤＢ
３０２  ユーザ・端末毎映像端末キー対応情報ＤＢ
３０３  映像管理情報ＤＢ
３０４  アノテーション情報ＤＢ
３１０  映像端末キー対応付け処理部
３２０  複数映像開始点保持処理部
３３０  アノテーション対象指定処理部
３４０  アノテーション付与処理部
３５０  アノテーション時間変換処理部
３６０  アノテーション登録処理部
３７０  ダイジェスト映像再生処理部
【図１】
2010074437.tif 000005
【図２】
2010074437.tif 000006
【図３】
2010074437.tif 000007
【図４】
2010074437.tif 000008
【図５】
2010074437.tif 000009
【図６】
2010074437.tif 000010
【図７】
2010074437.tif 000011
【図８】
2010074437.tif 000012
【図９】
2010074437.tif 000013
【図１０】
2010074437.tif 000014
【図１１】
2010074437.tif 000015
【図１２】
2010074437.tif 000016
【図１３】
2010074437.tif 000017
【図１４】
2010074437.tif 000018
【図１５】
2010074437.tif 000019
【図１６】
2010074437.tif 000020
【図１７】
2010074437.tif 000021
【図１８】
2010074437.tif 000022
【図１９】
2010074437.tif 000023
【図２０】
2010074437.tif 000024
【図２１】
2010074437.tif 000025
【図２２】
2010074437.tif 000026
【図２３】
2010074437.tif 000027
【図２４】
2010074437.tif 000028
【図２５】
2010074437.tif 000029