(57)【要約】【課題】映像掲示板に対してのアノテーション情報の付与を支援する場合に、ユーザの映像注目点を時間効率よく、漏れなく注目点を探索し、タイムラインを設定する。【解決手段】本発明は、履歴集計結果記憶手段と、映像区間情報記憶手段から取得した映像掲示板情報中の映像再生時間長、映像タイムライン幅、映像区間、視聴ユーザ注目映像開始点、履歴集計映像区間数から、映像再生タイムライン、視聴ユーザ注目点タイムライン、映像区間タイムライン、利用集計タイムラインを、各注目点、または、各区間開始終了点、集計結果が存在するタイムラインはグラフとして映像再生タイムライン幅に合わせて同一長で生成する。【選択図】図１
2010130241.tif 000002
【特許請求の範囲】
【請求項１】
映像区間が定義された映像から作成された映像掲示板を対象に、ユーザによって注目されたタイムラインを生成する映像掲示板タイムライン生成装置であって、
映像区間及び履歴集計映像区間単位に少なくとも１つのユーザ利用イベントの利用数を集計した集計結果を格納した履歴集計結果記憶手段と、
映像掲示板のＩＤ毎に映像掲示板情報中の映像再生時間長、映像タイムライン幅、映像区間、視聴ユーザ映像区間情報を格納する映像区間情報記憶手段と、
前記映像区間情報記憶手段から取得した前記映像再生時間長、前記映像タイムライン幅、前記映像区間、前記視聴ユーザ映像区間情報と、前記履歴集計結果記憶手段から取得した履歴集計映像区間数に基づいて、映像再生タイムライン、視聴ユーザ注目タイムライン、映像区間タイムライン、利用集計タイムラインを、各注目点、または、各区間開始・終了点、前記集計結果が存在するタイムラインについては、グラフとして映像再生タイムライン幅に合わせて同一長で生成するタイムライン生成手段と、
を有することを特徴とする映像掲示板タイムライン生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像掲示板タイムライン生成装置に係り、特に、映像区間が定義された映像から作成された映像掲示板を対象に、ユーザが注目しているタイムラインを生成するための映像掲示板タイムライン生成装置に関する。
【背景技術】
【０００２】
従来から映像時間、映像区間、映像上空間にアノテーション情報の付与や表示する方法がある（例えば、特許文献１参照）。
【０００３】
更に、ユーザの利用履歴の集計結果に合わせてランキングをリスト形式で提供する方法がある(例えば、非特許文献１参照)。
【０００４】
このように映像区間毎に映像に対する正確なアノテーション情報の付与や表示、更に利用履歴の集計結果に合わせてランキングリストを作成することで、ユーザが重要と考える箇所を映像区間単位で探索することができることは、アノテーション情報を付与する映像を閲覧する時間効率を上げる効果があるため、有意義である。
【特許文献１】特開２００３−２８３９８１号公報
【非特許文献１】近藤功、他「映像を介したコミュニケーションにおけるシーンプロファイル自動生成技術とナビゲーションへの適用」信学技法CQ2006-51 Vol. 106, No. 240 (20060908) pp.5-10.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
映像に対するアノテーション情報の付与・閲覧に関して、ユーザがアノテーション情報の入力をするための準備として、アノテーション情報付与の注目対象(映像区間、映像区間内の動画空間、他アノテーション情報)の探索・視聴を行う必要がある。この注目対象の探索において、時間が短く、かつ対象を広く漏れなく探索できることが望ましい。すなわち、時間効率と探索精度が高いことが望ましい。注目対象の探索において、時間効率が良く探索が行えるようにユーザを支援することが重要となる。
【０００６】
更に、付与したアノテーション情報を他ユーザと共有するにはアノテーション情報と映像との関連付けが正確に行われ、簡潔なアノテーション情報が望ましい。アノテーション情報と映像注目対象の関連性が絞られ、簡潔なアノテーション情報を付与できるように支援することも重要である。
【０００７】
しかしながら、前述の特許文献１の技術では、映像掲示板内のどの映像区間に注目すべきかについて、映像掲示板中の全映像区間、全アノテーション情報がチェックの対象となるため、時間効率はよくない。また、複数映像を比較することで、アノテーション情報を付与したい関連が見つかる場合も多いと考えられる。そのような複数の映像に対してアノテーション情報を付与する場合は、各映像掲示板の各々で映像を確認し、各々の掲示板にアノテーションを付与し、更に各掲示板の同一内容のアノテーションが関連していることをアノテーション情報に追記する必要がある。そのため、複数の映像区間を対象とした場合、簡潔なアノテーション情報の付与が難しい。
【０００８】
また、非特許文献１の技術では、アノテーション情報が映像区間と関連付いているため、特許文献１まで正確ではないが、ある程度正確に把握できる。しかも利用履歴に基づいて、映像区間での注目すべき箇所がランキングリストで確認できるため、ある程度時間効率もよい。しかし、リスト形式のランキングでは、ランキングのある程度高い映像区間がタイムライン上で偏りがある場合(ある程度映像時間が近いところに集中している場合)、注目対象を時間効率的に探索・視聴できない可能性がある。さらに、ランキングは中くらいだが、タイムライン上に偏りがあり、固まっている場合では、その固まり区間はユーザにとって、注目すべき箇所で見落としてしまうことも考えられる。また、複数映像区間を対象としたアノテーション情報の付与は特許文献１と同様に簡潔に行うことはできない。
【０００９】
以上から映像掲示板に対してのアノテーション情報の付与を支援する場合、
・アノテーション情報付与対象を時間効率良く、かつ精度良く行うことができない；
・複数映像区間にアノテーション情報を付与する場合、映像との正確な関連付けとアノテーション情報の簡潔さの両立を行うことができない；
といった問題がある。
【００１０】
本発明は、上記の点に鑑みなされたもので、ユーザの映像注目点を時間効率よく、漏れなく注目点を探索し、タイムラインを設定することが可能な映像掲示板タイムライン生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理構成図である。
【００１２】
本発明（請求項１）は、映像区間が定義された映像から作成された映像掲示板を対象に、ユーザによって注目されたタイムラインを生成する映像掲示板タイムライン生成装置であって、
映像区間及び履歴集計映像区間単位に少なくとも１つのユーザ利用イベントの利用数を集計した集計結果を格納した履歴集計結果記憶手段５０と、
映像掲示板のＩＤ毎に映像掲示板情報中の映像再生時間長、映像タイムライン幅、映像区間、視聴ユーザ映像区間情報を格納する映像区間情報記憶手段２０と、
映像区間情報記憶手段２０から取得した映像再生時間長、映像タイムライン幅、映像区間、視聴ユーザ映像区間情報と、履歴集計結果記憶手段５０から取得した履歴集計映像区間数から、映像再生タイムライン、視聴ユーザ注目タイムライン、映像区間タイムライン、利用集計タイムラインを、各注目点、または、各区間開始終了点、集計結果が存在するタイムラインについては、グラフとして映像再生タイムライン幅に合わせて同一長で生成するタイムライン生成手段１２０と、を有する。
【発明の効果】
【００１３】
上記のように本発明によれば、映像再生のタイムラインと同じ幅で、視聴しているユーザが注目している映像開始点が並んだタイムライン、映像全体の意味的な映像区間で分割されたタイムライン、全関係ユーザの利用特徴による重要度がグラフで表現されたタイムラインを同一長で生成することにより、一覧性よく配置される。これにより、現在の映像再生時間、ユーザが注目すべき映像時間点、または、映像区間が多様な観点で一覧できるため、アノテーション情報付与対象を時間効率よく、かつ精度よく行うことができるようになる。
【発明を実施するための最良の形態】
【００１４】
以下、図面と共に本発明の実施の形態を説明する。
【００１５】
まず、以下の説明における「映像再生タイムライン」とは、現在の映像再生時間を全再生時間中のどのあたりを再生しているかをタイムライン表示するものであり、映像再生を行うと、映像の再生位置に合わせてポイントが刻々と移動していくことで現在の映像再生がどの程度再生されたかを把握することができる。
「視聴ユーザ注目タイムライン」とは、映像の全再生時間中の映像視聴ユーザがどの再生位置を注目したかをポイント指定で取り置きができ、それをタイムラインで表示するものであり、ユーザが映像再生中に注目点入力を行うと、その注目再生時間位置をシステムが記録し、映像全再生時間のどの再生位置が注目点かを表示することができる。
【００１６】
「映像区間タイムライン」とは、映像中の特徴イベント、内容変換位置などを基に映像全再生時間を区間に分割したものをタイムラインで表示するものであり、映像全再生時間を１区間目と２区間目の間、２区間目と３区間目の間，…，ｎ−１区間目とｎ区間目の間に区切りがわかる形でタイムラインを表示することで、映像全体をどのように分割されているかを視覚的に把握できる。
【００１７】
「利用集計タイムライン」とは、前述の映像区間タイムラインより短い一定区間で区切られた区間中に、ユーザのこれまでの利用履歴からの再生、コメント、ブックマーク、コメントへの投票行動などのアクションを区間毎に集計して、その集計結果のグラフをタイムライン表示するものであり、ユーザは映像全再生時間のどのあたりがよく利用されているかを視覚的に把握できる。
【００１８】
図２は、本発明の第１の実施の形態における映像注目点入力表示装置の構成を示す。
【００１９】
同図に示す映像注目点入力表示装置１００は、ユーザ端末２００と接続されている。
【００２０】
映像注目点入力表示装置１００は、表示設定ＤＢ１０、映像区間情報ＤＢ２０、利用履歴情報ＤＢ３０、注目点アノテーション情報ＤＢ４０、メモリ５０、利用イベント集計部１１０、映像掲示板複数注目軸タイムライン生成部１２０、映像掲示板複数注目軸タイムライン表示部１３０、映像掲示板注目点入力部１４０、映像掲示板アノテーション入力部１５０、映像アノテーション情報再生制御部１６０から構成される。
【００２１】
表示設定記憶部１０は、図３に示すように、映像掲示板ＩＤ毎に、映像表示サイズ、映像タイムライン幅、履歴集計映像区間数、映像表示サイズタイプを格納する。
【００２２】
映像区間情報ＤＢ２０は、図４に示すように映像掲示板ＩＤ毎に、対象アノテーション情報ＩＤ、映像区間（映像区間は開始点（イベント開始時間）と終了点（イベント終了時間）からなり、前の終了点が次の開始点に一致する）、イベント種別を格納する。映像区間情報ＤＢ２０は、事前に例えば、特許第３３７８７７３号「ショット切換検出方法及びショット切換検出プログラムを記録した記録媒体」の方法により、スライド映像のシーン切替検出により、スライドの切替点を検出し、同一のスライド表示区間を検出して作成することができる。具体的には、図５のような場面変化点の検出を図６に示す手順でシーン切替区間を判定する。
【００２３】
図６に示すシーン切替検出手順としては、映像を読み込み（ステップ１１）、ステップ幅Ｓの間隔内の複数フレーム画像を読み込む（ステップ１２）。その複数フレーム画像の画素値をフレーム順に並べて、その変化量によりラベリング処理を行う（ステップ１３）。ラベリングとしては、constant（変化最小）、linear（持続的な上昇）に、step（急激な変化）、no-label（ラベル無し）を画素毎に判定して、このステップ幅の全constant, linear, step, no-labelの数（Ｎｃ、ＮＩ，Ｎｓ，Ｎｕ）をカウントする。Ｎｓ／Ｎ−Ｎｕの値が閾値cutを超えるかどうか、Ｎｌ／Ｎ−Ｎｕの値が閾値Ｔdisを超えるかどうかでシーン切替を判定する（ステップ１４）。その結果シーン切替点の検出を行うことができる。
【００２４】
利用履歴情報ＤＢ３０は、図７に示すように、ユーザ利用イベントの履歴として、指定映像掲示板ＩＤ(ｉ)、対象アノテーション情報ＩＤ、イベント開始時間（映像の時間的位置を保持）、イベント種別を格納する。
【００２５】
注目点アノテーション情報ＤＢ４０は、指定映像掲示板ＩＤ毎に注目点と注目点のタイムライン位置を格納する。具体的には、図８に示すように、対象アノテーション情報ＩＤ，注目点設定ユーザ、映像掲示板ＩＤ，イベント開始時間、イベント終了時間、アノテーション情報から構成される。
【００２６】
以下に、上記の構成における動作を説明する。
【００２７】
図９は、本発明の第１の実施の形態における動作の概要のフローチャートである。
【００２８】
ステップ１００）集計区間単位の利用イベント集計手順：
まず、ユーザ端末２００において、ユーザが映像掲示板と利用イベントを選択すると、利用イベント集計部１１０において、映像区間情報記憶部２０、利用履歴情報ＤＢ３０、表示設定記憶部１０から取得した、ユーザ利用イベントの履歴、映像区間、履歴集計映像区間数から履歴集計の映像区間を決定し、映像区間及び履歴集計映像区間単位に少なくとも１つのユーザ利用イベントの利用数を集計し、履歴集計映像区間毎に集計結果をメモリ５０に保持する。
【００２９】
以下に詳細に説明する。
【００３０】
図１０は、上記のステップ１００の利用イベント集計部１１０の動作のフローチャートである。
【００３１】
ステップ１０１）  利用イベント集計部１１０は、ユーザ端末２００から入力された指定映像掲示板ＩＤを受け付け、指定映像掲示板ＩＤをキーにして、映像区間情報ＤＢ２０を検索し、映像区間ＩＤ、映像区間開始点、映像区間終了点の組を取得し、さらに、指定映像掲示板ＩＤをキーにして、表示設定ＤＢ１０を検索し、映像サイズタイプ、履歴集計区間数、映像タイムライン幅の組を取得し、加えて、最後の映像区間の終了点の時間を映像全時間にし、これら全てをメモリ５０に保持する。
【００３２】
ステップ１０２）  次に、ユーザ端末２００から利用イベント、ユーザＩＤを受け付け、利用イベント(イベント種別)、ユーザＩＤをメモリ５０に保持する。
【００３３】
ステップ１０３）  ステップ１０１でメモリ５０に保持した映像サイズタイプ毎に、履歴集計区間数を用いて、以下の式で履歴集計映像区間単位(単位当たりの履歴区間幅)を計算して、映像サイズタイプ、映像タイムライン幅、履歴集計映像区間単位、履歴集計区間数の組をメモリ５０に保持する。
【００３４】
計算式：
履歴集計映像区間単位=ステップ１０１での対象映像の最後の映像区間の終了点の時間／履歴集計映像区間数
ステップ１０４）  ユーザから指定された映像掲示板ＩＤ及び、ステップ１０２でメモリ５０に保持したイベント種別をキーにして、利用履歴情報ＤＢ３０を検索し、イベント開始時間を取得し、メモリ５０に保持する。
【００３５】
ステップ１０５）  映像区間毎のイベント利用数(ステップ１０５ｂ〜１０７ａ)、履歴集計区間毎のイベント数（ステップ１０５ｂ〜１０７ｂ)を分離して進める。まず、映像区間毎のイベント利用数について説明する。
【００３６】
ステップ１０５ａ）次の初期状態を設定する。
【００３７】
［初期状態］各映像区間ＩＤのイベント利用数＝０
ステップ１０６ａ）ステップ１０４でメモリ５０に保持されているイベント開始時間分について以下の処理を繰り返す。
【００３８】
ステップ１０４で保持したイベント開始点が、ステップ１０１でメモリ５０に保持した映像区間ＩＤの組の中で条件を満たすものについては結果の処理を行う。
【００３９】
［条件］  映像区間開始点＜イベント開始点＜映像区間終了点
［結果］  条件１を満たす映像区間ＩＤのイベント利用数を１加える。
【００４０】
ステップ１０７ａ）  映像区間単位のイベント利用数として保持して、次の映像掲示板複数注目軸タイムライン生成部１２０に渡すこととなる。
【００４１】
もう一つの履歴集計区間毎のイベント利用数について説明する。
【００４２】
ステップ１０５ｂ）  次の初期値を設定し、以下の処理を(履歴集計区間数)−１回分繰り返し、初期状態を設定する。
【００４３】
［初期値］    履歴集計区間ＩＤ＝１，
履歴区間開始点＝０，
履歴区間終了点=０＋履歴集計映像区間単位
［処理］      履歴集計区間ＩＤ＝前の履歴集計区間ＩＤ＋１，
履歴集計区間開始点＝前の履歴区間終了点+履歴集計映像区間単位，
履歴区間終了点=履歴区間開始点＋履歴集積映像区間単位
［初期状態］各履歴集計区間ＩＤのイベント利用数＝０
ステップ１０６ｂ）  ステップ１０４でメモリ５０に保持したイベント開始時間分について以下の処理を繰り返す。
【００４４】
ステップ１０４でメモリ５０に保持したイベント開始点がステップ１０５ｂで保持した履歴集計区間ＩＤの組中で条件を満たすものは結果の処理を行う。
【００４５】
［条件］  履歴区間開始点＜イベント開始点＜履歴区間終了点
［結果］  上記の条件を満たす履歴集計映像区間ＩＤのイベント利用数を１加える。
【００４６】
ステップ１０７ｂ）  履歴集計区間ＩＤ毎のイベント利用数としてメモリ５０に保持して、ステップ１０７ａと同様に次の映像掲示板複数注目軸タイムライン生成部１２０に渡す。
【００４７】
ステップ２００）  映像掲示板複数注目軸タイムライン生成手順：
映像掲示板複数注目軸タイムライン生成部１２０は、メモリ５０、映像区間情報ＤＢ２０から映像掲示板情報中の映像再生時間長、映像タイムライン幅、映像区間、視聴ユーザ注目映像開始点、履歴集計映像区間数を取得して、映像再生タイムライン、視聴ユーザ注目点タイムライン、映像区間タイムライン、利用集計タイムラインを各注目点、または、各区間開始終了点、集計結果が存在するタイムラインはグラフとして映像再生タイムライン幅に合わせて同一長で生成する。この処理の詳細について、以下に説明する。
【００４８】
図１１は、上記のステップ２００の映像掲示板複数注目軸タイムライン生成部の内部処理を示す。
【００４９】
ステップ２０１）  メモリ５０から
(1)映像サイズタイプ、映像タイムライン幅の組
(2）映像区間ＩＤ毎の映像区間開始点、映像区間終了点、イベント利用数の組
(3)履歴集計区間ＩＤ毎の履歴集計区間開始点、履歴集計区間終了点、イベント利用数の組
(4)指定映像掲示板ＩＤ
(5)ユーザ（ユーザＩＤ）
(6)映像全時間
を取得する。
【００５０】
ステップ２０２）  ステップ２０１の(4)指定映像掲示板ＩＤ，(5)ユーザＩＤをキーにして、注目点アノテーション情報ＤＢ４０で、映像掲示板ＩＤ項目、注目点設定ユーザの情報を検索し、当該ユーザの指定した注目点のイベント開始時間を取得する。
【００５１】
ステップ２０３）  上記ステップ２０１とステップ２０２で取得した情報を用いて、各複数注目軸のタイムラインを生成するため、各軸のタイムライン位置を規定する。
【００５２】
ステップ２０１の(1)映像サイズタイプ、映像タイムライン幅の組分、以下の処理を行う。
【００５３】
更に、ステップ２０２で取得した注目点のイベント開始時間の個数分、以下の計算を行う。
【００５４】
［計算式］
注目点のタイムライン位置＝イベント開始時間×(1)映像タイムライン幅
／(6)映像全時間
これで、視聴中のユーザが指定した注目点の位置を表示するタイムラインを表示する準備が完了した。
【００５５】
ステップ２０４）  ステップ２０１の(2)映像サイズタイプ、映像タイムライン幅の組分繰り返し、以下の処理を行う。さらに、内部処理でも更に、ステップ２０１の（2）の映像区間ＩＤ個数分、繰り返し計算を行う。
【００５６】
［計算式１］
映像区間終了タイムライン位置＝映像区間終了点×(1)映像タイムライン幅
／(6)映像全時間
［計算式２］
イベント利用数割合（％）＝１００×イベント利用数
／全映像区間中のイベント利用数最大値
これで、映像区間タイムラインの映像区間切替点の位置と各映像区間のイベント利用数を表示する準備が完了した。
【００５７】
ステップ２０５）  ステップ２０１の(2)映像サイズタイプ、映像タイムライン幅の組分、以下の処理を繰り返し行う。
【００５８】
さらに、ステップ２０１の（3）履歴集計区間映像ＩＤ個数分繰り返し計算を行う。
【００５９】
［計算式１］
履歴集計区間終了タイムライン位置＝履歴集計区間終了点×(1)映像タイムライン幅
／(6)映像全時間
［計算式２］
イベント利用数割合（％）＝１００×イベント利用数
／全履歴集計区間中のイベント利用数最大値
これで、履歴集計タイムラインの履歴集計区間切替点の位置と各履歴集計区間のイベント利用数を表示する準備が完了となる。
【００６０】
ステップ２０６）  上記のステップ２０３からステップ２０５における処理結果を保持するため、
・映像再生タイムラインの幅となるステップ２０１の映像サイズタイプと映像タイムライン幅の組；
・視聴ユーザ注目点ライムラインの配置位置となるステップ２０３の映像サイズタイプ、注目点の順序（１からｎ）、注目点のタイムライン位置の組；
・映像区間タイムラインの区分分割位置とグラフ化データとなるステップ２０４の映像サイズタイプ、映像区間ＩＤ，映像区間終了タイムライン位置、イベント利用数割合の組；
・利用集計タイムラインの区分分割位置となるステップ２０５の映像サイズタイプ、履歴終了区間ＩＤ、履歴集計区間終了タイムライン位置、イベント利用数割合；
を結果として、メモリ５０に保持する。この保持データを用いれば、映像サイズタイプ毎の各軸のタイムラインを表示できる。
【００６１】
ステップ３００）  映像掲示板複数注目軸タイムライン表示手順：
ステップ２００でメモリ５０に保持したデータによって、映像掲示板複数注目軸タイムライン表示部１３０で、指定の映像掲示板の映像と同時に、上記で生成した同一長のタイムライン全てを近い領域に並べて表示する。
【００６２】
表示結果の具体例を図１２に示す。同図（Ａ）は、映像サイズタイプが「拡大」（６００Pixel）の表示幅である。映像再生タイムライン幅は、映像サイズタイプ(「拡大」「標準」)によって決定されるので、そのサイズで表示された下に視聴中のユーザの注目点の位置を配置し、さらに下のタイムラインで、映像を意図的に分割された映像区間でどの映像区間が活発であるかを、イベント利用数割合値を色データとして表現したものとなる（図１２では、白黒の濃淡）。ここでは、明度を使って表した例を示すが、次の履歴集計タイムラインと同様に棒グラフとして表現してもよい。履歴集計タイムラインもイベント利用数割合値を棒グラフで表現したものとなる。
【００６３】
注目点のポイント設定は、その映像再生の幅を再生時間(例えば、50000msec)として扱うことで、注目点アノテーション情報ＤＢ４０で管理している注目点の映像上の時間（例えば、3200msec、4000msec、…）が注目点タイムラインのどのあたりかを決めることができる。
【００６４】
また、映像区間の位置設定は、上記と同様に、映像区間(シーン１：0〜2000msec，シーン２：2000  〜4500msec，…)が映像区間情報ＤＢ２０で管理されているものとして、その映像区間の位置を決定することができる。
【００６５】
また、履歴集計映像区間の設定も、同様に、（0〜300msec，300〜600msec，…）とタイムライン上の区間が設定することができる。
【００６６】
この４つの軸（映像再生・注目点・映像区間・履歴集計）で現在の映像再生位置、視聴中ユーザの注目点、意味的な映像区間での全ユーザの統計的利用状況、さらに、履歴集計単位で意味的な映像区間内でもさらに細かな統計的利用状況が一目で分かる。そのため、視聴ユーザが注目すべき箇所が全体的な観点で探索することが出来るので、漏れなく時間効率をよくすることが可能となる。
【００６７】
実際の映像視聴とアノテーション情報の再生時の画面例を図１３に示す。図１２のタイムラインが映像画面のサイズと連動してリサイズでき、タイムライン表示領域、あるいは、テキストコメント表示領域で、見たい再生位置から映像も連動して再生可能となる画面例である。この画面は、図２のユーザ端末２００の「タイムライン表示」にあたる。このユーザ端末２００の画面上で、タイムライン表示領域、あるいは、現在再生中の映像時間、さらにテキストコメント表示領域のテキストコメントから関係付いた映像時間で再生し、再生した位置を注目点として設定することができる。
【００６８】
ステップ４００）  映像掲示板注目点入力手順：
映像掲示板注目点入力部１４０は、ユーザ端末２００から指定映像掲示板上で入力された注目映像開始点を取得する。詳細を以下に示す。
【００６９】
図１４は、本発明の第１の実施の形態における映像掲示板注目点入力部の内部処理のフローチャートである。
【００７０】
ステップ４０１）  ユーザ端末２００から注目点入力として、映像再生ライムライン中の再生位置指定または、現在映像再生時間指定を受け付け、対応付いた映像時間を取得する。
【００７１】
ステップ４０２）  注目点アノテーション情報ＤＢ４０に、注目点設定ユーザ名、再生中映像掲示板ＩＤ、ステップ４０１で取得した映像時間をイベント開始点として登録する。
【００７２】
ステップ４０３）  もし、アノテーション情報が同時に入力されなければ、ここで終了となる。もし、ユーザから注目点と同時にアノテーション情報の入力を受け付けていた場合、ステップ４０２で登録した結果の映像アノテーション情報ＩＤとアノテーション情報を映像掲示板アノテーション入力部１５０に送信する。
【００７３】
ステップ５００）  映像掲示板注目点アノテーション情報入力手順：
映像掲示板アノテーション入力部１５０は、注目点に関するアノテーション情報が、注目点入力依頼と同時、あるいは別途注目点を指定後、ユーザから入力されると、映像掲示板アノテーション入力部１５０から注目点アノテーション情報ＤＢ４０に登録される。
【００７４】
ここでの具体的な処理を図１４に示す。
【００７５】
ステップ５０１）  まず、映像アノテーション情報ＩＤとアノテーション情報をユーザ端末２００から取得する。
【００７６】
ステップ５０２）  注目点アノテーション情報ＤＢ４０の映像アノテーション情報ＩＤに対して、アノテーション情報を追加として登録する。
【００７７】
これで、図８に示すようなデータ構成で追加登録されていくことになる。
【００７８】
ステップ６００）  映像掲示板注目点映像アノテーション情報再生手順：
図１６は、本発明の第１の実施の形態における映像アノテーション情報再生制御部のフローチャートである。
【００７９】
ステップ６０１）  映像アノテーション情報再生制御部１６０再生中の映像掲示板ＩＤのアノテーション情報を注目点アノテーション情報ＤＢ４０から全て取得し、保持する。
【００８０】
ステップ６０２）  ユーザ端末から再生制御されている映像時間を取得する。
【００８１】
ステップ６０３）  再生中の映像時間を監視しながらテキストコメント領域のコメントの表示処理と(ステップ６０３ａ)と、映像上に重畳する図形描画表示処理(ステップ６０３ｂ)を同時に行う。このとき、ユーザ端末のブラウザ上の再生制御プログラムで再生時間を取得して、以下のステップ６０３では再生制御プログラム中の図形描画やコメント表示イベント（どちらも表示再生時間を保持）の時間を監視して、時間が到来したら、以下のステップ６０３ａ、ステップ６０３ｂの処理を行う。
【００８２】
ステップ６０３ａ）  再生時間の対象映像区間のテキストコメントをテキストコメント領域のトップに表示する。
【００８３】
ステップ６０３ｂ）  同時に、図形描画を含むイベント開始点とステップ６０２の映像時間が一致した場合、保持した図形をイベント終了点まで映像領域に重畳描画する。
【００８４】
ステップ６０４）  ユーザからイベントが入力されなければ、処理を終了する。
【００８５】
ステップ６０５）  ユーザからの映像位置指定があれば、映像再生タイムライン上の任意の位置、ユーザ注目点タイムラインの注目点、映像区間タイムライン中の映像区間、履歴集計タイムラインの履歴集計区間、アノテーション情報の指定により、対応付けられている映像開始時間を再生開始点としてセットして、ステップ６０２の再生制御の処理に戻る。
【００８６】
この処理により、各アノテーション情報が映像再生と連動して表示することができる。
【００８７】
また、各タイムラインやテキストコメント指定で、繰り返し再生を行うことができる。学習用途などで重要箇所を繰り返し視聴することが可能となる。
【００８８】
［第２の実施の形態］
本実施の形態では、ユーザ端末２００において、ユーザが複数映像区間を比較再生しながら、注目点入力、及び、アノテーション情報入力を行う際に、複数映像区間を同時比較再生制御しながら、注目点、アノテーション情報を掲示板に表示する。
【００８９】
図１７は、本発明の第２の実施の形態における映像注目点入力表示装置の構成を示す。
【００９０】
同図に示す映像注目点入力表示装置３００は、映像区間情報ＤＢ２０，注目点アノテーション情報ＤＢ４０、注目映像開始点一覧表示部３１０、注目映像開始点指定部３２０、複数映像区間再生制御部３３０、複数映像注目点入力部３４０、映像掲示板アノテーション情報入力部３５０から構成される。
【００９１】
同図における映像区間情報ＤＢ２０，注目点アノテーション情報ＤＢ４０は、前述の第１の実施の形態と同様である。
【００９２】
以下に、上記の構成における動作を説明する。
【００９３】
図１８は、本発明の第２の実施の形態における概要動作のフローチャートである。
【００９４】
ステップ１１００）  注目映像開始点一覧表示部３１０は、ユーザ端末２００から注目映像開始点一覧表示依頼を取得すると、当該ユーザに対応付けられた注目点の情報を注目点アノテーション情報ＤＢ４０から取得し、ユーザ端末２００上に表示する。表示例を図１９に示す。
【００９５】
ステップ１２００）  ユーザ端末２００では、図１９に示した注目点の情報を表示し、メイン、サブといった２つの映像区間を指定して、比較再生を行う。ユーザが図１９に示す画面より、２映像区間を指定する。なお、ここでは、簡単のため２映像区間を指定する例を示すが、さらに複数の映像区間が選択されても同様に処理が可能である。
【００９６】
注目点映像開始点指定部３２０では、ユーザが図１９の画面上で指定した注目映像開始点(映像掲示板ＩＤ，及び、映像時間)をメモリ３６０に保持する。
【００９７】
ステップ１３００）  複数映像区間再生制御部３３０では、メモリ３６０に保持されている注目映像開始点をユーザ端末２００に表示する。さらに、複数映像区間再生制御部３３０では、各映像区間、または全映像区間を図２０に示すようなインタフェース上で、再生・停止等を行うことが可能なように制御する。
【００９８】
ステップ１４００）  ユーザ端末２００において、図２０に示す画面から注目する映像区間が複数設定されると、複数映像注目点入力部３４０は、複数の映像区間を注目点アノテーション情報ＤＢ４０に登録する。以下に、当該処理を図２１に基づいて詳細に説明する。
【００９９】
ステップ１４０１）  ユーザ端末２００から注目点入力として、各映像の映像再生タイムライン中の再生位置指定、または、現在映像再生時間指定を受け付け、それらの指定に対応付けられた映像時間を、ユーザ端末２００の再生制御プログラムから取得する。
【０１００】
ステップ１４０２）  注目点アノテーション情報ＤＢ４０に、ユーザ、注目チェックのついた再生中映像掲示板ＩＤ，ステップ１４０１で取得した映像時間をイベント開始点として注目点アノテーション情報ＤＢ４０に登録する。
【０１０１】
アノテーション情報がなければ、ここで終了する。
【０１０２】
ステップ１４０３）  ユーザ端末２００から注目点と同時に、アノテーション情報の入力を受け付けていた場合、ステップ１４０２で登録した結果の映像アノテーション情報ＩＤ(複数)とアノテーション情報を複数映像掲示板アノテーション情報入力部３５０に送る。
【０１０３】
ステップ１５００）  映像掲示板アノテーション情報入力部３５０は、図２２に示すようなインタフェースにより、複数映像アノテーション情報ＩＤを対象として、図１５と同様の処理を行う。
【０１０４】
これで、同時に複数映像区間へのアノテーション情報の登録を行うことができる。
【０１０５】
なお、上記の映像掲示板複数注目軸タイムライン生成部１２０の動作をプログラムとして構築し、映像掲示板複数注目軸タイムライン装置、または、映像掲示板注目点表示入力装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１０６】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【０１０７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１０８】
本発明は、映像掲示板上の映像に関して注目点及びアノテーション情報を再生された映像と連動して表示するための技術に適用可能である。
【図面の簡単な説明】
【０１０９】
【図１】本発明の原理構成図である。
【図２】本発明の第１の実施の形態における映像注目点入力表示装置の構成図である。
【図３】本発明の第１の実施の形態における表示設定ＤＢの例である。
【図４】本発明の第１の実施の形態における映像区間情報ＤＢの例である。
【図５】本発明の第１の実施の形態における映像分割例である。
【図６】本発明の第１の実施の形態におけるシーン切替検出手順である。
【図７】本発明の第１の実施の形態における利用履歴情報ＤＢの例である。
【図８】本発明の第１の実施の形態における注目点アノテーション情報ＤＢの例である。
【図９】本発明の第１の実施の形態における動作の概要のフローチャートである。
【図１０】本発明の第１の実施の形態における利用イベント集計部の内部処理のフローチャートである。
【図１１】本発明の第１の実施の形態における映像掲示板複数注目軸タイムライン製絵師部の内部処理のフローチャートである。
【図１２】本発明の第１の実施の形態における映像掲示板複数注目軸タイムライン表示部の表示例である。
【図１３】本発明の第１の実施の形態における映像掲示板複数注目軸タイムライン表示部による全体画面表示例である。
【図１４】本発明の第１の実施の形態における映像掲示板注目点入力部の内部処理のフローチャートである。
【図１５】本発明の第１の実施の形態における映像掲示板アノテーション入力部の内部処理のフローチャートである。
【図１６】本発明の第１の実施の形態における映像アノテーション情報再生制御部のフローチャートである。
【図１７】本発明の第２の実施の形態における映像注目点入力表示装置の構成図である。
【図１８】本発明の第２の実施の形態における概要動作のフローチャートである。
【図１９】本発明の第２の実施の形態における注目映像開始点一覧表示部の表示インタフェース例である。
【図２０】本発明の第２の実施の形態における注目映像開始点指定部の表示インタフェース例である。
【図２１】本発明の第２の実施の形態における複数映像注目点入力部の内部処理のフローチャートである。
【図２２】本発明の第２の実施の形態における映像掲示板アノテーション情報入力部のインタフェース例である。
【符号の説明】
【０１１０】
１０  表示設定ＤＢ
２０  映像区間情報記憶手段、映像区間情報ＤＢ
３０  利用履歴情報ＤＢ
４０  注目点アノテーション情報ＤＢ
５０  履歴集計結果記憶手段、メモリ
１００  映像注目点入力表示装置
１１０  利用イベント集計部
１２０  タイムライン生成手段、映像掲示板複数注目軸タイムライン表示部
１３０  映像掲示板複数注目軸タイムライン表示部
１４０  映像掲示板注目点入力部
１５０  映像掲示板アノテーション入力部
１６０  映像アノテーション情報再生制御部
２００  ユーザ端末
【図１】
2010130241.tif 000003
【図２】
2010130241.tif 000004
【図３】
2010130241.tif 000005
【図４】
2010130241.tif 000006
【図５】
2010130241.tif 000007
【図６】
2010130241.tif 000008
【図７】
2010130241.tif 000009
【図８】
2010130241.tif 000010
【図９】
2010130241.tif 000011
【図１０】
2010130241.tif 000012
【図１１】
2010130241.tif 000013
【図１２】
2010130241.tif 000014
【図１３】
2010130241.tif 000015
【図１４】
2010130241.tif 000016
【図１５】
2010130241.tif 000017
【図１６】
2010130241.tif 000018
【図１７】
2010130241.tif 000019
【図１８】
2010130241.tif 000020
【図１９】
2010130241.tif 000021
【図２０】
2010130241.tif 000022
【図２１】
2010130241.tif 000023
【図２２】
2010130241.tif 000024