(57)【要約】  ビデオシーケンスの表現を導出する方法は、  フレーム又はフレームグループの少なくとも１つの時間特徴を表すメタデータを導出するとともに、フレーム又はフレームグループの少なくとも１つのコンテンツベースの特徴を表すメタデータ、及びフレーム又はフレームグループの少なくとも１つのコンテンツベースの特徴と少なくとも１つの他のフレーム又はフレームグループとの関係を表す関係メタデータの一方又は両方を導出すること、並びに、  上記メタデータ及び／又は関係メタデータをそれぞれのフレーム又はフレームグループと関連付けることを含む。
2009508379.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを含むビデオシーケンスの表現を導出する方法であって、
フレーム又はフレームグループの少なくとも１つの時間特徴を表すメタデータを導出するとともに、フレーム又はフレームグループの少なくとも１つのコンテンツベースの特徴を表すメタデータ、及びフレーム又はフレームグループの少なくとも１つのコンテンツベースの特徴と少なくとも１つの他のフレーム又はフレームグループとの関係を表す関係メタデータの一方又は両方を導出すること、並びに、
前記メタデータ及び／又は関係メタデータをそれぞれの前記フレーム又はフレームグループと関連付けることを含む、ビデオシーケンスの表現を導出する方法。
【請求項２】
少なくとも１つのタイプの時間区分に従って前記ビデオシーケンスをフレームグループに区分することを含み、
前記時間のメタデータは前記時間区分に関連され、前記コンテンツベースのメタデータ又は関係メタデータはそれぞれのフレームグループから導出される、請求項１に記載の方法。
【請求項３】
２つ以上の異なるタイプの時間区分に従って前記ビデオシーケンスをフレームグループに区分すること、並びに、
該異なるタイプの区分毎に前記メタデータ及び／又は関係メタデータを導出することを含む、請求項２に記載の方法。
【請求項４】
前記時間特徴は前記時間区分を表す、請求項２又は３に記載の方法。
【請求項５】
前記時間特徴は前記ビデオシーケンス内の前記フレーム又はフレームグループの位置を表す、請求項１から請求項４までのいずれか一項に記載の方法。
【請求項６】
前記コンテンツベースの特徴は、視覚特徴、聴覚特徴、テキスト、キーワード、人物、及び作者のうちの１つ又は複数を含む、請求項１から請求項５までのいずれか一項に記載の方法。
【請求項７】
前記関係メタデータはメタデータ間の類似度を用いる、請求項１から請求項６までのいずれか一項に記載の方法。
【請求項８】
請求項１から請求項７までのいずれか一項に記載の方法を用いて導出される表現を用いてナビゲーション用のビデオシーケンスを表示する方法。
【請求項９】
第１のフレーム又はフレームグループに関して、前記関係メタデータに基づいて、又はそれぞれのメタデータ間の関係に基づいて、少なくとも１つの他のフレーム又はフレームグループを選択することをさらに含む、請求項８に記載の方法。
【請求項１０】
前記第１のフレーム又はフレームグループは、表示中の現フレーム又はフレームグループ、又は先行する若しくは続くフレーム又はフレームグループである、請求項９に記載の方法。
【請求項１１】
少なくとも１つの他のフレーム又はフレームグループを時間窓に基づいて選択することを含む、請求項９又は請求項１０に記載の方法。
【請求項１２】
前記選択されたフレーム又はフレームグループの表現を表示することをさらに含む、請求項９から請求項１１までのいずれか一項に記載の方法。
【請求項１３】
時間、時間に基づく関連性又は類似性、コンテンツに基づく関連性又は類似性のうちの１つ又は複数に従って、前記表示される表現を順序付けすることを含む、請求項１２に記載の方法。
【請求項１４】
前記表示される表現は、
コンテンツ若しくはコンテンツに基づく関連性又は類似性に関する情報、
時間若しくは時間に基づく関連性又は類似性に関する情報、及び
メタデータに関する情報
のうちの１つ又は複数を含む、請求項１２又は請求項１３に記載の方法。
【請求項１５】
少なくとも１つのタイプの時間区分、少なくとも１つのタイプのコンテンツベースの特徴、前記ビデオシーケンスにおける時間又は位置、のうちの１つ又は複数を含むナビゲーションのオプションを表示することをさらに含む、請求項８から請求項１４までのいずれか一項に記載の方法。
【請求項１６】
前記選択されたフレームグループ、又は前記選択されたフレームを含むフレームグループを表示することをさらに含む、請求項９から請求項１５までのいずれか一項に記載の方法。
【請求項１７】
請求項１から請求項７までのいずれか一項に記載の方法を用いて導出される表現を用いてビデオシーケンスをナビゲートする方法。
【請求項１８】
請求項８から請求項１６までのいずれか一項に記載の方法に基づいてビデオシーケンスが表示される、請求項１７に記載の方法。
【請求項１９】
例えば、少なくとも１つのタイプの時間区分、少なくとも１つのタイプのコンテンツベースの特徴、前記ビデオシーケンス内の時間又は位置を含むオプションを選択することを含む、請求項１７又は請求項１８に記載の方法。
【請求項２０】
２つ以上のビデオシーケンスのための、時間メタデータを任意で省略する、請求項１から請求項１９までのいずれか一項に記載の方法。
【請求項２１】
請求項１から請求項７までのいずれか一項に記載の方法を用いて導出されるビデオシーケンスの表現。
【請求項２２】
請求項１から請求項７までのいずれか一項に記載の方法を用いて導出されるビデオシーケンス及び該ビデオシーケンスの表現を記憶する記憶媒体又は記憶手段。
【請求項２３】
請求項１から請求項２０まで２０のいずれか一項に記載の方法を実行する装置。
【請求項２４】
制御手段又はプロセッサ、記憶媒体又は記憶手段、及びディスプレイのうちの１つ又は複数を備える、請求項２０に記載の装置。
【請求項２５】
請求項１から請求項７までのいずれか一項に記載の方法を用いて導出されるビデオシーケンスの少なくとも１つの表現を記憶する記憶媒体又は記憶手段を備える、請求項２３又は請求項２４に記載の装置。
【請求項２６】
請求項１から請求項２０のいずれか一項に記載の方法を実行するコンピュータプログラム、又は該コンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコンテンツのナビゲーション及びアクセスの方法及び装置に関する。
【背景技術】
【０００２】
ＰＣＴ国際公開ＷＯ２００４／０５９９７２号は、ビデオの再生装置及びスキップ方法に関する。ビデオショットは、ショットの継続時間に基づいてショットグループにグループ化される。すなわち、継続時間が閾値未満の連続ショットは、１つのグループにまとめられ、継続時間がその閾値よりも長い各ショットは、独自にグループを形成する。これを基に、ユーザは、再生中に、次／前のショットグループへスキップすることができ、その結果、現在のグループのタイプ等に基づいて、単に次／前のグループへスキップするか、又は次／前の長いショットグループへスキップする。
【０００３】
この方法の１つの欠点は、セグメントの作成メカニズム、すなわち、ショットをグループ化する方法である。一般に、ショットの長さは、ショットのコンテンツの弱い指標である。また、ショットのグループ化メカニズムは、或るショットが独自にグループを形成するに足る長さか否か、又は他のショットとまとめられるべきか否かを決めるショット長閾値に依存し過ぎている。後者の場合、短いショットグループの累積長は考慮されず、ナビゲーションのためのそのグループの品質をさらに損なう。さらに、セグメントが１つの長いショットを含むのか又は複数の短いショットを含むのかに基づく、セグメントの連結は、あまり役に立たず、このように連結されたセグメントが構造的（例えば視覚的）又は意味的に十分に関連しているとは言えない。したがって、ユーザがスキップ機能を使用する時に、現在視聴されているセグメントと同じショット長カテゴリに属するという理由で、ビデオの関係のない部分に移される場合がある。また、この方法は、より関連があるセグメントへユーザがスキップできるように、スキップ先となるセグメント又は任意の他の関連セグメントの要約をユーザに見せたり、異なるセグメントの現セグメントとの関係をユーザが評価できるようにしたりしない。
【０００４】
米国特許出願公開第２００４／０２３４２３８号はビデオ再生方法に関する。ビデオの再生中に再生される次のショットは、現在の位置情報及びショットインデックス情報に基づいて自動的に選択され、この選択された次のショットのセクションがさらに選択され、このセクションが再生される。この選択されたセクションの再生中には、次のショットが選択され、以下同様の動作が行われる。したがって、再生中、ユーザは、特定のショットの各順方向シーケンスの開始セグメント、すなわち、現在位置より後の、長さが閾値を超えるショット、又は、現在位置より前の、特定のショットの各逆方向シーケンスの終了セグメントしか見ることができない。
【０００５】
この方法の１つの欠点は、ＰＣＴ国際公開ＷＯ２００４／０５９９７２号の方法と同様に、継続時間に基づくショットの連結が、連結のためのショット長閾値に依存し過ぎるだけでなく、あまり役に立たない。したがって、このように連結されたビデオセグメントが構造的（例えば視覚的）又は意味的に十分に関連しているとは言えない。したがって、ユーザは、再生機能を用いると、基礎となる共通特徴が長さである一連のおおまかに関連するセグメントを見ることになり得る。また、この方法は、より関連があるセグメントへユーザがスキップできるように、スキップ先となるセグメント又は任意の他の関連セグメントの要約をユーザに見せたり、異なるセグメントの現セグメントとの関係をユーザが評価できるようにしたりしない。
【０００６】
米国特許第６，２１９，８３７号はビデオ再生方法に関する。ビデオの再生中に要約フレームが画面に表示される。これらの要約フレームは、ビデオ内の現在位置に対する過去又は未来のフレームの縮小版であり、ユーザがビデオをより良く理解できるようにすること、又は過去又は未来の位置における標識として働くことを目的とする。要約フレームは、対応する要約フレームを選択することによって再生することができる短いビデオセグメントに関連し得る。
【０００７】
この方法の１つの欠点は、再生中に画面に表示される過去及び／又は未来のフレームが、現在の再生位置に例えば視覚的に又は意味的に十分に関連するから選ばれる訳ではなく、それらと現在の再生位置との関係をユーザが評価できる情報を伝える訳でもないことである。したがって、この方法は、ユーザが関連のあるセグメントのみを視覚化、及び／又は、現在の再生位置に対する異なるセグメントの類似性を評価できるような種類の知的ナビゲーションを可能にしない。
【０００８】
米国特許第５，５２１，８４１号はビデオの閲覧方法に関する。ビデオの要約が一連のフレーム又は代表フレームの形態で、ビデオのショット毎に１つずつユーザに提示される。次にユーザが、この一連のフレームを閲覧して１つのフレームを選択することで、対応するビデオセグメントが再生される。次に、選択されたフレームに類似する代表フレームが、その一連のフレーム中で検索される。より具体的には、この類似性は、フレームの低次モーメント不変量及びカラーヒストグラムに基づいて評価される。この検索の結果、第１の一連のフレームと同じ代表フレームを含む第２の一連のフレームがユーザに対して表示される。ただし、第２の一連のフレームは、例えば、最も類似したものが原寸で、最もかけ離れたフレームが原寸の５％等、選択されたフレームに対する類似性に応じてサイズ調整されて表示される。
【０００９】
この方法の１つの欠点は、ビデオセグメント間の類似性評価が、ショットの単一フレームである、視覚化目的で用いられるのと同じデータに基づくため、非常に限定されることである。したがって、この方法は、単純なショットヒストグラム若しくはモーションアクティビティ、又は音声コンテンツ、又は特定のセグメントに登場する人物等の他のコンテンツ等の、全体的なビデオセグメントのコンテンツに基づいてユーザがセグメント間をジャンプできるような種類の知的ナビゲーションができない。
さらに、対応するビデオセグメントの再生を開始するフレーム及び／又は同様のフレームの検索を開始するフレームをユーザが選択しなければならない元の代表的な一連のフレームの表示は、ビデオ閲覧のシナリオでは許容可能であるかもしれないが、扱いづらく、現セグメントに関連するビデオセグメントをシステムが連続的に再生及び識別することが望まれるビデオナビゲーションシナリオにおけるホームシネマ又は他の同様の民生用途のユーザの役には立たない。
また、選択されたフレームと他の代表的フレームとの間の類似性評価に続いて、別個の代表的な一連のフレームを元の一連のフレームと共に表示することは、ユーザにとって不便である。これはまず、選択されたフレームに対する類似性に応じてスケーリングされてはいるものの、元の一連のフレームと同じフレームがユーザに再び提示されるためである。フレーム数が多い場合、ユーザは再び、この一連のフレームを閲覧して関連フレームを見付けるのに時間を費やさなければならない。
また、ユーザは縮小されたコンテンツの多くを評価できなくなるため、類似性に基づくフレームのスケーリングが、ユーザに対して複数のフレームを表示するという目的に勝ってしまう場合がある。
【００１０】
ＰＣＴ国際公開ＷＯ２００４／０６１７１１号は、ビデオ再生の装置及び方法に関する。ビデオはセグメント、すなわち、部分的に重複する連続セグメントに分割され、セグメント毎にシグネチャが計算される。ホッピングメカニズムは、現セグメント、すなわちユーザが現在観ているセグメントに最も似たセグメントを識別し、類似性が閾値未満でない限り、最も似たセグメントから再生が続行され、類似性が閾値未満である場合、ホッピングは行われない。代替的に、ホッピングメカニズムは、最も似たセグメントではなく、見付けた中で現セグメントに「十分に似た」最初のセグメント、すなわち類似性の値が閾値の範囲内にある最初のセグメントにホッピングしてもよい。ホッピングはまた、現セグメントではなく、セグメントのタイプ又はセグメントテンプレート、すなわち、アクション、ロマンティック等に最も似たセグメントを見付けることによって行われてもよい。
【００１１】
この方法の１つの欠点は、より関連があるセグメントへユーザがスキップできるように、スキップ先となるセグメント又は任意の他の関連セグメントの要約をユーザに見せたり、異なるセグメントの現セグメントとの関係をユーザが評価できるようにしたりしないことである。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の態様を添付の特許請求の範囲に記載する。
【００１３】
広い言葉で表すと、本発明は、時間又は時間分割等の時間特徴、及びコンテンツベースのメタデータ又は関係メタデータに基づいてビデオシーケンスを表現する方法に関する。同様に、本発明は、ナビゲーション用のビデオシーケンスを表示する方法、及び、ビデオシーケンスをナビゲートする方法に関する。本発明はまた、上記方法の各々を実行する装置を提供する。
【課題を解決するための手段】
【００１４】
本発明の一実施の形態の方法は、
ビデオの１つ又は複数の区分を導出するステップと、
現セグメントのメタデータを導出するステップであって、現セグメントは、現再生位置に関連し、例えば現再生位置を含むセグメント又は現再生位置を含むセグメントの前のセグメントである、導出するステップと、
現セグメントと他のセグメントとの関係を上記メタデータに基づいて評価するステップと、
上記他のセグメントの一部又は全部の要約又は表現を、各セグメントの現セグメントとの関係に関する少なくとも１つの追加情報と共に表示する、及び／又は上記他のセグメントの一部又は全部の要約又は表現を表示するステップであって、表示セグメントのどれもが、現セグメントに関して一定の関連性基準を満たすようにする、表示するステップと、
上記表示されたセグメントのうち、そのセグメントに連結すべき１つをユーザに選択させ、その１つを現セグメントとし、再生位置をそこに移動させるステップとを含む。
【００１５】
本発明の実施の形態は、ユーザにビデオを見せると同時に、現在見ているビデオセグメントに関連するビデオセグメントの要約を見せ、現在見ているセグメントと関連するビデオセグメントとの関係、例えば時間的関係、類似性等を評価させ、見るべき新たなセグメントを選択させる様式でビデオコンテンツをナビゲート及びアクセスする方法及び装置を提供する。
【発明の効果】
【００１６】
本発明の利点は、
ビデオセグメントの様々な構造的メタデータ及び意味的メタデータに基づくビデオセグメントの連結、
所与のセグメントに関連するビデオセグメントの要約若しくは他の表現及び／又はビデオセグメントの要約若しくは他の表現を、所与のセグメントに対するそれらの関係を示す他の情報と共にユーザが見られること、
ナビゲート先となるビデオセグメントの選択肢をユーザが絞れること、並びに、
ユーザがビデオの含むセグメントのリスト全体を閲覧することなくセグメントにナビゲートできることを含む。
【発明を実施するための最良の形態】
【００１７】
添付図面を参照して本発明の実施形態を説明する。
【００１８】
本発明の一実施形態の方法において、ビデオ(Video)には時間的な区分メタデータが関連付けられている。この情報は、ビデオの時間セグメントについての仕切り(separation)を示す。ビデオを時間セグメントに分割する方法は沢山ある。例えば、ビデオは、最初の１０分が第１のビデオセグメント、次の１０分が第２のセグメント、等というように、各セグメントが一定の時間の継続するように時間情報に基づいて区分されてよい。また、例えば、１〜１０分が第１のセグメントを成し、５〜１４分が第２のセグメントを成す、等というようにセグメント同士が重複してもよい。ビデオはまた、その構成ショットを検出することによって時間セグメントに分割されてもよい。
ビデオ中のショット遷移を自動検出する方法は、同一出願人による同時係属中の、「画像を表現及び解析する方法（Methods of Representing and Analysing Images）」と題する特許出願ＥＰ０５２５４９２３．５、及び同じく「画像を表現及び解析する方法（Methods of Representing and Analysing Images）」と題するＥＰ０５２５４９２４．３に記載されている（参照により本明細書中に援用される）。
次に、各ショットがセグメントとして用いられてもよく、いくつかのショットが１つのセグメントにグループ化されてもよい。後者の場合、グループ化は、例えば１０ショットを１つのセグメントとする等、ショット数に基づいて行ってよい。また、このグループ化は、例えば合計５分の継続時間のショットを１つのセグメントとする等、合計継続時間に基づいて行ってよい。さらに、このグループ化は、例えば同一の視覚特性及び／若しくは音声特性を有するショットを１つのセグメントにグループ化する等、視覚特性及び／若しくは音声特性及び／若しくは他の特性のようなショットの特性に基づいて行ってよい。このような特性によるショットのグループ化は、Manjunath、Salembier及びSikora著「ＭＰＥＧ−７入門：マルチメディアコンテンツの記述インタフェース（Introduction to MPEG-7: Multimedia Content Description Interface）」（２００２年）という本に説明がなされているＭＰＥＧ−７規格の方法及び記述子を用いて達成され得る。
明らかに上記は、ビデオを時間セグメントに区分する方法の例に過ぎず、網羅的なリストを成すものではない。
本発明によれば、ビデオは、ビデオに関連付けられた２つ以上のタイプの時間区分メタデータを有してもよい。例えば、ビデオには、時間ベースのセグメントについての第１の区分、ショットベースのセグメントについての第２の区分、ショットグループベースのセグメントについての第３の区分、及び何らかの他の方法又は情報のタイプに基づく第４の区分が関連付けられてもよい。
【００１９】
１つ又は複数の異なる時間区分の時間セグメントは、それら時間セグメントに関連付けられたセグメント記述メタデータを有していてもよい。このメタデータは、限定されないが、セグメントの色コンテンツ及び時間アクティビティのような視覚指向メタデータ、音楽又は会話等のセグメントの分類のような音声指向メタデータ、セグメントの字幕に出現するキーワードのようなテキスト指向メタデータ、並びにセグメント内で可視又は可聴である人物の名前のような他のメタデータを含んでもよい。
セグメント記述メタデータは、Manjunath、Salembier及びSikora著「ＭＰＥＧ−７入門：マルチメディアコンテンツの記述インタフェース（Introduction to MPEG-7: Multimedia Content Description Interface）」（２００２年）という本に説明がなされているＭＰＥＧ−７規格の記述子から導出され得る。
このような区分記述メタデータは、ビデオセグメント間の関係を確立するために用いられ、これらの関係は次に、本発明によるナビゲーションプロセス中のビデオセグメントの選択及び／又は表示に用いられる。
【００２０】
区分記述メタデータに加えて、又はその代わりに、１つ又は複数の異なる時間区分の時間セグメントは、それら時間セグメントに関連付けられたセグメント関係メタデータを有していてもよい。このようなセグメント関係メタデータは、セグメント記述メタデータから計算(calculate)された後、ナビゲーションプロセス中のビデオセグメントの選択及び／又は表示に用いられる。
セグメント関係メタデータは、Manjunath、Salembier及びSikora著「ＭＰＥＧ−７入門：マルチメディアコンテンツの記述インタフェース（Introduction to MPEG-7: Multimedia Content Description Interface）」（２００２年）という本に説明がなされているＭＰＥＧ−７規格により推奨される方法に従って導出され得る。
このメタデータは、或るセグメントと、セグメント記述メタデータに従ってビデオの同じ区分又は異なる区分に属する１つ又は複数の他のセグメントとの類似性等の関係を示す。例えば、ビデオのショットは、上記の視覚指向のセグメント記述メタデータに従ってビデオ中の他のすべてのショットに対する類似性を示す関係メタデータを有してもよい。別の例において、ビデオのショットは、上記の視覚指向のセグメント記述メタデータ又は他のメタデータに従ってビデオ中のより大きなショットグループに対する類似性を示す関係メタデータを有してもよい。本発明の一実施形態において、関係メタデータは、ビデオの関係マトリックスの形態で編成されていてもよい。本発明の異なる実施形態において、ビデオには、セグメント記述メタデータ若しくはセグメント関係メタデータ又はその両方が関連付けられてもよい。
【００２１】
このような時間区分メタデータ、セグメント記述メタデータ及びセグメント関係メタデータは、例えばビデオが記憶される同じＤＶＤ又は他の媒体上にコンテンツの作者により入れられる、又は同一放送中に放送者により入れられる等として、ビデオと共に提供されてもよい。このようなメタデータはまた、より大きなビデオ装置又はシステム内に作成されて記憶されてもよい。ただし、当該装置又はシステムは、ビデオを解析してこのようなメタデータを作成及び記憶する機能を有する。このようなメタデータがビデオ装置又はシステムにより作成される場合、ビデオ解析並びにメタデータの作成及び記憶は、オンラインではなくオフラインで、すなわち、このメタデータに依存するナビゲーション機能をユーザが実際に使用している時ではなく、当該機能をユーザが使用しようとしていない時に行われることが好ましい。
【００２２】
図１は、本発明の一実施形態によるナビゲーション装置を示す。ビデオは、２次元ディスプレイ１０に表示される。本発明の好ましい実施形態において、ユーザは、コントローラ２０によりビデオの再生及びナビゲーションを制御する。コントローラ２０は、ナビゲーション機能ボタン３０、方向制御ボタン４０、選択ボタン５０、及び再生ボタン６０を含む。本発明の異なる実施形態では、コントローラ２０は、異なる数のナビゲーションボタン、方向ボタン、選択ボタン及び再生ボタンを含んでもよい。本発明の他の実施形態において、コントローラ２０は、ビデオの再生及びナビゲーションを制御する例えばキーボード等の他の手段により置き換えられてもよい。
【００２３】
図２〜図１６は、本発明の一実施形態の動作を示す。図２は、ディスプレイ１０上で再生中のビデオの一例を示す。図３に示すように、ユーザは、知的ナビゲーションボタン３０のうちの１つ、例えば一番上のボタン「Ｎａｖ」を押すことによってナビゲーション機能を起動してもよい。ナビゲーション機能は、再生の続行中に起動されてもよく、ユーザは、ナビゲーション機能を起動する前に、再生制御部６０を用いて再生を一時停止してもよい。
図３に示すように、ナビゲーション機能を起動すると、メニュー項目１００〜１４０を含むメニュー１００がユーザに対して、再生中のビデオの上に表示される。このメニューにおいて、ユーザは、ナビゲーションに用いる特定のビデオ時間区分メタデータを選択することができる。例えば、ユーザは、大ざっぱなセグメント間のナビゲートに関心があってよく、その場合には、ショットグループ（Group-Of-Shots）「ＧＯＳ」オプション１３０がより適し得る。また例えば、ユーザは、細かいセグメントナビゲーションに関心があってよく、その場合には、「ショット」オプション１２０がより適し得る等となる。ユーザは、方向制御ボタン４０を用いて所望のオプションに移り、選択ボタン５０を用いて選択を行うことができる。画面に収まるよりも多くのメニュー項目が利用可能である場合には、ユーザは、メニュー矢印１５０を選択することによってそれらの項目を見ることができる（明示的に言及しないか又は全ての図において明らかでなくとも、実施形態のあらゆるメニューに該当し得る）。
図４に示すように、メニュー項目を選択すると、サブメニューが表示され得る。図４において、例えば、ショットグループ「ＧＯＳ」１３０というメニュー項目は、「ＧＯＳ視覚」１６０、「ＧＯＳ聴覚」１７０、「ＧＯＳ  ＡＶ」１８０（視聴覚）及び「ＧＯＳ意味」１９０（これにより、例えば、ショットがその属するサブプロットに基づいてグループ化される）という項目を含む。次に、サブメニューオプションを選択すると、さらなるメニューが現れる等となり得る（この単純な機能は、明示的に言及しないか又は全ての図において明らかでなくとも、実施形態のあらゆるメニューに該当し得る）。
【００２４】
図５は、ビデオ区分の最終的な選択が行われた後に、メニュー項目２１０〜２４０を含む新たなメニュー２００が表示されることを示しており、このメニューにおいて、ユーザは、ナビゲーションに用いるセグメント記述メタデータ及び／又はセグメント関係メタデータを選択することができる。例えば、ユーザは、ビデオセグメント間の視覚的関係に基づいてナビゲートすることに関心があってよく、その場合、「視覚」オプション２１０が適している。また例えば、ユーザは、聴覚関係に基づいてナビゲートすることに関心があってよく、その場合、「聴覚」オプション２２０が適している等となる。ユーザは、前のメニューに関して適切な選択肢を選択することができる。
図６に示すように、メニュー項目を選択すると、サブメニューが表示され得る。図６において、例えば、「視覚」２１０というメニュー項目は、「静的」２６０（色等の静的な視覚特徴用）、「動的」２７０（動き等の動的な視覚特徴用）及び「混合」２８０（静的な視覚特徴と動的な視覚特徴との組み合わせ用）という項目を含む。次に、サブメニューオプションを選択すると、さらなるメニューが現れる、等となり得る。
【００２５】
図７は、セグメントメタデータ選択の別の例を示す。ここでは、メタデータメニュー２００から「字幕」オプション２３０が選択され、サブメニュー２９０が表示されている。このサブメニューは、現セグメントにおいて見つかったビデオのキーワードを含み、このうちの１つ又は複数を選択すると、そのセグメントがナビゲーションのために他のセグメントに連結される。図７に示すように、メニュー２９０は、任意の語を含む他のセグメントを見付けるためにユーザがその語を入力することができる「テキスト入力」フィールド３００も含み得る。このテキスト入力は、コントローラ２０の全ての制御部だけでなく数字キーパッド８０まで含むコントローラ７０を用いて容易に、しかし独自に達成することができる。
【００２６】
図８は、セグメントメタデータ選択の別の例を示す。ここでは、メタデータメニュー２００から「人物」オプション２４０が選択され、現セグメントにおいて見つかった別個の顔にそれぞれ対応するサブメニューオプション３１０〜３３０が表示されている。顔のうちの１つ又は複数を選択すると、そのセグメントがナビゲーションのために、同一人物を含む他のセグメントに連結される。図８に示すように、項目３１０〜３３０のそれぞれは、一番下にオプションの記述フィールドも含む。これは、俳優の名前のような情報を含むことができ、例えばコンテンツの作者により手動で入力されるか、又は例えば既知の顔のデータベースにおける顔認識アルゴリズムを用いて自動で入力され得る。
【００２７】
ユーザは、１回のナビゲーションに対して例えば「聴覚」及び「視覚」の両方、又は「人物」及び「字幕」等の複数のセグメントメタデータを選択することが可能である。これによりユーザは、セグメント間の複数の関係に基づいてナビゲートすることができる。例えば、「聴覚」及び「視覚」メタデータの両方の条件に関して類似するセグメント、又は２つのタイプのメタデータのいずれか一方若しくは両方の条件に関して類似するセグメント、又はいずれか一方の条件に関しては類似するが他方の条件に関しては類似しないセグメント等の間をナビゲートすることができる。
【００２８】
図３〜図８は、ユーザがナビゲーションのためにまず所望のビデオ区分を選択し、次に所望のセグメント記述及び／又は関係メタデータを選択する方法を明示する。本発明の異なる実施形態では、この順序が逆にされ、ユーザがまず所望の記述及び／又は関係メタデータを選択し、次にビデオ区分を選択してもよい。いずれにせよ、本発明の実施形態は、既に選択された区分／メタデータに対して有効でないメタデータ／区分オプションをユーザから「隠す」ことができる。本発明の好ましい一実施形態では、既に選択された区分／メタデータに基づいて、最も適切なメタデータ／区分がユーザに提案される。
【００２９】
図９は、ビデオセグメントの記述及び／又は関係メタデータの最終的な選択が行われた後に、新たなメニュー５００が表示されることを示しており、このメニュー５００において、ユーザは、ナビゲーションプロセス中のセグメントの選択、又はこれらのセグメントの表示方法等に関するオプションを設定することができる。例えば、図９の一番上のオプションは、ナビゲーションメカニズムが現セグメントからどれだけ「遠い」時間まで関連セグメントを探すかを指定するために用いられる。代替的に、ナビゲーションの範囲は、時間ではなく、セグメント又はチャプターの条件で選択されてもよい。図９の２番目のオプション及び３番目のオプションは、後述するように、ユーザに対してどのセグメントをどのように提示するかに関する。
【００３０】
図９に示すようにオプションが確定すると、知的ナビゲーションメカニズムは、図１０〜図１４に示すように、現セグメントに関連するビデオセグメントを識別し、ユーザに提示する。ユーザは、ナビゲーション機能を使用する度に図２〜図９に示すプロセスを辿る必要はないことに留意すべきである。
ボタン群３０の「Ｎａｖ２」のような追加のナビゲーションボタンは、前回使用したのと同じ区分、メタデータ及び他のオプションのナビゲーション機能を起動するのに使用され得る。また、すべての上記プリファレンス及びオプションは、オンラインではなくオフラインで、すなわち、ユーザがナビゲーション機能を使用するか又はビデオを鑑賞しようとしていない時に、１つ又は複数の異なる環境設定に設定され得る。また、すべての上記プリファレンス及びオプションは、ボタン群３０の「Ｎａｖ３」のような別個のボタンにマッピングされ、ユーザが最も一般的に用いるナビゲーションのプリファレンス及びオプションの「マクロ」としてもよい。したがって、ユーザは、図１０〜図１４に示すように、１つのボタンを押すだけで、関連するビデオセグメントと共にビデオナビゲーション画面を直ちに見ることができる。
【００３１】
既に述べたように、本発明の好ましい一実施形態では、現在表示されているビデオセグメントに関連するセグメントは、セグメント関係メタデータ又は関係マトリックスが入手できれば、それらから最も簡単に識別され得る。そのようなメタデータが入手できない場合、システムは、現セグメントと他のセグメントとの間の関係を、セグメント記述メタデータから確かめる、すなわち、セグメント関係メタデータをオンラインで作成できる。しかしこれは、ナビゲーション機能を遅くする。セグメント記述メタデータが入手できない場合、システムはこれを、ビデオセグメントから計算する、すなわち、セグメント記述メタデータをオンラインで作成することができる。しかしこれは、ナビゲーション機能をさらに遅くする。
【００３２】
図１０は、本発明の一実施形態においてビデオナビゲーション画面がどのように現れるかを示しており、再生中の現ビデオセグメント及び関連セグメントの両方が同じディスプレイ上に表示されている。見ての通り、現ビデオセグメントは、通常再生中と同様に、ディスプレイ１０に依然として表示されている。オプションとして、ディスプレイの下部のアイコン８００が、ナビゲーションスクリーン及び結果を生じた設定を示す。この例にでは、アイコンは、ユーザが静的な視覚的メタデータと動的な視覚的メタデータの両方を用いてショットグループ間をナビゲートしていることを示す。ユーザのナビゲート先となり得る他のビデオセグメント８１０の表現又は要約が、ディスプレイの周辺に沿って現ビデオセグメントに重なる。
【００３３】
このタイプのビデオセグメント表現は、図１１ａにより詳細に示され、ビデオデータ９００、水平時間バー９２０、及び垂直関連性バー９１０を含む。図１１ａにおいて、ビデオデータはセグメントの代表フレームである。本発明の好ましい一実施形態では、ビデオデータは短いビデオクリップである。本発明の別の実施形態では、ビデオデータは、ビデオセグメントの代表フレームのモザイク又はモンタージュのような、より間接的なセグメントの表現である。水平時間バー９２０は、当該セグメントが現セグメントに続く場合は左から右へ延び、当該セグメントが現セグメントに先行する場合は右から左へ延びる。バーの長さは、当該セグメントが現セグメントからどれだけ離れているかを示す。垂直バー９１０は下から上へ延び、その長さは、当該セグメントの現セグメントとの関連性又は類似性を示す。
代替的なビデオセグメント表現は図１１ｂ及び図１１ｃに見られる。前者には依然としてビデオデータ９３０があるが、水平バー及び垂直バーは数値フィールド９５０及び９４０にそれぞれ置き換えられている。後者では、セグメント表現は、図１１ａのように水平時間バー９８０及び垂直関連性バー９７０を含むが、ビデオデータはビデオメタデータ９６０に置き換えられている。図１１ｃの例では、メタデータは、ビデオセグメントが属するビデオの名前、ビデオの時系列におけるその位置を識別する数字、その継続時間等を含むビデオセグメントに関する情報から構成されている。このメタデータに加えて又はその代わりに、例えば、セグメントが音楽を含むか否かの表示、例えば画像の位置合わせ及びビデオフレームに「縫い合わせ」を行うことによって作成されたセグメントのシーンのうちの１つのパノラマビュー等のような、他のメタデータも用いられ得る。
【００３４】
図１０は、ナビゲーション機能の一例を示しており、現セグメントの周囲の時間ベース又はショット番号ベースのウインドウのような指定ウインドウ内のすべてのセグメントが、現セグメントとの類似性又は他の関連性に関係なくユーザに表示される。このようなシナリオでは、ユーザは、表示されたビデオセグメントの時間バー及び関連性バーに基づいて、ナビゲート先となるビデオセグメントを選択する。ビデオセグメントは時間順に配置され、古いセグメントはディスプレイの左側に現れ、新しいセグメントは右側に現れる。画面に収まるよりも多くのビデオセグメントが利用可能である場合、ユーザは、メニュー矢印８２０を選択することによって、これらの項目を見ることができる。図１２から分かるように、ユーザは、方向制御部４０及び選択ボタン５０を用いて、例えば８３０等の表示されたセグメントのうちの１つを選択することができ、再生はそのビデオセグメントから再開される。
【００３５】
図１３は、ナビゲーション機能の別の例を示す。そのナビゲーション画面は図１０のものと非常に似ているが、その違いは、何らかの一定の閾値又は基準に従って最も関連のある又は類似するセグメント８４０がナビゲーションのためにユーザに示されるということにある。上記のように、ユーザは、方向制御部４０及び選択ボタン５０を用いて、表示されたセグメントのうちの１つを選択することができ、再生はそのビデオセグメントから再開される。
【００３６】
図１４は、ナビゲーション機能のさらに別の例を示す。図１３の例に関しては、何らかの一定の閾値又は基準に従って最も関連のある又は類似するセグメント８５０のみがナビゲーションのためにユーザに示される。しかし、今度は、ビデオセグメントが時間ではなく関連性によりソートされ、最も関連のあるセグメントがディスプレイの左側に現れ、最もかけ離れたセグメントが右側に現れる。現ビデオセグメントに対するビデオセグメントの時間的関係は、時間バーにより依然として確認され得る。
【００３７】
既に述べたように、ナビゲーション機能は、ビデオの通常再生中又はビデオの一時停止中に用いることができる。前者の場合、ユーザがどのセグメントをナビゲート先とするかを決める前に、再生が次のセグメントに進む可能性がある。その場合、いくつかの対処が可能である。例えば、システムは、ナビゲーション機能を無効にして通常再生を続けるか、ナビゲーション画面を有効にしたまま変えずに表示されるビデオセグメントが現セグメントに対応せず前のセグメントに対応することを示すアイコンを表示するか、又は、新たな現セグメントに関連のあるビデオセグメント等によりナビゲーション画面を自動的に更新してもよい。
【００３８】
異なる区分のセグメント間の関係を確立することも可能である。これにより例えば、ユーザは、１ショット又は１フレームのような短いセグメントを、ショットグループ又はチャプターのようなより長いセグメントに連結することができる。ビデオセグメント及びメタデータに応じて、これは、異なる区分のセグメント間の関係を直接確立すること、又は同一区分のセグメント間の関係を確立し、次に関連のあるセグメントを異なる区分のコンテキストに置くことによって達成することができる。いずれの場合にも、このような機能はユーザが、図１５及び図１６にそれぞれ示すナビゲーション「元」６００及び「先」７００の区分を指定することを必要とする。
【００３９】
ナビゲーション機能の他の動作モードも可能である。そのような一例では、ナビゲーションのための「現」セグメントは、現在再生中のセグメントではなく、直前のセグメントである。これはしばしば、ユーザがセグメント全体を見てから、他の関連セグメントをナビゲート先とし、その時には再生が移っていることを望むためである。別のこのような例は、セグメントを全く表示せずに、何らかの一定の閾値に従って最も関連のある、ユーザの入力に応じた次の又は前のセグメントに、自動的にスキップするビデオ装置である。このビデオ装置又はシステムはまた、ユーザが最後のナビゲーションステップを取り消し、前のビデオセグメントに戻ることを可能にする。
【００４０】
上記の例はビデオ内でのナビゲーションを考慮するが、本発明は、異なるビデオのセグメント間のナビゲーションにも直接適用可能である。現在のビデオ及び／又は異なるビデオ中の関連のあるセグメントが検索されるこのようなシナリオにおいて、動作は基本的に上述の通りであり得る。１つの違いとして、１つのビデオのセグメントは別のビデオのセグメントに先行も続きもしないため、ナビゲーション画面上のビデオセグメント表現の水平時間バーは、異なるビデオに対応するビデオセグメントの場合に取り除くことができ、又は適用できる場合に、他のビデオの名前及び／若しくはそのビデオが現在のビデオよりも古い若しくは新しい録画であることを示す時間情報のような、何らかの他の有用な情報を伝えることができる。
【００４１】
同様に、本発明は、ビデオレベルの記述及び／又は関係メタデータを用いて、時間的分割メタデータを必要とすることなく、全体的なビデオ間のナビゲーションにも適用することができる。このようなシナリオでは、動作は基本的に上述の通りであり得る。
【００４２】
本明細書中の説明は、ビデオが再生されるのと同じ画面に表示される、メニュー及びセグメント表現等のビデオナビゲーション機能の様々な視覚的要素を、ビデオの上に重ねて示すが、そうである必要はない。このような視覚的要素は、ビデオと同時に、ただし別個のディスプレイに、例えばより大きなビデオ装置又はシステムのリモコン上のより小さなディスプレイに、表示されてもよい。
【００４３】
本発明は、コンピュータシステムを含む例えばビデオ再生装置又はシステムにおいて、適切なソフトウェア及び／又はハードウェアの変更を行って実施することができる。例えば、本発明は、プロセッサ又は制御装置のような制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等の画像記憶手段、ディスプレイ等のデータ出力手段、コントローラ又はキーパッド等の入力手段、又はそのような構成要素の任意の組み合わせを付加的な構成要素と共に含むデータ記憶手段を有するビデオ再生装置を用いて実施することができる。本発明の態様は、ソフトウェア及び／又はハードウェアの形態で、若しくは特定用途向けの装置内に提供するか、又はチップ等の特定用途向けモジュールを提供することができる。本発明の一実施形態による装置内のシステムの構成要素は、他の構成要素から遠隔して、例えばインターネットを介して設けられてもよい。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態のビデオナビゲーション装置を示す図である。
【図２】図１のビデオナビゲーション装置を、本発明の一実施形態の方法の一ステップを示す画像表示と共に示す図である。
【図３】図１のビデオナビゲーション装置を、本発明の一実施形態の方法の別のステップを示す画像表示と共に示す図である。
【図４】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図５】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図６】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図７】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図８】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図９】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１０】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１１】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１２】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１３】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１４】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１５】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１６】図１のビデオナビゲーション装置を、本発明の一実施形態の方法のさらに別のステップを示す画像表示と共に示す図である。
【図１】
2009508379.tif 000003
【図２】
2009508379.tif 000004
【図３】
2009508379.tif 000005
【図４】
2009508379.tif 000006
【図５】
2009508379.tif 000007
【図６】
2009508379.tif 000008
【図７】
2009508379.tif 000009
【図８】
2009508379.tif 000010
【図９】
2009508379.tif 000011
【図１０】
2009508379.tif 000012
【図１１】
2009508379.tif 000013
【図１２】
2009508379.tif 000014
【図１３】
2009508379.tif 000015
【図１４】
2009508379.tif 000016
【図１５】
2009508379.tif 000017
【図１６】
2009508379.tif 000018
【国際調査報告】
2009508379.tif 000019
2009508379.tif 000020
2009508379.tif 000021