(57)【要約】一般に、本開示は、ビジュアル・キュー検出に基づく閲覧者の反応推定によるビデオ・インデクシング・システムのための方法及びシステムを提供する。本方法は、ユーザにより生成されたビジュアル・キューを検出する検出ステップであって、ビジュアル・キューは、ユーザがビデオを閲覧したことに応じて生成される、検出ステップと、ビジュアル・キューをユーザに関連付けられた感情空間にマッピングするステップと、マッピングに基づいてユーザの感情事象を推定するステップと、メタデータによりビデオをインデクシングするインデクシング・ステップであって、メタデータは、推定された感情事象及び推定された感情事象に関連付けられたタイミング・データを含む、インデクシング・ステップと、を含み得る。本方法は、ビデオ・インデクスに基づく、ビデオの要約、分割、及び検索をさらに含み得る。
2015527668.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・インデクシングのためのシステムであって、
ユーザにより生成されたビジュアル・キューを検出するよう構成されているビジュアル・キュー検出モジュールであって、前記ビジュアル・キューは、前記ユーザがビデオを閲覧したことに応じて生成される、ビジュアル・キュー検出モジュールと、
前記ビジュアル・キューを前記ユーザに関連付けられた感情空間にマッピングし、前記マッピングに基づいて前記ユーザの感情事象を推定するよう構成されている感情推定モジュールと、
メタデータにより前記ビデオをインデクシングするよう構成されているビデオ・インデクシング・モジュールであって、前記メタデータは、前記の推定された感情事象及び前記の推定された感情事象に関連付けられたタイミング・データを含む、ビデオ・インデクシング・モジュールと、
を含む、システム。
【請求項２】
前記ビデオ・インデクシング・モジュールは、さらに、前記感情事象に関連付けられたビデオ・フレーム・タイムスタンプを識別するよう構成されており、前記識別は前記タイミング・データに基づく、請求項１記載のシステム。
【請求項３】
前記ビデオのフレームを抽出するよう構成されているビデオ要約モジュールであって、前記抽出は、閾値を超える、前記の抽出されたフレームにおける感情事象の密度に基づき、前記密度は、前記インデクシングから判定される、ビデオ要約モジュール
をさらに含む、請求項１記載のシステム。
【請求項４】
フレームの位置で前記ビデオを分割するよう構成されているビデオ分割モジュールであって、前記分割は、閾値以下に属する、前記フレームにおける感情事象の密度に基づき、前記密度は、前記インデクシングから判定される、ビデオ分割モジュール
をさらに含む、請求項１記載のシステム。
【請求項５】
要求された感情事象に関連する前記ビデオ内のフレームを検索するよう構成されているビデオ内検索モジュールであって、前記検索は前記インデクシングに基づく、ビデオ内検索モジュール
をさらに含む、請求項１記載のシステム。
【請求項６】
ユーザ・プロファイルのデータベースを作成及び保持するよう構成されているユーザ・プロファイル生成モジュールであって、前記ユーザ・プロファイルは、前記ユーザ及び１以上の他のユーザに関連付けられた前記感情空間を含む、ユーザ・プロファイル生成モジュール
をさらに含む、請求項１記載のシステム。
【請求項７】
前記ユーザ及び１以上の他のユーザに関連付けられたメタデータを含む前記のインデクシングされたビデオを記憶するよう構成されているインデクシングされたビデオ・データベース
をさらに含む、請求項１記載のシステム。
【請求項８】
前記ユーザから要求された感情事象に関連するビデオを検索するよう構成されているビデオ間検索モジュールであって、前記検索は前記インデクシングされたビデオ・データベースに基づく、ビデオ間検索モジュール
をさらに含む、請求項７記載のシステム。
【請求項９】
ビデオ・インデクシングのための方法であって、
ユーザにより生成されたビジュアル・キューを検出する検出ステップであって、前記ビジュアル・キューは、前記ユーザがビデオを閲覧したことに応じて生成される、検出ステップと、
前記ビジュアル・キューを前記ユーザに関連付けられた感情空間にマッピングするステップと、
前記マッピングに基づいて前記ユーザの感情事象を推定するステップと、
メタデータにより前記ビデオをインデクシングするインデクシング・ステップであって、前記メタデータは、前記の推定された感情事象及び前記の推定された感情事象に関連付けられたタイミング・データを含む、インデクシング・ステップと、
を含む、方法。
【請求項１０】
前記感情事象に関連付けられたビデオ・フレーム・タイムスタンプを識別する識別ステップであって、前記識別は前記タイミング・データに基づく、識別ステップ
をさらに含む、請求項９記載の方法。
【請求項１１】
前記ビデオの要約を生成するために、前記ビデオのフレームを抽出する抽出ステップであって、前記抽出は、閾値を超える、前記フレームにおける感情事象の密度に基づき、前記密度は、前記インデクシングから判定される、抽出ステップ
をさらに含む、請求項９記載の方法。
【請求項１２】
フレームの位置で前記ビデオを分割する分割ステップであって、前記分割は、閾値以下に属する、前記フレームにおける感情事象の密度に基づき、前記密度は、前記インデクシングから判定される、分割ステップ
をさらに含む、請求項９記載の方法。
【請求項１３】
要求された感情事象に関連する前記ビデオ内のフレームを検索する検索ステップであって、前記検索は前記インデクシングに基づく、検索ステップ
をさらに含む、請求項９記載の方法。
【請求項１４】
前記感情事象の頻度、期間、及び／又はタイプに基づいて前記ビデオのジャンルを推定するステップ
をさらに含む、請求項９記載の方法。
【請求項１５】
ユーザ・プロファイルのデータベースを保持する保持ステップであって、前記ユーザ・プロファイルは、前記ユーザ及び１以上の他のユーザに関連付けられた前記感情空間を含む、保持ステップと、
前記ユーザ及び前記１以上の他のユーザに関連付けられたメタデータを含む前記のインデクシングされたビデオのデータベースを保持するステップと、
をさらに含む、請求項９記載の方法。
【請求項１６】
前記ユーザから要求された感情事象に関連するビデオを検索する検索ステップであって、前記検索は前記のインデクシングされたビデオの前記データベースに基づく、検索ステップ
をさらに含む、請求項１５記載の方法。
【請求項１７】
前記ユーザに関連付けられた前記感情空間と、前記ユーザ・プロファイルの前記データベースにおける前記他のユーザに関連付けられた前記感情空間と、前記のインデクシングされたビデオの前記データベースにおける前記メタデータとの比較に基づいて、前記ユーザにビデオを薦めるステップ
をさらに含む、請求項１５記載の方法。
【請求項１８】
命令を記憶した少なくとも１つのコンピュータ読み取り可能記憶媒体であって、前記命令がプロセッサにより実行されたとき、前記命令は、前記プロセッサに、請求項９乃至１７いずれか一項記載の方法を実行させる、少なくとも１つのコンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ・インデクシング・システムに関し、より詳細には、ビジュアル・キュー検出（visual  cue  detection）に基づく閲覧者の反応推定（viewer  reaction  estimation）によるビデオ・インデクシング・システムに関する。
【背景技術】
【０００２】
分類化、検索、及び取得を含むビデオ・ライブラリの管理のための既存システムは、一般に、ビデオ・コンテンツを説明する単一の一般化された結果を生成するためにビデオ・ストリームを解析するビデオ解析アルゴリズムに依存する。しかしながら、異なる閲覧者は、解析アルゴリズムにより提供される単一の一般化された結果によってキャプチャすることができないビデオに対する変化する反応又は個別の反応を有する場合がある。
【０００３】
いくつかのシステムは、ユーザ・フィードバックを求めることにより、閲覧者の個別のエクスペリエンスを考慮に入れることを試みる場合がある。しかしながら、そのようなシステムは、しばしば、ユーザの間違い及び／又は評価システムの誤解に起因して、間違いを犯す傾向がある。このフィードバックはまた、通常、ビデオ・ストリーム・プレゼンテーションを通したユーザの反応の連続的なサンプリングを要求する非実際性に起因する、ビデオ全体を包含する単一の評価に制限される。さらに、このようなシステムは、ユーザ・エクスペリエンスの質を落とし得る特別な努力であって、したがって、一般には望ましくない特別な努力がユーザによりなされることを要する。
【図面の簡単な説明】
【０００４】
以下の詳細な説明が進み、図面を参照すると、特許請求される主題の実施形態の機能及び利点が明らかになるであろう。図面において、同様の数字は同様の部分を示す。
【図１】本開示と整合する１つの例示的な実施形態のトップ・レベル・システム図。
【図２】本開示と整合する１つの例示的な実施形態のブロック図。
【図３】本開示の例示的な実施形態と整合する、特徴空間における感情マニホールドのプロット。
【図４】本開示の例示的な実施形態と整合する、推定された感情のプロット。
【図５】本開示と整合する別の例示的な実施形態のブロック図。
【図６】本開示と整合する例示的な実施形態の動作のフローチャート。
【発明を実施するための形態】
【０００５】
例示的な実施形態を参照しながら以下の詳細な説明が進むが、その実施形態の多くの変形形態、修正形態、及び変更形態が当業者に明らかになるであろう。
【０００６】
一般に、本開示は、検出されたビジュアル・キューに基づいてビデオに対する閲覧者の感情反応（emotional  reaction）を推定し、感情及びビデオのフレームに関するそのような感情のタイミングについての情報を含むメタデータによりビデオをインデクシングするための方法及びシステムを提供する。インデクシング・システムは、このような感情事象（emotional  event）に基づくビデオの要約、分割、及び検索のために使用することができる。いくつかの実施形態において、インデクシング・システムは、ビデオのジャンルを識別し、ビデオ・ライブラリ内の、同様のジャンルの他のビデオ、又はユーザから同様の感情反応を引き起こすと予想され得る他のビデオを検索するために使用することができる。このシステムはまた、他のビデオの閲覧に応じて、検出された感情反応に基づいてユーザの好みを学習することができ、そのような学習した好みに基づいてビデオ・レコメンデーションを行うことができる。データベースは、各ユーザに関する学習した好みを含む、複数のユーザに関するユーザ・プロファイルに加えて、インデクシングされたビデオのライブラリへのリンクも記憶することができ、これにより、ビデオ・レコメンデーションが可能となり、他のユーザの感情反応を含めることによる改善された検索動作が可能となる。これは、クラウド・ソーシング（crowd-sourcing）と呼ばれ得る。
【０００７】
図１は、本開示と整合する１つの例示的な実施形態のトップ・レベル・システム図１００を示している。ビデオ・プレゼンテーション１０２はユーザ１０４により閲覧される。いくつかの実施形態において、ビデオ・プレゼンテーションは、ストリーミング・ビデオ又は任意の適切なタイプのメディア・プレゼンテーションであり得る。感情推定モジュール１０６は、ビデオを閲覧しているときのユーザ１０４を観察し、ユーザの感情反応を推定することができるビジュアル・キュー（例えば、顔の特徴、頭の位置／向き、注視点（gaze  point）、及び目の動きパターン等）を検出するよう構成され得る。これについては、以下でより詳細に説明する。感情ベースのビデオ処理モジュール１０８は、推定されたユーザの感情反応及びビデオのフレームに関する関連タイミング情報を含むメタデータによりビデオをインデクシングするよう構成され得る。感情ベースのビデオ処理モジュール１０８は、ビデオを要約し、分割し、且つ／あるいは検索するとともに、以下でより詳細に説明するように、インデクシングに基づくさらなる動作を実行するよう構成され得る。
【０００８】
図２は、本開示と整合する１つの例示的な実施形態のブロック図２００を示している。ビジュアル・キュー検出モジュール２０２、感情マニホールド学習／更新モジュール２０８、感情マニホールド２０６、及び感情マニホールドベースの推定モジュール２０４を含む感情推定モジュール１０６が示されている。
【０００９】
ユーザ１０４がビデオ・プレゼンテーション１０２を閲覧するとき、ユーザは、一連の感情状態（emotional  state）を経験し得る。感情状態の例は、幸せ、悲しみ、怒り、恐れ、嫌悪、驚き、及び軽蔑を含み得る。これらの感情状態に応じて、ユーザ１０４は、顔の特徴（例えば、顔のランドマークの位置、顔のテクスチャ）、頭の位置及び向き、目の注視及び動きパターン、又は、感情状態に関連し得る任意の他の検出可能なビジュアル・キューを含むビジュアル・キューを示し得る。全ての感情状態がビジュアル・キューから検出され得るわけではなく、いくつかの独特な感情状態は、ビジュアル・キューを共有し得るのに対し、いくつかのビジュアル・キューは、共通の定義又は名前を有する感情状態に対応することができない（例えば、悲しみと怒りとの間の状態や幸せ及び驚きの両方を含む状態といった複数の感情の合成、又は複数の感情間の感情状態）。したがって、このシステムは、ビジュアル・キューから一意に識別することができる、感情状態のサブセットを表す擬似感情（pseudo  emotion）を推定するよう構成され得る。
【００１０】
ビジュアル・キューがビジュアル・キュー検出モジュール２０２により検出されると、ビジュアル・キューは特徴空間にマッピングされる。特徴空間の一例が図３に示されており、図３は３次元特徴空間３０２を示している。この特徴空間の３つの軸は、例えば、眉の端部の位置、唇の端部の位置、及び頭の傾きを表し得る。任意の所与の時間における（又は、ある時間間隔における）閲覧者の外観に対応する任意の所与の時間における検出された特徴が、特徴空間における座標、この場合、３次元座標により表され得る。座標のクラスタ３０６、３０８、３１０が識別され得、擬似感情のマニホールド２０６、３０４に存在することが分かる。これらのクラスタは、ビデオ・プレゼンテーション１０２中の特定の時間における閲覧ユーザ１０４の異なる感情状態に対応し得る。マニホールド２０６、３０４は、モジュール２０８を構成することができる学習プロセスを通して生成及び／又は更新することができる。いくつかの実施形態において、モジュール２０８は、サポート・ベクタ・マシン（ＳＶＭ）分類部又は任意の他の適切な推定部若しくは分類部であり得る。
【００１１】
この例では単純さのため３次元空間として表される特徴空間３０２内の点により表される閲覧者の外観は、例えば、感情状態の特性を表す２次元感情空間又はマニホールド２０６、３０４といったより低い次元の空間に投影され得る。いくつかの実施形態において、閲覧者の外観は、２次元感情状態特性空間（two  dimensional  emotional  state  property  space）に投影され得る。この空間では、２次元は、例えば、バレンス（valence）及びアラウザル（arousal）を表す。バレンスは、感情の陽性（positivity）又は陰性（negativity）の程度の尺度（例えば、感情がどれだけ快いものであるか）であるのに対し、アラウザルは、感情の強度（intensity）の尺度である。支配的／服従的（dominant/submissive）や緊張／緩和（strain/relaxation）の尺度を含む他の特性も使用されてよい。感情マニホールドベースの推定モジュール２０４は、特徴空間３０２から特性空間（例えば、より低い次元のマニホールド２０６、３０４）への検出された特徴のマッピングに基づいて、所与の時間におけるユーザ１０４の感情状態（又は、擬似感情状態）を推定するよう構成され得る。これが図４に示されており、図４は、ビデオ・フレーム数又はフレーム・タイムスタンプに関連し得る、時間経過に伴う推定された感情タイプ４０２のプロットを示している。
【００１２】
図５は、本開示と整合する別の例示的な実施形態のブロック図５００を示している。感情ベースのビデオ処理モジュール１０８が示されており、感情ベースのビデオ処理モジュール１０８は、ディスクリプタ生成モジュール５０２、インデクシング・モジュール５０４、ビデオ・データベース５０６、ユーザ・データベース５１８、ユーザ・プロファイル生成／更新モジュール５２０、要約モジュール５０８、分割モジュール５１０、ビデオ内検索モジュール５１２、ビデオ間検索モジュール５１４、及びレコメンデーション生成モジュール５２２を含む。
【００１３】
感情推定モジュール１０６により生成された推定された感情が、ディスクリプタ生成モジュール５０２により受信される。ディスクリプタ生成モジュール５０２は、推定された感情をディスクリプタに変換するよう構成され得る。ディスクリプタは、例えば、ジャンル分類、支配的感情のアイデンティフィケーション（identification）、感情のクライマックス及びアンチ・クライマックスの期間の測定、及び／又は感情ピーク（emotional  peak）間の時間間隔の測定を含み得る。インデクシング・モジュール５０４は、メタデータの形態であり得るディスクリプタ情報をビデオに統合することにより、ビデオをインデクシングするよう、あるいはビデオをタグ付けするよう構成され得る。インデクシングは、ビデオ中の様々な時間における閲覧者の感情状態についての情報の効率的な取得を可能にし得る。ビデオ・データベース５０６は、そのようなインデクシングされたビデオの１以上を含むよう作成及び保持され得、そのようなビデオの他のユーザ／閲覧者の反応から生成されたインデクシング情報を含み得る。
【００１４】
要約モジュール５０８は、例えば、ビデオ・データベース５０６からのビデオといったビデオのセグメントを抽出するよう構成され得る。そのビデオのセグメントは、感情強度閾値（emotional  intensity  threshold）を超える感情事象の増大した密度（density）に関連付けられる。密度は、ビデオ・インデクシング又はビデオに関連するメタデータから判定され得る。そのような抽出されたセグメントは、ユーザに合わせて調整され得るビデオの要約を提供するために、結合され得る。要約の長さは、強度閾値の設定に基づいて調整され得る。
【００１５】
分割モジュール５１０は、ビデオを複数のセグメントに分割するよう構成され得る。この分割は、感情事象の比較的低い密度に関連する時間に生じる。再度、密度は、ビデオ・インデクシングから判定され得、したがって、分割は、ユーザに合わせて調整され得る。
【００１６】
ビデオ内検索モジュール５１２は、ユーザからの問合せに応答して、ビデオ内のセグメント又はショート・クリップを検索するよう構成され得る。例えば、ユーザは、「面白い（funny）」セグメントを要求することがあり、ビデオ内検索モジュール５１２は、ユーモアに関連する感情反応に関連付けられたビデオ・フレームを識別するビデオ・インデクスに基づいて、そのようなセグメントを抽出することができる。ビデオ間検索モジュール５１４も同様に動作し得るが、ビデオ間検索モジュール５１４は、ユーザ問合せに応答して、例えば、ビデオ・データベース５０６からのビデオといった他のビデオを検索するよう構成され得る。例えば、「面白い」に対する要求は、ユーモアに関連する比較的大きな数の感情事象を有するビデオの検索をもたらし得る。
【００１７】
レコメンデーション生成モジュール５２２は、例えば、ビデオ・データベース５０６から、ユーザの好みに合わせて個別化されているビデオを薦めるよう構成され得る。レコメンデーションは、ユーザの学習された好みに基づき得る。ユーザの学習された好みは、ビデオ・データベース５０６及びユーザ・データベース５１８に記録された他のビデオの閲覧に応じて検出された感情反応に基づき得る。レコメンデーション・プロセスを向上させるために、ユーザの感情反応は、他のユーザの感情反応と比較され得る。
【００１８】
ユーザ・プロファイル生成／更新モジュール５２０は、感情推定モジュール１０６により生成された推定された感情に基づくユーザ・プロファイルを生成及び保持するよう構成され得る。ユーザ・プロファイルは、そのユーザに関する感情状態の学習されたマニホールド２０６を含み得る。いくつかの実施形態において、ユーザ・プロファイルは、そのユーザに関する学習された好みに関連する任意の他の情報に加えて、ビデオ・データベース５０６内のインデクシングされたビデオへのリンク又は参照も含み得る。いくつかの実施形態において、ユーザ・プロファイルは、文化的背景に関する情報、ユーザの性別及び／若しくは年齢に関する情報、又は以下で説明するクラウド・ソーシングの目的上有用であり得る、ユーザを複数のカテゴリにグループ化するために使用することができる任意の他の情報をさらに含み得る。例えば、さらなるビデオが閲覧され、ビジュアル・キューが検出され感情状態に関連付けられるとき等の感情状態のマニホールド２０６が更新されるときに、ユーザ・プロファイルは更新され得る。ユーザ・プロファイルは、他のユーザのプロファイルとともに、ユーザ・データベース５１８に記憶され得る。複数のユーザのプロファイルが、複数のユーザから生成されたインデクス情報を含む、ビデオ・データベース５０６からのインデクシングされたビデオとともに、要約モジュール５０８、分割モジュール５１０、検索モジュール５１２、５１４、及びレコメンデーション生成モジュール５２２に提供され得るか、あるいはこれらのモジュールに利用可能になり得る。複数のユーザ又はユーザのグループから取得されたそのような情報を提供することによって、要約、分割、検索、及びレコメンデーションの動作は、他のユーザの感情反応を含めることにより（例えば、クラウド・ソーシングにより）、向上され得る。例えば、ユーザ要求に応じて実行されるビデオ検索は、そのユーザの以前に記録された他のビデオに対する感情反応に基づき得るものであってもよいし、同様のプロファイルを有する他のユーザの感情反応に基づき得るものであってもよい。いくつかの実施形態において、複数のユーザからのデータの利用可能性は、生じ得る誤りを平均化する、あるいは除去するために使用することができる。
【００１９】
いくつかの実施形態において、ビデオ解析システム５１６は、例えば、ユーザの感情反応を考慮に入れない解析といった、ビデオ・ストリームのさらなる一般化された解析を提供するよう構成され得る。このような自動的な解析結果が、モジュール５０４により実行されるインデクシング動作に組み込まれ得、そのビデオに関するメタデータに組み込まれ得る。そのメタデータが、処理モジュール５０８、５１０、５１２、５１４、及び５２２のいずれかにより利用されるよう使用され得る。
【００２０】
図６は、本開示と整合する例示的な実施形態の動作６００のフローチャートを示している。動作６１０において、ビデオの閲覧に応じてユーザにより生成されたビジュアル・キューが検出される。ビデオはビデオ・ストリームであり得る。動作６２０において、ビジュアル・キューが、ユーザ（又は、全ての人間若しくは人間のサブ・グループを考慮に入れた一般空間）に関連付けられた感情マニホールド（又は、何らかの機能／特性空間）にマッピングされる。動作６３０において、ユーザの感情事象が、マッピングに基づいて推定される。動作６４０において、ビデオが、メタデータによりインデクシングされる。メタデータは、推定された感情事象及び推定された感情事象に関連付けられたタイミング・データを含む。タイミング・データは、ビデオ・ストリームに関連付けられたフレーム数に関連してもよいし、ビデオの開始に対する経過時間又は任意の他の適切な基準時間に対する経過時間に関連してもよい。したがって、タイミング・データはタイムスタンプであり得る。その後、インデクシングされたビデオを使用して、要約動作、分割動作、検索動作、及びレコメンデーション動作を円滑にすることができる。
【００２１】
本明細書で説明した方法の実施形態は、１以上のプロセッサにより実行されたときにその方法を実行する命令を個別に又は組み合わせて記憶した１以上の記憶媒体を含むシステムにおいて実施され得る。ここで、プロセッサは、例えば、システムＣＰＵ（例えば、コア・プロセッサ）及び／又はプログラマブル回路を含み得る。したがって、本明細書で説明した方法に従った動作は、複数の異なる物理的位置における処理構造等の複数の物理デバイスにわたって分散させてもよいことが意図されている。また、方法動作は、当業者により理解されるように、個別に又は下位組合せをもって実行されてもよいことが意図されている。したがって、フローチャートの動作の全てが実行される必要はなく、本開示は、当業者により理解されるように、そのような動作の全ての下位組合せが可能であることを明確に意図している。
【００２２】
記憶媒体は、任意のタイプの有体の媒体を含み得る。そのような有体の媒体は、例えば、フロッピ・ディスク、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、及び光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ、ダイナミックＲＡＭ及びスタティックＲＡＭ等のＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ等の半導体デバイス、磁気カード若しくは光カード、又は電子的命令を記憶するのに適した任意のタイプの媒体である。
【００２３】
本明細書における任意の実施形態で使用される「回路」は、例えば、ハード・ワイヤードの回路、プログラマブル回路、状態マシン回路、及び／又はプログラマブル回路により実行される命令を記憶するファームウェアを単一で又は任意の組合せで含み得る。アプリケーションは、ホスト・プロセッサ又は他のプログラマブル回路等のプログラマブル回路上で実行され得るコード又は命令として具現化され得る。本明細書における任意の実施形態で使用される「モジュール」は、回路として具現化され得る。回路は、集積回路チップ等の集積回路として具現化され得る。
【００２４】
したがって、本開示は、検出されたビジュアル・キューに基づいて、ビデオに対する閲覧者の感情反応を推定し、感情及びビデオのフレームに関するそのような感情のタイミングについての情報を含むメタデータにより、ビデオをインデクシングするためのシステム、方法、及びコンピュータ読み取り可能記憶媒体を提供する。
【００２５】
システムは、ユーザにより生成されたビジュアル・キューを検出するよう構成されているビジュアル・キュー検出モジュールを含み得る。ビジュアル・キューは、ユーザがビデオを閲覧したことに応じて生成される。この例のシステムはまた、ビジュアル・キューをユーザに関連付けられた感情空間にマッピングし、マッピングに基づいてユーザの感情事象を推定するよう構成されている感情推定モジュールを含み得る。この例のシステムは、メタデータによりビデオをインデクシングするよう構成されているビデオ・インデクシング・モジュールをさらに含み得る。メタデータは、推定された感情事象及び推定された感情事象に関連付けられたタイミング・データを含む。
【００２６】
別の例示的なシステムは前述のコンポーネントを含み、ビデオ・インデクシング・モジュールは、さらに、感情事象に関連付けられたビデオ・フレーム・タイムスタンプを識別するよう構成されており、この識別はタイミング・データに基づく。
【００２７】
別の例示的なシステムは前述のコンポーネントを含み、ビデオのフレームを抽出するよう構成されているビデオ要約モジュールをさらに含む。この抽出は、閾値を超える、抽出されたフレームにおける感情事象の密度に基づき、密度は、インデクシングから判定される。
【００２８】
別の例示的なシステムは前述のコンポーネントを含み、フレームの位置でビデオを分割するよう構成されているビデオ分割モジュールをさらに含む。この分割は、閾値以下に属する、フレームにおける感情事象の密度に基づき、密度は、インデクシングから判定される。
【００２９】
別の例示的なシステムは前述のコンポーネントを含み、要求された感情事象に関連するビデオ内のフレームを検索するよう構成されているビデオ内検索モジュールをさらに含む。この検索はインデクシングに基づく。
【００３０】
別の例示的なシステムは前述のコンポーネントを含み、ユーザ・プロファイルのデータベースを作成及び保持するよう構成されているユーザ・プロファイル生成モジュールをさらに含む。ユーザ・プロファイルは、ユーザ及び１以上の他のユーザに関連付けられた感情空間を含む。
【００３１】
別の例示的なシステムは前述のコンポーネントを含み、ユーザ及び１以上の他のユーザに関連付けられたメタデータを含むインデクシングされたビデオを記憶するよう構成されているインデクシングされたビデオ・データベースをさらに含む。
【００３２】
別の例示的なシステムは前述のコンポーネントを含み、ユーザから要求された感情事象に関連するビデオを検索するよう構成されているビデオ間検索モジュールをさらに含む。この検索はインデクシングされたビデオ・データベースに基づく。
【００３３】
別の側面に従うと、方法が提供される。方法は、ユーザにより生成されたビジュアル・キューを検出するステップを含み得る。ビジュアル・キューは、ユーザがビデオを閲覧したことに応じて生成される。この例の方法はまた、ビジュアル・キューをユーザに関連付けられた感情空間にマッピングするステップを含み得る。この例の方法は、マッピングに基づいてユーザの感情事象を推定するステップをさらに含み得る。この例の方法は、メタデータによりビデオをインデクシングするステップをさらに含み得る。メタデータは、推定された感情事象及び推定された感情事象に関連付けられたタイミング・データを含む。
【００３４】
別の例示的な方法は前述の動作を含み、感情事象に関連付けられたビデオ・フレーム・タイムスタンプを識別するステップをさらに含む。この識別はタイミング・データに基づく。
【００３５】
別の例示的な方法は前述の動作を含み、ビデオの要約を生成するために、ビデオのフレームを抽出するステップをさらに含む。この抽出は、閾値を超える、フレームにおける感情事象の密度に基づき、密度は、インデクシングから判定される。
【００３６】
別の例示的な方法は前述の動作を含み、フレームの位置でビデオを分割するステップをさらに含む。この分割は、閾値以下に属する、フレームにおける感情事象の密度に基づき、密度は、インデクシングから判定される。
【００３７】
別の例示的な方法は前述の動作を含み、要求された感情事象に関連するビデオ内のフレームを検索するステップをさらに含む。この検索はインデクシングに基づく。
【００３８】
別の例示的な方法は前述の動作を含み、感情事象の頻度、期間、及びタイプに基づいてビデオのジャンルを推定するステップをさらに含む。
【００３９】
別の例示的な方法は前述の動作を含み、ユーザ・プロファイルのデータベースを保持する保持ステップであって、ユーザ・プロファイルは、ユーザ及び１以上の他のユーザに関連付けられた感情空間を含む、保持ステップと、ユーザ及び１以上の他のユーザに関連付けられたメタデータを含むインデクシングされたビデオのデータベースを保持するステップと、をさらに含む。
【００４０】
別の例示的な方法は前述の動作を含み、ユーザから要求された感情事象に関連するビデオを検索するステップをさらに含む。この検索はインデクシングされたビデオのデータベースに基づく。
【００４１】
別の例示的な方法は前述の動作を含み、ユーザに関連付けられた感情空間と、ユーザ・プロファイルのデータベースにおける他のユーザに関連付けられた感情空間と、インデクシングされたビデオのデータベースにおけるメタデータとの比較に基づいて、ユーザにビデオを薦めるステップをさらに含む。
【００４２】
別の側面に従うと、プロセッサにより実行されたときにプロセッサに上記の例において説明した方法の動作を実行させる命令を記憶した少なくとも１つのコンピュータ読み取り可能記憶媒体が提供される。
【００４３】
本明細書で使用した語及び表現は、限定ではなく説明の用途として用いられ、そのような語及び表現の使用において、図示し説明した特徴（又は、その一部分）の均等物を除外する意図はなく、様々な修正が、特許請求の範囲内で可能なことが認識されよう。したがって、特許請求の範囲は、そのような均等物全てを包含するよう意図される。様々な特徴、態様、及び実施形態を本明細書で説明した。特徴、態様、及び実施形態は、当業者により理解されるように、互いとの組合せ、並びに変形及び変更を受け入れることが可能である。したがって、本開示は、そのような組合せ、変形、及び変更を包含するものとみなされるべきである。
【図１】
2015527668.tif 000003
【図２】
2015527668.tif 000004
【図３】
2015527668.tif 000005
【図４】
2015527668.tif 000006
【図５】
2015527668.tif 000007
【図６】
2015527668.tif 000008
【国際調査報告】
2015527668.tif 000009
2015527668.tif 000010
2015527668.tif 000011