(57)【要約】本発明は、視聴覚オブジェクトの要約を提供するための方法に関する。方法は、視聴覚オブジェクトから情報を取得するステップと（１０１）、前記視聴覚オブジェクトを特定するステップと（１０２）、視聴覚オブジェクトに関連する、取得した情報の時間インデックスを決定するステップと（１０３）、そして、特定された視聴覚オブジェクトのある部分の要約を提供するステップであって、部分は、先頭と特定された視聴覚オブジェクトの決定された時間インデックスの間に含まれる、提供するステップとを含む。
2015525411.tif 000002
【特許請求の範囲】
【請求項１】
視聴覚オブジェクトの要約を提供する（１０４）ための方法であって、
（ｉ）前記視聴覚オブジェクトから、前記視聴覚オブジェクトの特定および前記視聴覚オブジェクトに関連する時間インデックスの決定を可能とする情報を取得するステップと（１０１）、
（ｉｉ）前記視聴覚オブジェクトを特定するステップと（１０２）、
（ｉｉｉ）前記視聴覚オブジェクトに関連する、前記取得した情報の前記時間インデックスを決定するステップと（１０３）、
（ｉｖ）前記特定された視聴覚オブジェクトのある部分の要約を提供するステップであって、前記部分は、前記特定された視聴覚オブジェクトの先頭と前記決定された時間インデックスとの間に含まれる、提供するステップと、
を含む、前記方法。
【請求項２】
前記特定された視聴覚オブジェクトの時間インデックス付き画像のデータを含むデータベース（２０４）が提供され、
前記取得した情報は、取得時における前記視聴覚オブジェクトの画像データであり、
前記時間インデックスは、前記取得時における前記視聴覚オブジェクトの画像データと、前記データベース（２０４）内の前記特定された視聴覚オブジェクトの前記時間インデックス付き画像のデータとの間の類似性マッチングに基づいて決定される、請求項１に記載の方法。
【請求項３】
前記視聴覚オブジェクトの前記画像データの性質および前記特定された視聴覚オブジェクトの前記時間インデックス付き画像のデータの性質はシグネチャの性質である、請求項２に記載の方法。
【請求項４】
前記特定された視聴覚オブジェクトの時間インデックス付き音声信号のデータを含むデータベース（２０４）が提供され、
前記取得した情報は、取得時における前記視聴覚オブジェクトの音声信号のデータであり、
前記時間インデックスは、前記取得時における前記視聴覚オブジェクトの前記音声信号のデータと、前記データベース（２０４）内の前記特定された視聴覚オブジェクトの前記時間インデックス付き音声信号のデータとの間の類似性マッチングに基づいて決定される、請求項１に記載の方法。
【請求項５】
前記視聴覚オブジェクトの前記音声信号の前記データの性質および前記特定された視聴覚オブジェクトの前記時間インデックス付き音声信号のデータの性質はシグネチャの性質である、請求項２に記載の方法。
【請求項６】
前記取得するステップはモバイルデバイス（２０２）によって実行される、請求項１ないし５いずれか１項に記載の方法。
【請求項７】
前記特定するステップ（１０２）、前記決定するステップ（１０３）、前記提供するステップ（１０４）は、専用サーバー（２０５）によって実行される、請求項１ないし６いずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴覚オブジェクトの要約を提供するための方法に関する。
【背景技術】
【０００２】
視聴者が、再生中の視聴覚オブジェクトの先頭を見逃すことが起こり得る。その問題に直面すると、視聴者は、何を見逃したのか知りたいと考えることがある。米国特許出願公開第２００９／０１１９７０４号明細書（特許文献１）は、新しいセグメント領域にプログラムをマッピングし、コンテンツ部分がコンテンツストリームの先頭、中間、末尾の部分であるかどうかに応じた、要約機能を使用して、プログラムのコンテンツストリームの一部分の自動要約を提供することにより、この問題を解決している。
【０００３】
エンドユーザが実際に見逃したコンテンツにより適合する要約をエンドユーザに提供することが本発明の一つの目的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００９／０１１９７０４号明細書
【非特許文献】
【０００５】
【非特許文献１】Ｍ．Ｅｖｅｒｉｎｇｈａｍ，  Ｊ．  Ｓｉｖｉｃ，  ａｎｄ  Ａ．  Ｚｉｓｓｅｒｍａｎ  "Ｈｅｌｌｏ！  Ｍｙ  ｎａｍｅ  ｉｓ．．．  Ｂｕｆｆｙ"  −  Ａｕｔｏｍａｔｉｃ  ｎａｍｉｎｇ  ｏｆ  ｃｈａｒａｃｔｅｒｓ  ｉｎ  ＴＶ  ｖｉｄｅｏ"Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｂｒｉｔｉｓｈ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  （ＢＭＶＣ  ２００６）
【非特許文献２】Ｈ．  Ｊｅｇｏｕ  ，  Ｍ．  Ｄｏｕｚｅ，  ａｎｄ  Ｃ．  Ｓｃｈｍｉｄ  −  Ｈａｍｍｉｎｇ  ｅｍｂｅｄｄｉｎｇ  ａｎｄ  ｗｅａｋ  ｇｅｏｍｅｔｒｉｃ  ｃｏｎｓｉｓｔｅｎｃｙ  ｆｏｒ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｍａｇｅ  ｓｅａｒｃｈ  −  ＥＣＣＶ，  Ｏｃｔｏｂｅｒ  ２００８
【発明の概要】
【０００６】
この目的のために、本発明は、視聴覚オブジェクトの要約を提供するための方法を提案し、当該方法は、（ｉ）視聴覚オブジェクトから、視聴覚オブジェクトの特定および視聴覚オブジェクトに関連する時間インデックスの決定を可能とする情報を取得することと、（ｉｉ）視聴覚オブジェクトを特定することと、（ｉｉｉ）視聴覚オブジェクトに関連する取得した情報の時間インデックスを決定することと、そして、（ｉｖ）特定された視聴覚オブジェクトの部分の要約を提供することであって、部分は、特定された視聴覚オブジェクトの先頭および決定された時間インデックスの間に含まれる、提供することと、を含む。
【０００７】
時間インデックスを決定することにより、ユーザーが見逃した視聴覚オブジェクトの部分を正確に評価することと、また、見逃した部分に適合した要約を生成し提供することを可能とする。その結果として、ユーザーに対して、ユーザーが見逃した内容に関連し、決定された時間インデックスによって限定される情報を含む要約が提供される。例えば、視聴覚オブジェクトのネタばれ（ｓｐｏｉｌｅｒ）は、提供された要約に公開されない。
【０００８】
本発明はまた、特定された視聴覚オブジェクトの時間インデックス付き画像のデータを含むデータベースが提供され、取得した情報は、取得時における視聴覚オブジェクトの画像データであり、時間インデックスは、取得時における視聴覚オブジェクトの画像データと、データベース内の特定された視聴覚オブジェクトの時間インデックスが付された画像データ間の類似性マッチングに基づいて決定される方法に関する。
【０００９】
好ましくは、視聴覚オブジェクトの画像データの性質および特定された視聴覚オブジェクトの時間インデックスが付された画像データの性質はシグネチャの性質である。
【００１０】
シグネチャを使うことの利点は、特に、生データよりデータが軽くなり、それにより、特定するステップとマッチングするステップがより迅速になることをもたらす。
【００１１】
代替的に、本発明は、特定された視聴覚オブジェクトの時間インデックスが付された音声信号のデータを含むデータベースが提供され、取得した情報は、取得時における視聴覚オブジェクトの音声信号のデータであり、時間インデックスは、取得時における視聴覚オブジェクトの音声信号のデータと、データベース内の特定された視聴覚オブジェクトの時間インデックスが付された音声信号のデータ間の類似性マッチングに基づいて決定される方法に関する。
【００１２】
好ましくは、視聴覚オブジェクトの音声信号のデータの性質および特定された視聴覚オブジェクトの時間インデックスが付された音声信号のデータの性質はシグネチャの性質である。
【００１３】
有利には、取得するステップはモバイルデバイスによって実行される。
【００１４】
有利には、特定するステップ、決定するステップ、前記提供するステップは、専用サーバーによって実行される。
【００１５】
このようにして、取得する側面においてより少ない処理パワーが必要とされ、要約を提供する処理が加速される。
【００１６】
より良い理解のために、本発明は、図面を参照して以下の説明においてより詳細に説明される。本発明は、説明される実施形態に限定されるものではなく、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、指定される特徴はさらに好都合に組み合わせることができること、および／または変更され得ることが理解される。
【図面の簡単な説明】
【００１７】
【図１】本発明による方法のフローチャートの一例を示す。
【図２】本発明による方法の実施を可能にする装置の一例を示す図である。
【００１８】
図２を参照すると、本発明の方法を実施するように構成された例示的な装置が示されている。この装置は、レンダリング装置２０１、取得装置２０２とデータベース２０４と、必要に応じて、専用サーバー２０５を含む。本発明の方法の第１の好ましい実施形態は、図１に示すフローチャートと図２の装置を参照してより詳細に説明される。
【００１９】
レンダリング装置２０１は、視聴覚オブジェクトをレンダリングするために使用される。例えば、視聴覚オブジェクトは、映画であり、レンダリング装置２０１はディスプレイである。次に、レンダリングされる視聴覚オブジェクト、例えば、表示される映画の画像データは、取得手段を有する取得装置２０２によって取得される（１０１）。このような取得装置２０２は、例えば、デジタルカメラを備えた携帯電話である。取り込まれた情報は、視聴覚オブジェクトを特定し（１０２）、視聴覚オブジェクトに関連する時間インデックスを決定する（１０３）ために使用される。その後、特定された視聴覚オブジェクトの一部分の要約が提供され（１０４）、オブジェクトの当該部分は、特定された視聴覚オブジェクトの先頭と決定された時間インデックスとの間に含まれる。
【００２０】
具体的には、取得された情報は、すなわち、映画の画像データは、例えばネットワーク２０３を経由し、データベース２０４に送信される。データベース２０４は、この好ましい実施形態では、映画のセットといった、特定された視聴覚オブジェクトの時間インデックス付き画像のデータを含む。
【００２１】
好ましくは、データベース中の視聴覚オブジェクトの画像のデータおよび特定された視聴覚オブジェクトの時間インデックス付き画像のデータは、画像のシグネチャである。例えば、このようなシグネチャは、ＳＩＦＴ記述子（ＳＩＦＴ  ｄｅｓｃｒｉｐｔｏｒ）といった、キーポイント記述子を使用して抽出することができる。次に、視聴覚オブジェクトを特定するステップ１０２と取得した情報の時間インデックスを決定するステップ１０３は、取得した時刻における視聴覚オブジェクトの画像のデータとデータベース２０４中の時間インデックス付きの画像のデータとの間、すなわち、両画像のシグネチャ間の類似性マッチングに応じて実行される。取得した時刻における視聴覚オブジェクトのイメージに対してデータベース２０４中の一番類似性の高い時間インデックス付きの画像が特定され、視聴覚オブジェクトを特定し、視聴覚オブジェクトに関連する取得された情報の時間インデックスを決定することができる。次に、特定された視聴覚オブジェクトの先頭と決定された時間インデックスとの間に含まれる特定された視聴覚オブジェクトの一部分の要約が取得され、ユーザーに提供される（１０４）。
【００２２】
視聴覚オブジェクトの画像のデータ、例えば、イメージシグネチャは、取得手段を備えた取得装置２０２によって直接的に取得されるかまたは代替的に専用サーバー２０５において取得されてもよい。同様に、視聴覚オブジェクトを特定するステップ１０２と、取得した情報の時間インデックスを決定するステップ１０３と、要約を提供するステップ１０４は、代替的に専用サーバー２０５において実行されてもよい。
【００２３】
上記装置２０２で直接画像シグネチャの取得を実行する利点は、専用サーバー２０５に送信されるデータの量が、メモリの観点において少ないことである。
【００２４】
専用サーバー２０５でシグネチャの取得を実行する利点は、シグネチャの特性がサーバー側で制御され得る点である。すなわち、データベース２０４内の視聴覚オブジェクトの画像のシグネチャの性質と、時間インデックス付き画像のシグネチャの性質は同一であり、直接比較され得る。
【００２５】
データベース２０４は、専用サーバー２０５内に配置されていてもよい。データベース２０４は、もちろん同様に、専用サーバー２０５外に配置されていてもよい。
【００２６】
上記好ましい実施形態において、取得された情報は画像のデータである。より一般的な方法において、取得されたデータが視聴覚オブジェクトを特定し（１０２）、視聴覚オブジェクトに対応する取得された情報の時間インデックスを決定する（１０３）ことを可能とする場合、情報は、適合された取得手段を備えた取得装置２０２が取得可能ないかなるデータであってもよい。
【００２７】
本発明の方法のための第２の好ましい実施形態では、取得された情報は、取得時における視聴覚オブジェクトの音声信号のデータである。情報は、マイクやラウドスピーカーを備えたモバイルデバイスによって取得することができる。視聴覚オブジェクトの音声信号のデータは、データベース２０４に含まれる音声信号の集合のうち、最も類似する音声シグネチャにマッチングされる音声信号のシグネチャであってもよい。類似性マッチングは、ゆえに、視聴覚オブジェクトを特定し（１０２）視聴覚オブジェクトに関連する取得した情報の時間インデックスを決定する（１０３）ために利用される。特定された視聴覚オブジェクトの一部分の要約はその後提供され（１０４）、当該オブジェクトの一部分は、特定された視聴覚オブジェクトの先頭と決定された時間インデックスとの間に含まれる。
【００２８】
データベース２０４と特定された視聴覚オブジェクトの一部分の要約の例について説明する。データベース２０４を生成するためにオフラインプロセスが、既存および／または公共データベースの助けを借りて実行される。一組の映画の集合のための例示的なデータベースを説明するが、本発明は以下の説明に限定されるものではない。
【００２９】
データベース２０４の要約データベースのために、映画全体の時間的に同期された要約が生成される。これは、例えば、インターネット・ムービー・データベース（ＩＭＤＢ）上で利用可能なもののような、例えば、既存のあらすじ、に依存する。そのようなあらすじは、映画の名前により自動的に取得されてもよい。同期は、例えば所与の映画の音声トラックのトランスクリプトを使用することにより、所与の映画の視聴覚オブジェクトと所与の映画のテキスト記述を同期させることによって行うことができる。次に、トランスクリプトおよびテキスト記述の両方から抽出された単語とコンセプトのマッチングが実行され、その映画に対する同期化されたあらすじとなる。同期化されたあらすじは、当然ながら、手動で取得されてもよい。
【００３０】
選択的に、追加情報もまた抽出される。顔検出およびクラスタリング処理が映画全体に適用され、したがって映画中に現れる顔のクラスタが提供される。各クラスタは、同一の登場人物に対応する複数の顔で構成される。本クラスタリング処理は、Ｍ．Ｅｖｅｒｉｎｇｈａｍ，  Ｊ．  Ｓｉｖｉｃ，  ａｎｄ  Ａ．  Ｚｉｓｓｅｒｍａｎ  "Ｈｅｌｌｏ！  Ｍｙ  ｎａｍｅ  ｉｓ．．．  Ｂｕｆｆｙ"  −  Ａｕｔｏｍａｔｉｃ  ｎａｍｉｎｇ  ｏｆ  ｃｈａｒａｃｔｅｒｓ  ｉｎ  ＴＶ  ｖｉｄｅｏ"Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｂｒｉｔｉｓｈ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  （ＢＭＶＣ  ２００６）（非特許文献１）で詳説される技術を使用して行われてもよい。特定の登場人物の登場に関連付けられた映画のタイムコードのリストに関連付けられた登場人物のリストが得られる。得られたクラスタは、より良いクラスタリング結果を得るために、所与の映画のＩＭＤＢの登場人物リストと照合されてもよい。このマッチング処理は、手動のステップを含んでもよい。
【００３１】
取得した同期化されたあらすじの要約およびクラスタリストはデータベース２０４に格納される。データベース２０４中の映画は、複数のフレームに分割され、そのフレームの各々が抽出される。映画のフレームは、次に、同期後の処理、例えば、その映画に関連する取得した情報の時間インデックスの決定する（１０３）処理のためにインデックスが付される。代替的に、処理するデータ量を少なくするために、映画の各フレームを抽出する代わりに、適切なサブサンプリングによってフレームの一部分のみ抽出してもよい。各抽出されたフレームに対して、画像シグネチャ、例えば、キーポイント記述に基づくフィンガープリントが生成される。それらのキーポイントおよび関連する記述は、Ｈ．  Ｊｅｇｏｕ  ，  Ｍ．  Ｄｏｕｚｅ，  ａｎｄ  Ｃ．  Ｓｃｈｍｉｄ  −  Ｈａｍｍｉｎｇ  ｅｍｂｅｄｄｉｎｇ  ａｎｄ  ｗｅａｋ  ｇｅｏｍｅｔｒｉｃ  ｃｏｎｓｉｓｔｅｎｃｙ  ｆｏｒ  ｌａｒｇｅ  ｓｃａｌｅ  ｉｍａｇｅ  ｓｅａｒｃｈ  −  ＥＣＣＶ，  Ｏｃｔｏｂｅｒ  ２００８（非特許文献２）で説明される技術を利用して、効率的な方法でインデックスが付されてもよい。画像シグネチャに関連付けられた映画のフレームは、次にデータベース２０４に格納される。
【００３２】
特定された視聴覚オブジェクト（すなわち、映画）の一部分の要約を得るために、視聴覚オブジェクト、例えば、画像イメージの情報が取得装置２０２によって取得される。その情報は、次にデータベース２０４に送信され、視聴覚オブジェクトを特定するためにデータベース２０４と比較される。例えば、取得した情報に対応する映画のフレームがデータベース２０４で特定される。特定されたフレームは、取得された情報とデータベース２０４内の同期化されたあらすじとの間のマッチングを行い、したがって取得された情報についてのその映画に対応した時間インデックスを決定することを容易にする。その映画の一部分の同期化された要約は次にユーザーに提供され、その映画の一部分は特定された映画の先頭および当該決定された時間インデックスとの間に含まれる。例えば、要約は、モバイルデバイス上で表示されることによって提供され、ユーザーによって読まれてもよい。選択的に、要約は映画の一部分に登場する登場人物のクラスタリストを含んでもよい。
【図１】
2015525411.tif 000003
【図２】
2015525411.tif 000004
【国際調査報告】
2015525411.tif 000005
2015525411.tif 000006
2015525411.tif 000007