(57)【要約】映画にはないが、インターネットを介し利用可能な特徴と映画の特徴の解析及び相関のためのシステムなど、内部及び外部オーディオビジュアル情報の統合解析のためのシステムが提供される。本システムは、映画ソースなどのオーディオビジュアルソースに通信可能に接続され、内部データを映画から検索し、抽出アルゴリズムを用いて内部データを抽出する内部コンテンツ解析装置を有する。さらに、本システムは、インターネットを介し利用可能な映画スクリーンプレイなどの外部情報ソースに通信可能に接続され、外部情報ソースを検索し、検出アルゴリズムを用いて外部データを検出する外部コンテンツ解析装置を有する。内部データと外部データは、マルチソースデータ構造において相関される。マルチソースデータ構造は、システムのユーザに提供されるハイレベル情報構造に変換される。ユーザは、映画の俳優識別としてこのような情報をハイレベル情報構造からブラウズするようにしてもよい。
2007519987.tif 000002
【特許請求の範囲】
【請求項１】
内部及び外部オーディオビジュアルデータの統合解析のためのシステムであって、
オーディオビジュアルソースに通信可能に接続され、前記オーディオビジュアルソースから内部データを検索し、抽出アルゴリズムを用いて内部データを抽出するよう構成される内部コンテンツ解析装置と、
外部情報ソースに通信可能に接続され、前記外部情報ソースを検索し、検出アルゴリズムを用いて外部データを検出するよう構成される外部コンテンツ解析装置と、
を有し、
前記内部データと前記外部データとは相関され、これにより、マルチソースデータ構造を提供することを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、
前記外部データの検出は、前記抽出された内部データに基づくことを特徴とするシステム。
【請求項３】
請求項１記載のシステムであって、
前記抽出及び／又は検出アルゴリズムは、モジュールにより提供されることを特徴とするシステム。
【請求項４】
請求項１記載のシステムであって、
前記抽出アルゴリズムに提供されるクエリが、ユーザにより提供され、
前記内部データは、前記クエリに従って抽出される、
ことを特徴とするシステム。
【請求項５】
請求項１記載のシステムであって、
前記検出アルゴリズムに提供されるクエリが、ユーザにより提供され、
前記外部データは、前記クエリに従って検出される、
ことを特徴とするシステム。
【請求項６】
請求項１記載のシステムであって、
前記内部及び外部データに反映される特徴は、テキスト、音声及び／又は映像特徴を含むことを特徴とするシステム。
【請求項７】
請求項１記載のシステムであって、
前記オーディオビジュアルソースは、映画であり、
前記抽出されたデータは、テキスト、音声及び／又は映像特徴を含むことを特徴とするシステム。
【請求項８】
請求項１記載のシステムであって、
前記外部情報ソースは、インターネットに接続され、インターネットを介しアクセス可能であることを特徴とするシステム。
【請求項９】
請求項１記載のシステムであって、
前記外部情報ソースは、映画スクリーンプレイであることを特徴とするシステム。
【請求項１０】
請求項９記載のシステムであって、
前記外部コンテンツ解析装置は、スクリーンプレイ文法に関する知識を有し、
前記外部データは、前記スクリーンプレイ文法を用いることにより前記スクリーンプレイから抽出される情報に基づき検出される、
ことを特徴とするシステム。
【請求項１１】
請求項９又は１０記載のシステムであって、
映画の人物の識別は、前記スクリーンプレイを用いて取得されることを特徴とするシステム。
【請求項１２】
請求項９又は１０記載のシステムであって、
映画の特徴は、前記スクリーンプレイに含まれる情報に基づき解析されることを特徴とするシステム。
【請求項１３】
請求項１記載のシステムであって、
前記内部及び外部データの相関は、時間相関であり、これにより、前記内部データに反映される特徴が、前記外部データに反映される特徴と時間相関されるマルチソースデータ構造を提供することを特徴とするシステム。
【請求項１４】
請求項１３記載のシステムであって、
前記時間相関は、前記映画の発話されたテキストに前記スクリーンプレイのダイアログを調整することにより取得され、これにより、前記映画のタイムスタンプされたトランスクリプトを提供することを特徴とするシステム。
【請求項１５】
請求項１４記載のシステムであって、
前記映画の発話者の識別は、前記タイムスタンプされたトランスクリプトから取得されることを特徴とするシステム。
【請求項１６】
請求項９記載のシステムであって、
前記スクリーンプレイは、自己類似性マトリックスを用いて前記映画の発話されたテキストと比較されることを特徴とするシステム。
【請求項１７】
請求項１記載のシステムであって、
ハイレベル情報構造が、前記マルチソースデータ構造に従って生成されることを特徴とするシステム。
【請求項１８】
請求項１７記載のシステムであって、
前記ハイレベル情報構造は、記憶媒体に格納可能であることを特徴とするシステム。
【請求項１９】
請求項１７記載のシステムであって、
前記マルチソースデータ構造に従って更新される既存のハイレベル情報構造である更新されたハイレベル情報構造が生成されることを特徴とするシステム。
【請求項２０】
請求項１記載のシステムであって、
前記検出アルゴリズムは、検出された外部データに従って付加的機能を有することによって、それ自体を動的に更新するよう構成される動的検出アルゴリズムであることを特徴とするシステム。
【請求項２１】
請求項２０記載のシステムであって、
前記付加的機能は、前記外部データから取得されたラベルを用いて、内部データからの一組の特徴について前記検出アルゴリズムをトレーニングすることにより取得されることを特徴とするシステム。
【請求項２２】
請求項９及び２１記載のシステムであって、
前記トレーニングは、少なくとも１つのスクリーンプレイを用いて実行されることを特徴とするシステム。
【請求項２３】
請求項１記載のシステムであって、
映画の自動的なグラウンドトゥルース識別は、オーディオビジュアルコンテンツに対するベンチマーキングアルゴリズムにおける利用のため、前記マルチソースデータ構造に基づき取得されることを特徴とするシステム。
【請求項２４】
請求項１記載のシステムであって、
映画における自動的なシーンコンテンツ理解は、前記映画コンテンツから前記オーディオビジュアル特徴と前記スクリーンプレイにおけるテキスト説明に基づき取得されることを特徴とするシステム。
【請求項２５】
請求項１記載のシステムであって、
映画の自動的なラベリングは、前記マルチソースデータ構造に基づき取得されることを特徴とするシステム。
【請求項２６】
内部及び外部オーディオビジュアル情報の統合解析のための方法であって、
オーディオビジュアルソースから内部データを検索し、抽出アルゴリズムを用いて内部データを抽出するステップと、
外部情報ソースを検索し、検出アルゴリズムを用いて外部データを検出するステップと、
前記内部データと前記外部データとを相関させ、これにより、マルチソースデータ構造を提供するステップと、
を有することを特徴とする方法。
【請求項２７】
請求項２６記載の方法であって、さらに、
前記マルチソースデータ構造に従ってハイレベル情報構造を生成するステップを有することを特徴とする方法。
【請求項２８】
請求項２６記載の方法であって、
前記外部コンテンツ解析装置は、スクリーンプレイ文法に関する知識を有し、
前記外部データは、前記スクリーンプレイ文法を用いて前記スクリーンプレイから抽出される情報を用いて検出される、
ことを特徴とする方法。
【請求項２９】
請求項２６記載の方法であって、
前記検出アルゴリズムは、一組の外部データについて前記アルゴリズムをトレーニングすることにより更新されることを特徴とする方法。
【請求項３０】
請求項２６記載の方法を実行するようコンピュータがプログラムされることを可能にするコンピュータプログラム。
【請求項３１】
請求項３０記載のコンピュータプログラムを搬送する記憶媒体。
【請求項３２】
請求項２６記載の方法を実行するよう可能とされるプログラムされたコンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内部（ｉｎｔｒｉｎｓｉｃ）及び外部（ｅｘｔｒｉｎｓｉｃ）オーディオビジュアル情報の統合解析に関し、より詳細には、映画などにおける特徴と映画に与えられるのではなく、インターネットなどを介し利用可能な特徴の解析及び相関に関する。
【背景技術】
【０００２】
映画に興味のある人々は、長い間、特定の映画に関する付加的な情報を取得するため、書籍、印刷された雑誌又は印刷された百科事典を照会せざるを得なかった。インターネットの登場により、多数のインターネットサイトが映画関連資料専用のものとなっている。例えば、多くの種類の付加的情報を多数の映画に提供するとても網羅的で綿密なネットサイトであるインターネット・ムービー・データベース（ｈｔｔｐ：／／ｗｗｗ．ｉｍｄｂ．ｃｏｍ）がある。インターネットは付加的映画情報へのアクセスを容易にしたが、インターネットから利用可能な大量の情報から検出することはユーザ次第である。
【０００３】
ＤＶＤ（デジタル多用途ディスク）媒体の登場により、映画に関連する付加的情報は、しばしばＤＶＤ映画の基本メニューのメニューフォーマットにおいて利用可能である。しばしば、インタビュー、他の映画シーン、広範なキャストリスト、多様な雑学的知識などが利用可能である。さらに、ＤＶＤフォーマットは、シーンブラウザ、プロットサマリー、各種シーンへのブックマークなどを容易にする。付加的情報が多数のＤＶＤ上で利用可能であるが、付加的情報は、映画のプロバイダにより選択され、さらなる付加的情報は、ＤＶＤディスク上の利用可能なスペースにより制限され、それは静的な情報である。
【０００４】
利用可能な映画量と、各種映画、俳優、監督などに関して利用可能な付加的情報の情報量はかなり大きなものであり、ユーザは「情報のオーバーロード」を被ることとなる。映画に興味のある人々は、しばしば所望する物をどのようにして見つけることができるか、そして新しい好きなものをどのように見つけることができるかに関する問題に苦しんでいる。この問題に対処するため、オーディビジュアルデータを検索及び解析する各種システム及び方法が開発されてきた。例えば、自動要約システムなど、このようなシステムの異なるタイプのものが利用可能であり、このようなシステムは、米国出願２００２／００９３５９１に記載されている。他のタイプのシステムは、映画の中のある俳優の画像などの選択された画像データなどに基づく対象検索システムであり、このようなシステムは、米国特許２００３／０１０７５９２に記載されている。
【０００５】
本願発明者は、インターネット上で検出された付加的情報とＤＶＤ映画のオーディオビジュアルデータとを一体化するなど、内部及び外部オーディオビジュアルデータを一体化することが可能なシステムが効果的であると認識し、このため本発明を考案した。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、オーディオビジュアルデータを解析するための改良されたシステムを提供する。好ましくは、本発明は、上記問題点の１以上を単独又は任意の組み合わせにより軽減又は解消するものである。
【課題を解決するための手段】
【０００７】
従って、第１の特徴では、内部及び外部オーディオビジュアルデータの統合解析のためのシステムであって、
オーディオビジュアルソースに通信可能に接続され、前記オーディオビジュアルソースから内部データを検索し、抽出アルゴリズムを用いて内部データを抽出するよう構成される内部コンテンツ解析装置と、
外部情報ソースに通信可能に接続され、前記外部情報ソースを検索し、検出アルゴリズムを用いて外部データを検出するよう構成される外部コンテンツ解析装置と、
を有し、
前記内部データと前記外部データとは相関され、これにより、マルチソースデータ構造を提供することを特徴とするシステムが提供される。
【０００８】
家庭用に適したオーディオビジュアルシステムなどのオーディオビジュアルシステムは、オーディオビジュアル情報の解析を可能にする処理手段を有するかもしれない。例えば、ＭＰＥＧフォーマットによる映像、又はデータネットワークを介した送信に適した他の任意のタイプのフォーマットなどのストリーム処理された映像を表示可能なユニット又はＤＶＤ（デジタル多用途ディスク）を有するシステムなど、任意のタイプのオーディオビジュアルシステムが想定されるかもしれない。オーディオビジュアルシステムはまた、衛星又はケーブルを介しテレビや映画などのオーディオビジュアルコンテンツを受信及び表示するのに適した「セットトップ」ボックスタイプのシステムであってもよい。本システムは、オーディオビジュアルコンテンツ、すなわち、内部コンテンツをユーザに提供するか、又は当該オーディオビジュアルコンテンツがユーザに提供されることを可能にする信号を出力する手段を有する。形容詞「内部の」とは、広範に解釈されるべきである。内部コンテンツは、映画ソースの信号から抽出可能なコンテンツであってもよい。内部コンテンツは、信号などから抽出可能な映像信号、音声信号、テキストなどであってもよい。
【０００９】
本システムは、内部コンテンツ解析装置を有する。内部コンテンツ解析装置は、典型的には、オーディオビジュアルデータを解析可能な処理手段である。内部コンテンツ解析装置は、映画ソースなどのオーディオビジュアルソースに通信可能に接続される。内部コンテンツ解析装置は、オーディオビジュアルソースを検索し、そこからデータを抽出するよう構成される抽出アルゴリズムを利用することによるものである。
【００１０】
本システムはまた、外部コンテンツ解析装置を有する。形容詞「外部の」とは、広範に解釈されるべきである。外部コンテンツは、内部コンテンツに含まれない、含まれないかもしれない、又は抽出が困難なコンテンツである。外部コンテンツは、典型的には、映画スクリーンプレイ、ストーリーボード、批評、解析などのコンテンツであるかもしれない。外部情報ソースは、インターネットサイト、関連するデータを有するデータキャリアなどであってもよい。
【００１１】
本システムはまた、マルチソースデータ構造の内部及び外部データを相関させる手段を有する。この相関を示す規則は、抽出及び／又は検出アルゴリズムの一部であってもよい。マルチソースデータ構造の内部及び外部データを相関させる相関アルゴリズムがまた、存在するかもしれない。マルチソースデータ構造は、データポインタなどによって各種データタイプを相関させる低レベルデータ構造であってもよい。マルチソースデータ構造は、システムのユーザではなく、システムのプロバイダにアクセス可能とされてもよい。マルチソースデータ構造は、システムのユーザに提供されるハイレベル情報構造に通常はフォーマット化される。
【００１２】
内部コンテンツは、適切な抽出アルゴリズムを用いることによりオーディオビジュアルソースから抽出され、外部コンテンツは外部情報ソースから検出されてもよい。外部データの検出は、抽出されたデータに基づくものであってもよいが、外部データの検出はまた、内部コンテンツと関係なく検出アルゴリズムに提供されるデータに基づくものであってもよい。
【００１３】
抽出及び／又は検出アルゴリズムは、固定された機能を有して生成された多くの電子装置と同様に、システムの一部であってもよい。しかしながら、モジュールはまた、抽出及び／又は検出アルゴリズムを提供するものであってもよい。異なるユーザが映画などにおいて異なる嗜好とリンクを有し、これにより、より高いフレキシビリティが提供されるため、モジュールによりこれらのアルゴリズムを提供することが効果的であるかもしれない。このモジュールは、スロットに適合するよう構成されるなどの電子モジュールなどのハードウェアモジュールであってもよいが、当該モジュールはまた、データキャリア上のデータファイル又はネットワーク接続を介し提供可能なデータファイルなどのソフトウェアモジュールであってもよい。
【００１４】
本システムは、クエリがユーザにより提供可能である機能をサポートしてもよく、当該クエリは、内部及び／又は外部データが当該クエリに従って抽出されるように、抽出及び／又は検出アルゴリズムに提供されてもよい。オーディオビジュアルデータのスタイル及びコンテンツの多様性により、上記機能を提供することが効果的であるかもしれない。これにより、より高いフレキシビリティを有するシステムが提供されるかもしれない。クエリはセマティッククエリであってもよく、すなわち、クエリ言語を用いて定式化されてもよい。クエリは、リモコンのクエリボタンに関して、押下されるとき、ユーザに可能な照会リストを提供するクエリリストから選択されてもよい。
【００１５】
オーディオビジュアルソースは、映画であってもよく、抽出される内部データは、以下に限定されるものではないが、テキスト、音声及び／又は映像特徴を含むものであってもよい。
【００１６】
外部情報ソースは、インターネットに接続され、それを介しアクセスされてもよい。外部情報ソースは、インターネット映画データベースなどの汎用インターネットサイトであってもよいが、しかしながら、外部情報ソースはまた、本発明のシステムに付加的情報を提供する特定の用途により与えられるインターネットサイトなどの特定用途インターネットサイトであってもよい。
【００１７】
外部情報ソースは、映画スクリーンプレイであってもよい。完成された映画は、しばしばスクリーンプレイから逸脱している。映画製作処理は、通常、元のスクリーンプレイとそのバージョンと共に、ストーリーボードの開発に基づく。この情報を利用することは、映画のレシピブックを利用することと同様である。存在しないかもしれない、又はオーディオビジュアルコンテンツから抽出するのが大変困難なハイレベルセマティック情報が、スクリーンプレイ及び関連する映画のオーディオビジュアル信号処理及び解析を用いて自動的に抽出されてもよい。これは、外部情報ソースは映画に関するデータを有するかもしれないため効果的であり、それはオーディオビジュアル解析によっては全く実行可能ではなく、又はそれが抽出可能な場合、信頼性は極めて低いものである。
【００１８】
外部コンテンツ解析装置は、スクリーンプレイ文法に関する知識を有してもよく、外部データは、スクリーンプレイ文法を用いてスクリーンプレイから抽出された情報を用いて抽出される。スクリーンプレイの実際のコンテンツは、一般には正規フォーマットに従う。このフォーマットの知識を利用することにより、シーンが内部又は外部で行われるか、位置、日時などの情報が抽出されるかもしれない。内部データのみに基づくこのような情報の抽出は不可能であるかもしれず、可能な場合には、大変低い確実性により取得されてもよい。
【００１９】
映画の１つの重要な特徴は、映画の人物の識別である。このような情報は、スクリーンプレイが与えられたシーンのすべての人物をリストするかもしれないため、スクリーンプレイと映画コンテンツとを相関させることにより取得されるかもしれない。スクリーンプレイ文法を利用することによって、シーンの人物の身元が抽出されるかもしれない。スクリーンプレイから抽出された身元は、例えば、シーンの複数の人物を区別するため、音声及び／又は映像身元マーカーと合成されてもよい。スクリーンプレイから抽出可能な任意の特徴が、ユーザに提供される映画解析において利用されてもよい。抽出及びユーザに提供可能なものの他の可能性として、セマティックシーン分離及び説明抽出、映画構造解析、感情（ムード）シーン解析、位置／時間／設定検出、服装解析、キャラクタプロファイル、ダイアログ解析、ジャンル／サブジャンル検出、監督スタイル検出などがある。
【００２０】
内部及び外部データの相関は、時間相関であってもよく、この結果は内部データにおいて反映される特徴が外部データにおいて反映される特徴と時間相関されるマルチソースデータ構造であってもよい。内部及び外部データにおいて反映される特徴は、以下に限定されるものではないが、テキスト、音声及び／又は映像特徴を含むものであってもよい。
【００２１】
時間相関は、映画の発話されたテキストにスクリーンプレイのダイアログを調整することにより取得されてもよい。映画の発話されたテキストは、字幕内に含まれてもよく、サブタイトルから抽出されてもよく、音声認識システムを用いて抽出されてもよく、異なる方法を用いて提供されてもよい。しかしながら、映画の発話されたテキストが提供されると、この発話されたテキストは、スクリーンプレイのダイアログと比較及び適合されてもよい。時間相関は、映画のタイムスタンプされたトランスクリプトを提供するかもしれない。この比較及びマッチングは、自己類似性マトリックスなどを用いて取得されてもよい。
【００２２】
上述のように、ハイレベル情報構造は、マルチソースデータ構造に従って生成されてもよい。ハイレベル情報構造は、ユーザとシステムの各種機能との間のインタフェースを提供するかもしれない。ハイレベル情報構造は、多くの電子装置に存在するようなユーザインタフェースに対応するかもしれない。
【００２３】
ハイレベル情報構造は、記憶媒体上に格納されてもよい。これは、内部及び外部情報のバックグラウンドに関するハイレベル情報構造を抽出するのにかなりの調査すべきデータを要するため効果的であるかもしれない。さらに、マルチソースデータ構造に従って更新される既存のハイレベル情報構造である更新されたハイレベル情報構造が生成されてもよい。これは、ユーザが限られた解析しか要求しない状況、又は外部情報ソースが更新された状況などにおいて効果的あり、外部情報ソースに従ってハイレベル情報構造を更新することが望ましい。
【００２４】
コンテンツ解析は、検出アルゴリズムを用いることにより取得される結果を含むものであってもよい。コンテンツ解析及び検出アルゴリズムは、検出された外部データに基づき付加的機能を動的に含むよう構成される動的アルゴリズムであってもよい。従って、コンテンツ解析及び検出アルゴリズムは、初期カテゴリを連続的に学習及び更新可能な（新たなカテゴリをシステムに導入可能な）オープンなアルゴリズムであってもよい。付加的機能は、ユーザの自宅に配置された後、システムの動作中に外部データから取得されたラベルを用いて、内部データから一組の特徴について検出アルゴリズムをトレーニングすることにより取得されてもよい。
【００２５】
内部データからの一組の特徴は、指定されたデータ群であってもよく、それは本発明を利用することにより発話者ＩＤのラベリングから発話者ＩＤが知られる映画の発話者であってもよい。ユーザは、例えば、トレーニングの利用のためのデータ群を選択してもよく、当該データ群はユーザに便利なように選択されてもよい。このデータセットはまた、本発明によるシステムのプロバイダにより提供されてもよい。トレーニングは、ニューラルネットワークを用いて取得されてもよく、すなわち、検出アルゴリズムは、例えば、ニューラルネットワークを有してもよく、又はそれに接続されてもよい。
【００２６】
トレーニングは、少なくとも１つのスクリーンプレイを用いて実行されてもよい。従って、トレーニングは、例えば、新たな俳優が登場し、知られていない俳優の人気がでて、人々のリンクが異なるなどのため、システムが新たな特徴をサポートするようトレーニングすることが可能となることが効果的である。このように、よりフレキシブルかつ強力なシステムが提供されるかもしれない。システムのトレーニングはまた、映像理解においてオブジェクト及びセマティックコンセプトの分類を容易にするブラインドトレーニングであってもよい。
【００２７】
マルチソースデータ構造は、映画の自動的なグラウンドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）の識別を提供するのに利用可能であり、これは、オーディオビジュアルコンテンツに対するベンチマーキングアルゴリズムにおいて利用可能である。また、映画の自動ラベリングは、マルチソースデータ構造に基づき取得されてもよい。自動的に映画コンテンツを処理可能となることは効果的である。
【００２８】
さらなる他のアプリケーションは、スクリーンプレイにおけるテキスト説明を利用して、映像コンテンツからのオーディオビジュアル特徴を利用するオーディオビジュアルシーンコンテンツの理解である。低レベル及び中間レベルの音声／映像／特徴をシーンの単語説明に割り当てるようトレーニングされるシステムが提供されてもよい。このトレーニングは、サポートベクトルマシーンや隠れマルコフモデルを用いて実行されてもよい。分類は、音声／映像／テキスト特徴のみに基づくものであってもよい。
【００２９】
スクリーンプレイのテキスト説明を利用することによって、自動的なシーンコンテンツ理解が取得されてもよい。このような理解は、映画自体から抽出することはできないかもしれない。
【００３０】
本発明の第２の特徴によると、内部及び外部オーディオビジュアル情報の統合解析のための方法であって、
オーディオビジュアルソースから内部データを検索し、抽出アルゴリズムを用いて内部データを抽出するステップと、
外部情報ソースを検索し、検出アルゴリズムを用いて外部データを検出するステップと、
前記内部データと前記外部データとを相関させ、これにより、マルチソースデータ構造を提供するステップと、
を有することを特徴とする方法が提供される。
【００３１】
本方法はさらに、マルチソースデータ構造に従ってハイレベル情報構造を生成するステップを有するようにしてもよい。
【００３２】
本発明の上記及び他の特徴及び／又は効果は、以降に説明される実施例を参照することにより明らかとなるであろう。
【発明を実施するための最良の形態】
【００３３】
図１は、本発明の好適な実施例のハイレベルな図を示す。図２において、このハイレベルな図による特定の実施例が提供される。
【００３４】
【表１】
2007519987.tif 000003
図１に与えられる図１００は、本発明による外部及び内部オーディオビジュアル情報の一体化された解析のためのモデルを示す。テーブル１において、各構成要素の名称が与えられる。図では、内部オーディオビジュアル情報は、ビデオ映画１０１、すなわち、ＤＶＤディスクなどのデータキャリア上のフィーチャー映画（ｆｅａｔｕｒｅ  ｍｏｖｉｅ）により具現化される。内部情報は、オーディオビジュアル信号、すなわち、画像データ、音声データ及び／又はトランスクリプトデータ（サブタイトル、字幕又はテレテキストトランスクリプトの形式による）から抽出可能な情報である。ここでは、外部オーディオビジュアル情報は、例えば、インターネット接続１０３を介し映画の画面再生１０２への外部アクセスにより具現化される。さらに、外部情報はまた、ストーリーボード、刊行されている書籍、映画、予告編、監督及び／又は出演者とのインタビュー、映画評論などからの付加的シーンであってもよい。このような情報は、インターネット接続１０３を介し取得可能である。これらのさらなる外部情報は、画面再生１０２など、ハイレベルな構造解析１１６が行われてもよい。ボックス１０２の画面再生の強調は、例えば、任意のタイプの外部情報であってもよく、特に上述の外部情報のタイプは、原則的に、ボックス１０２において図に有効に挿入されるものであってもよい。
【００３５】
第１ステップとして、内部情報が内部コンテンツ解析装置を用いて処理される。内部コンテンツ解析装置は、映画の内部コンテンツを検索及び解析するよう調整されたコンピュータプログラムであってもよい。映像コンテンツは、３つのパス（１０４、１０５、１０６）を介し処理可能である。パス１を介し、発話されたテキストが信号から抽出され、通常はサブタイトル１０４により表される。この抽出は、発話テキスト変換、ＭＰＥＧのユーザデータからの字幕抽出、及び／又は映像信号又はウェブページからのテレテキスト抽出を含む。その出力は、タイムスタンプされたトランスクリプト１０７である。パス２を介し、音声１０５が処理される。音声処理ステップは、音声セグメント化及び分類に続く音声特徴抽出を含む。ＭＦＣＣ（Ｍｅｌ  Ｃｅｐｓｔｒａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｏｅｆｆｉｃｉｅｎｔ）１０８が、発話者の順番１１０を検出し、感情コンテクストの決定の一部を構成するのに利用されてもよい。メルスケールは、可聴周波数解像度に基づく周波数ビニング法（ｆｒｅｑｕｅｎｃｙ−ｂｉｎｎｉｎｇ  ｍｅｔｈｏｄ）である。メルスケール上の周波数ビンを利用することにより、ＭＦＣＣは発話をパラメータ化するため比較される。ＭＦＣＣは、耳の判別の良好な標識である。従って、ＭＦＣＣは、スペクトル領域における乗算と反対に、ケプストラム領域における減算による等化の実現を介し歪みチャネルを補償するのに利用することができる。ピッチ１０９は、感情的コンテクストの決定の一部を構成し、ピッチはまた発話、音楽及び音声効果１１２に関するセグメント化において利用されてもよい。発話者順番検出１１０、感情音声コンテクスト１１１及び音声／音楽／ＳＦＸセグメント化１１２は、ボイスモデル及び感情モデルを介し、シーン記述３及び俳優識別２の音声ベース分類に結合される。この視覚処理は、カラーヒストグラム１１３、顔検出１１４、映像テキスト検出１１５、ハイライト検出、ムード解析などの視覚的特徴抽出を含む。顔検出は、顔モデルを介し顔ベース俳優識別４に結合される。カラーヒストグラムは、画像内のそれらの出現頻度及びカラー値（選択されたカラー空間における）を表すヒストグラムである。
【００３６】
第２ステップとして、外部情報は、外部コンテンツ解析装置を用いて処理される。外部コンテンツ解析装置は、抽出された内部データに基づき外部情報を検索するよう調整されてもよい。抽出された内部データは、映画タイトルと同程度にシンプルであってもよく、しかしながら、抽出された内部データはまた、映画に関する複合的なデータ群であってもよい。外部コンテンツ解析装置は、スクリーンプレイ解析、ストーリーボード解析、書籍解析、インタビュー、プロモーション予告編などの付加的オーディオビジュアル資料の解析のためのモデルを含むものであってもよい。この出力は、シーン、キャストのムードなどに関するハイレベル情報を符号化するデータ構造である。例えば、ハイレベル構造解析１１６は、スクリーンプレイ１０２に対して実行される。キャラクタ１１７が決定され、例えば、インターネット映画データベースなどのインターネットベースデータベースに照会することによって、インターネットを介しアクセスされる情報を介してなど、俳優と相互参照されてもよい。シーン位置１１８及びシーン説明１１９は、テキストベースシーン説明１において利用され、ダイアログ１２０は、テキストベースタイムスタンプされたスクリーンプレイを取得するため、タイムスタンプされたトランスクリプトと相関される。テキストベースのタイムスタンプされたスクリーンプレイは、テキストベースのシーン説明１におけるダイアログのためのタイムスタンプに基づき、シーンについて近似的な境界を提供する。
【００３７】
キャラクタ名と俳優との間の相互参照、テキストベースシーン説明１、テキストベースタイムスタンプスクリーンプレイ１２１、音声ベース俳優識別２、音声ベースシーン説明３及び顔ベース俳優識別が確定されると、マルチソース調整が実行されてもよい。従って、内部及び外部データが、マルチソースデータ構造を取得するため、相関されてもよい。スクリーンプレイなどの外部文書の一部は、外部及び内部データを相関させることによりタイム情報を含まず、内部オーディオビジュアル信号から抽出されたタイムスタンプ情報は、外部ソースから与えられた情報と調整されてもよい。この出力は、内部及び外部ソースの両方から利用可能な情報のスーパーセットを含む大変詳細なマルチソースデータ構造である。
【００３８】
マルチソースデータ構造を利用して、ハイレベル情報の構造が生成されてもよい。本実施例では、ハイレベル情報構造は、俳優ＩＤ５のためのスーパーモデル、圧縮されたプロットサマリー８、セマティックシーン説明を提供するシーン境界検出及び説明の３つの部分から構成される。俳優ＩＤのためのスーパーモデルモジュールは、マルチソースデータ構造からのキャラクタ識別に加えて、オーディビジュアル人物識別を含むものであってもよい。従って、ユーザには、映画に現れるすべての俳優のリストが提供されてもよく、例えば、当該俳優が登場する他の映画や特定の俳優又はキャラクタに関する他の情報など、当該俳優に関する付加的情報が提供されるべき俳優を選択することによってであってもよい。圧縮されたプロットサマリーモジュールは、プロットポイント及びストーリー及びサブストーリーアーク（ａｒｃ）を含むものであってもよい。これらは、映画における最も興味深いポイントである。このハイレベル情報は、サマリー化にとって大変重要である。これにより、ユーザは、ＤＶＤに典型的に与えられるものとは異なるタイプのプロットサマリーが提供され、又はユーザが興味のあるサマリーのタイプを選ぶようにしてもよい。このセマティックなシーン検出では、シーンのためのショット及びシーン境界が確定される。ユーザには、例えば、様々なシーンのためのスクリーンプレイの監督の解釈を比較し、特定のキャラクタを含むシーンをユーザが決定することを可能にするため、スクリーンプレイからの対応するシーンとシーンの完全なリストが提供されてもよい。
【００３９】
以下の実施例では、映画へのスクリーンプレイの配置に着目される。
【００４０】
ほとんどすべてのフィーチャー長の映画は、スクリーンプレイの支援により作成される。スクリーンプレイは、映画のストーリー、設定、ダイアログ及びアクションの統合されたビジョンを提供し、クリエイティブなビジョンに生命をもたらすためのスタートポイントを映画制作者、俳優及びスタッフに与える。映画のコンテンツベース解析に関する人々にとって、スクリーンプレイは、映画内の重要なセマティックオブジェクトのテキスト説明を取得するための現在利用されていないリソースである。これは、セマティックギャップの問題をバイパスするだけでなく（例えば、オーディオビジュアル信号のテキスト記述子系列への変換など）、当該説明を映画制作者から直接的にもたらす効果を有する。スクリーンプレイは、数千の映画に利用可能であり、半規則的なフォーマティング規格に従い、このため信頼できるデータソースである。
【００４１】
コンテンツベース解析への近道としてスクリーンプレイを利用することに関する困難さは、２つある。第１に、スクリーンプレイのテキストと映画の時間との間には固有の相関はない。この制限を対応するため、スクリーンプレイからのダイアログのラインは、映画のＤＶＤから抽出されたタイムスタンプされた字幕ストリームと調整される。直面する他の障害は、多くのケースにおいて、スクリーンプレイが映画の制作前に書かれ、従って、数行のダイアログ又はシーン全体が追加、削除、変更又はシャッフルできるということである。さらに、字幕のテキストは、しばしばキャラクタによりスクリーン上で発話されるダイアログの単なる近似である。これらの効果に対応するため、シーン／ダイアログの変更にロウバストな調整方法を利用することが不可欠となる。我々の実験は、ダイアログのラインのおよそ６０％しか英がないでタイムスタンプすることができないということを示している。調整処理により検出されたタイムスタンプされたダイアログは、しかしながらにもかかわらず、検出されなかった記述子を推定することが可能な統計モデルのラベルとして利用されてもよい。これが到達するものは、映画及びそれを作成した「レシピ」によりもたらされる任意の映像資料の自動映像コンテンツ解析のためのセマティックオブジェクトのラベル処理のための自己完結した監視されていない処理である。
【００４２】
ここで、スクリーンの代替が連続スクリプトであるということに留意される必要がある。この連続スクリプトは、映画のすべての作業が完了した後に書かれる。連続スクリプトという用語は、しばしば２つのコンテクストで取得される。第１には、スクリーンプレイからの情報に加えて、カメラ配置及び動きを含む映画のショット単位のブレークダウンである。さらに、連続スクリプトはまた、映画のダイアログの正確なトランスクリプトを参照することができる。何れの形式も、字幕処理を行うエージェンシーにより利用可能である。ある映画からの連続スクリプトは公開及び販売されているが、それらは一般には、パブリックオンラインに利用可能ではない。これは、シューティングスクリプト、すなわち、スクリーンプレイに関する解析をそれの不完全性にかかわらず動機付ける。
【００４３】
スクリーンプレイがコンテンツベース解析においてより包括的に利用されなかった１つの理由は、スクリーンプレイに存在するダイアログ、アクション及びシーン説明がそれに関するタイムスタンプを有していないためである。これは、映画のあるセグメントをテキストの一部に割り当てる効果を妨げる。映画トランスクリプションの他のソースである字幕は、映画において発話されるダイアログのテキストを有するが、それは、各ラインで発話するキャラクタの身元を含まず、また字幕は、映像信号から抽出することが困難なシーン説明を処理しない。映画の字幕のテキストとスクリーンプレイのダイアログを調整することにより、両方の世界の最も良いものを取得する。
【００４４】
第２に、ライン及びシーンはしばしば不完全であり、カット又はシャッフルされる。字幕に対するスクリーンプレイのシーン再順序付け調整に直面してロウバストとなるため、一時点に１つのシーンが実行されるようにしてもよい。これはまた、完全な自己類似性マトリックスのメモリインテンシブな生成を容易にする。
【００４５】
最後に、各ダイアログ部分について、スクリーンプレイ内の相関を検出することは不可能であるかもしれない。統計的なイベントモデルを生成するため、タイムスタンプされたスクリーンプレイから抽出され、映画（音声／映像ストリーム、字幕、ｉｍｂｄ．ｃｏｍなどの外部ウェブサイトからの情報）のマルチモーダルセグメントと合成される情報を取得することが不可欠となっている。これらのイベントは、映画間又は映画内とすることができ、説明が調整されたストリームによって明示的に検出されないシーンからのテキスト説明を提供する可能性を約束する。
【００４６】
スクリーンプレイ調整の重要な側面は、発話者の識別である。何れか与えられた時点において発話するキャラクタにアクセスすることは、声の存在に基づく俳優及び映画内クエリに関する外部データへのリンクを提供するアプリケーションを可能にする。映画ダイアログに関する監視されていない発話者識別は、発話特徴が、発話者の感情の変化、異なる実際の又はシミュレートされた位置における異なる音響状態（例えば、「部屋のトーン」など）と共に、背景のサウンドトラック、周囲雑音及びヘビーアクティビティにより影響を受けるため、困難な問題である。
【００４７】
我々の解法は、異なる環境及び感情の下、声の特徴を学習する「ブラックボックス」クラシファイアのためのラベル付けされた例として配置からのタイムスタンプを提供するというものである。本質的には、配置からの大量のトレーニングデータを有することにより、データに会話をさせることができ、我々の方法はスクリーンプレイ及び映画音声がマシーン可読形式によりキャプチャされると、人間の前処理を必要としないため純粋に監視なしのものである。
【００４８】
映画の基本的なシューティングが完了した後、編集者はスクリーンプレイを尊重して、又はしないで異なるショットを組み合わせる。ときどき、シーンは、可能な場合には、ネームぺーシング、連続性又はスタジオ方針において要求されるカット又はピックアップされるシュートとなる。極端な例では、ガス室の主役による映画「Ｄｏｕｂｌｅ  Ｉｎｄｅｍｎｉｔｙ」のエンディングは、編集室のフロアに残されたものである。「Ｓｗｉｎｇｅｒｓ」は、編集者がダイアログのペースを厳しくし、映画を成功したコメディに変えるまで、ラブストーリーとなることが本来は意図されていた。
【００４９】
スクリーンプレイの実際のコンテンツは、一般に通常のフォーマットに従う。例えば、何れのシーン又はシューティング位置の最初のラインは、「スラッグライン（ｓｌｕｇ  ｌｉｎｅ）」と呼ばれる。このスラッグラインは、あるシーンが位置の名前の内部又は外部で行われるためのものであるか示し、日時を潜在的に特定することが可能である。スラッグラインは、シーンは多くの位置で行うことが可能であるため、シーン境界の楽観的な標識である。スラッグラインに従うことは、位置の説明である。その説明は、出現する何れか新しいキャラクタとダイアログなしに行われる何れかのアクションを紹介する。
【００５０】
大量のスクリーンプレイは、ダイアログ説明である。ダイアログは、読みやすさのためページにおいてインデントされ、俳優や映画制作者にメモのための場所を与える。映画脚本家はダイアログから明らかでない俳優に対し指示をする場合、それは説明に示すことができる。標準的なスクリーンプレイフォーマットは、文法規則により構文解析されてもよい。
【００５１】
【表２】
2007519987.tif 000004
この文法では、「＼ｎ」は新しいラインの文字を意味し、「＼ｔ」はタブを表す。「．＊？」はＰｅｒｌの正規表現からの項であり、「シーケンスの次のパターンの前の何れかがマッチする」ことを意味する。文字に続くクエスチョンマークは、当該文字が存在するか否かを意味する。「｜」は、＜Ｏ．Ｓ．｜Ｖ．Ｏ．＞などの選択を可能にし、Ｏ．Ｓ．又はＶ．Ｏ．の存在が良好な適合に寄与することを意味する。最後に、「＋」は、前の文字の１以上がマッチしているとみなすことを可能にすることを意味し、例えば、「Ｈｅｌｌｏ」から始まるラインがそうではないが、「＼ｔＨｅｌｌｏ」、「＼ｔ＼ｔＨｅｌｌｏ」又は「＼ｔ＼ｔ＼ｔＨｅｌｌｏ」はダイアログとすることができる。
【００５２】
スクリーンプレイのフォーマティングガイドは、単なる示唆であり、規格ではない。しかしながら、シンプルだがフレキシブルな正規表現により利用可能なほとんどのスクリーンプレイをキャプチャすることができる。
【００５３】
スクリーンプレイの数百のコピーが、スケールの何れかの映画製作について製作される。スクリーンプレイは、趣味又は学術的な利用のために再生可能であり、数千のスクリーンプレイがオンラインに利用可能である。
【００５４】
図２において、１つの映画を介し前処理、調整及び発話者識別を含むシステムの概略が示される。
【００５５】
シーン及びダイアログ境界及びメタデータが一様なデータ構造に入力されるように、映画のスクリーンプレイ２０のテキストが構文解析される。字幕２１及び音声特徴２２は、映画の映像信号から抽出される（２３）。重要な段階では、スクリーンプレイ及び字幕テキストが調整される（２４）。この調整は以下において詳細にされる。この調整では、ダイアログはタイムスタンプされ、あるキャラクタと関連付けされる。しかしながら、すべてのダイアログ部分についてスクリーンプレイの相関を検出することは不可能であるかもしれない。イベントの統計モデル２５を生成するため、タイムスタンプされたスクリーンプレイから抽出され、映画のマルチモーダルセグメントと合成される（音声／映像ストリーム、字幕、外部のウェブサイトからの情報）情報を取得することが不可欠となる。
【００５６】
このように、映画の自然に雑音のある環境において大変高い発話者の識別精度を実現することが可能である。この識別は教師付きの学習方法を用いて実行されてもよいが、グラウンドトゥルース自動生成されることに留意することが重要であり、従って、分類処理における人手による介入の必要はない。
【００５７】
従って、映画の間の何れかの時点で発話するキャラクタが、決定されてもよい（２６）。このキャラクタＩＤは、映画のキャラクタの俳優識別２８を取得するため、インターネットデータベース２７と相関されてもよい。
【００５８】
発話者識別に加えて、シーンの位置、時間及び説明、各ラインのダイアログ及びそれらの発話者、俳優の挿入的なアクション指示、及びシーン間の示唆遷移（カットフェード、ワイプ、ディソルブなど）が抽出されてもよい。
【００５９】
調整及び発話者識別タスクについて、映画のＤＶＤからの音声及び字幕ストリームが求められる。
【００６０】
ＤＶＤのユーザデータフィールドは、テキストフォーマットによるサブタイトルストリームを有し、それはＤＶＤ規格のオフィシャルな部分ではなく、従って、すべてのディスク上に存在することは保証されない。利用可能なサブタイトル情報のない映画について、ＤＶＤのサブタイトルストリームに対しＯＣＲ（光学文字認識）を実行することによって、字幕を取得するというものもある。これは、新たなフォントに遭遇するときのみ（製作会社ごとに一般には一度）、ユーザ介入を要求する半インタラクティブ処理であるが、完全に自己完結している。直面した唯一の問題点は、ときどき小文字の「ｌ」が大文字の「Ｉ」と混同されるということであり、単語を比較しながら、混乱を回避するため、すべてのＬをＩにそらせることが必要であるということを発見した。ＯＣＲは、サブリッププログラムを用いて実行されてもよく、字幕の各行についてミリ秒の解像度によりタイムスタンプを与える。
【００６１】
スクリーンプレイダイアログと字幕テキストは、自己類似性マトリックス上の「ベストパス」を検出するようダイナミックプログラミングを利用することにより調整される。適切にシーンに対応する調整は、ベストパス上の中間フィルタを適用することにより抽出される。妥当な精度のダイアログセグメントは、字幕ラインのサイズの部分に切断され、これは、ダイアログ部分をタイムスタンプセグメントに直接変換することを可能にすることを意味する。以下において、各コンポーネントが説明される。
【００６２】
類似性マトリックスは、同様のメディアの２つの異なるバージョンを比較する方法である。それは、コンテンツベース音声解析の標準的ツールである自己類似性マトリックスの拡張である。
【００６３】
類似性マトリックスでは、スクリーンプレイのあるシーンの各ワードｉは、映画全体の字幕キャプションの各ワードｊと比較される。従って、マトリックスは、
【００６４】
【表３】
2007519987.tif 000005
により充填される。
【００６５】
言い換えると、シーンのワードｉが字幕のワードｊと同一である場合、ＳＭ（ｉ，ｊ）＝１であり、それらが異なる場合、ＳＭ（ｉ，ｊ）＝０である。スクリーンタイムは、対角線ｉ＝ｊに沿って線形に進捗し、このため、スクリーンプレイからのダイアログのラインが字幕からのテキストのラインまで並べられると、１の実線の対角線を見ることが期待される。図３は、字幕３１と映画「Ｗａｌｌ  Ｓｔｒｅｅｔ」のシーン８７のためのスクリーンプレイ３２との比較のため、類似性マトリックス３０の一例となるセグメントを示す。類似性マトリックスでは、スクリーンプレイ及び字幕に現れるワードは、一致が検出されるかに応じて特徴付けされてもよい。従って、すべてのマトリックス要素は、一致が検出されない場合にはミスマッチ３２と、一致が検出される場合にはマッチ３３とラベル付けされてもよい。通常、多くの一致が検出されるかもしれないが、不連続なトラックが検出され、当該トラックを介したベストパスが確定される。一致しないこのベストマッチ上のワードは、これに応じてラベル付けされてもよい（３４）。
【００６６】
声が変化し、音響状態が映画の期間を通じて変化するため、映画の発話者認識は困難である。従って、多量のデータが、異なる条件の下で分類するため必要とされる。図４は、この特有の問題点を示す。２つのシーン４０と４１が概略的に示される。第１シーン４０では、３人の人々が存在する。これら３人のすべては、視聴者に直面し、一度に発話することが予期することができる。従って、内部データのみを利用することによって、例えば、声紋や顔モデルを利用することにより、高い信頼性により発話者の身元を抽出することが可能であるかもしれない。第２シーン４１では、５人の人が存在し、１人のみが視聴者と直面し、多くの説明が存在し、人々はすべて一度に発話し、劇的なバックグラウンド音楽が激しいムードを強調するのに利用可能である。ダイアログと共に発話者が示されるスクリーンプレイを利用することによって、発話者ＩＤは、シーン内のすべての発話者を検出するのに適用可能である。
【００６７】
音声特徴に基づき発話者認識を分類及び容易にするため、以下の手順が利用可能である。
１）トレーニング／テスト／検証セットの選択
２）サイレンスの除去
３）Ｍａｒｔｉｎ  ＭｃＫｉｎｎｅｙの音声クラシファイアに基づく音楽／ノイズ部分の潜在的な除去
４）発話のピーク周波数が約３．４ｋＨｚであるとき、８ｋＨｚへのダウンサンプリング
５）１２．５ミリ秒のホップサイズによる５０ミリ秒のウィンドウ上のＣＭＳデルタ特徴の計算
６）長い解析フレームを生成するため、特徴ベクトルのスタック
７）テストセットのサイズを減少させるためＰＣＡの実行
８）ニューラルネット又はＧＭＭのトレーニング
９）映画全体のネット／ＧＭＭのシミュレート
１０）どれくらい良好に実行したか確認するため、この夏のインターンからのグラウンドトゥルースとの比較
本発明がコンピュータプログラムプロダクトとして実現され、記憶媒体に格納可能であり、本発明による方法をコンピュータに実行するようプログラム可能であることは、当業者に明らかであろう。コンピュータは、パーソナルコンピュータやネットワークコンピュータなどの汎用コンピュータとして実現可能であるが、プログラマブル処理コアを有する専用家電機器として実現することも可能である。
【００６８】
上記説明では、単数形への参照は複数形を包括し、その反対も成り立つことが理解される。さらに、「含む」、「有する」、「搭載する」及び「包括する」などの表現は、非排他的なものであると解釈され、すなわち、このような表現は他のアイテムが存在することを排除しないと解釈されるべきである。
【００６９】
本発明は好適な実施例に関して説明されたが、それはここで与えられた特定の形式に限定されるものではない。むしろ、本発明の範囲は、添付した請求項によってのみ限定される。
【図面の簡単な説明】
【００７０】
【図１】図１は、本発明の実施例のハイレベル構造図である。
【図２】図２は、図１に関して説明された実施例のサブ実施例である本発明の他の実施例の概略図である。
【図３】図３は、スクリーンプレイ及び字幕の調整の概略図である。
【図４】図４は、映画の発話者の識別の概略図である。
【図１】
2007519987.tif 000006
【図２】
2007519987.tif 000007
【図３】
2007519987.tif 000008
【図４】
2007519987.tif 000009
【国際調査報告】
2007519987.tif 000010
2007519987.tif 000011
2007519987.tif 000012