(57)【要約】題材内容の作成中に利用可能な「背景情報（ｂａｃｋｇｒｏｕｎｄ ｉｎｆｏｒｍａｔｉｏｎ）」は、題材内容に関連付けられ、音声／画像の題材内容のソースへの選択的なアクセスを支援する。この製作情報は、例えば、題材内容の収集中に使用されたカメラのセッティングを含む。他の製作情報としては、音響制御、場面識別、ソース識別、題材内容を作成するスタッフに連絡した指示等が含まれる。指標化を促進するため、製作情報を処理およびフィルタ処理し、製作情報のシンボル表示の集合を作成し、各シンボルは決定されたイベント又は特徴に対応する。このシンボル製作情報は、好ましくは、指標化および要約化情報の他のソースと組み合わせられ、題材内容に対する注釈の集合を提供し、効率的かつ実行性のある選出検索を支援する。【特許請求の範囲】
【請求項１】
題材内容に関連する補助情報を提供する方法であって：
前記題材内容の製作に関連するソース情報を収集するステップ，および
前記ソース情報を処理して前記補助情報を提供するステップ
より成り、前記ソース情報が：
前記題材内容の製作中に発せられた１つ又はそれ以上の指示，および
前記題材内容の製作中に使用された１つ又はそれ以上の機器に関連する１つ又はそれ以上のパラメータ
の少なくとも１つを含むことを特徴とする方法。
【請求項２】
請求項１記載の方法において、前記ソース情報を処理するステップが：
前記１つ又はそれ以上の指示に対応する音声入力に関連付けられたワードを認識するステップ，および
前記１つ又はそれ以上の機器に対応する少なくとも１つのカメラに関連する視野の設定を認識するステップ
の少なくとも１つより成ることを特徴とする方法。
【請求項３】
請求項１記載の方法において、前記ソース情報を処理するステップが：
他の情報を処理して前記補助情報を提供するステップ，
より成り、前記他の情報が：
前記題材内容に関連する字幕情報，
前記題材内容に関連する画像情報，
前記画像内容に関連するオーディオ情報，
前記題材内容に関連する背景情報，および
前記題材内容に関するユーザ情報
の少なくとも１つより成ることを特徴とする方法。
【請求項４】
請求項３記載の方法において、前記ソース情報を処理するステップが、前記題材内容の要約を支援することを特徴とする方法。
【請求項５】
請求項１記載の方法において、前記題材内容がテレビ会議の場面に対応することを特徴とする方法。
【請求項６】
請求項１記載の方法において、更に、前記補助情報を前記題材内容に同期させ、前記補助情報に基づいて、前記内容情報の特定のセグメントを探索することを支援するステップより成ることを特徴とする方法。
【請求項７】
請求項１記載の方法において、更に、前記ソース情報に関連する製作情報をシンボル形式で格納し、ソース情報の処理を支援するステップより成ることを特徴とする方法。
【請求項８】
請求項１記載の方法において、前記補助情報がＭＰＥＧ７仕様に準拠して提供されることを特徴とする方法。
【請求項９】
題材内容に関する補助情報を提供する方法であって：
前記題材内容の製作中に使用された１つ又はそれ以上のカメラ設定に関連するカメラ・パラメータを収集するステップ，および
前記カメラ・パラメータに基づいて、前記補助情報を作成するステップ
より成ることを特徴とする方法。
【請求項１０】
請求項１記載の方法において、補助情報を提供するステップが、他の情報を処理して前記補助情報を提供するステップより成り、前記他の情報が：
前記題材内容に関連する字幕情報，
前記題材内容に関連する画像情報，
前記画像内容に関連するオーディオ情報，
前記題材内容に関連する背景情報，および
前記題材内容に関するユーザ情報
の少なくとも１つより成ることを特徴とする方法。
【請求項１１】
入力として：
題材内容の製作に関連するソース情報，
前記題材内容に関連する同期データ
を受信し、前記題材内容に対する選択的なアクセスを支援する製作情報を生成するエンコーダより成ることを特徴とする記録システム。
【請求項１２】
請求項１１記載の記録システムにおいて、前記ソース情報が：
前記題材内容の製作に関連する指示，および
前記題材内容の製作に使用された機器に関連する設定内容
の少なくとも１つより成ることを特徴とする記録システム。
【請求項１３】
請求項１１記載の記録システムにおいて、前記エンコーダが：
前記題材内容の製作に関連する音声ソース情報を処理する音声認識システム，および
前記題材内容の製作に関連する少なくとも１つのカメラに関連するパラメータを処理する視野プロセッサ
の少なくとも１つより成ることを特徴とする記録システム。
【請求項１４】
情報処理システムであって：
題材内容の製作に関連する製作情報のソース，
前記製作情報のソースに動作可能に結合され、前記題材内容に関連する補助情報を提供するよう形成されたプロセッサ
より成り、前記製作情報が：
前記題材内容の製作中に発せられた１つ又はそれ以上の指示，および
前記題材内容の製作中に使用された１つ又はそれ以上の機器に関連する１つ又はそれ以上のパラメータ
の少なくとも１つより成ることを特徴とする情報処理システム。
【請求項１５】
請求項１４記載の情報処理システムにおいて、製作情報のソースが：
１つ又はそれ以上の指示に対応する音声入力に関連するワードを認識するよう形成された音声認識システム，および
前記１つ又はそれ以上の機器に対応する少なくとも１つのカメラに関連するパラメータを処理する視野プロセッサ
の少なくとも１つより成ることを特徴とする情報処理システム。
【請求項１６】
請求項１４記載の情報処理システムにおいて、更に、他の情報の少なくとも１つのソースを有し、前記他の情報が：
前記題材内容に関連する字幕情報，
前記題材内容に関連する画像情報，
前記題材内容に関連する背景情報，および
前記題材内容に関するユーザ情報
の少なくとも１つより成り、
前記プロセッサが、前記他の情報の少なくとも１つのソースに動作可能に結合され、前記他の情報に基づいて、前記補助情報を提供するよう形成されることを特徴とする情報処理システム。
【請求項１７】
請求項１４記載の情報処理システムにおいて、更に、前記補助情報および前記題材内容の間の関連性を提供するよう形成されるシンセサイザより成ることを特徴等する情報処理システム。
【請求項１８】
請求項１４記載の情報処理システムにおいて、前記補助情報が、前記題材内容に関するキャラクタの識別性を強化することを特徴等する情報処理システム。
【請求項１９】
請求項１４記載の情報処理システムにおいて、前記補助情報がＭＰＥＧ７仕様に従って提供されることを特徴等する情報処理システム。
【請求項２０】
情報処理システムであって：
題材内容の製作に関連する製作情報を受信する入力，
前記入力に動作可能に結合され、前記題材内容に関連する補助情報を提供するよう形成されるプロセッサ
より成り、前記製作情報が、前記題材内容の製作中に使用された１つ又はそれ以上のカメラに関連する１つ又はそれ以上のパラメータを含むことを特徴とする情報処理システム。
【請求項２１】
請求項２０記載の情報処理システムにおいて、他の情報の少なくとも１つのソースを有し、前記他の情報が：
前記題材内容に関連する字幕情報，
前記題材内容に関連する画像情報，
前記題材内容に関連する背景情報，および
前記題材内容に関するユーザ情報
の少なくとも１つより成り、
前記プロセッサが、前記他の情報の少なくとも１つのソースに動作可能に結合され、前記他の情報に基づいて、前記補助情報を提供するよう形成されることを特徴とする情報処理システム。
【発明の詳細な説明】
【０００１】
［発明の背景］
１．発明の技術分野
本発明は消費者電気機器の技術分野に関し、特に、音声／画像内容を効率的に探索する又は選択内容を検索するための指標化（ｉｎｄｅｘｉｎｇ）および要約化を支援するシステムに関する。
【０００２】
２．関連技術の説明
自動ストーリー分割（ａｕｔｏｍａｔｅｄ ｓｔｏｒｙ ｓｅｇｍｅｎｔａｔｉｏｎ）および識別の技術分野における進展は継続的になされており、これは、ＭＩＴＲＥコーポレーション（Ａｎｄｒｅｗ Ｍｅｒｌｉｎａ， Ｄａｒｙ Ｍｏｒｅｙ， ａｎｄ Ｍａｒｋ Ｍａｙｂｕｒｙ， Ｍｉｔｒｅ Ｂｅｄｆｏｒｄ ＭＡ， Ｂｒｏａｄｃａｓｔ Ｎｅｗｓ Ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ Ｓｔｏｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ， ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｉｎｇｓ， １９９７， ｐｐ．３８１−３８９）のブロードキャスト・ニュース・エディタ（ＢＮＥ： Ｂｒｏａｄｃａｓｔ Ｎｅｗｓ Ｅｄｉｔｏｒ）およびブロードキャスト・ニュース・ナビゲータ（ＢＮＮ： Ｂｒｏａｄｃａｓｔ Ｎｅｗｓ Ｎａｖｉｇａｔｏｒ）に明示されているようなものである。ＢＮＥを利用することにより、ニュース放送は個々のセグメントに自動的に分割され、そのセグメントに関連する字幕（ｃｌｏｓｅｄ ｃａｐｔｉｏｎ）テキストの第１行は、各ストーリー・セグメントの要約として使用される。字幕テキストまたは音声からのキーワードは、各ストーリー・セグメントに対して決定される。ＢＮＮは、顧客がサーチ・ワードを登録することを許容し、ＢＮＮは、そのサーチ・ワードに合致する各ストーリー・セグメント内のキーワード数によって、そのストーリー・セグメントを並べる。合致するキーワードの出現頻度に基づいて、ユーザは興味のあるストーリーを選択する。同様な探索および検索手法が当該技術分野で一般化しつつある。例えば、既存のテキスト探索手法は、コンピュータを利用するテレビジョン・ガイドに応用することが可能であり、特定のショー・タイトル（ｓｈｏｗ ｔｉｔｌｅ）、特定の芸能人、特定のショー等を探索することが可能である。
【０００３】
指標化および探索の手法は、音声および画像ＣＤおよびＤＶＤのような記録された娯楽題材（ｅｎｔｅｒｔａｉｎｍｅｎｔ ｍａｔｅｒｉａｌ）に関しても進展している。例えば、ユーザは、「一人芝居（ｍｏｎｏｌｏｇｕｅ）、ジョン・スミス」のような芸能人名および場面の特徴を指定することによって、特定の場面を探索することが可能である。これに応じて、探索装置は、一人芝居を演じているジョン・スミスを含む１つ又はそれ以上の場面を提示する。
【０００４】
検索する題材を分類および指標化する場合に遭遇する問題点の１つは、効率的な検索を促進するために題材に適切な情報を「注釈付け（ａｎｎｏｔａｔｅ）」する必要性である。手作業によって、指標化の情報を、各々の記録された又は放送される題材内容のセットに付加することが可能であるが、そのような作業はコストがかかり、このため、上述したＢＮＥのような自動指標化システムが望まれる。従来は、例えば、自動指標化システムは、直前のフレームと本質的に異なるフレームを探索することによって、各々の場面またはカット（ｃｕｔ）の変化を先ず認識する。その後に、フレームがクローズ・アップされた顔のショットを含み、プログラムの内容が「ニュース放送」であるならば、後続のフレーム・シーケンスは「ニュース放送」クリップとして識別され、また、そのフレームが全身の姿を含んでいるならば、後続のフレーム・シーケンスは「ロケーション（ｏｎ−ｌｏｃａｔｉｏｎ）」クリップとして識別される。上述したように、任意の字幕テキストを利用して場面を識別および分類することも可能である。これらの技術はある程度の実行性を提供するが、題材を特徴付ける指標化パラメータの適切なセットを決定するために、各場面における画像または音声のような題材の内容に極めて依存している。
【０００５】
ＭＰＥＧ７規格は、効率的な指標化および探索能力を必要とし、「マルチメディア内容記述インターフェース（Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅ）」を必要とし、これは、一組の記述方法および記述子（ｄｅｓｃｒｉｐｔｏｒ）、記述定義言語およびその記述を符号化する手法を標準化するためのものである。特に、ＭＰＥＧ７規格は、様々な画像形成の段階における画像ストリームにおいて、記述情報を関連付ける機能を必要とし、それは、事前のおよび事後の製作スクリプト、撮影中に捕捉され注釈付けされた情報、および事後的な製作編集リストを包含する。画像題材の作成中にこれらの情報を付加することによって、画像アーカイブにおける題材の事後的な製作注釈に比較して、注釈の品質および実行性は実質的に改善されることが期待される。
【０００６】
［発明の要約］
本発明は、音声／画像題材内容に関する内容指標化／要約システムの実行性を改善することを目的とする。更に、本発明は、付加的な補助（ａｎｃｉｌｌａｒｙ）情報を提供して、題材内容の指標化および要約化を支援することを目的とする。
【０００７】
これらの目的等は、その題材内容の作成中に利用可能な「背景情報（ｂａｃｋｇｒｏｕｎｄ ｉｎｆｏｒｍａｔｉｏｎ）」を、その題材内容に関連付けることによって達成される。この製作情報は、例えば、題材内容の収集中に使用されたカメラのセッティングを含む。他の製作情報としては、音響制御、場面識別、ソース識別、題材内容を作成するスタッフに連絡した指示等が含まれる。ディレクタから各カメラ操作者への指示は、例えば、以後の画像内容のそのカメラによる視点（ｉｎｓｉｇｈｔ）を与える。同様に、自動カメラ・システムにより自動的に製作された命令も、視点を与える。他の製作情報は、音声制御、場面識別、ソース識別等を含む。指標化を支援するため、製作情報を処理およびフィルタ処理し、製作情報のシンボル表示の集合を作成し、各シンボルは決定されたイベント又は特徴に対応する。このシンボル製作情報は、指標化および要約化情報の他のソースと組み合わせられ、題材内容に対する注釈の集合を提供し、効率的かつ実行性のある選出検索を支援することが好ましい。ここに提示される手法は、テレビ会議記録のキー・セグメントの識別を支援するための、テレビ会議の題材内容の注釈付けにも非常に適切である。
【０００８】
以下、添付図面を参照しながら一例を利用して本発明を詳細に説明する。
【０００９】
各図を通じて、同一の参照番号は同様な又は対応する特徴又は機能を示す。
【００１０】
［発明の詳細な説明］
参照および理解の簡明化のため、「指標化（ｉｎｄｅｘｉｎｇ）」および「要約化（ｓｕｍｍａｒｉｚｉｎｇ）」なる用語は、本発明に関する特定の用途を参照するために使用される。本発明は、題材内容に関連する情報を提供する方法および装置に関するが、その情報がどのように使用されるかは制限されない。提供される情報は、題材を探索することを促進する指標として利用することに非常に適しており、また、題材の迅速なレビュー又はプレビューを支援する概要として利用することに非常に適しているが、当業者は、本発明がそれら特定の用途に声援されないことを認めるであろう。
【００１１】
図１は、音声／画像情報を収集する作成場面の例を示す。この場面は、演技者１３０，１３１および対象１４０に加えて、カメラ操作者１２０，１２１の動作を指揮するディレクタ１１０を含む。当業者に明らかであるように、本発明は、ニュースやスポーツ・イベントの記録のような、指揮されない場面にも適用可能である。例えば、生のスポーツ・イベントでは、製作ディレクタは、目下の動作に依存してどのカメラが「オン・ライン」カメラであるかを継続的に決定し、「オフ・ライン」カメラに対して「オン・ライン」カメラの潜在的な選択物又は「瞬時的なリプレイ（ｉｎｓｔａｎｔ ｒｅｐｌａｙ）」の用途のための特定の場面を捕捉する。ニュース放送において、製作ディレクタは、送信用のソース題材の同様な選択も行なう。テレビ会議では、各サイトにおける参加者は、一般にテレビ会議によるカメラのセッティングを調整し得る。
【００１２】
予想されるように、図１のディレクタ１１０は、「カメラ１、人ごみの中に走って行くジョー（１３０）を追え。カメラ２、ジム（１３１）を追え。それらが切り替わったときに、両者が視界にブリーフケースを持っていることを確認せよ。」のような指示を発し得る。本発明は、場面に対応する製作情報の一部をなすそのような「背景場面（ｂｅｈｉｎｄ−ｔｈｅ−ｓｃｅｎｅ）」指示が、場面の画像を解釈するある程度の量の情報を伝える観察（ｏｂｓｅｒｖａｔｉｏｎ）を前提とする。例えば、上記の３つの命令文は、その画像内容だけから導出するのは困難な意味を図１の場面に与える。図１の場面に関して何らの対話（ｄｉａｌｏｇ）もないならば、字幕テキストを利用して、その意図を明示するための最小限の支援を提供する。上述したＭＰＥＧ７に関連する公表されたスクリプト、概要、および場面編集リストは、記述情報を適切に包含し得るが、その公表された情報は、製作側で実際に起こっているような事象を反映するものではない。一方、上記の３つの例文は、ジョーおよびジムがその場面に存在し、ブリーフケースが交換される場面であること等の情報を含む。この製作情報は、他の情報ソースの解釈を促進するための間接的に使用され得る情報も含む。例えば、画像処理システムはこの場面を「グループ（ｇｒｏｕｐ）」場面として識別し、ジョー又はジムをそのグループ内で識別し又は識別せずに、更に、その例文は人ごみが単に「背景（ｂａｃｋｇｒｏｕｎｄ）」に過ぎないことを示唆し得る。同様に、その場面における自動車１４０の存在は、製作指示でそれらに対する言及がないことに基づいて、重要でない背景情報として解釈され得る。すなわち、製作情報は、以後の画像内容に関する直接的な情報を搬送するだけでなく、指標化または要約化情報の他のソースにより効率的な処理を促進する契機（ｃｕｅ）をも提供する。
【００１３】
図２は、本発明による製作記録システム２００のブロック図の例を示す。製作レコーダ２１０は、様々な情報ソース２２０，２３０，２４０から情報を受信し、製作情報２１５のデータベースを作成し、以後の処理に関して効率的な形式で製作情報を捕捉する。製作情報の主要なソースは音声入力２２０である。様々な音声ソース２２０は、一般に音声情報ソースを提供する。例えば、ニュース放送において、製作ブース（ｂｏｏｔｈ）は音声情報のソースを提供し；局側のレポータは局側のカメラ操作者に指示を与え；送信のオン・エア前に、ニュース・コーディネータは、スタジオのニュースキャスタまたは局側のレポータ等にアドバイスを与える。
【００１４】
製作レコーダ２１０は、これらの情報ソースの各々を処理するよう形成され、直接関連する情報を抽出し、検索プロセスで以後使用する直接関連する情報を記録する。分析の複雑さに依存して、画像が記録される場合この処理はリアル・タイムで実行され、又は事後処理タスクとして処理される。好適実施例では、製作レコーダ２１０は、ソース２２０−２４０から情報を直接的に記録し、以後の選択可能な処理および分析の程度を支援する。製作情報のリアル・タイム分析は、例えば、ディレクタに付随するマイクロフォンからの音声情報のような、製作情報の「主要な」ソースを利用し、製作情報の他のソースは、更なる詳細な分析および評価のために以後必要とされるものとして処理される。
【００１５】
音声命令に加えて、好適実施例における製作記録システム２００は、個々のカメラに関連するパラメータに対応する入力２３０を含む。例えば、カメラのズーム設定を利用して、その場面の特徴づけを行うことも可能である。狭い角度の高ズーム設定は、一般に個人または事象に対して指示された焦点を有し；または、ズーム設定の変更はその個人または事象に関する強調性の変更を含む。広角または低ズーム設定は、一般に「背景」または「ムード設定（ｍｏｏｄ−ｓｅｔｔｉｎｇ）」の場面に関連付けられる。低ズーム設定で捕捉される一連の画像の同一性は、例えば、十要請およびズーム設定の相関性に基づいて、「スキップ・アヘッド（ｓｋｉｐ ａｈｅａｄ）」ないし高ズーム設定画像にシステムを画像に基づいて分類することによって、使用され得る。また、学習システムでは、ズーム設定によらずに各々の新たな場面が評価され；画像プロセッサが特定のズーム設定で区別可能な情報をほとんど又は全く発見しないならば、「スキップ・アヘッド」機能を起動し得る。画像捕捉技術における整合性により、特に同一の製作において、「スキップ・アヘッド」に対する決定はますます頻繁に行なわれ、画像に基づく分類システムの効率を向上させる。このように、オリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）又はオリエンテーションの変化率を利用して場面を特徴付けることも可能である。例えば、スポーツにおいて、キック・オフ、フォワード・パスまたはホーム・ランを捕捉することは、カメラのオリエンテーションの比較的急激な変化を要し、エンド・ライン・ラッシュ（ｅｎｄ−ｌｉｎｅ−ｒｕｓｈ）またはストライク・アウトはカメラ・オリエンテーションの変更を要しない傾向にある。
【００１６】
記録中の音声ブーム（ｂｏｏｍ）の配置および場面の「フォーカス」を識別する他の手段のような製作情報の他のソース２４０を利用して、記録される題材内容の指標化または要約化を支援することも可能である。同様に、題材内容の「ソース」はその場面に関する情報を含む。例えば、ニュース放送において、「ファイル・フィート数（ｆｉｌｅ ｆｏｏｔａｇｅ）」による場面に関する区別を利用して、場面の処理を最小化し、または先行する処理へのリンク若しくはそのフィート数に関する特徴付けに利用することが可能である。製作作業がますます自動化されるにつれて、又はコンピュータ資源を利用して少なくとも管理されるにつれて、製作情報のソースは相当な量になる。例えば、ニュース放送中のソースのシーケンス化および選択は、コンピュータを通じて制御されることが予想される。各々の製作に関するこの情報の捕捉は、他の内容の指標化および要約化ツールの実質的に実行性および効率を向上させ得る。
【００１７】
製作情報のソース２２０−２４０の選択は、任意的なものであり、従来の製作手法に従う必要はない。例えば、Ｍｉ−Ｓｕｅｎ Ｌｅｅにより出願番号０９／５３２，８２０をもって３／２１／００に出願された代理人管理番号ＵＳ００００６３の“ＨＡＮＤＳ−ＦＲＥＥ ＨＯＭＥ ＢＩＤＥＯ ＰＲＯＤＵＣＴＩＯＮ ＣＡＭＣＯＲＤＥＲ”と題する米国特許出願は、対象とする場面に関するカメラの視野を自動的に調整する技術および装置を開示し、これは本願の参考文献である。この調整は、例えば、対象追跡技術、音声局所化およびフォーカス等に基づくものであり、知識に基づくシステム技術を利用して、実際のカメラ操作者の動作を模擬するものである。この発明を利用すると、自動的に生成されるカメラ設定は、カメラ入力２３０に対して、製作情報の他のソースと共に又は他のソースなしに、上述した製作レコーダ２１０を提供する。同様に、Ｅｒｉｃ Ｃｏｈｅｎ−Ｓｏｌａｌ ａｎｄ Ｍｉ−Ｓｕｅｎ Ｌｅｅにより出願番号０９／４８８，０２８をもって１／２０／００に出願された代理人管理番号ＵＳ００００１５の“ＭＵＬＴＩＭＯＤＡＬ ＶＩＤＥＯ ＴＡＲＧＥＴ ＡＣＱＵＩＳＩＴＩＯＮ ＡＮＤ ＲＥ−ＤＩＲＥＣＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ”と題する米国特許出願は、ジェスチャー又はキーワードに基づくカメラの視野を調整する技術および装置を開示し、これは本願の参考文献である。同様に、Ｈｕｇｏ Ｓｔｒｕｂｂｅ ａｎｄ Ｍｉ−Ｓｕｅｎ Ｌｅｅにより出願番号０９／５４８，７３４をもって４／１３／００に出願された代理人管理番号ＵＳ００００１３の“ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＲＡＴＵＳ ＦＯＲ ＴＲＡＣＫＩＮＧ ＭＯＶＩＮＧ ＯＢＪＥＣＴＳ ＵＳＩＮＧ ＣＯＭＢＩＮＥＤ ＶＩＤＥＯ ＡＮＤ ＡＵＤＩＯ ＩＮＦＯＲＭＡＴＩＯＮ ＩＮ ＶＩＤＥＯ ＣＯＮＦＥＲＥＮＣＩＮＧ ＡＮＤ ＯＴＨＥＲ ＡＰＰＬＩＣＡＴＩＯＮＳ”と題する米国特許出願は、記録される場面の画像および音声内容の分析に基づいてカメラの視野を調整する技術および装置を開示する。この発明を利用すると、カメラ設定およびこれらの設定を行わせるジェスチャー、会話、動き又はジェスチャー、会話または動きの分析が、製作レコーダ２１０に、製作情報データベース２１５を使用可能にする。
【００１８】
テレビ会議中のカメラ設定は、同様に、テレビ会議セッションの特徴づけを支援するために使用され得る。有利なテレビ会議システムは、上述した自動化されたおよび半自動化されたカメラ制御特性を有することが期待され、比較的簡易なシステムであっても、テレビ会議の参加者が、彼らの側で又は遠隔側でカメラの視野を調整し得る。または、カメラ操作者がテレビ会議の中心サイトに設けられ、又はキー（ｋｅｙ）スピーカの側等に設けられる。拡張された期間の間に、いくらかの可変ズーム機能を有する静的なカメラ位置は、特に各テレビ会議局からの音声内容に関連付けられる場合に、基調演説（ｋｅｙｎｏｔｅ ａｄｄｒｅｓｓ）を示し得る。同様に、カメラの後方および前方回転は、キーとなる議論の期間を示し得る。上述したように、題材内容の分析との製作情報の組み合わせは、題材内容からは容易に理解されないことに対する洞察力を提供し、各テレビ会議に対する要約の提供に関する品質および効率を改善する。例えば、複数の話者の各々に対応するカメラ設定が決定されると（又は明示的に与えられると）、その画像に対応するカメラ設定が、キャラクタ認定プロセスに提供されるキャラクタの選択を事前に処理するために使用されるならば、画像におけるキャラクタ認定は極めて簡単になる。どうように、話者認定プロセスは、各音声トラックに対応するカメラ設定を提供することによって、同様に支援される。同様に、音声トラックが、現在のカメラ設定に対応する視野において識別された参加者に合致しないような急激な決定は、現在の話者を探索するために、現在のカメラ設定を修正するために使用される。これらおよび他の共同的な効果は、本発明は一般的に利用されるので、当業者には明白であろう。
【００１９】
製作情報の題材内容に対する同期化を支援するために、時間基準２０１は記録された製作情報２１５に関連付けられる。当業者に明白であるように、カメラ設定２４０のような製作情報のいくつかは、題材内容の場面に時間どおりに一致し、音声指示２２０のような他の情報は一般にそれらが適用される場面に先行する。知識に基づくおよび経験的な技術を利用して、特定の指示２２０および題材内容の間の相関関係を決定する。例えば、カメラ設定２３０の重要な調整を与える指示２２０又は場面における「カット」の出現は、後続のクリップに関する情報を包含する傾向にある。そうでなければ、例えば、製作レコーダ２１０又は題材内容への他の入力に重大な変化がなければ、指示は現在のクリップに関連する傾向にある。原因および影響の関連性を判定する他の手法は、当該技術分野で一般手的である。他の場面識別および同期入力２０２は、特に指示された場面において提供され、その場面の明示的な指示（例えば、「ロッキーＩＸ、シーン３２、テイク３」）が利用可能である。
【００２０】
図３は本発明による指標化／要約化システム３００のブロック図の例を示す。図示されているように、指標／要約器３１０は、好ましくは、様々な情報２１５，３２０−３２３にアクセスすることが可能であり、情報内容の特徴付け、指標化又は要約化を促進する。字幕情報３２０は一般に上述したＢＮＥおよびＢＮＮシステムにおけるような題材内容を特徴付けするのに使用される。本発明によれば、製作情報を利用して、この分類プロセスの実行性または効率を改善し得る。例えば、図１の場面は、字幕題材に含まれる対話を包含するが、この対話は、ブリーフケースの交換による転換（ｄｉｖｅｒｓｉｏｎ）として又はその交換が行われる間の単なる充填材料として提供され得る。好適実施例における指標／要約器３１０は、図１の場面に関連する製作情報２１５を利用して、例えば字幕情報３２０に関する重要性重み因子（ｓｉｇｎｉｆｉｃａｎｃｅ−ｗｅｉｇｈｔｉｎｇ−ｆａｃｔｏｒ）を減少させ、画像情報３２１に関する対応する重要性重み因子を増加させる。
【００２１】
題材内容における画像情報３２１を利用して、各画像の視覚的特徴に基づいて、題材内容を分類する。例えば、図１の場面は、単純なパターンおよび状況認識技術に基づいて、「外、グループ、車、歩行者」として特徴付けられ得る。システムの能力に依存して、指標／要約器３１０は、その場面の一人又はそれ以上の男優および女優を認識し得る。Ｎｅｖｅｋａ Ｄｉｍｉｔｒｏｖａ ａｎｄ Ｌａｌｉｔｈａ Ａｇｎｉｈｏｔｒｉにより出願番号９／４５２，５８１をもって１２／１／９９に出願された代理人管理番号ＰＨＡ２３，８４６の“ＰＲＯＧＲＡＭ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＵＳＩＮＧ ＯＢＪＥＣＴ ＴＲＡＣＫＩＮＧ”と題する米国特許出願は、フレーム内の顔の画像およびテキスト画像の存在を検出し、画像セグメントの複数のフレームを通じて各画像の経路又は軌跡を判定する内容に基づく分類システムを開示する。顔の軌跡およびテキストの軌跡情報の組み合わせを利用して、画像シーケンスの各セグメントを分類する。図１の例では、製作情報２１５は、例えば、指示文における「ジョー」および「ジム」に対するリファレンスに基づいて、この対象追跡を行なう。同様に、対象追跡は、「ジョー」および「ジム」が各自の場面に存在するか否かに依存して、指示文を現在の又は次の場面に関連付けることによって、その指示の題材内容に対する同期化を支援する。製作情報を画像情報に組み合わせて場面またはクリップを支援するこれらおよび他の技術は、本願の説明により当業者には明白であろう。上述したＭＰＥＧ７規格は、この情報のクロス・プラットフォーム（ｃｒｏｓｓ−ｐｌａｔｆｏｒｍ）利用を促進するのに必要な構文に加えて、実行性のある効率的な音声／画像題材内容の指標化および要約化に関する有意義な記述を提供することが期待される。
【００２２】
背景情報３２２も、指標／要約器３１０により提供される題材内容の特徴付けを支援する。例えば、場面の状況がスポーツ・イベントであるならば、製作情報２１５または字幕情報３２０に含まれる用語の解釈は修正され；字幕情報３２０および画像情報３２１の間の関連性は、字幕情報がその放送に対応してその画像に登場する各人には必要ないところの見込み；等に基づいて修正される。
【００２３】
指標／要約器３１０がユーザの家にあるならば、または特定のユーザにカスタマイズされているならば、ユーザ情報２３２は題材内容の特徴付けを支援するためにも使用される。Ｊａｎ Ｈ． Ｅｌｅｎｂａａｓ， Ｔｏｍａｓ ＭｃＧｅｅ， Ｎｅｖｅｎｋａ Ｄｉｍｉｔｒｏｖａ， ａｎｄ Ｍａｒｋ Ｓｉｍｐｓｏｎにより出願番号０９／２２０，２７７をもって１２／２３／９８に出願された代理人管理番号ＰＨＡ２３，５９０の“ＰＥＲＳＯＮＡＬＩＺＥＤ ＮＥＷＳ ＲＥＴＲＩＥＶＡＬ ＳＹＳＴＥＭ”と題する米国特許出願は、ユーザの趣向または鑑賞習慣に基づいて、情報の分類および検索をカスタマイズする技術を提供し、これは本願の参考文献である。この出願に関し、ユーザの趣向および／または習慣の知識は、指標／要約器３１０の特定の態様に関する優先性を提供することにより、製作情報２１５および他の情報３２０−３２２の処理を促進する。例えば、ユーザが稀に芸能人名に基づいて情報検索するならば、指標／要約器は、製作情報２１５および他の情報３２０−３２２を通じたキャラクタの認識に基づく情報内容の特徴付け又は指標化に、ほとんど資源をささげない。逆に、ユーザが特定の芸能人を頻繁に検索するならば、指標／要約器３１０は、複数の情報ソース２１５，３２０−３２２を利用して、各芸能人を追跡するために付加的な時間および資源を使用し、各場面又はクリップに登場する芸能人に関する広範な指標を提供する。指標／要約器３１０の実行性および効率を最適化するこれらおよび他の技術は、本願の説明により当業者には明らかであろう。
【００２４】
指標／要約器３１０は、典型的に題材内容３５０の注釈の形式として、題材内容に付属の情報を提供する。例えばＤＶＤプロバイダは、システム３００を利用して、ＤＶＤに関する題材内容の各場面に関連する指標／要約情報を包含するＤＶＤを提供する。対応するＤＶＤプレーヤは、包含される指標または要約情報に基づいて、題材内容における特定の場面の検索を支援するよう形成される。あるいは、指標／要約化システム３００は、題材内容のプロバイダとは無関係であることも可能であり、題材内容に対する独立した付属物としての指標化および要約化情報を提供することも可能である。例えば、ベンダー（ｖｅｎｄｏｒ）は、インターネット・サイトで指標化および要約化情報を提供し、ウェブＴＶ装置またはパーソナル・コンピュータ（ＰＣ）のようなインターネット・アクセス装置を通じて、ユーザが上述した探索を行ない得るようなアプリケーション・プログラムを提供し得る。
【００２５】
図４は、本発明による製作レコーダ２１０のブロック図の例である。好適実施例では、製作レコーダ２１０は、音声認識装置４２０、視野プロセッサ４３０および場面同期化装置４１０を包含し、様々なソースからの製作関連入力２０１−２４０を処理する。音声認識装置４２０は、喋った音声を認識される言葉への変換を行ない、それを利用して音声入力２２０を処理する。視野プロセッサ４３０は、カメラ設定内容を解釈し、各カメラ２３０の現在の視野を特徴付ける。場面同期化装置４１０は、同期入力２０１，２０２を処理して、製作情報および題材内容の間の同期化を支援する。他のプロセッサ４４０は、製作情報の他のソース２４０からの入力を処理するために必要とされるものとして提供される。
【００２６】
好適実施例にあっては、シンボル・エンコーダ（ｓｙｍｂｏｌｉｃ ｅｎｃｏｄｅｒ）４５０は、製作情報２１５をシンボル形式にエンコードし、指標／要約器３１０（図３）による以後の処理を促進する。製作レコーダ２１０は、そのシンボル・エンコードを促進するためのシンボル・ライブラリ４６０を有する。例えば、好適実施例におけるシンボル・ライブラリ４６０は、キー・ワードに関するシンボルを含み、そのシンボル・エンコーダ４５０を利用して、音声認識装置４２０に提供されたワードをエンコードする。同様に、シンボル・ライブラリは、特定のカメラ設定又は設定の組み合わせに対応するシンボルを包含し、視野プロセッサ４２０によって提供されるカメラ特性のエンコードを支援する。様々な技術を利用して、実行的なシンボル・ライブラリ４６０を維持することが可能である。Ｋｅｉｔｈ Ｍａｔｈｉａｓ， Ｊ． Ｄａｖｉｄ Ｓｃｈａｆｆｅｒ， ａｎｄ Ｍｕｒａｉｌｉ Ｍａｎｉにより出願番号０９／３４３，６４９をもって６／２９／９９に出願された代理人管理番号ＰＨＡ２３，６９６の“ＩＭＡＧＥ ＣＬＡＳＳＩＦＩＣＡＴＩＯＯＮ ＵＳＩＮＧ ＥＶＯＬＶＥＤ ＰＡＲＡＭＥＴＥＲＳ”と題する米国特許出願は、一般的な又は革新的なアルゴリズムを利用して、画像を分類するために使用するパラメータを最適化する技術を開示し、これは本願の参考文献である。
【００２７】
以上により本発明の原理が示された。認められるであろうことは、当業者は様々な形態を設計することが可能であり、それは、ここでは明示的に記述または示されていないが、本発明の原理を利用し、本願の範疇におけるものである。例えば、画像内容情報は、本発明のアプリケーションを提示する典型例として使用されたが、他の形式の情報内容の分類および指標化も、製作情報を包含することによって支援され得る。例えば、サウンド・オーディオにおける指示および装置設定を利用して、オーディオ題材内容を指標化または要約することが可能である。同様に、指標化および検索に関する用途に加えて、注釈付きの音声／画像内容３５０に包含される製作情報２１５、特にディレクタの音声コメントは、ユーザに対する直接的な興味の対象であり得るし、その情報を含む媒体に関する市場優位性を提供し得る。これらおよび他のシステム形態並びに最適化の特徴は、本願の観点から当業者には明確であり、それらは特許請求の範囲に包含される。
【図面の簡単な説明】
【図１】
図１は、音声／画像情報を収集する作成場面の例を示す。
【図２】
図２は、本発明による作成記録システムのブロック図の例を示す。
【図３】
図３は、本発明による指標化／要約化システムのブロック図の例を示す。
【図４】
図４は、本発明による作成レコーダのブロック図の例を示す。
【図２】
2004508776.tif 000002
【図３】
2004508776.tif 000003
【図４】
2004508776.tif 000004
【国際公開パンフレット】
2004508776.tif 000005
2004508776.tif 000006
2004508776.tif 000007
2004508776.tif 000008
2004508776.tif 000009
2004508776.tif 000010
2004508776.tif 000011
2004508776.tif 000012
2004508776.tif 000013
2004508776.tif 000014
2004508776.tif 000015
2004508776.tif 000016
2004508776.tif 000017
2004508776.tif 000018
2004508776.tif 000019
2004508776.tif 000020
2004508776.tif 000021
2004508776.tif 000022
2004508776.tif 000023
2004508776.tif 000024