(57)【要約】  適応環境システムは、映像を記録する記録装置を有し、その映像は、プロセッサによって分析され、映像の特徴により索引が付される。映像は、プロセッサにより分析されることの可能な、少なくとも視覚的、音声的及びテキスト的な成分に分割される。プロセッサは、分析した特徴のインデックスファイルを生成し、格納装置上のインデックスファイルに沿って映像を格納する。そして、インデックスファイルと、見るためにディスプレイに戻されるサーチによって識別される映像部分と従って、映像は検索されることが可能である。加うるに、適応環境システムは、ネットワークに接続されることの可能な処理システムを有し、そのネットワークは１以上の相互接続されたセンサを有する。処理システムは、以下のことを１以上のプロセッサを動作させるコンピュータコードを有するコンピュータ読み取り可能な媒体を有し、それらは：（ａ）前記処理システムに接続可能な１以上のセンサから記録されるデータを受信し；（ｂ）前記記録されるデータの中で生じるイベントを判別するために、記録されたデータを分析し；（ｃ）判別されたイベントに対する応答が適切であるか否かを決定し；及び（ｄ）応答が適切である場合に、該応答に関連する信号を生成する。
2005512212.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続された少なくとも１つの記録装置を有する動作環境におけるイベントを受動的に記録及び索引付けする方法であって、前記ネットワークはプロセッサ及び格納装置に相互接続され、当該方法は：
前記記録装置によって捕捉された画像を記録するステップ；
前記画像を少なくとも画像セグメント及び音声セグメントに分けるステップ；
前記画像の特徴を判別するために前記画像及び音声セグメントを分析するステップ；
所定の指標に従って、前記画像の一部を分類するステップ；
前記画像の分析された部分に前記特徴を関連付けるステップ；及び
関連付けられた分類及び特徴と共に前記画像を前記格納装置に格納するステップ；
を有することを特徴とする方法。
【請求項２】
前記画像を分けるステップが、前記画像のテキストトランスクリプトを生成するステップを有する
ことを特徴とする請求項１記載の方法。
【請求項３】
更に、ある用語が反復的に使用されているか否かを判別するために、前記テキストトランスクリプトを分析するステップを有する
ことを特徴とする請求項２記載の方法。
【請求項４】
前記関連付けるステップが、更に、反復的に使用される用語を前記画像に関連付けるステップを有する
ことを特徴とする請求項３記載の方法。
【請求項５】
複数の記録装置が前記ネットワークに接続される
ことを特徴とする請求項１記載の方法。
【請求項６】
前記記録装置がビデオカメラである
ことを特徴とする請求項１記載の方法。
【請求項７】
前記画像の特徴が複数の視覚的特徴を含む
ことを特徴とする請求項１記載の方法。
【請求項８】
前記映像セグメントを分析するステップが、更に、対象を判別するために顔検出を行なうステップを有する
ことを特徴とする請求項１記載の方法。
【請求項９】
前記プロセッサが表示装置に接続され、当該方法が、更に：
前記画像の一部に関する要求を受信するステップ；
前記画像に関連付けられた前記分類及び特徴に対して、前記要求を照合するステップ；
前記要求に適合する前記画像の部分を表示するステップ；
を有することを特徴とする請求項１記載の方法。
【請求項１０】
適応環境システムであって：
ネットワークに接続されることの可能な処理システムであって、前記ネットワークは１以上の相互接続されたセンサを有し、前記処理システムは：
前記処理システムに接続可能な１以上のセンサから記録されるデータを受信し；
前記記録されるデータの中で生じるイベントを判別するために、記録されたデータを分析し；
判別されたイベントに対する応答が適切であるか否かを決定し；及び
応答が適切である場合に、該応答に関連する信号を生成する；
ように１以上のプロセッサを動作させるコンピュータコードを有するコンピュータ読み取り可能な媒体を有する
ことを特徴とする適応環境システム。
【請求項１１】
更に、前記処理システムに通信可能に接続される格納装置を有し、更に：
少なくとも画像セグメント及び音声セグメントに、記録されたデータを分離し；
前記画像及び音声の確率分析を実行し；及び
記録されたデータがある分類に該当する確率を計算する；
ように１以上のプロセッサを動作させるコンピュータコードを有する
ことを特徴とする請求項１０記載のシステム。
【請求項１２】
記録されたデータが、前記格納装置に保存される
ことを特徴とする請求項１１記載のシステム。
【請求項１３】
前記コンピュータコードが、前記記録されたデータを分析する確率エンジンを有する
ことを特徴とする請求項１０記載のシステム。
【請求項１４】
前記確率エンジンが、ベイズ法を利用する
ことを特徴とする請求項１３記載のシステム。
【請求項１５】
判別されたイベントが危険なイベントである場合に、その応答は指定された人物に通知することである
ことを特徴とする請求項１０記載のシステム。
【請求項１６】
判別されたイベントがエネルギ節約イベントである場合に、その応答は、前記ネットワークに相互接続される機器を制御することである
ことを特徴とする請求項１０記載のシステム。
【請求項１７】
判別されたイベントが示唆イベントである場合に、その応答はメッセージをユーザに送信することである
ことを特徴とする請求項１０記載のシステム。
【請求項１８】
更に、
記録されたデータのインデックスを形成し；
前記インデックスをインデックスファイルに格納し；及び
前記インデックスファイルと共に、記録されたデータを格納装置に格納する；
ように１以上のプロセッサを動作させるコンピュータコードを有する
ことを特徴とする請求項１０記載のシステム。
【請求項１９】
前記処理システムは、ユーザからサーチ要求を受信するよう形成され：
前記サーチ要求のパラメータを前記インデックスファイルの一部と照合し；及び
前記サーチ要求のパラメータに合致する前記インデックスファイルの部分に対応する記録されたデータノブ分を返す；
ように１以上のプロセッサを動作させるコンピュータコードを更に有する
ことを特徴とする請求項１８記載のシステム。
【請求項２０】
前記処理システムが、記録された対象の身元を分析し、記録された対象が認識されなかった場合に、ある行動を実行するようプログラムされる
ことを特徴とする請求項１０記載のシステム。
【請求項２１】
前記行動は：
警報を起動すること；
法令執行当局に通知すること：及び
指定された人物に通知すること；
の少なくとも１つである
ことを特徴とする請求項２０記載のシステム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、適応的な環境を提供するシステムに関連し、特に、映像、音声その他の環境中のセンサにより補足されたデータを記録し、分割し及び索引付けする環境にて使用するシステムに関連する。
【０００２】
音声及び映像の双方のアナログ的及びディジタル的な記録が主流になるにつれて、人々は様々なイベントを益々記録しつつある。映像／音声テープ及び最近のＣＤＲＯＭは、イベントを格納及びカタログ化するには複雑な手段である。しばしば、テープはなくなり、又は内容を記述するラベルが読みとれないようになる。テープが発見された場合でさえも、ユーザは、所望のイベントを発見する前に、テープの時間を通じて早送りしなければならないことが間々ある。ディジタル形式にて個々のファイルを格納及び識別することは容易であるかもしれないが、一般に、利用可能な検索システムは制限され、フレーム毎の形式でイベントのセグメント化及び索引付けを適切に行なっていない。
【０００３】
ＴｉＶｏ（登録商標）のようなパーソナル映像レコーダのような、テレビジョン番組を記録及び索引付けする他のシステムは、ユーザのプロファイルに基づいてＴＶ番組全体を自動的に選択及び格納するために電子番組案内メタデータを使用する。しかしながら、そのようなシステムがフレーム形式でのベントの区分化及び索引付けを許容しないことに起因して、これらのシステムは限定されてしまう。
【０００４】
更に、テープ不足又はカメラがバッテリ切れであることに起因して、家庭又はオフィスにて起こるイベントは見逃されてしまう（即ち、記録されない）。例えば、カメラが準備されるまでに、イベントが起こってしまうことに起因して、子供の始めての言葉や始めての歩行を逃してしまう。
【０００５】
ホームセキュリティ及びホームモニタリングシステムも知られている。そのようなシステムは、そのシステムが装備される場合に、誰かの存在を検出するための、動き検出器、マイクロフォン、カメラその他の電子センサを使用する。他の形式の家庭モニタリングシステムは、かまど、空調機、冷蔵庫等を含む様々な家庭用機器を監視するための様々なセンサを使用する。しかしながら、センサの特化された性質やそのようなシステムを動かすプロセッサの処理能力の低さに起因して、そのようなシステムは、それらの用途に制限される。例えば、家庭警報機は、家族構成員又は家庭の犬が動き検出器の視界内にある場合に、日常的に誤って動作してしまう。
【０００６】
更に、テレビジョン又はインターネットに接続されたパーソナルコンピュータのようなある家電機器へのアクセスを拒否する現行システムは、複雑であり、非効率的である。例えば、あるテレビジョンは、ある格付けのテレビジョン番組にアクセスするのにパスワードを要求するようにプログラムされている。しかしながら、これらのシステムは、家族構成員各々が、テレビジョンに対して彼ら自身を判別させるためにＰＩＮを利用することを要する。人々は、そのようなシステムを利用することは取り扱いづらいことが分かるので、そのようなシステムは未使用になることが間々ある。
【０００７】
従って、受動的にデータを記録し、容易に検索可能であるようにデータの区分化及び索引付けを行なうシステムが望まれている。
【０００８】
更に、個人を識別し、誤警報を回避することの可能な家庭用又はオフィスセキュリティシステムを有することが望まれる。更に、テレビジョン、インターネット接続、パーソナルコンピュータ、オーブン等のような家庭用機器に対するアクセスを制御するためにそのようなシステムを利用することが望まれる。
【０００９】
更に、個人の挙動や習慣を観察し、それらの行動を予測することが可能なシステムを提供することも望まれる。例えば、個人の趣向又は過去の習慣に基づいて、加熱、冷却、照光その他の家庭及びオフィス状況のような反復的なタスクを制御することのできるシステムが望まれる。
【００１０】
本発明は、従来技術に見受けられる欠点を克服する。本発明は、統合化された受動的な適応環境を提供し、その環境は、様々なイベントを判別するために音声、映像その他の記録データを分析し、そのイベントに応じて行動が行なわれることの要否を判別する。分析プロセスは、概して、環境の監視、記録データのセグメント化、イベントの判別及び保存用に記録データをインデックス化することである。
【００１１】
概して、１以上のセンサは、環境を監視し、その環境内の対象者の行動を受動的に記録する。センサは、ネットワークを通じて処理システムに相互接続されている。処理システムは、有利なことに、記録データをセグメント化するために確率エンジンと共に動作することができる。セグメント化されたデータは、イベントを識別するために確率エンジンによって分析され、インデックス化され、格納装置に格納され、その格納装置は処理システムと一体化されてもよいし別個でもよい。以下の説明から明らかになるように、本発明による処理システムは、ここに説明される確率的手法を用いて、任意数の機能を実行することができる。
【００１２】
本発明の一態様によれば、処理システムは、記録されたデータをセグメント化及びインデックス化し、その環境の中で生じたイベントをユーザが探索及び要求できるようにする。例えば、ユーザは特定のイベントを要求することができ、そのイベントは、動作環境の中で起こり、格納データから抽出され、そのユーザのために再生される。加うるに、本発明によるシステムは、環境内の対象者の反復される行動を監視し、彼らの習慣を学習する。本発明の更なる態様では、システムは、その対象者がタスクを実行することを思い出させ、又はその対象者のためにタスクを実行しさえする。
【００１３】
処理システムは、環境内で起こるイベントを受動的に記録する、センサのネットワークに接続可能である。本発明の一態様では、センサ又は記録システムは、映像及び音声データの双方を捕捉することのできるビデオカメラ又はマイクロフォンであってもよい。好ましくは、センサは、動作環境内の定常的な電源供給部に接続され、一貫して受動的に動作するようにする。データが捕捉されると、システムは、カメラによって捕捉された音声データから画像を分離する。これらの分離されたデータのストリームは、処理システムの確率エンジンによって分析され、そのエンジンは、データのストリームを分析して、データの適切なセグメント化及びインデックス化を決定する。
【００１４】
処理システムの確率エンジンは、その処理システムが、記録される対象者の反復的な動作を追跡することも可能にする。確率エンジンは、他の対象者の行動よりも頻繁に多く生じる彼らの行動を選択する。確率エンジンは、対象者の習慣を実質的に学習し、記録し、その対象者がタスクを実行することを思い出させる又はタスクを自動的に実行するように開始する。
【００１５】
別の態様では、システムはセキュリティシステムとして動作し、処理システムは、各人を判別するために捕捉したデータを使用し、動作環境の様々な要素へのアクセスを与える又は否定する。ある者が判別されると、処理システムは、格納されたユーザアクセスパラメータのデータベースにアクセスできる。例えば、小さな子供は、テレビジョンの所定のチャネルへのアクセスを与えられていないかもしれない。処理システムは、小さな子供を自動的に判別し、（Ｖチップのような）テレビジョン内のシステムを、そのユーザ情報に基づいて、所定のチャネルへのアクセスを否定するように設定することができる。更に、システムは、未確認者が家庭内にいる場合いることを判別し、適切な当局に通知する又は警報を発動することができる。
【００１６】
本発明の他の態様によれば、記録したイベントを抽出する方法が提供され、その方法は、様々な記録装置からデータを収集し、データを個々の成分に非混合化（分離）し、分離されたデータの成分の各々を分析し、処理システムによって収集された一群の値に従って、セグメント化されたデータを索引付けし、ユーザからの要求に応じて格納装置からデータを引き出し、その格納装置は検索されセグメント化されたデータ部分の識別子を含む。
【００１７】
本発明に関する上記及び他の特徴及び利点は、添付図面に関連して読まれる詳細な説明によって明瞭になるであろう。
【００１８】
単なる例示である各図では、同様な参照番号は同様な要素を示す。
【００１９】
本発明は、受動的なイベント記録システムを有する適応環境を与え、そのシステムは、家庭又はオフィスのような環境の中で起こるイベント（出来事）を受動的に記録する。記録システムは、ビデオカメラやマイクロフォンのような１以上の記録装置を利用する。本システムは、一群のパラメータに従って、イベントを区分化及び索引付けするように、記録されたイベントを処理する。システムは受動的であるので、システムと係わる人々は、そのシステムの動作に関してそれらを考慮しなくてよい。記録されたデータが区分化され索引付けされると、システムのユーザによって容易に検索されるように、それは格納装置に格納される。
【００２０】
本発明による受動的記録システムは、好ましくは、データ入力を捕捉する１以上の記録装置及び処理エンジンを有し、処理エンジンは処理システム又はプロセッサとも言及され、記録システムに通信可能に接続される。記録装置からコンテンツ（内容）が受信されると、処理エンジンは、コンテンツの様々な成分を使用する３階層アプローチに従ってそのコンテンツをセグメント化する。セグメント化されたコンテンツは、その様々なコンテンツ成分に基づい分類される。そして、そのコンテンツは格納装置に格納され、格納装置はローカルエリアネットワーク（ＬＡＮ）のようなネットワークを通じてプロセッサに相互接続される。コンテンツはユーザによるオブジェクトをサーチすることによって検索されることが可能であり、そのオブジェクトは、「誕生日及びスティーブ」を探索することのように、コンテンツ内で識別可能である。そのような例では、処理エンジンは、サーチ基準を満たすコンテンツのセグメントを探すことになる。発見されると、全体のセグメントがユーザに提示するために返される。
【００２１】
処理システムは、好ましくは、データストリーム入力を分析するベイズエンジンを使用する。例えば、好ましくは、映像データの各フレームは、映像データの区分化を可能にするように分析される。映像区分化のそのような方法は、カット（ｃｕｔ）検出、顔検出、テキスト検出、動き推定／区分化／検出、カメラモーション等を含むがそれらに限定されない。更に、音声データも分析される。例えば、音声区分化は、音声−テキスト変換、音声効果及びイベント検出、話者識別、番組識別、音楽分類及び話者識別に基づく対話検出を含むがこれらに限定されない。概して、音声区分化は、音声データ入力の帯域、エネルギ及びピッチのような低レベル音声属性を使用することを含む。そして、音声データ入力は、音楽及び話のような様々な成分に更に分けられてもよい。これら及び他のパラメータを用いて、システムは、家庭又はオフィスで起こる様々なイベントを受動的に記録及び識別し、上述の手法により収集した譲歩卯を用いてそれらのイベントを索引付けすることができる。このように、ユーザは、プレイン言語コマンドを用いて個々のイベント又はサブイベントを容易に検索することができ、又は処理システムは、識別されたイベントに応じて行動が必要か否かを判別することができる。動作時にあっては、ユーザから検索要求を受信すると、処理エンジンは、そのプレイン言語命令に基づいてイベントの出現の確率を計算し、要求されるイベントを返す。
【００２２】
例えば、図３に示されるように、確率エンジンは、（泥棒、火事、損傷のような）危険なイベント、（照明を落とすこと、他の機器の停止、温度を下げること等のような）エネルギ節約イベント、（夜にドアを施錠すること、人々がその環境を去ったこと等のような）示唆イベントを判別できる。
【００２３】
本発明は、家庭又はオフィス形式の環境にて説明されるが、受動的記録システムは、ユーザがその環境内で生じるイベントを記録及び索引付けすることを希望する任意の環境に使用されることが可能であることが理解されるべきである。そのような環境は屋外でも屋内でもよい。
【００２４】
図１を参照するに、本発明によるシステム１０が、家庭環境５０内に配線されて示されている。図示されているように、その家庭は、多くの部屋５２を有し、その各々は別個の記録装置１２を有する。各記録装置１２は、互いに及びプロセッサ１６にローカルエリアネットワーク（ＬＡＮ）１４を通じて相互接続されている。プロセッサ１６は、収集されたデータを格納するために格納装置１８に相互接続される。受動的記録システム１０のプロセッサ１６とやりとりをするための端末が与えられてもよい。好適実施例では、ユーザからの相互作用なしに受動的に動作するように、各記録装置１２は家庭の電源供給部（図示せず）に配線される。そして、記録システム１０は、ユーザによる介在又は苦労なしにその家庭で生じるイベントを受動的に継続的に記録するよう動作する。更に、動作する環境における１以上の電子システム（図示せず）（例えば、機器、テレビジョン、暖房及び冷房装置等）は、プロセッサ１６によって制御できるように、ＬＡＮ１４に相互接続されていてもよい。
【００２５】
プロセッサ１６は、好ましくは、コンピュータシステムにてホストを務め、ここに説明される機能を実行するようにプログラムされることができる。単なる例としては、コンピュータシステムは、制御プロセッサ、付随して動作するメモリ（ＲＡＭ及びＲＯＭ）、データ入力の映像、音声及びテキスト成分を処理するためのフィリップスＴｒｉＭｅｄｉａ（商標）トリコーデックカードメディアプロセッサを有する。例えばインテルペンティアムチップその他のマイクロプロセッサであってもよいプロセッサ１６は、記録装置によって捕捉したデータフレームの分析を実行し、インデックスを構築し、例えば、ハードディスク、ファイル、テープ、ＤＶＤその他の格納媒体のようなインデックスメモリにインデックスを格納する。コンピュータシステムは、格納装置１８、記録装置１２及び他の電子部品にＬＡＮ１４を通じて相互接続され、システムは動作する環境を通じて有線配線され、又は無線で動作する。
【００２６】
イベントの記録を格納する格納装置１８（例えば、ＲＡＭ、ハードディスクレコーダ、光記録装置又はＤＶＨＳ、各々は好ましくは数百ギガバイトの記憶容量を有する）が動作可能にプロセッサ１６に接続される。当然に、プロセッサ１６及び格納装置１８は単独の装置に集積されることができる。
【００２７】
記録装置又はセンサ１２は、映像及び音声データの双方を受信するように、マイクロフォンを一体化したビデオカメラであってもよい。別の環境では、記録装置１２は、マイクロフォン、動き検出器又は他の種類のセンサであってもよい。更に、記録装置１２は動き検出器を有するように装備されてもよく、それは、特定の部屋の中で何らのイベントも発生しない場合に記録装置がスリープモードに移行し、その部屋の中で動き又は活動を検出した際に起動することを可能にする。このようにして、電力が節約され、格納装置１８内の格納容量が確保される。更に、映像カメラは、ピボッティングシステムを有することが可能であり、それは特定の部屋の中で起こるイベントをカメラが追跡することを可能にする。そのようなシステムでは、例として、ベッドルームから歩き出した子供が、ドアの外へ出るのを第１カメラによって、廊下を降りるのを第２カメラによって、遊び場に入るのを第３カメラによってつい制することができる。
【００２８】
各カメラは、枢軸運動して子供の動きの後を追い、その特定の部屋の中でその動きが所定の時間の間生じるのが途絶えた場合に停止する。目下動作中カメラは、その領域に入る子供の動きを検出し、記録を開始する。記録装置１２のこの追跡属性は、更に、コンテンツ記述システムを含む本発明の実施例に関連していかに更に説明される。
【００２９】
多重カメラシステムにて追跡する方法例は、セングプタ他による国際公開ＷＯ００／０８８５６号パンフレットに説明されており、そのようなカメラ追跡システムは一般に２以上のビデオカメラ１２（図１に示される）を有する。カメラ１２は調整可能な、パン／チルト／ズーム、カメラであってもよい。カメラ１２は、カメラハンドオフシステム（図には示されていない）に入力を与え；カメラ１２及びカメラハンドオフシステム間の接続は例えば電話回線又は他のネットワークを通じて、直接的であっても遠隔的であってもよい。カメラハンドオフシステムは、コントローラ、ロケーション決定部、視界決定部を含むことが好ましい。コントローラは、様々なセンサ、ロケーション決定部及び視界決定部からの入力に基づいて、カメラの制御に影響を与える。
【００３０】
また、環境５０は、一体化されたスピーカ又はＬＡＮ１４を通じて相互接続されたマイクロフォンシステムを含む。いかに更に説明されるように、モニタ／スピーカシステム３０は、ＴＶ、ビデオ、音声更には音声リマインダのようなコンテンツをシステム１０のユーザにブロードキャストするために使用することができる。
【００３１】
図２を参照するに、ユーザにより検索するためのコンテンツを捕捉、分析、区分化及び貯蔵するプロセスの概要が示される。記録装置が起動されると、映像内容は、ステップ２０２及び２０４にて、記録装置によって捕捉され、プロセッサに送信される。ステップ２０６で信号を映像と音声の成分に分けるために、それが送信され、映像信号をデマルチプレクス（分離）するように、プロセッサは映像コンテンツを受信する。ステップ２０８で、様々な特徴がプロセッサによって映像及び音声ストリームから抽出される。
【００３２】
図３を参照するに、映像及び音声ストリームの特徴が抽出され、一連の３つのレイヤ（ロー（ｌｏｗ）Ａ、ミッド（ｍｉｄ）Ｂ及びハイ（ｈｉｇｈ）Ｃのレベル）に組織されることが好ましい。各レイヤは関連する確率に関するノードを有する。ノード間の矢印は、因果関係を示す。ローレベルレイヤＡは一般に信号処理パラメータを記述する。一実施例では、そのパラメータは、色、エッジ及び形状のような視覚的特徴；平均電力、帯域、ピッチ、メル周波数ケプストラル（ｍｅｌｆｒｅｑｕｅｎｃｙ  ｃｅｐｓｔｒａｌ）係数、線形予測符号化係数及びゼロ交差点のような音声パラメータを含むがこれらに限定されない。そして、プロセッサは、ミッドレベル特徴を作成するために、２つのレベルの特徴を組合わせることが好ましい。ミッドレベル特徴Ｂは、好ましくは、全フレーム又はフレームの集合に関連付けられ、ローレベル特徴Ａは画素又は短時間インターバルに関連付けられることが好ましい。キーフレーム（あるショットの最初のフレーム、又は重要であると判断されるフレーム）、顔及びビデオテキストはミッドレベルの視覚的特徴の例であり；沈黙、ノイズ、会話、音楽、会話と雑音、会話と会話、及び会話と音楽はミッドレベルの音声特徴の例であり；関連するカテゴリに沿うトランスクリプトのキーワードはミッドレベルのトランスクリプト特徴を形成する。ハイレベル特徴Ｃは、様々な領域にわたるミッドレベル特徴の統合により得られるセマンティック（ｓｅｍａｎｔｉｃ）映像コンテンツを記述する。言い換えれば、ハイレベル特徴は、以下に更に説明されるように、ユーザ又は製造者の決定したプロファイルに従うセグメントの分類を表現する。
【００３３】
図２を再び参照するに、ステップ２１０において、プロセッサは音声ストリームがスピーチを含んでいるか否かを検出しようとする。音声ストリーム中のスピーチを検出する方法例は以下に説明される。スピーチが検出されると、プロセッサは、ステップ２１２において、記録されたコンテンツのタイムスタンプ済みのトランスクリプトを作成するために、そのスピーチをテキストに変換する。ステップ２１４において、プロセッサは、そのテキストトランスクリプトを、分析された付加的ストリーム（図３参照）として加える。
【００３４】
スピーチが検出されてもされなくても、ステップ２１６において、プロセッサはセグメント境界、即ち分類可能なイベントの始まり又は終了を判別しようとする。好適実施例では、プロセッサは、画像群の一連のＩフレーム間で顕著な場面変化を検出すると、新たなキーフレームを抽出することで、先ず顕著な場面変更検出を実行する。フレーム取り込み及びキーフレーム抽出は所定のインターバルで行なわれてもよい。処理エンジンの映像予備処理モジュールは、累積的マクロブロック差分測定を利用するフレーム差分に関するＤＣＴ手段を使用する。或いは、ヒストグラム法を使用してもよい。ここで、家庭用ビデオカメラ及び監視カメラによる画像素材は放送画像とは全く異なること、及び放送画像に適用されるキーフレーム抽出法のいくつかは家庭環境では効果的でないかもしれないことに留意すべきである。しかしながら、後続のフレームの間の顕著な差異を検出することができ、重要なフレームの抽出を支援する任意の方法が、そのシステムで使用されることが可能である。以前に抽出されたキーフレームと同様に表われるユニカラーキーフレーム又はフレームは、１バイトのフレームシグネチャ（ｓｉｇｎａｔｕｒｅ）を利用してフィルタ処理される。処理エンジンは、シーケンス的なＩフレーム間の差分を用いて、閾値を上回る相対量に関するこの確率に基礎を置く。
【００３５】
フレームフィルタリング法は、ディミトロバ等による米国特許第６，１２５，２２９号に記載されており、以下に簡単に説明される。概して、プロセッサは、コンテンツを受信し、その映像信号を、画素データを表現するフレームにフォーマットを整える（フレーム取り込み）。フレームの取り込み及び分析の処理は、記録装置の各々について所定のインターバルで実行されることが好ましいことに留意すべきである。例えば、記録装置がデータの記録を開始すると、キーフレームが３０秒毎に取り込まれることが可能である。このように、処理エンジンは、以下に更に説明されるように、イベントを生成すること及び記録されたデータのインデックスを作成することのために、ベイズ確率分析を実行することができる。
【００３６】
これらのフレームが取り込まれると、全ての選択されたキーフレームが分析される。映像のセグメント化は当該技術分野で既知であり、以下の公知文献に説明されている：Ｎ．Ｄｉｍｉｔｒｏｖａ，Ｔ．ＭｃＧｅｅ，Ｌ．Ａｇｎｉｈｏｔｒｉ，Ｓ．Ｄａｇｔａｓ，ａｎｄ  Ｒ．Ｊａｓｉｎｓｃｈｉ，“Ｏｎ  Ｓｅｌｅｃｔｉｖｅ  Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ，”ｐｒｅｓｅｎｔｅｄ  ａｔ  ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅ，Ｓａｎ  Ｊｏｚｅ，２０００；及び“Ｔｅｓｔ，Ｓｐｅｅｃｈ，ａｎｄ  Ｖｉｓｉｏｎ  Ｆｏｒ  Ｖｉｄｅｏ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｔｈｅ  Ｉｎｆｏｒｍｅｄｉａ  Ｐｒｏｊｅｃｔ”ｂｙ  Ａ．Ｈｕｐｔｍａｎｎ  ａｎｄ  Ｍ．Ｓｍｉｔｈ，ＡＡＡＩ  Ｆａｌｌ  １９９５  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｉｎｔｅｇｒａｔｉｎｇ  Ｌａｎｇｕａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  １９９５。記録装置により捕捉された人物に関する視覚的な（例えば、顔）及び／又はテキスト情報を含む記録データの映像部分のセグメントは、そのデータが特定の個人に関連することを示し、そのようなセグメントによって索引付け（インデックス化）されてもよい。当該技術分野で知られているように、映像セグメント化は以下のものを含むがそれらに限定されない：
顕著な場面変化検出：急激な場面変化（ハードカット）又はソフト遷移（ディソルブ、フェードイン及びフェードアウト）を判別するために、連続的な映像フレームが比較される。顕著な場面変化検出についての説明は、以下の文献に記載されている：Ｎ．Ｄｉｍｉｔｒｏｖａ，Ｔ．ＭｃＧｅｅ，Ｈ．Ｅｌｅｎｂａａｓ，“Ｖｉｄｅｏ  Ｋｅｙｆｒａｍｅ  Ｅｘｔｒａｃｔｉｏｎ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ：Ａ  Ｋｅｙｆｒａｍｅ  ｉｓ  Ｎｏｔ  ａ  Ｋｅｙｆｒａｍｅ  ｔｏ  Ｅｖｅｒｙｏｎｅ”，Ｐｒｏｃ．ＡＣＭ  Ｃｏｎｆ．ｏｎ  Ｋｎｏｗｌｅｄｇｅ  ａｎｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｍａｎａｇｅｍｅｎｔ，ｐｐ．１１３−１２０，１９９７。
【００３７】
フェース検出：映像フレームの各々の領域は、肌のトーンを含むこと及び楕円形状に関連することが判別される。好適実施例では、顔画像が判別されると、その画像は、メモリに格納された既知の顔画像のデータベースと比較され、画像フレームに示される顔画像がユーザの視聴趣向に関連するか否かを判別する。顔検出の説明については、次の文献に与えられている：Ｇａｎｇ  Ｗｅｉ  ａｎｄ  Ｉｓｈｗａｒ  Ｋ．Ｓｅｔｈｉ，“Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｉｍａｇｅ  Ａｎｎｏｔａｔｉｏｎ”，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，Ｖｏｌ．２０，Ｎｏ．１１，Ｎｏｖｅｍｂｅｒ  １９９９。
【００３８】
動き推定／区分化／検出：映像シーケンス内で動いているオブジェクトが判別され、その動いているオブジェクトの軌跡が分析される。映像シーケンス中のオブジェクトの動きを判別するために、光フロー推定、動き補償及び動きセグメント化のような既知の処理が使用されることが好ましい。動き推定／区分化／検出の説明については、次の文献に記載されている：Ｐａｔｒｉｃｋ  Ｂｏｕｔｈｅｍｙ  ａｎｄ  Ｆｒａｎｃｏｉｓ  Ｅｄｏｕａｒｄ，“Ｍｏｔｉｏｎ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｑｕａｌｉｔａｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ  ｆｒｏｍ  ａｎ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．１０，Ｎｏ．２，ｐｐ．１５７−１８２，Ａｐｒｉｌ  １９９３。
【００３９】
また、本方法は映像信号の音声部分のセグメント化を含み、映像の音声部分は、視聴趣向に関連する言葉／サウンドの出現に関して監視される。音声セグメントは、映像番組の以下の種類の分析を含む：スピーチ−テキスト変換、音声効果及びイベント検出、話者判別、番組判別、音楽分類及び話者判別に基づく対話検出。
【００４０】
音声セグメント化は、音声信号をスピーチ及び非スピーチの部分に分けることを含む。音声セグメント化の最初のステップは、帯域幅、エネルギ及びピッチのようなローレベル音声特徴を用いるセグメント分類を含む。（音声及びスピーチのように）互いに同時に生じる音声成分を分離するために、チャネル分離が使用され、各々が独立して分析できるようにする。その後、映像（又は音声）入力の音声部分は、スピーチ−テキスト変換、音声効果及びイベント検出、並びに話者検出のような様々な手法で処理される。音声セグメント化は当該技術分野で既知であり、概して次の文献に説明されている：Ｅ．Ｗｏｌｄ  ａｎｄ  Ｔ．Ｂｌｕｍ，“Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，Ｓｐｅａｒｃｈ，ａｎｄ  Ｒｅｔｒｉｅｖａｌ  ｏｆ  Ａｕｄｉｏ”，ＩＥＥＥ  Ｍｕｌｔｉｍｅｄｉａ，ｐｐ．２７−３６，Ｆａｌｌ  １９９６。
【００４１】
映像信号の音声部分のスピーチセグメントが背景ノイズ又は音楽から判別又は分離されると、例えば：Ｐ．Ｂｅｙｅｒｌｅｉｎ，Ｘ．Ａｕｂｅｒｔ，Ｒ．Ｈａｅｂ−Ｕｍｂａｃｈ，Ｄ．Ｋｌａｋｏｗ，Ｍ．Ｕｌｒｉｃｈ，Ａ．Ｗｅｎｄｅｍｕｔｈ  ａｎｄ  Ｐ．Ｗｉｌｃｏｘ，“Ａｕｔｏｍａｔｉｃ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ｏｆ  Ｅｎｇｌｉｓｈ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ”，ＤＡＲＰＡ  Ｂｒｏａｄｃａｓｔ  Ｎｅｗｓ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ，ＶＡ，Ｆｅｂ．８−１１，１９９８  に記載されているような当該技術分野で既知のスピーチ−テキスト変換を使用することができる。スピーチ−テキスト変換は、イベント抽出に関するキーワード発見のようなアプリケーションに使用されることができる。
【００４２】
音声効果は、例えば以下のような当該技術分野で既知のイベント検出に使用されることができる：Ｔ．Ｂｌｕｍ，Ｄ．Ｋｅｓｌａｒ，Ｊ．Ｗｈｅａｔｏｎ，ａｎｄ  Ｅ．Ｗｏｌｄ，“Ａｕｄｉｏ  Ｄａｔａｂａｓｅｓ  ｗｉｔｈ  Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｒｅｔｒｉｅｖａｌ”，Ｉｎｔｅｌｌｉｇｅｎｔ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｉｅｖａ，ＡＡＡＩ  Ｐｒｅｓｓ，Ｍｅｎｌｏ  Ｐａｒｋ，Ｃａｌｉｆｏｒｎｉａ，ｐｐ．１１３−１３５，１９９７。イベントは、特定のイベントに関連付けられるサウンドを判別することによって検出されることができる。例えば、「ハッピーバースデー」の信号が検出され、そのセグメントは誕生日のイベントとして索引付けされる。
【００４３】
当該技術分野で既知の話者判別（例えば、Ｎｉｌｅｓｈ  Ｖ．Ｐａｔｅｌ  ａｎｄ  Ｉｓｈｗａｒ  Ｋ．Ｓｅｔｈｉ，“Ｖｉｄｅｏ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｓｐｅａｋｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ”，ＩＳ＆Ｔ  ＳＰＩＥ  Ｐｒｏｃｅｅｄｉｎｇｓ：Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ
Ｖｉｄｅｏ  Ｄａｔａｂａｓｅ  Ｖ，ｐｐ．２１８−２２５，Ｓａｎ  Ｊｏｓｅ，ＣＡ，Ｆｅｂｒｕａｒｙ  １９９７）は、喋っている人物を判別するために音声信号中にあるスピーチの音声シグネチャを分析することを含む。話者判別は、例えば、特定の家族構成員を探すために使用されることが可能である。
【００４４】
イベント判別は、イベントを識別及び分類するために、記録装置によって捕捉されたデータ信号の音声部分を分析することを含む。これは、イベントのカタログ化及び索引付けに特に有用である。分析された音声部分は、イベント属性のライブラリと比較され、そのイベントが特定のイベントに対する既知の属性と一致するか否かを判別する。
【００４５】
音楽分類は、存在する音楽の種類（クラシック、ロック、ジャズ等）を判別するために、音声信号の非スピーチ部分を分析することを含む。これは、例えば、音声信号の非スピーチ部分のピッチ、音質、サウンド及びメロディを分析し、分析結果を特定の種類の音楽に関する既知の属性と比較することで達成される。音楽分類は当該技術分野で既知であり、概して次の文献に説明されている：“Ｔｏｗａｒｄｓ  Ｍｕｓｉｃ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｉｔｈｏｕｔ  Ｓｅｐａｒａｔｉｏｎ：Ｓｅｇｍｅｎｔｉｎｇ  Ｍｕｓｉｃ  Ｗｉｔｈ  Ｃｏｒｒｅｌｏｇｒａｍ  Ｃｏｍｏｄｕｌａｔｉｏｎ”ｂｙ  Ｅｒｉｃ  Ｄ．Ｓｃｈｅｉｒｅｒ，１９９９  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ，Ｎｅｗ  Ｐａｌｔｚ，ＮＹ  Ｏｃｔｏｂｅｒ  １７−２０，１９９９。
【００４６】
映像、音声及びトランスクリプトテキストの様々な成分が、ステップ２１８にて、様々なイベントに関する既知のキュー（列）のハイレベルテーブルに従って分析される。イベントの各カテゴリは好ましくは知識ツリーを有し、そのツリーはキーワード及びカテゴリに関する関連テーブルを有する。これらのキューは、ユーザプロファイルにてユーザにより設定されてもよいし、製造者によって事前に設定されてもよい。例えば、「卒業」ツリーは、学校、卒業、帽子、成長等のキーワードを含む。別の例では、「誕生日」イベントは、バースデーキャンドルや多くの顔のような視覚的セグメント、「ハッピーバースデー」の歌のような音声セグメント、言葉の「誕生日」のようなテキストセグメントに関連付けられることが可能である。以下に詳細に説明される統計的な処理の後に、プロセッサは、カテゴリ投票ヒストグラムを用いて分類を実行する。例として、仮にテキストファイル中のある言葉が知識ベースのキーワードに合致したとすると、対応するカテゴリは１票を獲得する。各カテゴリに対する確率は、そのキーワードに関する総投票数とテキストセグメントに対する総投票数との間の比率によって与えられる。
【００４７】
好適実施例では、区分けされた音声、映像及びテキストセグメントの様々な成文が、あるイベントを指標する（索引付ける）ように統合される。区分化された音声、映像及びテキスト信号の統合は、複合的な索引付けが好ましい。例えば、ユーザが誰かの誕生日の際に与えられたスピーチを検索しようとする場合に、（行為者を識別するために）必要とされる顔認識だけでなく、（画面中の行為者が喋っていることを保証するために）話者認識も、及び（行為者の特定の動きを認識するために）動き推定セグメント検出も使用される。こうして、索引付けに関する統合されたアプローチは好ましい良好な結果を与える。
【００４８】
ステップ２２０では、このセグメント情報が、プロセッサに接続される格納装置にて映像コンテンツと共に格納される。
【００４９】
ハイレベルレイヤのハイレベル推測値を収集する好ましいプロセスが以下に説明される。そのような手法はイントラ又はインター形態（ｍｏｄａｌｉｔｙ）を統合するので、ベイズ確率分析法が使用されることが好ましい。イントラ形態統合は、単独の領域内での特徴の統合化を示す。例えば：ビデオテキストに関する色、エッジ及び形状情報の統合化は、それが全て視覚的領域内で行なわれるので、イントラ形態統合を示す。視覚的カテゴリの顔及びビデオテキストに関するミッドレベル音声カテゴリの統合化は、それが視覚的及び音声情報を組合わせてそのコンテンツに関する推測値を作成するので、インター形態の例を与える。この統合に対する確率的手法は、ベイズネットワークにて見出される。それらは複数の領域にわたる階層的情報の組合せを可能にし、不確定性を取り扱う。ベイズネトワークは、ノードが（確率的な）変数に対応する指向性非巡回グラフ（ＤＡＧ：ｄｉｒｅｃｔｅｄ  ａｃｙｃｌｉｃａｌ  ｇａｒａｐｈ）である。有向枝（ａｒｃ）は、連結された変数間の直接的な因果関係を示す。これらのリンクの強さは、条件付確率分布（ｃｐｄｓ）によって与えられる。より正式には、Ｎ変数の集合Ω（ｘ１，．．．，ｘＮ）がＤＡＧを呈するとする。各変数について、Ωの変数の部分集合、ｘｉの親集合Πｘｉ、即ちＰ（ｘｉ｜Πｘｉ）＝Ｐ（ｘｉ｜ｘｉ，．．．，ｘｉ−１）  のようなＤＡＧにおいてｘｉに先行するものが存在し、ここで、Ｐ（・｜・）はｃｐｄであり、常に正である。チェーンルールを用いて結合確率密度関数（ｐｄｆ）Ｐ（ｘｉ，．．．，ｘＮ）を考慮すると、Ｐ（ｘｉ，．．．，ｘＮ）＝Ｐ（ｘＮ｜ｘＮ−１，．．．，ｘ１）＊．．．＊Ｐ（ｘ２｜ｘ１）Ｐ（ｘ１）を得る。この式によれば、親集合Πｘｉは、ｘｉ及び｛ｘ１，．．．，ｘＮ｝／Πｘｉは、Πｘｉを考慮すると条件付で独立である性質を有する。
【００５０】
上述されたように、ＤＡＧの構造は３つのレイヤで形成されることが好ましい。各レイヤでは、各要素はＤＡＧ内のノードに対応する。方向付けられた有向枝は、所与のレイヤ中のあるノードを先行するレイヤの１以上のノードに接続する。有向枝の２つの組は、３つのレイヤの要素を結合する。所与のレイヤ及び所与の要素に関し、上述されたように、結合ｐｄｆが算出される。各レベルに関する異なる親集合の間で重複が存在してもよい。
【００５１】
トピック区分化及び分類は、図３の第３例や（ハイレベルＣ）に示されるように、プロセッサにより実行される。好適実施例では、プロセッサは、ユーザの又は製造者の所定のハイレベルキーワードテーブルに従って、内容の索引付けを実行する。プロセッサは、（ｉ）ハイレベルテーブルからキーワード及び他のデータを読み取ること、及び（ｉｉ）幾つかのハイレベルカテゴリに基づいてコンテンツをセグメントに分類することによって、そのコンテンツを索引付けする。
【００５２】
そして、図４を参照するに、本発明による、家族構成員の２人の間の会話を分析する例が示される。好適実施例により、コンテンツがセグメント化され分析されると、叙述したように、ベイズ法又は他の確率的分析法が、セグメント化されたコンテンツに対するインデックスファイルを作成するために使用される。理解されるように、イベントを索引付けする１つの方法は、特定のイベントの視覚的、音声的及びテキスト的な指標の出現を考慮する。
【００５３】
この分析では、プロセッサは、イベントが、多数のカテゴリの指標を含む上述されたようなカテゴリに適合する確率を判別する。プロセッサは、顔検出法を用いて、視覚的なセグメントに表われるそれらの対象を付加的に判別してもよい。この情報は、インデックスファイルに格納され、セグメント化されたコンテンツへのリンクを与え、そのリンクはユーザにより探索されることが可能である。
【００５４】
単なる例として、図４を参照するに、ある株「ＸＹＺ社」に関するボブとマリーを含む台所での会話は、次のように索引付けされることができる。ステップ４０２，４０４において、プロセッサは、様々な映像、音声及びテキスト成分を分析した後に、そのイベントに関して、所定の静的なデータを記録する。例えば、そのイベントの日付け及び時間や、そのイベントが捕捉された部屋が、インデックスファイルに格納される。更に、プロセッサは、ステップ４０６において、そのイベントに関連する対象（ボブとマリー）を識別するために、音声ストリームの音声認識セグメントと共に、映像ストリームの顔検出セグメントの組合せを使用することが好ましい。ステップ４０８及び４１０では、プロセッサは、テキスト用語に従ってそのイベントを分類し、その用語はそのイベントの最中に所定回数より多く反復されたものである。例えば、テキストトランスクリプトの分析は、「ＸＹＺ社」、「株」及び「金」の用語が対象者により反復的に話されていたことを判別し、インデックスファイルに付加される。更に、プロセッサは、ステップ４１２において、そのイベント、即ち会話の性質を判別するための確率的手法を使用する。これは、会話の所定の指標を用いて行なわれることが望ましく、その指標は、音声ストリームのノイズレベル及びスピーチ特性、テキストストリームにおける話者の反復的な変化、及び映像ストリームのける対象の限定された動きを含むがそれらに限定されない。
【００５５】
図５を参照するに、ボブとマリーの会話を抽出するプロセス例が示されている。上述したように、プロセッサ５１６は、ユーザが特定のイベントについてサーチ要求５１５を入力することを可能にするインターフェースを表示する機能を備えるようにプログラムされる。プロセッサ５１６はディスプレイ装置５１７に接続され、その装置はＣＲＴモニタ、テレビジョンその他の表示装置であってもよい。プロセッサ５１６はサーチ要求を受信し、その要求は、ステップ５Ａにて、既知の論理構造で以下の用語を含む：「ボブ  ＡＮＤ  マリー  ＡＮＤ  台所  ＡＮＤ  株」。ステップ５Ｂにて、これらの用語は、その要求基準に最も合致するインデックスファイルを見つけるために、格納装置５１８に格納されたインデックスファイル５１９と照合される。ステップ５Ｃにて、合致又は部分的な一致がユーザに返されると、ユーザはディスプレイに返されるよう判別されたイベントの１つを選択することができる。ステップ５Ｄでは、プロセッサはイベントを抽出し、それをディスプレイで再生する。
【００５６】
別の実施例では、データの映像セグメントが、記録装置によって捕捉された人物をリアルタイムで判別するために使用される。図６を参照するに、様々な家庭機器へのアクセスを制御する、与える又は拒否するプロセスのフローチャートが示されている。本実施例では、図１に示されるようなネットワークは、図１に示されるような様々な家庭用機器に相互接続され、プロセッサは、それらの機器に導入されているマイクロプロセッサによりやりとりするようにプログラムされる。
【００５７】
以下のプロセスは、家庭コンピュータの用途に関連するよう説明されるが、当業者は、家庭及びオフィスに一般に見受けられる任意の機器に関して同様な機能を与え得ることが理解されるべきである。この例に関して、記録装置（例えば、ビデオカメラ）は、機器にアクセスしようとする対象者の顔を記録するように設けられているものとする。ステップ６０２において、記録装置は対象者の顔のショットを捕捉する。このショットはステップ６０４における処理エンジンに伝送される。ステップ６０６では、処理エンジンは、各人の身元を分析及び判別するために顔検出技法を使用する。システムの精度を向上させるため、上述したような音声認識技法が、顔検出技法と組合わせて使用されてもよい。ステップ６０８において、各人の顔が、アクセスの許可された者の顔に一致するならば、処理エンジンはステップ６１２においてそのコンピュータシステムへのアクセスを許可する。そうでなければ、アクセスはステップ６１０で否定される。このように、個人の顔は、ログイン又はパスワードとして機能する。或いは、記録装置がマイクロフォン又は他の音声捕捉装置である場合は、音声認識システムが、各人を判別するために使用され、アクセスを与える又は否定することができる。そのようなシステムは、実質的には上述したように動作する。
【００５８】
図１に戻って、本発明の実施例によれば、記録システム１０は、その環境で１日２４時間、１週７日間、対象者の行動を定常的に記録することができる。例えば、ある日、記録システム１０は、多数のイベント又は特定の対象者によって実行される個人的な行動を記録及び識別する。これらの行動を識別することで、確率エンジンは、その日を通じて又は日々の同様な時間に反復的に起こるこれらの行動を判別することができる。例えば、毎晩その対象者の就寝前に、その環境内の正面側及び裏側のドアを施錠してもよい。何回かの後に、確率エンジンは、その行動が各々の日の夜に行なわれることを判別するであろう。処理システム１６は、様々な任意の手法で、識別された行動に応答するようプログラムされることが可能であり、その手法は、対象者がタスクを実行することを思い出させること、その対象者のためにタスクを実際に実行すること等を含む。非限定的な例として、処理システム１６は、家庭の電子システムに接続され、電子システムを動作させるようにプログラムされる。従って、処理システム１６は、全ての対象者が夜に就寝した場合に照明を落とすことができる。
【００５９】
更なる他の実施例では、ビデオカメラのような記録装置１２は、ドアに近づく対象者を記録するために、その環境５０の正面ドアに設けられる。記録装置１２は、その環境に訪れる人物（達）のスナップショットを撮影し、環境の所有者に、特定の人物がいることを通知する。これは、仕事中のユーザにｅメールを送ることで、又は後にユーザが検索するようにスナップショット画像を格納することで、行なわれてもよい。正面ドアの記録装置１２は、その環境５０内の子供が、通常とは異なる時間に家に戻ってきた場合に、危険なイベントを識別することもできる。例えば、子供が病気により学校から早期に帰宅した場合に、記録装置１２はその時間及び子供の帰宅する画像を記録し、親がこのような非日常的な（危険な可能性のある）イベントの通知を受けることができるようにする。更に、スナップショット及びタイムスタンプは、親にｅメール送信され、又は無線電話又はＰＤＡのよう移動装置を用いて任意の手法で通知される。
【００６０】
上述したように、システムは、その環境を通じてコンテンツをブロードキャストするように使用されてもよい。例えば、ユーザは、彼らがその領域内を移動する場合はどこでも、カセットプレーヤ及びそれらに備わるヘッドフォンを持ち運ばないで、音声書籍を聴くことを希望するかもしれない。記録装置１０のセンサ又は記録装置１２は、その対象者が位置する特手の部屋の中で、そのシステムに相互接続されたスピーカを通じて音声書籍をブロードキャストすることができる。その環境の近辺で対象者が動くと、ブロードキャストされる音声信号は、その対象者に最も近接するスピーカに送られるようにすることができる。例として、対象者が夕食を調理しながら台所にいる場合には、その台所内のスピーカがアクティブになる。対象者が夕食をとるために台所からダイニングルームに移動すると、ダイニングルーム内のスピーカがアクディブになる。
【００６１】
更なる他の実施例では、受動的な記録システムは、監視又はセキュリティシステムとして使用されることができる。そのようなシステムでは、記録装置は、好ましくは、動きを検出するために動き検出器に装備され、記録システムの視界内に対象者が現われたときに起動を開始する。システムが装備され、動きが検出されると、記録装置は対象者の顔のショットを記録する。顔検出技法を用いて、対象者の顔はデータベースと照合され、そのデータベースは、その家庭で生活する又はオフィスで働く各人の顔を含んでいる。一致しない場合は、警報を起動し、又は適切な管理者に侵入者の可能性を通知することができる。本発明によるシステムは動き検出及び顔検出の双方を組合わせるので、システムが、家庭の犬や他の侵入者でない動きによって誤って起動される虞は少ない。
【００６２】
本発明は好適実施例に関連して説明されてきたが、上述された原理の範疇での修正は当業者にとって明白であり、本発明は好適実施例に限定されず、そのような修正を包含するように意図されることが、理解されるべきである。
【図面の簡単な説明】
【００６３】
【図１】本発明によるシステムアーキテクチャ例の概要を示す図である。
【図２】記録されたデータをセグメント化及び分類するプロセス例を示すフローチャートである。
【図３】映像、音声及びトランスクリプトストリームのセグメントの例を示す図である。
【図４】記録されたデータを検索するためのインデックスファイルを形成するプロセス例を示すフローチャートである。
【図５】索引付けされたデータを検索するプロセス例を示す図である。
【図６】本発明のシステムに接続された電子装置に対するセキュリティを与えるプロセス例のフローチャートである。
【図１】
2005512212.tif 000003
【図２】
2005512212.tif 000004
【図３】
2005512212.tif 000005
【図４】
2005512212.tif 000006
【図５】
2005512212.tif 000007
【図６】
2005512212.tif 000008
【国際調査報告】
2005512212.tif 000009
2005512212.tif 000010
2005512212.tif 000011
2005512212.tif 000012
2005512212.tif 000013