(57)【要約】周知の顔を認識する方法を使用して、ユーザ（１０）が家又は部屋のような環境に入ることで、機器は自動的に開始でき、及び／又は調節できる。環境に対する入口をモニターするカメラと、顔を認識するシステム（１０）と、及び機器（１６）との間に通信リンクが存在するように、環境はネットワークで接続されている。ネットワークで接続された環境を自動的に制御する方法は、個人の顔の画像を捕獲すること（１０）と、顔の画像を記憶すること（２１）（つまり、メモリに）（２）と、顔の画像に少なくとも一つの機器設定を関連させること（２４）とを含む。方法はまた、記憶された顔の画像とユーザの顔の画像を比較することと、整合した顔の画像における少なくとも一つの機器設定の検索と、及び少なくとも一つの機器設定の開始とを含む。機器設定は、照明源、テレビ、又はステレオなどの機器の電源の入切断を制御する。
2004536376.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続された環境を自動的に制御するための方法であって、
個人の顔の画像の捕獲と、
前記顔の画像の記憶と、
前記顔の画像に少なくとも一つの機器設定を関連させることと
を含む設定段階と、及び
記憶された顔の画像と前記顔の画像の比較と、
整合した顔の画像における前記少なくとも一つの機器設定の検索と、
前記少なくとも一つの機器設定の開始と
を含む開始段階と、
を有することを特徴とする、方法。
【請求項２】
前記少なくとも一つの機器設定は、少なくとも一つのネットワークに接続された機器と関連する、定量性の条件をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記定量性の条件は、レベル、温度、音量、チャンネル、記録のトラック、時間、頻度、又は期間を含むことを特徴とする、請求項１に記載の方法。
【請求項４】
前記設定段階は、個人の要求に応じて実行されることを特徴とする、請求項１に記載の方法。
【請求項５】
前記関連する段階は、キーボードをタイプすることによって、音声認識システムに話し掛けることによって、又は感触性スクリーンから少なくとも一つの個人の特徴を選択することによって、メモリに前記少なくとも一つの機器設定を入力することをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項６】
前記少なくとも一つの機器設定は、少なくとも一つの照明源、テレビ、ステレオ、録音された音楽を再生するための装置、マイクロコンピュータ、料理装置、又は内部環境を制御する装置を制御することを特徴とする、請求項１に記載の方法。
【請求項７】
前記関連する段階は、前記少なくとも一つの機器設定の特定な特質を選択することと、前記特定の特質にしたがって前記少なくとも一つの機器設定を開始する開始段階とをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項８】
前記少なくとも一つの機器設定はメッセージ記憶装置と前記開始段階を含み、前記開始段階は、さらに
受信メッセージのための装置に対して入ってくるメッセージの受信と、
記録媒体に対して前記メッセージの記録と、
前記メッセージが前記顔の画像と関連するかどうか決定することと、
前記顔の画像と関連する前記メッセージのリコールと、及び
音声発生手段によって前記顔の画像と関連する前記メッセージの発生と、
を含むことを特徴とする、請求項１に記載の方法。
【請求項９】
前記受信、記録、リコール及び音声発生手段は、
電話メッセージの受信、記録、リコール及び発生、並びに前記記録媒体が前記電話メッセージを記録することと、
電子メールメッセージの受信、記録、リコール及び発生、並びに前記記録媒体は電子メールを記憶するための装置であることと、
ファクシミリメッセージの受信、記録、リコール及び発生、並びに前記記録媒体が前記ファクシミリメッセージを記録することと、
又は前述に列記した数多の組み合わせと、
を含むことを特徴とする、請求項８に記載の方法。
【請求項１０】
前記開始段階は、さらに
前記少なくとも１つの機器設定に対して制御階層に前記整合する顔の画像を関連させることと、
第二の個人が前記少なくとも一つの機器設定を事前に開始しているかを決定することと、
前記第二の個人と関連する前記少なくとも一つの機器設定に対して前記制御階層を決定することと、及び
前記第二の個人が事前に前記少なくとも１つの機器設定を開始しない場合のみ、前記整合した顔の画像が前記制御階層において、より上位に格付けする場合、又はデフォルト若しくは平均設定に基づき前記整合した顔の画像と前記第二の個人が同一の格付けを有する場合の何れかの場合に、前記整合した顔の画像と関連する前記少なくとも一つの機器設定の開始と、
を含むことを特徴とする、請求項１に記載の方法。
【請求項１１】
前記方法はさらに、前記個人によって入力されるパスワードを要求することと、前記パスワードを受信することと、及び前記個人の顔の表示を記憶する前に前記パスワードと事前に設定したパスワードとの整合を確証することを含むことを特徴とする、請求項１に記載の方法。
【請求項１２】
個人が環境に入る際に個人化されたネットワークに接続された環境を自動的に制御するためのシステムであって、
前記個人の顔の画像を記憶し、前記環境に入る際に前記個人の同一性を決定する、顔を認識するシステムと、
前記顔の画像及び少なくとも一つの機器設定を記憶するメモリと、
前記システムによって開始可能である少なくとも一つの機器設定と、並びに
前記システムに前記機器設定を接続するネットワークと、
を含むことを特徴とする、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境に入る場合に個人に関連したネットワークに接続された機器を開始するように顔認識を使用する方法及びシステムに関する。
【背景技術】
【０００２】
家のような現在の環境は、照明源（つまり、ランプ）及び空気調節システム（つまり空調機と暖房設備）から娯楽装置（つまり、ステレオ、テレビ）並びにメッセージ伝達システム（つまり、ボイスメール、ファクシミリ、電子メール）まで及ぶ多くの機器を含んでいる。個人が環境に入る場合、彼等は、各機器を開始するように積極的に行動を行ない、かつ彼らの好みに適するか又は彼らの個人化された情報を伝える各機器を調節する。例えば、ボイスメールを確認するために、ユーザは彼等のボイスメールキャリアをダイアルして、彼等のメールボックスと暗証番号（位置と識別の目的のために）を入力し、最後に彼らのメッセージを得るために一連のキーストロークを実行する。加えて、ユーザは、彼らのものを見つけて受け取る前に、留守番電話におけるような、他人宛の様々なメッセージを分類しなければならない。
【０００３】
米国特許第６，１１１，５１７号及び６，１０８，４３７号に記載のような顔を認識する識別技術は、個人を識別し、かつ制御された環境に対するアクセスを抑制するために使用された。人物を識別するシステムにおいて使用される現行の顔を認識する方法は、典型的には人間の顔の画像の同一性を決定するフェイス・レコグナイザー（ｆａｃｅ  ｒｅｃｏｇｎｉｚｅｒ）を使用する。画像を識別するために、システムは別の顔とユーザの顔を比較するか、又は特徴の抽出を実行し、データ・ベースに記録された特徴と抽出された特徴を比較する。
【０００４】
発明の概要
本発明によると、ユーザが家又は部屋のような環境に入ることで、機器は自動的に開始及び／又は調節することができる。環境は、環境への入口をモニターするカメラと、顔を認識するシステムと、及び機器との間に通信リンクが存在するように、ネットワークに接続される。
【０００５】
本発明の一の態様によると、ネットワークに接続された環境を自動的に制御する方法は、設定段階と開始段階を含む。設定段階は、個人の顔の画像を捕獲することと、かかる顔の画像を記憶すること（つまり、メモリにおいて）、及びかかる顔の画像に対して少なくとも１つの機器設定を関連させることを含む。開始段階は、記憶した顔の画像とかかる顔の画像を比較することと、整合した顔の画像のための少なくとも一つの機器設定を検索することと、及び少なくとも一つの機器設定を開始することを含む。機器設定は、照明源、テレビ、又はステレオなどの機器の電源の入切断を制御する。機器の電源を入れるか又は切断するだけでなく、ユーザは、機器が開始時に設定されるであろう、レベル、温度、音量又はチャンネルなど機器と関連する、量れる条件を入力する。
【０００６】
本発明の実施態様によると、数人のユーザが時間の経過にわたって同じ環境に常に集まる場合、方法は、どのユーザ設定を開始するべきであるかを決定するために制御階層において各ユーザを優先付ける。優先順位は、少なくとも１つの機器設定に対して制御階層に整合する顔の画像を関連させることを含んでいる。これは、第二の個人が少なくとも一つの機器設定を事前に開始して、そうであるならば、第二の個人と関連する少なくとも一つの機器設定に対する制御階層を決定する、最初の決定によって達成される。
【０００７】
本方法は、さらに、第二の個人が事前に少なくとも１つの機器設定を開始しない場合のみ、又は整合した顔の画像が制御階層において、より上位に格付けする場合に、整合した顔の画像と関連する少なくとも一つの機器設定の開始を含む。ユーザが同一の格付けを有するか、又は格付けを有しない場合、デフォルト設定は格付け間で選択されうるか、又は平均的な設定は開始されるかもしれない（つまり、各ユーザが選択した光レベルの平均値）。
【０００８】
別の実施態様によると、パスワードは、個人によって入力でき、個人の顔の表情を記憶する以前に事前設定のパスワードと整合するように確証される。
【０００９】
本発明の数多の実施態様によると、少なくとも一つの機器設定は、入ってくるメッセージを受取って記録し、メッセージが個人に関するかどうかを決定し、開始段階で個人と関連するメッセージをリコールしてさらに音声を発する、メッセージ記憶装置を含む。下記に限定しないが、メッセージは、留守番電話若しくはボイスメールに記録された電話メッセージ、電子メールメッセージ、ファクシミリメッセージ、ビデオクリップ、テキストに浮き出した画像、又は前述に列記したものの組み合わせを含む。
【００１０】
本発明の第二態様によると、個人が環境に入る際に、個人化されたネットワークに接続された環境を自動的に制御するためのシステムは、個人の顔の画像を記憶し、環境に入る際に個人の同一性を決定する、顔を認識するシステムを含む。システムはまた、顔の画像及び少なくとも一つの機器設定を記憶するメモリと、並びにシステムに機器設定を接続するネットワークを含み、少なくとも一つの機器設定はシステムによって開始可能である。
【００１１】
主要な実施態様の詳細な記載
図１を参照するに、ネットワークに接続されたシステム１９は、環境に入る場合に個人と関連するネットワークに接続された機器を開始するために顔の認識を使用する。まず最初に、顔を認識するシステム１０は、ユーザが自宅を出る前に、ユーザの顔の登録を実行する。検出器４は、ユーザの存在を検出し、カメラ１は、当該技術で公知であるビデオ式で顔を捕獲する技術を使用してユーザの顔を捕獲し、メモリ２にユーザの顔を記憶する。ユーザは、登録が許可される前にアクセスコード又は認証のためのある形式を入力することを要求される。ユーザはまた、ＣＰＵ３へ戻り次第開始されることをユーザが望む、ネットワークに接続された機器を入力する。メモリ２は、これらの顔の捕獲及びネットワークに接続された機器を記憶する。
【００１２】
ユーザの自宅へ戻る際、検知器４は、例えば、５秒ごとに環境の変化をチェックすることにより、又は環境に対してドアが開かれた場合にチェックすることによって、人の存在を検知する。比較／認識システム５は、メモリ２に記憶された顔とユーザの顔を比較し、整合性が取れた場合、当該技術で公知の顔を認識する方法にしたがってユーザを認識する。一旦、ユーザが認識されると、決定手段１２は、メッセージ受信／記録装置１１によって記録された、どのメッセージがユーザに対応するかどうかを決定する。どれだけのメッセージがあり、どれがユーザに対応するメッセージであるか音声発生手段１３によって音声が発せられてユーザに伝えられる。ネットワークに接続されたシステム１９はまた、捕獲要求／受信手段１４が、メモリ２からユーザが関連することを要求した機器１６をリコールして後、機器１６を開始する。
【００１３】
図２は、ユーザが外出する以前における図１のシステムの方法での段階を描写する。顔を認識するシステム１０は、カメラ１を介して顔を捕獲する段階２０を実行する。メモリ２は、段階２１で周知の記憶技術にしたがって捕獲した顔を記憶する。段階２２において、ＣＰＵ１３はユーザ入力関連情報を要求する。例えば、段階２５乃至２７において、ＣＰＵ１３は、氏名、ユーザが関連させたい機器、及び個人の認証番号（暗証番号）及び／又はユーザがメモリにアクセスできる声紋をユーザが入力することを要求する。段階２５乃至２７に列記された実施例は、方法が要求することができる関連情報の網羅していないリストを表わす。この実施例の目的において、ユーザは氏名“ジョースミス”、機器としての照明源及び空調機、並びに“１２３４”の暗証番号を入力する。例えば、キーボードをタイピングするか、又は音声認識装置に話すことによって、ユーザは情報を入力する。システムはまた、例えば、ユーザと関連する留守番電話機を成すことによって、自動的に関連を実行するように形態化できる。メモリ２は段階２３で関連情報を保存し、ＣＰＵ１３は段階２４で記憶された顔の捕獲画像を備える関連情報と関連する。段階２６に関して、ＣＰＵ１３はまた、照明源における明るさ設定、又は暖房設備に関する温度などの機器に関する定量的な条件をユーザが入力することを必要とする。
【００１４】
一旦、図２の段階が完遂すると、ユーザは外出でき、帰宅時に図３に列記された段階が起こる。
【００１５】
図３を参照するに、ユーザ宅の門から玄関に向かう入り口で、図１の段階２０のように、検出器４はユーザの存在を検知し、カメラ１はユーザの顔を捕獲する。比較／認識システム５は、顔の捕獲をすでに記憶されたすべての捕獲と比較するか、又は、ユーザの顔の特徴とデータベースに記録された顔を比較する、特徴の抽出を実行する。比較／認識システム５は、段階３４において、ユーザの同一性を決定する。ＣＰＵ３は、段階３５でメモリ２に記憶された、入力された関連情報をリコールして、スピーチ手段（つまり、“ウェルカムホーム、ジョースミス”と音声を発する）によりユーザをアドレスするかもしれない。本発明の特定の実施態様によって、決定手段１２は、段階３６でユーザと関連するメッセージを決定する。メッセージ記録装置１１が留守番電話である場合、例えば、ユーザの名前（段階１２で事前に入力されたか、記録された）を含むメッセージを選択することによってこの決定が行なわれる。例えば、メッセージ記録装置がボイスメールシステムである場合、ユーザ個人のボイスメールボックスはアクセスすることができる。メッセージ受信／記録装置１１は、段階３８でユーザに関連するすべてのメッセージをリコールして、さらに、音声発生手段１３は、自動的に段階３９でユーザに対してそれらのメッセージを発する。音声発生手段１１はまた、ユーザと関連するように段階３６において決定手段１２で決定された多くのメッセージを発する。
【００１６】
段階３６及び３８乃至３９に同時であるか、又はほぼ同時である、いずれかにおいて、ＣＰＵ３は、ユーザが段階２２で入力した照明源及び空調器を開始する。さらに、ユーザが機器の設定（つまり、光の明るさ、又は空調温度）を希望する、定量性の条件を入力する場合、ＣＰＵ３は、段階３７でそれらを量るように機器を開始する。
【００１７】
本発明の別の可能な実施態様は、段階２０で顔を捕獲した後、ユーザが段階３１で提供するユーザの暗証番号をＣＰＵ３が要求することを提供する。ユーザがユーザの暗証番号を入力し、ＣＰＵ３が段階３２でかかる暗証番号を受信し、段階３３において暗証番号“１２３４”がユーザの顔の捕獲と整合することを確証する。暗証番号又は声紋が整合しないか、又は確証されない場合、ＣＰＵ３は暗証番号の入力の要求を繰り返す。数回試してみても確証されない場合、方法は追加的な顔の捕獲を実行するか、又は、単に現行の設定を維持する。
【００１８】
ユーザが自宅に入り、第二制御設定の第二のユーザがすでに家の中にいる場合は、制御問題が生じる。この状態を改善するために、図４は段階４１乃至４６を描写する。ユーザが自宅に入った後、カメラ段階１０はユーザの顔を捕獲し、比較／認識システム５は、段階４１で認識を実行する。ＣＰＵ３は、段階３５で照明源と空調機をユーザに関連させる。ＣＰＵ３はまた、段階４２で制御階層とユーザを関連して、それによってユーザは、制御する、登録されたすべてのユーザの好みに関して選択された各機器において格付けされる。第二のユーザが照明源及び／又は空調機をすでに開始しており、そのユーザが段階４３でまだ存在する場合は、ＣＰＵ３は決定する。第二のユーザが検知されない場合、ＣＰＵ３は段階４５でユーザの好みにしたがって照明源と空調機を開始する。しかしながら、第二のユーザが検知されて存在する場合、ＣＰＵ３は、段階４４でのユーザの制御の格付けに関して、以前のユーザの制御の格付けを決定する。第二のユーザが低い格付けを有する場合、ＣＰＵ３は、段階４５でユーザの好みにしたがって照明源と空調機を開始する。第二のユーザが高い格付けを有する場合、代わって、ＣＰＵ３は段階４６で機器の現行設定を維持する。第一と第二のユーザが同一の格付けである場合、ＣＰＵ３は、段階４７でデフォルト設定又は平均の設定を開始する。
【００１９】
前述の記載及び実施例は典型的であって、請求項の範囲を限定することを意図しない。
【図面の簡単な説明】
【００２０】
【図１】本発明のネットワークに接続されたシステムのブロック図である。
【図２】環境に入る以前に発生する、本方法の記憶段階を描写する、フローチャートである。
【図３】ユーザが環境に入る際に発生する、本方法の段階を描写するフローチャートである。
【図４】一人以上のユーザが同一環境を占有する場合における、本方法の段階を描写するフローチャートである。
【図１】
2004536376.tif 000003
【図２】
2004536376.tif 000004
【図３】
2004536376.tif 000005
【図４】
2004536376.tif 000006
【国際公開パンフレット】
2004536376.tif 000007
2004536376.tif 000008
2004536376.tif 000009
2004536376.tif 000010
2004536376.tif 000011
2004536376.tif 000012
2004536376.tif 000013
2004536376.tif 000014
2004536376.tif 000015
2004536376.tif 000016
2004536376.tif 000017
2004536376.tif 000018
【国際公開パンフレット（コレクトバージョン）】
2004536376.tif 000019
【国際調査報告】
2004536376.tif 000020
2004536376.tif 000021
2004536376.tif 000022