(57)【要約】電子システムにおいて人物を提示するシステム及び方法。対象人物の画像を含む画像を取得する。画像またはデジタル提示を、画像中の対象人物と関連する顔面特徴を認識するよう処理する。対象人物の顔面特徴は、次に、画像から抽出される。抽出された対象人物の顔面特徴は、対象人物が電子システムに接続されるときに提示する同一又は別個且つ異なる電子システムに関連する表示インタフェースを介して表示される。取得された画像を取り込む画像取り込み装置は、対象人物が笑顔である時又は対象人物が取り込み装置を見つめている時に画像を取るよう適合される。抽出された対象人物の顔面部分を有するアイコンを、電子システムに関連する表示インタフェースを介して対象ユーザを提示するために生成してもよい。
2007513410.tif 000002
【特許請求の範囲】
【請求項１】
電子システムにおいてユーザを提示するシステムであって：
対象人物の画像を含む画像を取得する画像取得手段；
前記取得された画像を処理する処理手段であり、前記画像中の前記対象人物に関連する顔面特徴を認識し且つ前記対象人物の顔面部分を前記画像から抽出する、ところの処理手段；及び
前記抽出された対象人物の顔面部分を電子システム表示装置に表示する表示手段であり、前記電子システムへの前記対象人物の接続を提示する、ところの表示手段；
を有するシステム。
【請求項２】
前記画像取得手段は静止画像又はフルモーション画像シーケンスを生成するよう適合されたカメラ等の画像取り込み装置を有する、
請求項１記載のシステム。
【請求項３】
前記処理手段は前記画像を具現化し且つ顔面認識技法を適用して対象人物の顔面部分の画像を抽出するデジタルストリームを受信する画像認識装置を有する、
請求項１記載のシステム。
【請求項４】
前記取り込み装置から画像を取るタイミングは対象人物が笑顔である時又は対象人物が画像取り込み装置を見つめている時に決定することができる、
請求項２記載のシステム。
【請求項５】
前記表示手段は前記抽出された対象人物の顔面部分を前記対象人物を前記電子システムに関連した表示インタフェースを介して提示するアイコンとして利用する、
請求項３記載のシステム。
【請求項６】
前記抽出された対象人物の顔面部分を有する前記アイコンは直ちに又は続けて前記電子システムにインポートされる、
請求項５記載のシステム。
【請求項７】
前記画像に関連したコンテキストデータに加えて、前記抽出された対象人物の顔面部分の画像を格納するメモリ記憶装置を更に有する、
請求項２記載のシステム。
【請求項８】
前記コンテキストデータはタイミング、場所を有するメタデータ、及び実装された画像取り込み装置を有する、
請求項６記載のシステム。
【請求項９】
電子システムにおいてユーザを提示する方法であって：
ａ）対象人物の画像を含む画像を取得するステップ；
ｂ）前記取得された画像を処理するステップであり、前記画像中の前記対象人物に関連する顔面特徴を認識し且つ前記対象人物の顔面部分を前記画像から抽出することを有する、ところのステップ；及び
ｃ）前記抽出された対象人物の顔面部分を電子システム表示装置に表示するステップであり、前記電子システムへの前記対象人物の接続を提示する、ところのステップ；
を有する方法。
【請求項１０】
前記の画像を取得するステップａ）は静止画像又はフルモーション画像シーケンスを生成するよう適合されたカメラ等の画像取り込み装置を実装することを有する、
請求項９記載の方法。
【請求項１１】
前記処理するステップｂ）は前記画像を具現化し且つ顔面認識技法を適用して前記対象人物の顔面部分に相当する画像を抽出するデジタルストリームを受信する画像認識装置を実装するステップを有する、
請求項９記載の方法。
【請求項１２】
前記の画像を取得するステップａ）は対象人物が笑顔である時又は当該対象人物が画像取り込み装置を見つめている時に前記取り込み装置から画像を取るタイミングをプログラムするステップを有する、
請求項１０記載の方法。
【請求項１３】
前記表示するステップは前記抽出された対象人物の顔面部分を前記対象人物を前記電子システムに関連した表示インタフェースを介して提示するアイコンとして利用することを有する、
請求項１１記載の方法。
【請求項１４】
前記抽出された対象人物の顔面部分を有する前記アイコンを直ちに又は続けて前記電子システムにインポートするステップを更に有する、
請求項１３記載の方法。
【請求項１５】
前記画像に関連したコンテキストデータに加えて、前記抽出された対象人物の顔面部分の画像をメモリ記憶装置に格納するステップを更に有する、
請求項１０記載の方法。
【請求項１６】
前記コンテキストデータはタイミング、場所を有するメタデータ、及び実装された画像取り込み装置を有する、
請求項１４記載の方法。
【請求項１７】
電子システムにおいてユーザを提示するコンピュータプログラムであって：
ａ）対象人物の画像を含む画像を取得するステップ；
ｂ）前記取得された画像を処理するステップであり、前記画像中の前記対象人物に関連する顔面特徴を認識し且つ前記対象人物の顔面部分を前記画像から抽出することを有する、ところのステップ；及び
ｃ）前記抽出された対象人物の顔面部分を電子システム表示装置に表示するステップであり、前記電子システムへの前記対象人物の接続を提示する、ところのステップ；
を有する、ところのコンピュータプログラム。
【請求項１８】
前記の画像を取得するステップａ）は静止画像又はフルモーション画像シーケンスを生成するよう適合されたカメラ等の画像取り込み装置を実装することを有する、
請求項１７記載のコンピュータプログラム。
【請求項１９】
前記処理するステップｂ）は前記画像を具現化し且つ顔面認識技法を適用して前記対象人物の顔面部分に相当する画像を抽出するデジタルストリームを受信する画像認識装置を実装するステップを有する、
請求項１７記載のコンピュータプログラム。
【請求項２０】
前記の画像を取得するステップａ）は対象人物が笑顔である時又は当該対象人物が画像取り込み装置を見つめている時に前記画像取り込み装置から画像を取るタイミングをプログラムするステップを有する、
請求項１８記載のコンピュータプログラム。
【請求項２１】
前記表示するステップは前記抽出された対象人物の顔面部分を前記対象人物を前記電子システムに関連した表示インタフェースを介して提示するアイコンとして利用することを有する、
請求項１９記載のコンピュータプログラム。
【請求項２２】
前記抽出された対象人物の顔面部分を有する前記アイコンを直ちに又は続けて前記電子システムにインポートするステップを更に有する、
請求項２１記載のコンピュータプログラム。
【請求項２３】
前記画像に関連したコンテキストデータに加えて、前記抽出された対象人物の顔面部分の画像をメモリ記憶装置に格納するステップを更に有する、
請求項１８記載のコンピュータプログラム。
【請求項２４】
前記コンテキストデータはタイミング、場所を有するメタデータ、及び実装された画像取り込み装置を有する、
請求項２２記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に画像を認識するコンピュータビジョン技術に係り、より詳細には、電子システムで提示するために写真から人物の顔等の画像を抽出するコンピュータビジョン技術に係る。
【背景技術】
【０００２】
現在及び将来の電子システムにおいて、人々は互いにオンラインで、いわゆる「仮想空間」で会うことが可能である／になる。この仮想空間で人々を識別するため、彼等をパーソナルアイコンで提示する必要がある。たとえば、仮想空間を如何なるＰ２Ｐシステム（たとえば、グローバルネットワーキング）により実現してもよい。
【０００３】
別の例では、オフィスビルの入口でディスプレイが全ての部屋の見取図を現在各部屋にいる人物の写真、すなわち、アイコン提示とともに示すことができる。この種の「人物アイコン」をいかに簡単に取り込み且つ常に最新の状態にすることができるかという問題が生じる。
【０００４】
画像中の顔を確認するために、顔認識システムを利用することができる。代表的な顔認識システムは、米国特許第６，１０８，４３７号明細書（特許文献１）に記載され、その対象は、画像中に顔が存在するか確認するための画像及びその画像中での顔の位置を確認するための画像を処理する、特徴抽出システムである。顔認識システムの応用の１つが米国特許第５，７８１，６５０号明細書（特許文献２）に記載され、その対象は、人物の年齢をその人物の画像から分類するために、抽出画像から顔面特徴を確認するシステムである。米国特許第５，９８７，１５４号明細書（特許文献３）、発明の名称「画像シーケンスにおいて人を検出する方法及び手段（Method  and  Means  for  Detecting  People  in  Image  Sequences）」は、ビデオ画像のシーケンス中で人物を検出することにより画像通信を促進するシステムを対象とする。国際公開第２００３／１０７２８号パンフレット（特許文献４）は、プライバシー保護を対象にした、顔認識システムの別の応用である。その目的は、画像に存在する人物の個人認識特徴をまず検出した後、これらの特徴を自動的に除去又は差し替えることにより、人物／対象の個性を隠すことである。
【０００５】
顔認識システムのほとんどは、人々及び対象の個性を認識するためのコンピュータビジョンを使用し、これらのシステムは画像（の一部）自体を出力しない。特許文献４はこのことに対する唯一の例外であるが、特許文献４の目的は、人物の個性を隠すことである。
【０００６】
従来技術のコンピュータビジョンシステムはしたがって、これらシステムのいずれもシステムが人物の画像を取り込み、処理することで人物を別のシステム、たとえば、人及び機械のインタフェーシングを必要とする携帯コンテンツコンテナ（ＰＣＣ（Portable  Content  Container））又は同様のシステム、で提示することに使用されない、という点が不足している。したがって、組織又はシステムに人物の個性の提示として顔の画像を示すことを目的とする、コンピュータビジョンシステムを提供することが高く望まれる。
【特許文献１】米国特許第６，１０８，４３７号明細書
【特許文献２】米国特許第５，７８１，６５０号明細書
【特許文献３】米国特許第５，９８７，１５４号明細書
【特許文献４】国際公開第２００３／１０７２８号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、顔の画像を人物の個性の提示として組織又はシステムで示すコンピュータビジョンシステム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本目的によれば、コンピュータビジョンシステム及び方法は、所望の画像のタイミング／選択を扱う。たとえば、対象となる人物がカメラを見つめている画像、又はその人物が笑顔である画像、等の画像を選択することができる。
【０００９】
したがって、コンピュータビジョンシステム及び方法は、顔認識システムを含む手段で提供される。顔認識システムは、別の電子システムに、たとえば、画像を使用し又は示すシステムに、提示する必要のある人物の写真を取り込み且つ顔をその写真から抽出するか又は「切り取る」。本システム及び本方法は更に、人物がカメラをまっすぐ見つめている時、又は人物の表情が所望の状態、たとえば、笑顔である時でさえもスナップ写真を撮ることができ、抽出画像を別の電子システムでの提示に適するように変える。したがって、本発明のシステムは、所望の画像が抽出されるタイミング／選択を扱う。
【００１０】
本発明の方法を実行するコンピュータプログラム製品及び該コンピュータプログラム製品を格納するプログラム格納装置も提供する。コンピュータプログラム製品は、コンピュータ読取可能媒体内で具現化されるか又はマルチメディアストリームに含まれることができる。
【００１１】
これら及び他の特徴、態様、及び本発明の装置及び方法の利点は、以下の説明、添付の特許請求の範囲、及び添付の図面に関してより良く理解できるであろう。
【発明を実施するための最良の形態】
【００１２】
人物を提示する最も自然な方法は、その人物の顔写真を掲示することである。しかしながら、人にとって、写真がポートレート写真に適切な特性を有するように、カメラの前に自らを位置させることは難しい。図１を参照すると、画像中の人物を検出する装置１０の一実施例の概略が示される。
【００１３】
本発明によると、第１のステップは、（顔面特徴を用いて）顔の存在を調べるための画像の処理である。たとえば、図１に示すように、静止画像又はフルモーションビデオ画像を生成するよう適合されたカメラ装置１５が、たとえば、人物又は人々の画像である、第１の現実世界の画像１２又は画像の連続（画像シーケンス）を各々生成する。たとえば、この画像をデジタル化し且つ画像認識プロセッサ又は同様の装置２０に入力するためのデジタルストリーム１８に変換することができる。画像認識プロセッサ又は同様の装置２０は、顔認識を適用して対象人物の顔のスナップ写真２２を、スナップ写真２２を抽出するまえに第１の（大きい）画像から取り込むことができる。顔認識及びコンピュータビジョン一般の当業者には周知のように、画像のデジタルストリーム又は画像シーケンスを、特定の部分列特徴、すなわち人の顔の特徴に応じたさまざまな部分列をデータストリームにおいて検出するために、解析してもよい。次に、コンピュータビジョン技法を利用してより大きい可能性のある写真から顔を「切り取る」。カメラ装置１５及び画像プロセッサ２０は別個の装置であってもよく、又は単一の独立型ユニットとして具現化されてもよいことを理解されたい。
【００１４】
一実施例では、取得のタイミング及び静止画像／ビデオ画像の受け取りがプログラムされてもよく、人物が笑顔である時又はカメラ装置を見つめている時等、コンピュータビジョンにより決定できる。すなわち、画像シーケンスは、画像中の顔が笑顔の時又はカメラにまっすぐ向いている時、対象人物の顔２２ａのスナップ写真を抽出することができる。次に、抽出画像２２ａは、不揮発性（若しくは揮発性）メモリ記憶媒体を有するメモリ記憶システム又はデータベース２５に格納される。抽出画像は、タイミング、場所、カメラ及び既知の場合はその人物の「人物ＩＤ」等のコンテキストデータ／メタデータとともに格納してもよい。最後に、本発明によると、格納された画像２２ａ及び関連したコンテキストデータ／メタデータは、続けて（又は直ちに）同じシステム又は第２の異なるシステム３０にインポートされるか、又は同じシステム又は第２の異なるシステム３０から検索されてもよい。同じシステム又は第２の異なるシステム３０は、人物の視覚的識別を必要とする如何なるアプリケーションをも実行する。一例では、たとえば、図２に示すように、格納された画像２２ａは、電子システム３０のスクリーンディスプレイ４５にアイコン２２ｂとして表示されてもよい。電子システム３０は、たとえば電話機５０である。別のやり方では、抽出画像は後の処理工程で紙に印刷されてもよい。
【００１５】
本発明によれば、上述した原理をさまざまなカメラ／コンピュータビジョンシステムに応用することができる：
１）特定の建物に出入りする人々の「ポートレート写真」のログリストを作成するよう適合された高性能監視カメラ。
２）携帯コンテンツコンテナ（ＰＣＣ（Portable  Content  Container））等の携帯インフォテインメント（infotainment）（情報又は娯楽に用いるコンテンツ）プレイヤが、特別な共有状況でユーザアイコンの使用を支持してもよい。
３）ＰＣ又はＴＶカメラにより、抽出画像を使用して特定の人物の提示に用いるユーザアイコンを作成することができる。特定の人物の掲示とは、たとえば仮想コミュニティ空間における提示である（抽出された写真は最新のものであるという好都合な特徴を有する）。
４）ＰＣ、テレビ又は浴室用の鏡表示システムを適合して人物の顔の毎日のスナップ写真を作成する内蔵カメラを含んでもよい。このことにより、人が自身の顔の画像シーケンスを再生して、自身の顔が時を経ていかに変化したかを見ることを可能にする。
５）カメラ付き携帯電話を使用して素早くスナップ写真を作成し、その写真を当該人物の電話番号（発呼者ＩＤ、住所録等）の提示として使用してもよい。たとえば、当該人物がユーザの電話機に電話をかけた場合、作成されたスナップ写真が表示される。
６）建物の入口又は受付にあるカメラで入ってくる人々のスナップ写真を作成してもよい。それによって、オフィスビルの入口／受付でカメラ及びコンピュータビジョンを用いて、スナップ写真を使用して訪問者の身分証を即座に作成することができる。たとえば、「顔走査システム」を採用して、入ってくる人々の顔を続けて走査し初めての訪問者であるか確認し、又はスナップ写真を明確な要求により作成してもよい。このことは特に、ユーザ身分証を要求する組織に当てはまる。すなわち、本システムは、写真付きの身分証を即座に印刷することができる場合、及び特に将来の表示技術が安価で且つ訪問者の身分証を訪問者又は従業員の最近の写真とともに電子的に更新できるようになる時、有用である。このことは、従業員用身分証を（理論的には）毎日更新することができることを意味する。
【００１６】
追加の機能は、人物のポートレート写真を頻繁に取り込むようプログラムされたシステムの採用を含んでもよい。それにより、顔認識システムを常に最新に保ち、認識パターンを徐々に適合して人物を長期にわたって認識することが可能になるようにしてもよい。たとえば、本発明は、対象ユーザの電子写真枠のメンテナンスの可能性を促進し且つ変更してもよい。対象ユーザの電子写真枠のメンテナンスは、対象ユーザの最近の写真とともに頻繁に（たとえば、毎日）更新され得る。
【００１７】
本発明は有用にも他のシステムに採用されてもよいことを当業者は認識するであろう。顔面画像を第１の画像から取得し、別個のより小さい画像として別のシステムで提示するための有用な形に続けて出力してもよい。
【００１８】
本発明の例示的な実施例と考えられるものを図示し、説明してきたが、勿論、形状又は詳細におけるさまざまな変更及び変形を本発明の精神から逸脱することなく容易に行うことができることが理解されよう。したがって、本発明は、説明及び図示した形状と全く同じ形状に制限される必要はなく、添付の特許請求の範囲内で起こり得る全ての変更を包含するよう構成するべきであることを意図する。
【図面の簡単な説明】
【００１９】
【図１】ビデオカメラ出力（デジタルストリーム）から画像を検知し抽出する装置の一実施例の概略図を示す。
【図２】人物の抽出されたポートレートを、ＷｉＦｉネットワークを介して接続可能なパーソナルコンテンツコンテナ装置においてその人物を識別するためのアイコンとして使用する１つの応用を示す。
【図１】
2007513410.tif 000003
【図２】
2007513410.tif 000004
【国際調査報告】
2007513410.tif 000005
2007513410.tif 000006
2007513410.tif 000007