(57)【要約】ユーザ認識方法は、ユーザの情報ユニットからユーザ情報を受け取るステップと、捕捉されたユーザ画像においてユーザの顔を検出するステップと、ユーザ情報に関連付けられており且つユーザによって行われた所定のジェスチャに従って、捕捉された画像においてユーザ識別を認識するステップとを有する。
2015511343.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの情報ユニットからユーザ情報を受け取るステップと、
前記ユーザ情報に関連付けられており且つ前記ユーザによって行われた所定のジェスチャに従って、捕捉されたユーザ画像においてユーザ識別を認識するステップと
を有するユーザ認識方法。
【請求項２】
前記認識するステップは、
前記捕捉されたユーザ画像における前記所定のジェスチャの位置を予想するステップと、
ユーザ画像を捕捉し、前記所定のジェスチャの前記位置で前記ユーザ識別を認識するステップと
を有する、請求項１に記載のユーザ認識方法。
【請求項３】
前記認識するステップの前に、前記捕捉されたユーザ画像において前記ユーザの顔を検出するステップ
を更に有する請求項１又は２に記載のユーザ認識方法。
【請求項４】
前記予想するステップは、複数のユーザの顔が前記捕捉されたユーザ画像において検出される場合に、前記複数のユーザのジェスチャの位置を予想するステップを有する、
請求項３に記載のユーザ認識方法。
【請求項５】
前記ユーザ識別に従って、個人化されたサービスを提供するステップ
を更に有する請求項１乃至４のうちいずれか一項に記載のユーザ認識方法。
【請求項６】
前記所定のジェスチャは、前記ユーザの前記情報ユニットに記憶される、
請求項１乃至５のうちいずれか一項に記載のユーザ認識方法。
【請求項７】
前記ジェスチャのポジションは、前記ユーザの顔に関連していると定義される、
請求項１乃至６のうちいずれか一項に記載のユーザ認識方法。
【請求項８】
前記情報ユニットは、ＲＦＩＤタグ又はスマートカードであり、前記ユーザ情報は、ユーザＩＤを含む、
請求項１乃至７のうちいずれか一項に記載のユーザ認識方法。
【請求項９】
前記ユーザ画像は、カメラ、デジタルカメラ又はウェブカメラによって捕捉される、
請求項１乃至８のうちいずれか一項に記載のユーザ認識方法。
【請求項１０】
請求項１乃至８のうちいずれか一項に記載のユーザ認識方法を実施するユーザ認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザによって行われる所定のジェスチャに従うユーザ認識及び登録のための方法及び装置に関する。
【背景技術】
【０００２】
スマート環境は、それらが個人化されたサービスを届けることができるように、ユーザを識別することができなければならない。例えば、スマートＴＶは、ユーザの身元に基づき番組を推薦することができ、スマートストアは、その常連客を認識し、より個人化されたサービスを提供することができ、スマートホームは、家族を識別し、彼らに重要なメッセージを思い出させることができる。
【０００３】
スマート環境を達成するために、ユーザの認証及び登録をサポートし且つ実現するシステムが非常に重要である。簡単且つ一般的な方法は、ユーザがキーボード又は他の入力装置によってユーザ名及びパスワードを入力することである。しかし、この方法は、直接的なユーザ介入を要する。他の認証装置は、指紋のような身体特徴と、装置において指を滑らせること（又は指において装置を滑らせること）によって実施される“動き”のような行動特性とを用いて認証を行う。
【０００４】
顔認識は、それが押しつけがましくなく且つユーザが比較的に受け身なままであることを可能にすることから、ユーザの認証及び登録のための代替的方法である。顔認識システムでは、顔サンプルデータベースが必要である。予め記憶された顔データベースがない場合は、顔認識は行われ得ない。実際に、公衆環境（例えば、ミュージアム）において、公の顔データベースを確立することは困難である。家庭環境において、初期化の段階では、やはり顔データベースは存在しない。
【０００５】
他の方法は、ユーザがユーザ識別を示すことができるＲＦＩＤカード又は他の無線装置を利用することを可能にすることである。スマートＴＶシナリオでは、ＲＦＩＤカードは、自動的にユーザ登録を補完するのを助けることができる。しかし、ＲＦＩＤ読み取り器の前に複数の人がいる場合は、それらの複数の人のうちの誰がＲＦＩＤカードを持っているのか及び、検出されたカードと存在する人との間の関係がどのようなものであるのかを、無線信号解析のみによって区別することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、有効にユーザの認証及び登録を実施することができる解決法を考えつくことが望ましい。
【課題を解決するための手段】
【０００７】
本発明は、ユーザ認識のための方法に関する。ユーザの顔がコンピュータビジョンによって検出された後、このユーザについての認証及び登録は、データベースに記録されている具体的なジェスチャをこのユーザが行うという条件で、実行され得る。具体的なジェスチャは、複数のユーザのうちの具体的なユーザに対応する。
【０００８】
本発明は、ユーザの情報ユニットからユーザ情報を受け取るステップと、捕捉されたユーザ画像において前記ユーザの顔を検出するステップと、前記ユーザ情報に関連付けられており且つ前記ユーザによって行われた所定のジェスチャに従って前記捕捉されたユーザ画像においてユーザ識別を認識するステップとを有するユーザ認識方法に関する。
【０００９】
本発明はまた、上記方法を実施するユーザ認識システムであって、ユーザの情報ユニット及び画像捕捉ユニットからユーザ情報を受け取る情報受信ユニットと、捕捉されたユーザ画像においてユーザの顔を検出し、前記ユーザ情報に関連付けられており且つ前記ユーザによって行われた所定のジェスチャに従って前記捕捉された画像においてユーザ識別を認識する処理ユニットとを有するユーザ認識システムに関する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に従うユーザ認識システムのアーキテクチャを示すブロック図である。
【図２】顔検出技術によって取得された画像の例を示す図である。
【図３】本発明の実施形態に従うユーザ認識システムによって認識されるジェスチャを示す図である。
【図４】本発明の実施形態に従うユーザ認識方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の上記及び他の態様、特徴及び利点は、添付の図面に関連して実施形態の下記の記載から明らかになるであろう。
【００１２】
図１は、本発明の実施形態に従うユーザ認識システム１００のアーキテクチャを示すブロック図である。図１に示されるように、ユーザ認識システム１００は、処理装置１０３と、サービス提供装置１０１と、情報受信ユニット１０５と、画像捕捉ユニット１０７と、データ記憶装置１０９とを有する。サービス提供装置１０１は、個人化されたサービスを異なるユーザへ提供するよう適応される。例えば、ＴＶセットは、ユーザの身元に基づき番組を推薦することができ、店舗におけるスマート装置は、その常連客を認識し、より個人化されたサービスを提供し、家におけるスマート装置は、家族を識別し、彼らに重要なメッセージを思い出させ、あるいは、ネットワーク装置は、オンラインのビジネス及びオンラインの情報交換を提供する。ユーザ識別は、ユーザ情報認識結果に基づき処理装置１０３によって提供される。
【００１３】
処理装置１０３は、ユーザ認識システム１００の動作を処理するよう、且つ、ユーザを識別するためのプロセスフローを実行するよう適応される。処理装置１０３は、１以上のプロセッサ及び付随するメモリを含み、プロセスフローのコンピュータプログラム又はソフトウェアはメモリに記憶され、例えば、ユーザ認識を実施するためにプロセッサによって使用され得る。プロセッサは、１以上の記憶プログラム制御プロセッサを代表し、それらは、ユーザ認識専用である必要はなく、例えば、プロセッサはまた、ユーザ認識システム１００の他の機能を制御してよい。メモリは、あらゆる記憶装置、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）等を代表し、ユーザ認識システム１００の内部及び／又は外部にあってよく、必要に応じて揮発性及び／又は不揮発性である。
【００１４】
情報受信ユニット１０５は、ユーザの身元情報を記録するユーザの情報ユニット１０２／１０４から信号及びデータを受信するよう適応される。実施形態において、情報ユニット１０２／１０４は、例えば、ユーザの衣服に取り付けられておりＲＦ信号を発するＲＦＩＤタグ、又はユーザによって持ち運ばれて読み取り装置によって読み取り可能なスマートカードであることができる。情報受信ユニット１０５は、ＲＦＩＤ受信機又はスマートカード読み取り装置であることができる。しかし、情報ユニット及び情報受信ユニットは、上記の例に限られない。
【００１５】
実施形態において、ユーザによって携行されるＲＦＩＤタグは、読み出し及び書き込み可能である。ユーザの認証及び登録の前に、ユーザの関連ＩＤ及び具体的なジェスチャ情報は、ＲＦＩＤタグのメモリに書き込まれている。タグにおける記憶フォーマットは、本実施形態に従って、次のとおりである：
ユーザＩＤビット＋ジェスチャ定義ビット＋予備のビット
好ましい実施形態において、ジェスチャ定義情報は、ＲＦＩＤカードに記録され、ＲＦ信号によってＲＦＩＤ読み取り器へ送信されて、ユーザを正確に認識するのに役立つ。ＲＦＩＤ読み取り器がジェスチャ定義情報を受け取った後、ユーザ認識システム１００は、捕捉された画像を容易に検出し処理するよう認識のためにユーザによって提供されるジェスチャを知っており、そして、受信されたジェスチャ定義情報に基づき画像を捕捉するよう画像捕捉ユニット１０７に知らせる。
【００１６】
ジェスチャの典型的な定義は、１以上の身体部分（通常は、顔又は手）の動きの種類、動きが行われる範囲（通常は、ユーザの身体部分の少なくとも１つと他との相対的な動き／運動によって定義される。）、ユーザの身体部分の特定のポジショニング又は位置付けのうちの１以上を含む。多くの例が続く：
動きがユーザの顔よりも上側でなされる。例えば、動きは、左から右へのユーザの手の動きであってよい；
動きがユーザの顔よりも下側でなされる。例えば、動きは、左から右へのユーザの手の動きであってよい；
左から右へのユーザの顔を横切る手の動き；
右から左へのユーザの顔を横切る手の動き；
動きがユーザの顔よりも上側でなされ、同時に、ユーザの顔が左に向く；
動きがユーザの顔よりも上側でなされ、同時に、ユーザの顔が右に向く；
ユーザが下方向を見るとともに、手の動きがユーザの顔より上側でなされる；
ユーザの顔が上を向くとともに、手の動きがユーザの顔より上側でなされる；
ユーザの顔が左に向くとともに、手の動きがユーザの顔より下側でなされる；
ユーザの顔が右に向くとともに、手の動きがユーザの顔より下側でなされる；
ユーザの顔が下を向くとともに、手の動きがユーザの顔より下側でなされる；
ユーザの顔が上を向くとともに、手の動きがユーザの顔より下側でなされる；
ユーザの顔が左に向くとともに、手の動きが左から右へユーザの顔を横切ってなされる；
ユーザの顔が右に向くとともに、手の動きが左から右へユーザの顔を横切ってなされる；
ユーザの顔が下を向くとともに、手の動きが左から右へユーザの顔を横切ってなされる；
ユーザの顔が上を向くとともに、手の動きが左から右へユーザの顔を横切ってなされる；
ユーザの顔が左に向くとともに、手の動きが右から左へユーザの顔を横切ってなされる；
ユーザの顔が右に向くとともに、手の動きが右から左へユーザの顔を横切ってなされる；
ユーザの顔が下を向くとともに、手の動きが右から左へユーザの顔を横切ってなされる；
ユーザの顔が上を向くとともに、手の動きが右から左へユーザの顔を横切ってなされる。
【００１７】
変形実施形態において、ユーザは、動きを行いながら自身の片手に物体を保持する。物体は、通常、動きのトレーシングを助けるために、カメラピクチャにおいて見つけることが容易な物体である。
【００１８】
好ましい実施形態において、ジェスチャは、カメラ画像において顔と手との間の対応する関係を見出すよう、且つ、それらの対応するジェスチャが容易に画像認識技術に基づき検出され得ることを確かにするよう、手自体の動きに基づくのみならず、更に顔及び手の相対位置並びに顔の動きに基づき定義される。しかし、ジェスチャ定義は、上記の例に限られず、ユーザの身体の周りでユーザによってなされるあらゆる静的ジェスチャ又は動的ジェスチャであることができる。本実施形態に従って、ＲＦＩＤタグにおける記憶フォーマットは：
ユーザＩＤビット＋予備のビット
である。
【００１９】
本実施形態に従って、ユーザ認識システム１００のメモリにおけるユーザジェスチャは、ユーザＩＤに整合するよう定義される。故に、ＲＦＩＤがＲＦＩＤタグからユーザＩＤ情報を受け取った後、ユーザ認識システム１００は、そのメモリ内の情報に従って、認識のためにユーザによって提供されるジェスチャを知っている。
【００２０】
画像捕捉ユニット１０７は、処理装置１０３と協働して、ユーザの画像を捕捉し、ユーザの顔を検出し且つユーザジェスチャを認識するよう適応される。例えば、画像捕捉ユニット１０７は、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ又は他の画像センサ装置（例えば、赤外線）であることができる。画像捕捉ユニット１０７は、図１に示されるように、静止画像又は動画像を検知するときに対象人物の顔を自動的に検出する機能を備える。図２は、画像捕捉ユニット１０７によって顔検出技術を用いて取得される画像の例を示す。図２では、全てのユーザの顔が検出されている。捕捉された画像は、ユーザ認識のために処理装置１０３へ送られる。画像捕捉及び顔検出技術は当該技術において知られており、その詳細な記載はここでは省略される。今村圭一氏の米国特許第８０１９１２９号明細書は、顔検出技術に関する更なる情報を与えている。
【００２１】
実施形態に従って、カメラによって捕捉された画像において顔が存在することを検出し、ＲＦＩＤタグからユーザＩＤ情報及びユーザジェスチャ情報を受け取った後、処理装置１０３は、捕捉された画像からユーザジェスチャを認識する。好ましい実施形態において、定義されたジェスチャが画像において現れるＲＯＩ（関心領域；Region  of  Interest）及びジェスチャの方向の認識は、図３に示されるように予想される。ここで、ＲＯＩは、定義されたジェスチャが現れる領域であり、例えば、定義されたジェスチャが左から右への、ユーザの顔より下側での手の動きである場合に、ＲＯＩは、顔及び顔より下側を含む範囲である。予想ジェスチャは、図３に示されるようにＲＯＩにおける複数の中間動作を含む。
【００２２】
加えて、図２に示されるように画像において検出される５つのユーザの顔が存在する場合に、３つのＲＦＩＤタグ信号が受信されるとすると、ＲＯＩは、処理装置１０３によって予想された３つのジェスチャを含む。３つの予想されたジェスチャのうちの少なくとも１つは、ＲＯＩにおいて画像捕捉ユニット１０７によって捕捉され、それにより、個人化されたサービスがサービス提供装置１０１によって提供され得る。
【００２３】
図３は、本発明の好ましい実施形態に従ってユーザ認識システム１００によって認識されるジェスチャを示す図である。図３では、原の顔は、画像捕捉ユニット１０７によって検出される。ユーザＩＤ情報に基づき、ユーザジェスチャ定義情報が取得され、期待されるジェスチャはこのようにして処理装置１０３に知られる。ここで、原のユーザの顔及び予想されるジェスチャは、必要に応じて表示されてもされなくてもよく、画像捕捉ユニット１０７及び処理装置１０３によって処理される。
【００２４】
図３に示されるように、原のユーザの顔画像及び予想されるジェスチャが処理装置によって取得された後、ユーザは、ユーザによって実行されている実時間画像として、図３に示されるような認識のための定義されたジェスチャを実行する。画像捕捉ユニット１０７は、ジェスチャの画像を得、ユーザ認識のために処理装置１０３へ送信することができる。図３に示されるように、実時間のユーザの顔及びジェスチャの画像は、画像捕捉ユニット１０７によって取得される。実時間のジェスチャは、予想されたジェスチャと比較され、ユーザ識別は、それらの類似性に従って認識される。
【００２５】
例えば、手追跡技術がジェスチャ認識のために使用可能であり、現在の画像フレームにおける手のポジションに対する前の画像フレームにおける手のポジションを考慮することを含む。追跡される露出肌領域から抽出され得る特徴に対する動き又は変化を追跡することによって、ジェスチャ解析は実行されてよい。実例となる実施形態において、ジェスチャ解析は、追跡される露出肌領域からの特徴を、ユーザＩＤ情報又は定義されたジェスチャに従って処理装置１０３によって予想された特徴と比較することによって、行われてよい。予想された特徴と追跡される露出肌領域から抽出された特徴との間の一致（又は閾量範囲内の十分な類似性）を決定することによって、一致した予想された特徴に関連付けられている具体的なジェスチャに対応するジェスチャが認識され得る。
【００２６】
ユーザＩＤタグに記録されている具体的なジェスチャが検出される場合に、それは、認証及び登録のプロセスの実行が成功したことを意味する。
【００２７】
ユーザの認証及び登録の成功後、システムは、ユーザが上記のジェスチャを行う場合に、例えば、ユーザは顔の左上でジェスチャ１を行うことを好む、又はユーザは３回ジェスチャ１を行うことを好む、又はユーザは顔幅の４分の３を過ぎるようジェスチャ１を行うことを好むといったような、個々のユーザの傾向を記録することができる。この傾向情報は、予備のビットを用いてＲＦＩＤタグに書き込まれ得る。更に、ユーザは、オリジナルに代えて、他のジェスチャ定義を使用することができる。ユーザは、ＲＦＩＤ読み取り器に、オリジナルを置き換えるようＲＦＩＤカードに新しいジェスチャ定義を書き込むよう求めることができる。
【００２８】
図４は、本発明の実施形態に従うユーザ認識方法を示すフローチャートである。図４に示されるように、ユーザ情報は、ステップ４０１で、ＲＦ信号によってＲＦＩＤタグの情報ユニットから受信され、次いで、画像捕捉ユニット１０７、例えば、カメラ、が電源オンされる。ステップ４０２で、カメラによって捕捉されたユーザ画像におけるユーザの顔は、顔がその画像において存在するかどうかを確かめるよう検出される。顔が存在しない場合は、システムは、もしあればユーザ情報を受信するのを待ち、顔が存在する場合は、次のステップ４０３へ進む。ステップ４０３で、捕捉された画像において一人の人又は複数の人たちが存在するかどうかを決定し、その結果に基づき、単身者処理方法又は多人数処理方法を夫々実施する。ステップ４０５で、一人の人に関して、ユーザ情報に関連付けられている所定のジェスチャの位置が、図３における予想画像によって示されるように、カメラ画像におけるユーザの顔のポジション及びユーザ情報に基づきジェスチャの潜在的な関心領域を決定するよう、予想される。次いでステップ４０７で、ユーザ画像を捕捉し、所定のジェスチャの位置に従ってユーザ識別を認識し、そして、予想されるジェスチャに類似する捕捉された実時間のユーザジェスチャである、必要とされるジェスチャが検出される場合は、ステップ４０９で、認証は成功し、必要とされるジェスチャが検出されない場合は、ステップ４１１で、認証は失敗する。
【００２９】
ステップ４０４で、複数の人たちに関して、ユーザに関連付けられている複数の所定のジェスチャの位置が、カメラ画像におけるユーザの顔の複数の潜在的な関心領域を決定するよう、予想される。次いでステップ４０６で、ユーザ画像を捕捉し、所定のジェスチャの位置に従ってユーザ識別を認識し、そして、予想されるジェスチャに類似する捕捉された実時間のユーザジェスチャである、必要とされるジェスチャの１つが検出される場合は、ステップ４０８で、認証は成功し、期待されるジェスチャのいずれの検出もない場合は、ステップ４１０で、認証は失敗する。
【００３０】
本発明の実施形態に従って、ユーザ顔認識に取って代わるユーザ顔検出を用いることは、処理の複雑性を簡単化することができ、その場合に、このユーザのジェスチャについての認証及び登録は、認識精度を高めることができる。
【００３１】
画像捕捉ユニット１０７及び処理装置１０３は、本発明を説明するために実施形態として使用されるが、当業者であれば、２つの装置が単一の画像捕捉ユニットに一体化され得ることは明らかである。
【００３２】
上記は、単に、本発明の実施形態を説明し、よって、当業者であれば、たとえここで明示的に記載されていなくとも、本発明の原理を具現し且つその精神及び適用範囲の中にある多数の代替的配置を考え出すことができることは明らかである。
【図１】
2015511343.tif 000003
【図２】
2015511343.tif 000004
【図３】
2015511343.tif 000005
【図４】
2015511343.tif 000006
【手続補正書】
【提出日】平成27年1月6日(2015.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの情報ユニットからユーザ情報を受け取るステップと、
前記ユーザ情報に関連付けられており且つ前記ユーザによって行われたジェスチャに従って、捕捉されたユーザ画像においてユーザ識別を認識するステップと
を有するユーザ認識方法。
【請求項２】
前記認識するステップは、
前記捕捉されたユーザ画像における前記ジェスチャの位置を予想するステップと、
ユーザ画像を捕捉し、前記ジェスチャの前記位置で前記ユーザ識別を認識するステップと
を有する、請求項１に記載のユーザ認識方法。
【請求項３】
前記認識するステップの前に、前記捕捉されたユーザ画像において前記ユーザの顔を検出するステップ
を更に有する請求項２に記載のユーザ認識方法。
【請求項４】
前記予想するステップは、複数のユーザの顔が前記捕捉されたユーザ画像において検出される場合に、前記複数のユーザのジェスチャの位置を予想するステップを有する、
請求項３に記載のユーザ認識方法。
【請求項５】
前記ユーザ識別に従って、個人化されたサービスを提供するステップ
を更に有する請求項１乃至４のうちいずれか一項に記載のユーザ認識方法。
【請求項６】
前記ジェスチャは、前記ユーザの前記情報ユニットに記憶される、
請求項１乃至５のうちいずれか一項に記載のユーザ認識方法。
【請求項７】
前記ジェスチャの位置は、前記ユーザの顔に関連していると定義される、
請求項３に記載のユーザ認識方法。
【請求項８】
前記情報ユニットは、ＲＦＩＤタグ又はスマートカードであり、前記ユーザ情報は、ユーザＩＤを含む、
請求項１乃至７のうちいずれか一項に記載のユーザ認識方法。
【請求項９】
前記ユーザ画像は、カメラ、デジタルカメラ又はウェブカメラによって捕捉される、
請求項１乃至８のうちいずれか一項に記載のユーザ認識方法。
【請求項１０】
ユーザのユーザ識別の情報を記録するユーザ情報ユニットと、
前記ユーザのユーザ画像を捕捉する画像捕捉ユニットと、
前記ユーザのユーザ情報を前記情報ユニットから受け取る情報受信ユニットと、
前記ユーザ情報に関連付けられており且つ前記ユーザによって行われたジェスチャに従って、前記捕捉されたユーザ画像において前記ユーザ識別を認識するプロセッサと
を有するユーザ認識システム。
【請求項１１】
前記認識されたユーザ識別に従ってユーザへサービスを提供するサービス提供装置
を更に有する請求項１０に記載のユーザ認識システム。
【国際調査報告】
2015511343.tif 000007
2015511343.tif 000008
2015511343.tif 000009