(57)【要約】  顔認識トレーニングデータベース生成手法実施形態が提示され、概して、ある時間にわたって、及び人がある環境の中を進むときに、捕捉された人の顔の特徴を収集して、この人のための顔特徴のトレーニングデータベースを作成することを伴う。顔特徴がある時間にわたり捕捉されるので、この顔特徴は、様々な角度及び距離、種々の解像度、並びに種々の環境条件（例えば、照明及びヘイズ条件）下から見られたとおりの人の顔を表すことになる。さらに、人の顔特徴が周期的に収集される長期間の時間にわたり、これらの特徴は、人の見掛けにおける展開を表すことができる。これは、顔認識システムにおける使用のための豊富なトレーニングリソースを生み出す。さらに、人の顔の認識トレーニングデータベースが、顔認識システムによって必要とされる前に確立されることができるため、一旦採用されると、トレーニングがより迅速になることになる。
2015520470.tif 000002
【特許請求の範囲】
【請求項１】
環境に位置するとして検出された各人のための顔認識トレーニングデータベースを生成する、コンピュータにより実施されるプロセスであって、
コンピュータを用いて下記のプロセス動作を実行することを含み、該プロセス動作は、
（ａ）同時捕捉されたフレームペアのシーケンスを入力するステップであり、各フレームペアはカラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
（ｂ）顔検出方法と前記のカラービデオカメラフレームとを使用して環境において潜在的な人を検出するステップと、
（ｃ）動き検出方法と前記の深度ビデオカメラフレームとを使用して前記環境において潜在的な人を検出するステップと、
（ｄ）前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して前記環境において１又は複数の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
（ｅ）単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記カラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写するカラービデオカメラフレームの部分の顔特徴を生成するステップと、
（ｆ）前記環境において検出された各人について、
人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるステップと、
前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含む、プロセス。
【請求項２】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されたと判定されるたび、同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために確立された顔認識トレーニングデータベースに割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
をさらに含む、請求項１のプロセス。
【請求項３】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なると判定されるたび、
前記顔特徴を前記人のために確立された不明人識別子に割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
をさらに含む、請求項１のプロセス。
【請求項４】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアのシーケンスが前記人の同一性を確定されることなしに何回入力され、処理されたかを決定し、その回数が所定最大数より大きいかを判定するステップと、
同時捕捉されたフレームペアのシーケンスが前記人の同一性を確定されることなしに入力され、処理された回数が前記所定最大数より大きいと判定されるたび、前記メモリから、前記人のために確立された不明人識別子に割り当てられた各顔特徴を削除するステップと、
をさらに含む、請求項１のプロセス。
【請求項５】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応しないと判定されるたび、
前記人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるステップと、
前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
をさらに含む、請求項１のプロセス。
【請求項６】
人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるプロセス動作を実行する前に、
所定最大距離より大きい前記カラービデオカメラからの距離において検出された各人について、
人の位置を、ズーム能力を有するカラーカメラを制御する制御部に提供するステップであり、前記制御部は、前記人の位置に基づいて、前記人の顔に対して、前記カラービデオカメラから前記人までの距離に比例する度合までズーンインし、前記人の顔のズームされた画像を捕捉する能力がある、ステップと、
前記人の顔の前記ズームされた画像を入力するステップと、
前記人の顔を描写する前記ズームされた画像の部分の顔特徴を生成するステップと、
を含むプロセス動作を実行することをさらに含む、請求項１のプロセス。
【請求項７】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記の追加のカラー及び深度ビデオカメラは、前記環境において、他のカラー及び深度ビデオカメラと同じシーンを異なる視点から捕捉し、各追加フレームペアは、前記他のカラー及び深度ビデオカメラから出力されるフレームペアと実質的に同時に捕捉される、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１又は複数の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
人の識別された位置に基づいて、前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されているかどうかを判定するステップと、
前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されていると判定されるたび、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記他のカラー及び深度ビデオカメラを用いた前記人の検出に基づいて前記人のために確立された不明人識別子に割り当て、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されてはいないと判定されるたび、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当て、前記人の同一性を確定することを試み、前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項８】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記追加のカラー及び深度ビデオカメラは、前記環境において他のカラー及び深度ビデオカメラと異なるシーンを捕捉する、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１又は複数の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
検出された人が前記環境において異なるシーンにおいて事前に検出されたかを判定するステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されていた場合、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアの前記追加のシーケンスから生成される各顔特徴について、該顔特徴が、前記人のために事前に確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記追加シーケンスから生成された各顔特徴について、該顔特徴が、前記人のために事前に確立された不明人識別子に割り当てられた顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために事前に確立された不明人識別子に割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されなかった場合、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記人のために新たに確立された不明人識別子に割り当てるステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項９】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記追加のカラー及び深度ビデオカメラは、前記環境において他のカラー及び深度ビデオカメラと異なるシーンを捕捉する、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１又は複数の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
検出された人が前記環境において異なるシーンにおいて事前に検出されたかを判定するステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されていた場合、
前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアの前記追加シーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記追加シーケンスから生成される各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために確立された顔認識トレーニングデータベースに割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項１０】
動き検出方法と前記深度ビデオカメラフレームとを使用して前記環境において潜在的な人を検出するプロセス動作は、
最初の深度ビデオカメラフレーム内のすべての画素を背景画素として指定するステップと、
同時捕捉されたフレームペアの前記シーケンスに含まれる、フレームが捕捉された順序において後から捕捉された深度フレームの各々の各画素について、
画素の深度値が、前記環境内で同じ位置を表す現在検討下にあるフレームの直前に捕捉された深度フレーム内の画素の値から所定量より大きく変化したかを識別するステップと、
前記画素の深度値が前記所定量より大きく変化したたび、前記画素を前景画素であるように指定するステップと、
一旦、同時捕捉されたフレームペアの前記シーケンスに含まれる最後のフレームが処理されて、その画素深度値が前記所定量より大きく変化したかを識別すると、
（ｉ）前記最後のフレーム内の前景画素の中からシードポイントを確立し、前記シードポイントに関連付けられた画素を別個のブロブの一部であるように割り当てるステップと、
（ｉｉ）前記ブロブに割り当てられた画素に隣接する、前記ブロブにまだ割り当てられていない各画素について、その深度値が、前記ブロブに割り当てられた画素の現在の平均と所定許容差内で同じであるかを再帰的に判定し、そうである場合、ブロブに割り当てられておらず、かつ該ブロブに割り当てられた画素の現在の平均と前記所定許容差内で同じである深度値を有する隣接する画素が見つからなくなるまで、前記隣接する画素を前記ブロブの一部であるように割り当てるステップと、
（ｉｉｉ）前記の再帰的な判定する動作（ｉｉ）の実行の間、異なるブロブに割り当てられる隣接する画素が見つけられるたび、その２つのブロブを１つに結合し、前記の再帰的な判定する動作（ｉｉ）を続けるステップと、
（ｉｖ）ブロブが形成され得なくなるまで、割り当てられていない前景画素について、プロセス動作（ｉ）乃至（ｉｉｉ）を繰り返すステップと、
一旦ブロブが形成され得なくなると、各ブロブについて、
ブロブが、人間を表すブロブを示す所定基準セットに一致するかを判定するステップと、
前記所定基準セットに一致しない各ブロブを消去するステップと、
各々の残りのブロブを指定して前記環境内に位置する異なる潜在的な人を表すステップと、
を含む動作を含む、請求項１のプロセス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータにより実施されるプロセスを用いて、環境において検出された各人のための顔認識トレーニングデータベースを生成することに関する。
【背景技術】
【０００２】
画像内に描写された人々をその顔の見掛けから認識するという問題は、長年にわたって研究され続けている。顔認識システム及びプロセスは、基本的に、人の顔についての数種のモデルと入力画像から抽出された人の顔の画像又は特徴とを比較することによって動作する。これらの顔モデルは、通常、人の顔（又はその特徴）の画像を用いて顔認識システムをトレーニングすることによって得られる。したがって、顔画像又は特徴をトレーニングするデータベースが、顔認識システムをトレーニングするために通常必要とされる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
こうして、顔認識システムをトレーニングするために、顔画像又は特徴をトレーニングするデータベースが通常必要とされる。
【課題を解決するための手段】
【０００４】
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、概して、ある時間にわたって、及び人がある環境の中を進むときに、捕捉された人の顔の特徴を収集して、その人の顔特徴のトレーニングデータベースを作成することを伴う。１つの実施形態において、コンピュータにより実施されるプロセスが採用されて、環境において検出された各人のための顔認識トレーニングデータベースを生成する。上記プロセスは、同時捕捉されたフレームペアのシーケンスを入力することで始まる。各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む。次に、顔検出方法とカラービデオカメラフレームとを使用して、上記環境において潜在的な人を検出する。さらに、動き検出方法と深度ビデオカメラフレームとを使用して、上記環境において潜在的な人を検出する。
【０００５】
前述の顔及び動き検出方法を介して生成される検出結果は、環境において１又は複数の人の位置を決定するために使用される。上記顔検出方法を介して生成される検出結果は、検出される各人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴も含む。単に動き検出方法を介して検出される各人について、上記プロセスは、その人の対応する位置をカラービデオカメラの同時捕捉されたフレームにおいて識別することと、カラービデオカメラフレームの部分の顔特徴を生成することとも含む。
【０００６】
環境において検出される各人について、人のために生成される各顔特徴は、具体的にこの人のために確立された不明人識別子に割り当てられ、上記プロセスを実施するために使用されているコンピュータに関連付けられたメモリに記憶される。それから、各人の同一性を確定するように試みが行われる。試みがこの人に関して成功する場合、この人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる。
【０００７】
前述の要約は、以下で詳細な説明においてさらに説明される概念のうち選択されたものを簡易な形式で案内するために提供されていることに留意されたい。この要約は、クレームされる主題の重要な特性又は必須の特性を特定するものではなく、クレームされる主題の範囲を定めることの補助として用いられるためのものでもない。
【図面の簡単な説明】
【０００８】
開示の特定の特性、態様及び利点が、下記説明と添付される特許請求の範囲と関連する図面とを参照して、さらに理解されるであろう。
【図１Ａ】環境において検出された各人のための顔認識トレーニングデータベースを生成する、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図１Ｂ】環境において検出された各人のための顔認識トレーニングデータベースを生成する、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図２Ａ】環境において検出された各人のための顔認識トレーニングデータベースを、同時捕捉されたフレームペアの新しいシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図２Ｂ】環境において検出された各人のための顔認識トレーニングデータベースを、同時捕捉されたフレームペアの新しいシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図２Ｃ】環境において検出された各人のための顔認識トレーニングデータベースを、同時捕捉されたフレームペアの新しいシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図２Ｄ】環境において検出された各人のための顔認識トレーニングデータベースを、同時捕捉されたフレームペアの新しいシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図２Ｅ】環境において検出された各人のための顔認識トレーニングデータベースを、同時捕捉されたフレームペアの新しいシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図３】人が、この人を識別するための所定回数の試みを超えて識別されないままであるとき、不明人識別子に割り当てられている顔特徴を破棄する、コンピュータにより実施されるプロセスの１つの実施形態を概説するフロー図である。
【図４】環境において所定最大距離より大きいカラービデオカメラからの距離に位置する人のズームイン画像を捕捉する、コンピュータにより実施されるプロセスの１つの実施形態を概説するフロー図である。
【図５Ａ】環境において検出された各人のための顔認識トレーニングデータベースを、このシーンを異なる視点から捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図５Ｂ】環境において検出された各人のための顔認識トレーニングデータベースを、このシーンを異なる視点から捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図５Ｃ】環境において検出された各人のための顔認識トレーニングデータベースを、このシーンを異なる視点から捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ａ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ｂ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ｃ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ｄ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ｅ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図６Ｆ】環境において検出された各人のための顔認識トレーニングデータベースを、環境内で異なるシーンを捕捉したカラー及び深度ビデオカメラの追加ペアにより出力される同時捕捉されたフレームペアのシーケンスに基づいて生成し、又は補う、コンピュータにより実施されるプロセスの１つの実施形態を大まかに概説するフロー図である。
【図７Ａ】本明細書に説明される顔認識トレーニングデータベース生成手法実施形態における使用のための、コンピュータにより実施される動き検出プロセスの１つの実施形態を大まかに概説するフロー図である。
【図７Ｂ】本明細書に説明される顔認識トレーニングデータベース生成手法実施形態における使用のための、コンピュータにより実施される動き検出プロセスの１つの実施形態を大まかに概説するフロー図である。
【図７Ｃ】本明細書に説明される顔認識トレーニングデータベース生成手法実施形態における使用のための、コンピュータにより実施される動き検出プロセスの１つの実施形態を大まかに概説するフロー図である。
【図７Ｄ】本明細書に説明される顔認識トレーニングデータベース生成手法実施形態における使用のための、コンピュータにより実施される動き検出プロセスの１つの実施形態を大まかに概説するフロー図である。
【図８】本明細書に説明される顔認識トレーニングデータベース生成手法を実施することができる適切な可動性ロボット装置の簡易コンポーネント図である。
【図９】本明細書に説明される顔認識トレーニングデータベース生成手法を実施するための例示的システムを構成する汎用目的コンピューティング装置を描写する図である。
【発明を実施するための形態】
【０００９】
下記の顔認識トレーニングデータベース生成手法実施形態の説明において、添付図面に対して参照がなされ、この添付図面は、下記の説明の一部を成し、本願手法を実施することができる特定実施形態を例示として図示する。本願手法の範囲から逸脱することなしに他の実施形態を利用することができ、構造的変更を行うことができることを理解されたい。
【００１０】
さらに、明りょうさを目的として本発明の説明において特定専門用語に依ることになり、かつ本発明はそうして選ばれた特定用語に限定されることは意図されないことに留意されたい。さらに、各特定用語は、同様の目的を達成するために概して類似する方法で動作するすべてのその技術的均等物を含むことを理解されたい。本明細書において「１つの実施形態」又は「実施形態」という表現は、実施形態と関連して説明される特定の特性、構造又は特徴が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「１つの実施形態において」という表現の出現は、必ずしもすべて同じ実施形態を参照するものではなく、他の実施形態に対して相互排他的な別個又は代替の実施形態ではない。さらに、１又は複数の実施形態を表すプロセスフローの順序は、本質的にいかなる特定順序も示すものではなく、本発明のいかなる限定も示すものではない。
【００１１】
１．０  顔認識システムにおける使用のためのトレーニングデータベース生成
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、概して、ある時間にわたって、及び人がある環境の中を進むときに、捕捉された人の顔の特徴を収集して、この人のための顔特徴（facial  characterizations）のトレーニングデータベースを作成することを伴う。顔特徴がある時間にわたり捕捉されるので、この顔特徴は、様々な角度及び距離、種々の解像度、並びに種々の環境条件（例えば、照明及びヘイズ条件）下から見られたとおりの人の顔を表すことになる。さらになお、人の顔特徴が周期的に収集される長期間の時間にわたり、これらの特徴は、人の見掛けにおける展開を表すことができる。例えば、人は、体重を増し、又は減らすことがあり、顔ひげを生やし、又は取り去ることがあり、髪形を変えることがあり、種々の帽子をかぶることがあるなどする。したがって、結果として生じるトレーニングデータベースは、トレーニングが実に始まる前に確立され、事前設定される（populated）ことができ、ある時間にわたり追加されて人の顔のポーズ及び見掛けにおける前述された変化を捕捉することができる。これは、顔認識システムにおける使用のための豊富なトレーニングリソースを生み出す。さらに、人の顔の認識トレーニングデータベースが、顔認識システムによって必要とされる前に確立されることができるため、一旦採用されると、トレーニングがより迅速になることになる。さらになお、本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、環境において見つけられた複数人のためのトレーニングデータベースを生成することができる。さらに、既存のデータベースは、顔における漸進的変化を用いて更新されることができる。これは、人の顔の特性がある時間期間にわたって大幅に変化したときでさえ、人の認識を可能にするほど十分に徐々に人の顔の変化を捕捉することを可能にする。例えば、人があごひげを生やしている場合、その顔の特性はゆっくり変化することになる。しかしながら、毎日なので、この変化は十分に小さくて、部分的なあごひげを備えた新しい顔がデータベースに追加されることができる。こうして、人のあごひげが完全に生やされたとき、手動トレーニングがこの顔を用いて行われなかったとしても、この人はなお認識されることができる。同じ原理が、年齢、体重などに起因するいかなる緩やかな変化にも当てはまる。
【００１２】
本開示を通じて使用される用語「環境」は、人の任意の外部環境として広く解釈されるべきであることに留意されたい。これは、室内設定、室外設定又は双方の組み合わせを含む。
【００１３】
１．１  顔認識トレーニングデータベースを生成するプロセス
図１Ａ〜図１Ｂを参照し、ある環境に位置していると描写された各人のための顔認識トレーニングデータベースを生成するための、コンピュータにより実施されるプロセスの１つの実施形態が提示される。本プロセスは、同時捕捉された（contemporaneously-captured）フレームペアのシーケンスを入力することで始まる（プロセス動作１００）。各フレームペアは、カラービデオカメラから出力されるフレームと深度ビデオカメラから出力されるフレームとを含む。これらカメラは、各カメラがシーンの画像を同時刻に捕捉するという点で、同期される。したがって、色フレームと深度フレームとの同時ペアが、シーンが捕捉されるたびに生み出される。次いで、顔検出方法とカラービデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作１０２）。カラービデオフレームを採用する任意の適切な顔検出方法が、前述のタスクを遂行するために採用されてよいことに留意されたい。さらに、動き検出方法と深度ビデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作１０４）。深度ビデオフレームを採用する任意の適切な動き検出方法が、前述のタスクを遂行するために採用されてよいことに留意されたい。１つの実装において（図１Ａに例示されるとおり）、プロセス動作１０２と１０４とはほぼ同時に遂行される。
【００１４】
前述の顔及び動き検出方法を介して生成される検出結果を使用して、環境において１又は複数の人の位置を決定する（プロセス動作１０６）。顔検出方法を介して生成される検出結果は、検出された各々の潜在的な人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴も含む。顔特徴のタイプは、採用される特定の顔検出方法に固有であり、生成されるトレーニングデータベースを使用することになる前述された顔認識システムと互換性がある。次いで、単に動き検出方法を介して検出された各人が識別され（プロセス動作１０８）、各々の識別された人の対応する位置がカラービデオカメラの同時捕捉されたフレームにおいて見つけられる（プロセス動作１１０）。さらに、カラービデオカメラフレームの部分の顔特徴が、識別された人の各々について生成される（プロセス動作１１２）。
【００１５】
本プロセスは、環境において検出された人のうちこれまでに選択されていない人を選択することに続く（プロセス動作１１４）。この選択された人のために生成された各顔特徴が、具体的にこの人のために確立された不明人識別子（unknown  person  identifier）に割り当てられ（プロセス動作１１６）、本プロセスを実施するために使用されているコンピュータに関連付けられたメモリに記憶される（プロセス動作１１８）。前述されたコンピュータは、例えば、本開示の例示的オペレーティング環境セクションに説明されるコンピュータのうちの１つであってよい。
【００１６】
上記手順のこの時点まで、顔特徴は不明人識別子に割り当てられていることが指摘される。このように、検出された人の同一性（identity）がまだわからないとしても、顔特徴が作成され、保存されている。したがって、検出された人の同一性が最終的に確立された場合、保存された顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされることができる。この目的のため、本プロセスは、人の同一性を確定する試みに続く（プロセス動作１２０）。この識別動作は、コンピュータと対話して識別する情報を提供するように不明人を招待することを含め、任意の適切な従来方法を用いて遂行される。次いで、試みが成功であったかが判定される（プロセス動作１２２）。成功であった場合、選択された人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる（プロセス動作１２４）。プロセス動作１２０の試みが成功であったか否かにかかわらず、次いで、すべての検出された人が選択されたかが判定される（プロセス動作１２６）。選択されていない場合、すべての検出された人が選択され、検討されるまで、プロセス動作１１４乃至１２６が繰り返される。この時点で、本プロセスは終了する。
【００１７】
１．２  後から捕捉されたフレームペアシーケンス
上記のような識別子が人に対して事前に発行されていたにもかかわらず、後から捕捉された（subsequently-captured）フレームペアのシーケンスにおいて検出された同一人物が新しい不明人識別子に関連付けられるような状況を防止するために、前述のプロセスにおいて検出された各人の位置が追跡される。任意の適切な従来追跡方法が、この目的のために採用されてよい。したがって、未来のフレームペアシーケンスの解析において、検出された人が事前に検出されていたこと、及び不明人インジケータ又は顔認識トレーニングデータベースのいずれかに関連付けられていたことが分かることになる。こうして、人のために作成された顔特徴は適切な集合に割り当てられることができ、新しい不明人識別子が確立される必要はなくなる。
【００１８】
前述を仮定すると、後から捕捉されたフレームペアシーケンスにおいて検出された人がどのように扱われることになるかに関して、複数の可能性が存在する。例えば、検出された人が事前に検出されており、追跡されている場合、新しいシーケンスから作成される任意の顔特徴は、この人が事前に識別されていなかった場合はこの人の既存の不明人識別子に割り当てられることになり、あるいはこの人が事前に識別されていた場合はこの人の顔認識トレーニングデータベースに割り当てられることになる。一方、検出された人がシーンに対して新しい場合、不明人識別子が作成され、生み出された顔特徴に割り当てられることになる。追加的に、顔特徴が不明人インジケータ（既存のもの又は新しいものにかかわらず）に割り当てられるたび、この人を識別する試みが行われることになる。
【００１９】
より詳細に、図２Ａ〜図２Ｅを参照すると、１つの実施形態において、同時捕捉されたフレームペアの新しいシーケンスが利用可能になるとき、該シーケンスが入力される（プロセス動作２００）。それから、図１のプロセス動作１０２乃至１１２が、新しいフレームペアシーケンスを用いて行われる。
【００２０】
それから、本プロセスは、新しいフレームペアシーケンスを用いて、環境において検出された人のうち１人を選択することに続く（プロセス動作２０２）。それから、選択された人が、新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかが判定される（プロセス動作２０４）。これまでに示されたとおり、１つの実施形態において、これは、事前に検出された人の位置をある時間にわたり追跡することによって行われる。人が、こうした事前に検出された人に対応すると判定される場合、次いで、この人の同一性が事前に確定されたかが判定される（プロセス動作２０６）。この人の同一性が事前に確定されていた場合、この人のための同時捕捉されたフレームペアの新しいシーケンスから生成された顔特徴のうち事前に選択されていない１つが選択される（プロセス動作２０８）。顔特徴は、これまでに説明されたように生成されることに留意されたい。選択された顔特徴が、この人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴と所定程度まで異なるかが判定される（プロセス動作２１０）。選択された顔特徴が所定程度まで異なる場合、この選択された顔特徴は、選択された人のために確立された顔認識トレーニングデータベースに割り当てられ（プロセス動作２１２）、コンピュータに関連付けられたメモリに記憶される（プロセス動作２１４）。そうでなければ、この選択された顔特徴は破棄される（プロセス動作２１６）。いずれにしても、それから、選択された人のために新しいフレームペアシーケンスから作成されたすべての顔特徴が選択されたかが判定される（プロセス動作２１８）。選択されていない場合、すべての顔特徴が選択され、検討されるまで、プロセス動作２０８乃至２１８が繰り返される。
【００２１】
しかしながら、選択された人の同一性が事前に確定されていなかったとプロセス動作２０６において判定される場合、この人のために同時捕捉されたフレームペアの新しいシーケンスから生成された顔特徴のうち事前に選択されていない１つが選択される（プロセス動作２２０）。それから、選択された顔特徴が、この人のために確立された不明人識別子に割り当てられた各顔特徴と所定程度まで異なるかが判定される（プロセス動作２２２）。選択された顔特徴が所定程度まで異なる場合、この選択された顔特徴は選択された人のために確立された不明人識別子に割り当てられ（プロセス動作２２４）、コンピュータに関連付けられたメモリに記憶される（プロセス動作２２６）。そうでなければ、この選択された顔特徴は破棄される（プロセス動作２２８）。いずれにしても、それから、選択された人のために新しいフレームペアシーケンスから作成されたすべての顔特徴が選択されたかが判定される（プロセス動作２３０）。選択されていない場合、すべての顔特徴が選択され、検討されるまで、プロセス動作２２０乃至２３０が繰り返される。それから、本プロセスは、人の同一性を確定する試みに続く（プロセス動作２３２）。以前のとおり、この識別動作は、コンピュータと対話して識別する情報を提供するように不明人を招待することを含め、任意の適切な従来方法を用いて遂行される。次いで、試みが成功であったかが判定される（プロセス動作２３４）。成功であった場合、選択された人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる（プロセス動作２３６）。
【００２２】
選択された人が環境に対して新しく、あるいは過去に検出されなかった可能性もある。この目的のため、選択された人が、上記の新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応しないとプロセス動作２０４において判定される場合、選択された人のために生成された各顔特徴は、具体的にこの人のために確立される不明人識別子に割り当てられ（プロセス動作２３８）、本プロセスを実施するために使用されているコンピュータに関連付けられたメモリに記憶される（プロセス動作２４０）。次いで、この人の同一性を確定するように試みが行われる（プロセス動作２４２）。それから、試みが成功であったかが判定される（プロセス動作２４４）。成功であった場合、選択された人のために確立された不明人識別子に割り当てられた各顔特徴が、この人のために確立される顔認識トレーニングデータベースに再割り当てされる（プロセス動作２４６）。
【００２３】
一旦現在選択されている人が上記で概説されたとおり検討されると、新しいフレームペアシーケンスを用いて環境において検出されたすべての人が選択されたかが判定される（プロセス動作２４８）。選択されていない場合、すべての検出された人が選択され、検討されるまで、プロセス動作２０２乃至２４８が繰り返される。この時点で、プロセスの現在の反復が終了する。しかしながら、本プロセスは、同時捕捉されたフレームペアの新しいシーケンスが次に利用可能になるとき、繰り返されることができる。
【００２４】
顔認識方法は、通常、人をその顔の画像から識別することにおいて、これまでに説明された顔特徴などの顔特徴を使用する。人の同一性を確定することを試みるための前述のプロセス動作に関して、この人のために生成され、この人の不明人識別子に割り当てられた顔特徴を、上記試みにおいて採用できることに留意されたい。
【００２５】
１．２．１  同一性を確認できない人
前述のプロセスにおいて、検出された人がまったく識別されないことになる可能性もある。メモリ空間を節約するために、図３に概説されるような１つの実施形態において、プロセス動作１２２、２３４又は２４４のいずれか１つにおいて選択された人の同一性が確定されなかったと判定される場合、同時捕捉されたフレームペアのシーケンスが、この人の同一性が確定されることなしに入力され、処理された回数が、勘定される（プロセス動作３００）。それから、勘定された数が所定最大数、例えば１００より大きいかが判定される（プロセス動作３０２）。大きくない場合、上記で概説されたプロセスが停止されずに続き、このメモリ節約手順は終了する。しかしながら、勘定された数が所定最大数より大きい場合、選択された人のために確立された不明人識別子に割り当てられた各顔特徴は、コンピュータのメモリから削除される（プロセス動作３０４）。
【００２６】
１．２．２  ズームスキーム
本明細書に説明される顔認識トレーニングデータベース生成手法と関連して採用できる多くの顔認識方法は、環境において検出されるがカメラから著しい距離にいる人をしばしば認識できないであろうことに留意されたい。必ずしもそうではないが、前述の状況は、人が単に動き検出方法を介して検出されるとき、発生することがある。この状況には、ズーミングスキームを用いて対処することができる。このズーミングスキームは、人のために生成された各顔特徴を、この人のために確立された不明人識別子に割り当てる前に、遂行される。より詳細には、図４を参照すると、１つの実施形態において、環境に存在していると（前述された方法のうちいずれかによって）検出された、事前に選択されていない人が、選択される（プロセス動作４００）。それから、選択された人が、環境において、所定最大距離、例えば３メートルより大きいカラービデオカメラからの距離にいるかが判定される（プロセス動作４０２）。大きい場合、選択された人の位置が、ズーム能力を有するカラーカメラを制御する制御部に提供される（プロセス動作４０４）。制御部はカラーカメラに、カラービデオカメラからこの人までの距離に比例する度合で、選択された人の顔に対してズームインさせ、それから人の顔のズームされた画像を捕捉させる。カラーカメラは、環境の画像を捕捉するように位置付けられた前述のカラービデオカメラ又は別個のカメラであってよいことに留意されたい。ズームの度合は、カメラから選択された人までの距離を所与として、結果的に生じる画像が顔認識の助けとなる解像度で人の顔を描写することになるように、計算される。それから、ズームされた画像は入力され（プロセス動作４０６）、この人の顔を描写するズームされた画像の部分の顔特徴が生成される（プロセス動作４０８）。それから、この顔特徴が、選択された人のために生成されたすべての他のものと共に、この人のために確立された不明人識別子に割り当てられる。
【００２７】
１．３  追加のカラー及び深度ビデオカメラ
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態が動作する環境は、かなり大きくなり得る。そのようなものとして、１つの実施形態において、２ペア以上のカラー及び深度ビデオカメラが、環境をカバーするために採用される。２ペア以上のカメラが環境において利用可能であると仮定して、これらカメラは、同じシーンを種々の視点から捕捉するように構成されることができる。このシナリオは、種々のペアのカメラによって検出される同じ人々について、又は、あるペアのカメラが「見る」ことができない人を別のカメラが「見る」ことができるときに異なる人々について、より多くの顔特徴が同じ時間期間内に生成されることを可能にする。これに関し、各ペアのカメラがシーンの中の人々の位置を知ることは有利であり、その結果、ある人が別のカメラペアを用いて検出された同一人物であるか、あるいは異なる人であるかを容易に判定することができる。１つの実施形態において、これは、フレームペアを実質的に同時に捕捉するようにカメラペアを構成することによって遂行される。こうして、カメラの１ペアにより計算される人の位置は、この人が同一人物である場合、別のペアにより計算される位置に一致することになり、この人が異なる人である場合、一致しないことになる。
【００２８】
１．３．１  同じシーンを異なる視点から捕捉する
より詳細に、図５Ａ〜図５Ｃを参照すると、異なる視点からシーンを捕捉するカラー及び深度ビデオカメラの各追加ペアについて、同時捕捉されたフレームペアの追加シーケンスが入力される（プロセス動作５００）。次いで、顔検出方法とカメラの追加ペアのうちカラービデオカメラにより出力されたカラービデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作５０２）。さらに、動き検出方法とカメラの追加ペアのうち深度ビデオカメラにより出力された深度ビデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作５０４）。前述の顔及び動き検出方法を介して生成された検出結果を使用して、環境において１又は複数の人の位置を決定する（プロセス動作５０６）。顔検出方法を介して生成された検出結果は、検出された各々の潜在的な人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴も含む。
【００２９】
次いで、単に動き検出方法を介して検出された各人が識別され（プロセス動作５０８）、各々の識別された人の対応する位置が、カメラの追加ペアのうちカラービデオカメラの同時捕捉されたフレームにおいて見つけられる（プロセス動作５１０）。さらに、カラービデオカメラフレームの上記部分の顔特徴が、識別された人の各々について生成される（プロセス動作５１２）。
【００３０】
本プロセスは、追加のカラー及び深度ビデオカメラペアから出力されたフレームペアに基づいて環境において検出された人のうち事前に選択されていない１人を選択することに続く（プロセス動作５１４）。それから、この人の識別された位置に基づいて、この人が別のカラー及び深度ビデオカメラペアを用いて同様に検出されているかどうかが判定される（プロセス動作５１６）。検出されている場合、追加のカラー及び深度ビデオカメラペアから出力されたフレームペアに基づいてこの選択された人のために生成された各顔特徴は、他のカラー及び深度ビデオカメラペアを用いたこの人の検出に基づいてこの人のために確立された不明人識別子に割り当てられる（プロセス動作５１８）。そうでなければ、追加のカラー及び深度ビデオカメラペアから出力されたフレームペアに基づいてこの選択された人のために生成された各顔特徴は、この人のために確立される不明人識別子に割り当てられる（プロセス動作５２０）。いずれにせよ、追加のカラー及び深度ビデオカメラペアから出力されたフレームペアに基づいてこの選択された人のために生成された顔特徴の各々は、コンピュータに関連付けられたメモリに記憶される（プロセス動作５２２）。さらに、この人の同一性を確定するように試みも行われる（プロセス動作５２４）。それから、この試みが成功であったかが判定される（プロセス動作５２６）。成功であった場合、この選択された人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる（プロセス動作５２８）。プロセス動作５２６の試みが成功であったか否かにかかわらず、次いで、すべての検出された人が選択されたかが判定される（プロセス動作５３０）。選択されていない場合、すべての検出された人が選択され、検討されるまで、プロセス動作５１４乃至５３０が繰り返される。この時点で本プロセスは終了するが、同時捕捉されたフレームペアの新しいシーケンスがカラー及び深度ビデオカメラの追加ペアから入力されるたび、繰り返されることができる。
【００３１】
１．３．２  異なるシーンを捕捉する
２ペア以上のカメラが環境において利用可能であると仮定して、このカメラペアは、種々のシーンを捕捉するように構成することができる場合もある。この構成は、カメラのペアが環境全体をカバーできない状況において有用である。これを仮定すると、あるカメラペアがカバーするあるシーンにおいて検出された人を追跡することができ、この人が、別のカメラペアがカバーする環境の部分へ動く場合、この人があるシーンから別のシーンへと去ったときのこの人の位置についての知識を使用して、新しいシーンにおいて検出される人が前のシーンにおいて検出された同一人物であることを確定することができる。さらに、新しいシーンにおいて検出された人が前のシーンにおいて検出された同一人物であると確定することが実現可能な場合、顔認識方法、又はこの人を識別する何らかの他の方法が採用されてよい。これは、環境の新しい部分においてこの人のために生成された顔特徴を、正しい不明人識別子（又は、この人が事前に識別されている場合は正しい顔認識トレーニングデータベース）に割り当てることを容易にする。
【００３２】
より詳細に、図６Ａ〜図６Ｆを参照すると、環境内で異なるシーンを捕捉するカラー及び深度ビデオカメラの追加ペアを所与として、同時捕捉されたフレームペアの追加シーケンスが入力される（プロセス動作６００）。次いで、顔検出方法とカメラの追加ペアのうちカラービデオカメラにより出力されたカラービデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作６０２）。さらに、動き検出方法とカメラの追加ペアのうち深度ビデオカメラにより出力された深度ビデオカメラフレームとを使用して、環境において潜在的な人を検出する（プロセス動作６０４）。前述の顔及び動き検出方法を介して生成された検出結果を使用して、環境において１又は複数の人の位置を決定する（プロセス動作６０６）。顔検出方法を介して生成された検出結果は、検出された各々の潜在的な人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴も含む。
【００３３】
次いで、単に動き検出方法を介して検出された各人が識別され（プロセス動作６０８）、各々の識別された人の対応する位置が、カメラの追加ペアのうちカラービデオカメラの同時捕捉されたフレームにおいて見つけられる（プロセス動作６１０）。さらに、カラービデオカメラフレームの上記部分の顔特徴が、識別された人の各々について生成される（プロセス動作６１２）。
【００３４】
本プロセスは、追加のカラー及び深度ビデオカメラペアから出力されたフレームペアに基づいて環境において検出された人のうち事前に選択されていない１人を選択することに続く（プロセス動作６１４）。それから、この選択された人が別のカラー及び深度ビデオカメラペアを用いて環境において別のシーンで事前に検出されていたかどうかが判定される（プロセス動作６１６）。これまでに示されたとおり、これは、この人があるシーンから別のシーンへ去るときに人の位置の追跡すること、顔認識方法、又はこの人を識別する何らかの他の方法に基づくことができる。選択された人が別のシーンにおいて事前に検出されていた場合、この選択された人の同一性が事前に確定されたかがさらに判定される（プロセス動作６１８）。選択された人が事前に識別されていなかった場合、同時捕捉されたフレームペアの追加シーケンスから生成された顔特徴のうち事前に選択されていない１つが選択され（プロセス動作６２０）、選択された顔特徴が、この選択された人のために事前に確立された不明人識別子に割り当てられた各顔特徴と所定程度まで異なるかが判定される（プロセス動作６２２）。そうである場合、上記選択された顔特徴は、この人のために事前に確立された不明人識別子に割り当てられ（プロセス動作６２４）、コンピュータに関連付けられたメモリに記憶される（プロセス動作６２６）。そうでなければ、上記選択された顔特徴は破棄される（プロセス動作６２８）。それから、同時捕捉されたフレームペアの追加シーケンスから生成されたすべての顔特徴が選択されたかが判定される（プロセス動作６３０）。選択されていない場合、すべての顔特徴が選択され、検討されるまで、プロセス動作６２０乃至６３０が繰り返される。次いで、この選択された人の同一性を確定するように試みが行われる（プロセス動作６３２）。それから、この試みが成功であったかが判定される（プロセス動作６３４）。成功であった場合、この選択された人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる（プロセス動作６３６）。
【００３５】
しかしながら、プロセス動作６１８において、選択された人が事前に識別されたと判定される場合、同時捕捉されたフレームペアの追加シーケンスから生成される顔特徴のうち事前に選択されていない１つが選択され（プロセス動作６３８）、選択された顔特徴が、選択された人のために事前に確立された顔認識トレーニングデータベースに割り当てられた各顔特徴と所定程度まで異なるかが判定される（プロセス動作６４０）。そうである場合、選択された顔特徴は、この人のために確立された顔認識トレーニングデータベースに割り当てられ（プロセス動作６４２）、コンピュータに関連付けられたメモリに記憶される（プロセス動作６４４）。そうでなければ、選択された顔特徴は破棄される（プロセス動作６４６）。それから、同時捕捉されたフレームペアの追加シーケンスから生成されるすべての顔特徴が選択されたかが判定される（プロセス動作６４８）。選択されていない場合、すべての顔特徴が選択され、検討されるまで、プロセス動作６３８乃至６４８が繰り返される。
【００３６】
しかしながら、プロセス動作６１６において、選択された人が環境において別のシーンで事前に検出されなかったと判定された場合、本プロセスは、追加のカラービデオカメラと追加の深度ビデオカメラとから出力されたフレームペアに基づいてこの選択された人のために生成された各顔特徴を、この人のために新たに確立される不明人識別子に割り当てることに続く（プロセス動作６５０）。これらの顔特徴の各々もまた、コンピュータに関連付けられたメモリに記憶される（プロセス動作６５２）。次いで、この選択された人の同一性を確定する試みが行われる（プロセス動作６５４）。それから、この試みが成功であったかが判定される（プロセス動作６５６）。選択された人の同一性が確定された場合、この人のために確立された不明人識別子に割り当てられた各顔特徴は、この人のために確立された顔認識トレーニングデータベースに再割り当てされる（プロセス動作６５８）。
【００３７】
一旦選択された人が上記で説明されたとおり検討されると、すべての検出された人が選択されたかが判定される（プロセス動作６６０）。選択されていない場合、すべての検出された人が選択され、検討されるまで、プロセス動作６１４乃至６６０が繰り返される。この時点で本プロセスは終了するが、同時捕捉されたフレームペアの新しいシーケンスがカラー及び深度ビデオカメラの追加ペアから入力されるたび、繰り返されることができる。
【００３８】
１．４  動き検出
任意の動き検出方法が、本明細書に説明される顔認識トレーニングデータベース生成手法実施形態における使用のために採用されてよいが、１つの実施形態において、下記方法が採用される。概して、この方法は、深度ビデオカメラフレームから抽出される深度データにおける短期的変化を生かして、環境において潜在的な人を検出する。
【００３９】
より詳細に、図７Ａ〜図７Ｄを参照すると、１つの実施形態において、動き検出プロセスは、まず、最初の深度ビデオカメラフレーム内のすべての画素を背景画素として指定することを伴う（プロセス動作７００）。それから、後から捕捉された新しい深度フレームが利用可能になったかが判定される（プロセス動作７０２）。なっていない場合、新しいフレームが利用可能になるまで、プロセス動作７０２が繰り返される。新しい深度フレームが入力されると、この深度フレームのうち事前に選択されていない画素が選択され（プロセス動作７０４）、選択された画素の深度値が、環境内で同一位置を表す現在検討下にあるフレームの直前に捕捉された深度フレーム内の画素の値から所定量を超えて変わったかが判定される（プロセス動作７０６）。深度値が所定量を超えて変わった場合、選択された画素は、前景画素であるように指定される（プロセス動作７０８）。次いで、残りの深度フレームのうちいくらかの事前に選択されていない画素があるかが判定される（プロセス動作７１０）。残りの画素がある場合、プロセス動作７０４乃至７１０が繰り返される。ない場合、それから、現在検討下にある深度フレームがシーケンスにおける最後のフレームであるかが判定される（プロセス動作７１２）。そうでない場合、プロセス動作７０２乃至７１２が繰り返される。
【００４０】
しかしながら、現在検討下にある深度フレームが最後のフレームである場合、シードポイント（seed  point）が最後のフレーム内の前景画素の中から確立され、このポイントに関連付けられる画素はブロブ（blob）の部分であるように割り当てられる（プロセス動作７１４）。次いで、ブロブ（最初、単にシードポイント画素であろう）に割り当てられた画素に隣接し、かつ上記ブロブにまだ割り当てられていない、事前に選択されていない画素が選択される（プロセス動作７１６）。まず、選択された画素が異なるブロブに割り当てられるかが判定される（プロセス動作７１８）。そうである場合、この２つのブロブは１つのブロブに結合される（プロセス動作７２０）。次いで、結合されたブロブに割り当てられた画素に隣接し、かつ結合されたブロブにまだ割り当てられていない、いくらかの事前に選択されていない画素があるかが判定される（プロセス動作７２２）。ある場合、これらの画素のうち事前に選択されていない１つが選択され（プロセス動作７２４）、プロセス動作７１８乃至７２４が繰り返される。しかしながら、選択された画素が異なるブロブに割り当てられなかったとプロセス動作７１８において判定されるたび、選択された画素の深度値が、ブロブに割り当てられた画素の現在の平均と所定許容差内で同じであるかが判定される（プロセス動作７２６）。そうである場合、選択された画素はブロブに割り当てられる（プロセス動作７２８）。そうでない場合、何の動作もとられない。しかしながら、いずれにせよ、次いで、ブロブ（結合されており、又は結合されていない）に割り当てられた画素に隣接し、かつこのブロブにまだ割り当てられていない、いくらかの事前に選択されていない画素があるかが判定される（プロセス動作７３０）。こうした画素がある場合、プロセス動作７１６乃至７３０が繰り返される。そうでなければ、何の動作もとられない。こうして、シードポイント画素の周りの画素は、各々検討され、ブロブが結合されること、又は画素が必要な深度値を有する場合にブロブに割り当てられることをもたらし、そして、（結合され、あるいはその他の方法で）拡大されるブロブの周りの画素が検討されるなどしてブロブを大きくする。これは、ブロブに割り当てられておらず、かつこのブロブに割り当てられた画素の現在の平均と上記所定許容差内で同じである深度値を有する隣接画素が見つからなくなるまで続く。
【００４１】
次いで、ブロブに割り当てられていない前景画素があるかが判定される（プロセス動作７３２）。こうした画素が残っている場合、シードポイントが最後のフレーム内の割り当てられていない前景画素の中から確立され、このポイントに関連付けられる画素は、新しいブロブの部分であるように割り当てられる（プロセス動作７３４）。それから、割り当てられていない前景画素が残らずなくなるまで、プロセス動作７１６乃至７３４が繰り返される。
【００４２】
一旦割り当てられていない前景画素が残らずなくなる（ゆえに、新しいブロブを形成することができなくなる）と、ブロブのうち事前に選択されていない１つが選択される（プロセス動作７３６）。それから、このブロブが、人間を表すブロブを示す所定基準セットに一致するかが判定される（プロセス動作７３８）。一致しない場合、このブロブは消去される（プロセス動作７４０）。しかしながら、選択されたブロブが所定基準に一致する場合、このブロブは、環境内に位置する潜在的な人を表すとして指定される（プロセス動作７４２）。
【００４３】
人間を表すブロブを示すために使用される基準は、任意の従来の基準セットであってよいことに留意されたい。さらに、この基準は、ブロブが、実空間次元における通常の人体パラメータに適合するかどうかを含むことができる。例えば、ブロブは、人間の胸部及び頭部に対応する矩形領域を示す。
【００４４】
２．０  カラー及び深度ビデオカメラ
次に、本明細書に説明される顔認識トレーニングデータベース生成手法実施形態により採用される前述されたカラービデオカメラ及び深度ビデオカメラを、より詳細に説明していく。概して、カラービデオカメラは、該カメラにより捕捉されたシーンのデジタルカラー画像の連続的シーケンスを出力する。これらの画像は、これまでの説明にあったとおり、フレーム又は画像フレームと呼ばれることがある。適切なカラービデオカメラの一例は、従来のＲＧＢビデオカメラである。深度ビデオカメラは、該カメラにより捕捉されたシーンのデジタル深度画像の連続的シーケンスを出力する。これらの画像は、これまでの説明にあったとおり、フレーム又は深度フレームと本明細書において呼ばれることがある。深度フレーム内の画素値は、深度カメラと環境内の被写体との間の距離を示す。例えば、１つの適切な深度ビデオカメラは、従来の赤外線ベースの深度カメラである。このタイプのカメラは、既知の赤外線パターンを環境に投影し、赤外線画像装置により捕捉されたときのパターンの変形に基づいて深度を決定する。
【００４５】
これまでに説明されたとおり、本明細書に説明される顔認識トレーニングデータベース生成手法の実施形態は、色フレームと深度フレームとの同時捕捉されたペア間の画素相関を使用することができる。換言すると、ペアのフレームのうち一方におけるどの画素が他方のフレームにおける所与の画素とシーン内で同じ位置を描写するかを知ることは、時に有用である。従来方法を採用して、同時フレームのペアが捕捉されるたびにこの画素相関を確定することができるが、１つの実施形態において、画素相関を定義する事前計算された変換が採用される。より詳細には、カラービデオカメラと深度ビデオカメラとが、これらが同じ方法で一緒に動かされるように同期される場合、これらの間の相対的変換は変わらないことになる。そのようなものとして、この変換を事前計算し、使用して、捕捉された同時フレームの各ペアのための画素相関を決定することができる。
【００４６】
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、固定された位置のカラー及び深度ビデオカメラを採用することもできる。固定された位置によって、これらカメラは、環境内で特定位置に配置され、その位置から独自に動かないことが意図される。これは、当然ながら、これらカメラを環境内で移動することを除外するものではない。しかしながら、これらカメラは、動作の間、同じ位置にとどまることが想定される。さらに、固定された位置のカメラは位置を動かないが、これは、これらカメラがその位置にいる間、パンし、チルトし、回転し、あるいはズームすることができないことを意味するものではない。
【００４７】
別法として、本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、動くカラー及び深度ビデオカメラを採用することができる。例えば、これらカメラは、可動性ロボット装置に取り付けられることができる。適切な可動性ロボット装置は、概して、下記属性を示す任意の従来の可動性ロボット装置であってよい。まず、図８を参照すると、ロボット装置８００は、該装置が進むことが意図される環境を動き回ることができる。したがって、可動性ロボット装置８００は、環境の至る所に当該装置を動かすための運動セクション８０２を含む。可動性ロボット装置８００は、適用できる環境の至る所で人々を追跡し観察するために採用されるセンサも有する。具体的に、これらのセンサには、前述されたカラービデオカメラ８０４と深度ビデオカメラ８０６とを含む。カラー及び深度ビデオカメラ８０４、８０６は位置変更可能であり、したがって、環境の種々の部分を捕捉することができる。この目的のため、カラー及び深度ビデオカメラ８０４、８０６は、可動性ロボット装置８００のうち、前述された運動セクション８０２の上部に通常配置される頭部セクション８０８に収容されてよい。カメラ８０４、８０６の視点は、カメラ自体を向け直すことによって若しくは頭部セクション８０８を動かすことによって、又は双方で、変更することができる。後半のシナリオの一例は、カメラが上下に回転して（pivot）チルトする動きを提供しながら、頭部セクションが垂直軸に関して回転して３６０度のパンする動きを提供する構成である。これらカメラはズーム機能も有する。
【００４８】
可動性ロボット装置８００は制御ユニット８１０も含み、制御ユニット８１０は、従来の方法で環境の至る所にロボット装置を動かすように運動セクション８０２を制御し、環境内で種々のシーンを捕捉するように頭部セクション８０８若しくはカメラ８０４、８０６又は双方の動きを制御する。さらに、制御ユニット８１０は、コンピューティング装置８１２（本開示の例示的オペレーティング環境セクションに説明されるコンピューティング装置など）を含む。このコンピューティング装置８１２は制御モジュールを含み、この制御モジュールは、運動セクション及び頭部セクションに対して動き制御信号を伝えることについて、及び顔認識トレーニングデータベースを生成するためにこれまでに説明された方法でカラー及び深度ビデオカメラにより捕捉されたフレームを用いることについて責任を負う。運動セクション及び頭部セクションの動きの制御は、従来方法を用いて行われる。これに対し、後半の機能は、顔認識トレーニング生成サブモジュールによって扱われる。
【００４９】
動作において、図７Ａ〜図７Ｄと関連してこれまでに説明された動き検出プロセスは、可動性ロボット装置が固定されており、かつカメラが動かない（例えば、パン、チルト、回転又はズームをしない）ときに行われるであろうことに留意されたい。これは、カメラの相対的動きに起因した誤検出を防止する。
【００５０】
３．０  例示的オペレーティング環境
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、多数のタイプの汎用目的又は専用目的のコンピューティングシステム環境又は構成内で動作可能である。図９は、汎用目的コンピュータシステムの簡素化された例を示し、このコンピュータシステム上で、顔認識トレーニングデータベース生成手法の様々な実施形態と要素とを、本明細書に説明されたとおり、実施することができる。図９において破線又は点線により表される任意のボックスは簡素化されたコンピューティング装置の代替の実施形態を表すこと、及び、これらの代替の実施形態のうち任意のもの又はすべてを下記で説明されるとおり本明細書にわたって説明された他の代替の実施形態と組み合わせて使用できることに留意されたい。
【００５１】
例えば、図９は、簡素化されたコンピューティング装置１０を示す汎用システム図を示す。こうしたコンピューティング装置は、通常、少なくともいくらかの最小計算能力を有する装置において見られることがあり、該装置は、これらに限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドコンピューティング装置、ラップトップ又はモバイルコンピュータ、携帯電話及びＰＤＡなどの通信装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、オーディオ又はビデオメディアプレーヤなどを含む。
【００５２】
本明細書に説明される顔認識トレーニングデータベース生成手法実施形態を装置が実施することを可能にするために、該装置は、基本的な計算オペレーションを可能にするほど十分な計算能力とシステムメモリとを有するべきである。具体的には、図９に例示されるとおり、計算能力は、１又は複数のプロセシングユニット１２により概して示され、１又は複数のＧＰＵ１４も含むことができ、いずれか又は双方がシステムメモリ１６と通信することができる。汎用コンピューティング装置のプロセシングユニット１２は、ＤＳＰ、ＶＬＩＷ又は他のマイクロコントローラなどの特化されたマイクロプロセッサであってよく、あるいはマルチコアＣＰＵの中に特化されたＧＰＵベースのコアを含む、１又は複数のプロセシングコアを有する従来のＣＰＵであってよいことに留意されたい。
【００５３】
さらに、図９の簡素化されたコンピューティング装置は、例えば通信インタフェース１８などの他のコンポーネントを含んでもよい。図９の簡素化されたコンピューティング装置は、１又は複数の従来のコンピュータ入力装置２０（例えば、ポインティング装置、キーボード、オーディオ入力装置、ビデオ入力装置、触覚入力装置、有線又は無線のデータ送信信号を受信する装置など）を含むこともできる。図９の簡素化されたコンピューティング装置は、例えば、１又は複数の従来の表示装置２４と他のコンピュータ出力装置２２（例えば、オーディオ出力装置、ビデオ出力装置、有線又は無線のデータ送信信号を送信する装置など）となどの他の任意的コンポーネントを含むこともできる。汎用目的コンピュータのための典型的な通信インタフェース１８、入力装置２０、出力装置２２及び記憶装置２６は、当業者に周知であり、本明細書において詳細に説明されないことに留意されたい。
【００５４】
図９の簡素化されたコンピューティング装置は、様々なコンピュータ読取可能媒体も含むことができる。コンピュータ読取可能媒体は、コンピュータ１０により記憶装置２６を介してアクセスすることができる任意の利用可能な媒体であってよく、コンピュータ読取可能又はコンピュータ実行可能な命令、データ構造、プログラムモジュール又は他のデータなどの情報を記憶するための取外し可能２８及び／又は取外し不能３０である揮発性媒体と不揮発性媒体との双方を含む。限定ではなく例として、コンピュータ読取可能媒体は、コンピュータ記憶媒体と通信媒体とを含んでよい。コンピュータ記憶媒体は、これらに限定されないが、ＤＶＤ、ＣＤ、フロッピー（登録商標）ディスク、テープドライブ、ハードドライブ、光学ドライブ、ソリッドステートメモリ装置、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリテクノロジー、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は所望される情報を記憶するために使用することができ、かつ１若しくは複数のコンピューティング装置によりアクセスすることができる任意の他の装置などの、コンピュータ読取可能又はマシン読取可能な媒体又は記憶装置を含む。
【００５５】
コンピュータ読取可能又はコンピュータ実行可能な命令、データ構造、プログラムモジュールなどの情報の保有は、１若しくは複数の変調されたデータ信号若しくは搬送波をエンコードする様々な前述された通信媒体、又は他の送信メカニズム若しくは通信プロトコルのうち、任意のものを用いて遂行されてよく、任意の有線の又は無線の情報配信メカニズムを含む。用語「変調されたデータ信号」又は「搬送波」は、概して、その特徴のうち１又は複数を、信号内に情報をエンコードする方法で設定され又は変更された信号を指すことに留意されたい。例えば、通信媒体は、１又は複数の変調されたデータ信号を担体する有線ネットワーク又は直接有線接続などの有線媒体と、音波、ＲＦ、赤外線、及び１又は複数の変調されたデータ信号又は搬送波を送信及び／又は受信するための他の無線媒体などの無線媒体とを含む。上記のうち任意のものの組み合わせもまた、通信媒体の範囲内に含まれるべきである。
【００５６】
さらに、本明細書に説明される様々な顔認識トレーニングデータベース生成手法実施形態のうちいくつか又はすべてを具現化するソフトウェア、プログラム及び／又はコンピュータプログラム製品、あるいはこれらの部分は、コンピュータ実行可能命令又は他のデータ構造の形式で、コンピュータ読取可能又はマシン読取可能な媒体又は記憶装置と通信媒体との任意の所望される組み合わせから記憶され、受信され、送信され、あるいは読み出されることができる。
【００５７】
最後に、本明細書に説明される顔認識トレーニングデータベース生成手法実施形態は、コンピューティング装置により実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的文脈においてさらに説明されることができる。一般に、プログラムモジュールは、特定タスクを実行し、又は特定抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本明細書に説明される実施形態は、１又は複数の通信ネットワークを通じてリンクされた１若しくは複数のリモートプロセシング装置によって又は１若しくは複数の装置のクラウド内でタスクが実行される分散コンピューティング環境において行われてもよい。分散コンピューティング環境において、プログラムモジュールは、媒体記憶装置を含むローカルコンピュータ記憶媒体とリモートコンピュータ記憶媒体との双方に位置することができる。またさらに、前述された命令は、部分として又は全体として、ハードウェアロジック回路として実装されてよく、このハードウェアロジック回路は、プロセッサを含んでよく、あるいは含まなくてよい。
【００５８】
４．０  他の実施形態
前述の顔認識トレーニングデータベース生成手法実施形態の説明において、深度ビデオカメラなどのカメラから深度フレームを使用する、深度ビデオカメラと動き検出方法とが採用された。しかしながら、単にカラービデオカメラを用いて環境において人を検出することができる従来の動き検出方法もある。上記を仮定すると、別の実施形態において、深度ビデオカメラは取り除かれ、単にカラービデオカメラが使用されて環境において潜在的な人を検出する。したがって、これまでに説明されたプロセスは、カラービデオカメラから出力されたフレームのシーケンスが入力されるように変更されることになる。それから、これらの画像フレームは、環境において潜在的な人を検出する顔検出方法と共に、及び上記環境において潜在的な人をさらに検出する適切な動き検出方法と共に、使用される。同様にして、フレームの新しいシーケンスがこれまでに説明されたとおり採用されるとき、これらもまた単に、カラービデオカメラから出力されるフレームの新しいシーケンスとなる。
【００５９】
本説明にわたって前述された実施形態のうち任意のもの又はすべてを、所望される任意の組み合わせにおいて使用して、追加の混成の実施形態を形成できることにさらに留意されたい。さらに、本願主題は構造的特性及び／又は方法論的動作に固有の言語で説明されているが、添付された請求項に定義される主題は、必ずしも上記で説明された特定の特性又は動作に限定されないことを理解されたい。むしろ、上記で説明された特定の特性及び動作は、請求項を実施する例示的形態として開示されている。
【図１Ａ】
2015520470.tif 000003
【図１Ｂ】
2015520470.tif 000004
【図２Ａ】
2015520470.tif 000005
【図２Ｂ】
2015520470.tif 000006
【図２Ｃ】
2015520470.tif 000007
【図２Ｄ】
2015520470.tif 000008
【図２Ｅ】
2015520470.tif 000009
【図３】
2015520470.tif 000010
【図４】
2015520470.tif 000011
【図５Ａ】
2015520470.tif 000012
【図５Ｂ】
2015520470.tif 000013
【図５Ｃ】
2015520470.tif 000014
【図６Ａ】
2015520470.tif 000015
【図６Ｂ】
2015520470.tif 000016
【図６Ｃ】
2015520470.tif 000017
【図６Ｄ】
2015520470.tif 000018
【図６Ｅ】
2015520470.tif 000019
【図６Ｆ】
2015520470.tif 000020
【図７Ａ】
2015520470.tif 000021
【図７Ｂ】
2015520470.tif 000022
【図７Ｃ】
2015520470.tif 000023
【図７Ｄ】
2015520470.tif 000024
【図８】
2015520470.tif 000025
【図９】
2015520470.tif 000026
【国際調査報告】
2015520470.tif 000027
2015520470.tif 000028
2015520470.tif 000029