【手続補正書】
【提出日】平成28年5月23日(2016.5.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
環境に位置するとして検出された各人のための顔認識トレーニングデータベースを生成する、コンピュータにより実施されるプロセスであって、
コンピュータを用いて下記のプロセス動作を実行することを含み、該プロセス動作は、
（ａ）同時捕捉されたフレームペアのシーケンスを入力するステップであり、各フレームペアはカラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
（ｂ）顔検出方法と前記のカラービデオカメラフレームとを使用して環境において潜在的な人を検出するステップと、
（ｃ）動き検出方法と前記の深度ビデオカメラフレームとを使用して前記環境において潜在的な人を検出するステップと、
（ｄ）前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して前記環境において１以上の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写するカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
（ｅ）単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記カラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写するカラービデオカメラフレームの部分の顔特徴を生成するステップと、
（ｆ）前記環境において検出された各人について、
人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるステップと、
前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含む、プロセス。
【請求項２】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されたと判定されるたび、同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために確立された顔認識トレーニングデータベースに割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
をさらに含む、請求項１のプロセス。
【請求項３】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記新しいシーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なると判定されるたび、
前記顔特徴を前記人のために確立された不明人識別子に割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
をさらに含む、請求項１のプロセス。
【請求項４】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応すると判定されるたび、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアのシーケンスが前記人の同一性を確定されることなしに何回入力され、処理されたかを決定し、その回数が所定最大数より大きいかを判定するステップと、
同時捕捉されたフレームペアのシーケンスが前記人の同一性を確定されることなしに入力され、処理された回数が前記所定最大数より大きいと判定されるたび、前記メモリから、前記人のために確立された不明人識別子に割り当てられた各顔特徴を削除するステップと、
をさらに含む、請求項１のプロセス。
【請求項５】
同時捕捉されたフレームペアの新しいシーケンスを入力するステップであり、各フレームペアは、カラービデオカメラから出力されたフレームと深度ビデオカメラから出力されたフレームとを含む、ステップと、
プロセス動作（ｂ）乃至（ｅ）を繰り返すステップと、
前記環境において検出され、同時捕捉されたフレームペアの前記新しいシーケンスにおいて描写された各人について、
人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応するかを判定するステップと、
前記人が、前記新しいシーケンスの前の同時捕捉されたフレームペアのシーケンスを用いて位置が事前に決定された人に対応しないと判定されるたび、
前記人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるステップと、
前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
をさらに含む、請求項１のプロセス。
【請求項６】
人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当てるプロセス動作を実行する前に、
所定最大距離より大きい前記カラービデオカメラからの距離において検出された各人について、
人の位置を、ズーム能力を有するカラーカメラを制御する制御部に提供するステップであり、前記制御部は、前記人の位置に基づいて、前記人の顔に対して、前記カラービデオカメラから前記人までの距離に比例する度合までズーンインし、前記人の顔のズームされた画像を捕捉する能力がある、ステップと、
前記人の顔の前記ズームされた画像を入力するステップと、
前記人の顔を描写する前記ズームされた画像の部分の顔特徴を生成するステップと、
を含むプロセス動作を実行することをさらに含む、請求項１のプロセス。
【請求項７】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記の追加のカラー及び深度ビデオカメラは、前記環境において、他のカラー及び深度ビデオカメラと同じシーンを異なる視点から捕捉し、各追加フレームペアは、前記他のカラー及び深度ビデオカメラから出力されるフレームペアと実質的に同時に捕捉される、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１以上の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
人の識別された位置に基づいて、前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されているかどうかを判定するステップと、
前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されていると判定されるたび、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記他のカラー及び深度ビデオカメラを用いた前記人の検出に基づいて前記人のために確立された不明人識別子に割り当て、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人が前記他のカラー及び深度ビデオカメラを用いて同様に検出されてはいないと判定されるたび、前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記人のために確立された不明人識別子に割り当て、前記人の同一性を確定することを試み、前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項８】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記追加のカラー及び深度ビデオカメラは、前記環境において他のカラー及び深度ビデオカメラと異なるシーンを捕捉する、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１以上の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
検出された人が前記環境において異なるシーンにおいて事前に検出されたかを判定するステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されていた場合、前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されなかったと判定されるたび、同時捕捉されたフレームペアの前記追加のシーケンスから生成される各顔特徴について、該顔特徴が、前記人のために事前に確立された不明人識別子に割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記追加シーケンスから生成された各顔特徴について、該顔特徴が、前記人のために事前に確立された不明人識別子に割り当てられた顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために事前に確立された不明人識別子に割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されなかった場合、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された各顔特徴を、前記人のために新たに確立された不明人識別子に割り当てるステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記人のために生成された前記顔特徴の各々を、前記コンピュータに関連付けられたメモリに記憶するステップと、
前記人の同一性を確定することを試みるステップと、
前記人の同一性が確定されるたび、前記人のために確立された不明人識別子に割り当てられた各顔特徴を、前記人のために確立された顔認識トレーニングデータベースに再割り当てするステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項９】
同時捕捉されたフレームペアの追加シーケンスを入力するステップであり、各追加フレームペアは、追加のカラービデオカメラから出力されたフレームと追加の深度ビデオカメラから出力されたフレームとを含み、前記追加のカラー及び深度ビデオカメラは、前記環境において他のカラー及び深度ビデオカメラと異なるシーンを捕捉する、ステップと、
顔検出方法と前記追加のカラービデオカメラからのフレームとを使用して、環境において潜在的な人を検出するステップと、
動き検出方法と前記追加の深度ビデオカメラからのフレームとを使用して、前記環境において潜在的な人を検出するステップと、
前記顔検出方法と前記動き検出方法とを介して生成された検出結果を使用して、前記環境において１以上の人の位置を決定するステップであり、前記顔検出方法を介して生成された検出結果は、検出された各人について、人の顔を描写する前記のカラービデオカメラフレームの部分の顔特徴を含む、ステップと、
単に前記動き検出方法を介して検出された各人について、
人の対応する位置を、前記追加のカラービデオカメラの同時捕捉されたフレームにおいて識別するステップと、
前記人の顔を描写する前記の追加のカラービデオカメラフレームの部分の顔特徴を生成するステップと、
前記追加のカラービデオカメラと前記追加の深度ビデオカメラとから出力されたフレームペアに基づいて前記環境において検出された各人について、
検出された人が前記環境において異なるシーンにおいて事前に検出されたかを判定するステップと、
前記人が前記環境において異なるシーンにおいて事前に検出されていた場合、
前記人の同一性が事前に確定されたかを判定するステップと、
前記人の同一性が事前に確定されたと判定されるたび、同時捕捉されたフレームペアの前記追加シーケンスから生成された各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なるかを判定するステップと、
同時捕捉されたフレームペアの前記追加シーケンスから生成される各顔特徴について、該顔特徴が、前記人のために確立された顔認識トレーニングデータベースに割り当てられた各顔特徴から所定程度まで異なると判定されるたび、前記顔特徴を前記人のために確立された顔認識トレーニングデータベースに割り当て、前記顔特徴を前記コンピュータに関連付けられたメモリに記憶するステップと、
を含むプロセス動作をさらに含む、請求項１のプロセス。
【請求項１０】
動き検出方法と前記深度ビデオカメラフレームとを使用して前記環境において潜在的な人を検出するプロセス動作は、
最初の深度ビデオカメラフレーム内のすべての画素を背景画素として指定するステップと、
同時捕捉されたフレームペアの前記シーケンスに含まれる、フレームが捕捉された順序において後から捕捉された深度フレームの各々の各画素について、
画素の深度値が、前記環境内で同じ位置を表す現在検討下にあるフレームの直前に捕捉された深度フレーム内の画素の値から所定量より大きく変化したかを識別するステップと、
前記画素の深度値が前記所定量より大きく変化したたび、前記画素を前景画素であるように指定するステップと、
一旦、同時捕捉されたフレームペアの前記シーケンスに含まれる最後のフレームが処理されて、その画素深度値が前記所定量より大きく変化したかを識別すると、
（ｉ）前記最後のフレーム内の前景画素の中からシードポイントを確立し、前記シードポイントに関連付けられた画素を別個のブロブの一部であるように割り当てるステップと、
（ｉｉ）前記ブロブに割り当てられた画素に隣接する、前記ブロブにまだ割り当てられていない各画素について、その深度値が、前記ブロブに割り当てられた画素の現在の平均と所定許容差内で同じであるかを再帰的に判定し、そうである場合、ブロブに割り当てられておらず、かつ該ブロブに割り当てられた画素の現在の平均と前記所定許容差内で同じである深度値を有する隣接する画素が見つからなくなるまで、前記隣接する画素を前記ブロブの一部であるように割り当てるステップと、
（ｉｉｉ）前記の再帰的な判定する動作（ｉｉ）の実行の間、異なるブロブに割り当てられる隣接する画素が見つけられるたび、その２つのブロブを１つに結合し、前記の再帰的な判定する動作（ｉｉ）を続けるステップと、
（ｉｖ）ブロブが形成され得なくなるまで、割り当てられていない前景画素について、プロセス動作（ｉ）乃至（ｉｉｉ）を繰り返すステップと、
一旦ブロブが形成され得なくなると、各ブロブについて、
ブロブが、人間を表すブロブを示す所定基準セットに一致するかを判定するステップと、
前記所定基準セットに一致しない各ブロブを消去するステップと、
各々の残りのブロブを指定して前記環境内に位置する異なる潜在的な人を表すステップと、
を含む動作を含む、請求項１のプロセス。