(57)【要約】  段階的なプロセスおよびバンドパス特徴抽出器を使用した増分的な物体検出のための方法、システム、コンピュータ可読媒体、および装置が提示される。段階的なプロセスの各段階において、画像データの中の特徴の複数のバンドからの異なる特徴のバンドが、二重閾値のローカルバイナリパターン演算子を使用して抽出され、部分的な判断のためにバンド内の対象物の特徴と比較されることが可能である。拒絶の判断が段階的なプロセスのいずれかの段階において行われる場合、段階的なプロセスから抜ける。拒絶の判断が段階的なプロセスの各段階において行われない場合、対象物が検出される。各段階において抽出される特徴は、いくつかの適用例では異なる画像に由来し得る。
2018532191.tif 000002
【特許請求の範囲】
【請求項１】
物体検出の方法であって、
1つまたは複数の画像を受信または捕捉するステップと、
段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行するステップであって、前記段階的なプロセスの各段階が、
対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、
二重閾値のローカルバイナリパターン演算子を使用して前記1つまたは複数の画像から前記バンド内の対応する特徴を抽出することと、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドと、前記1つまたは複数の画像から抽出された前記バンド内の前記対応する特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成することとを含む、ステップと、
前記一致条件が前記段階的なプロセスのすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するステップと
を含む、方法。
【請求項２】
すべての対応する特徴が1つの画像から抽出される、請求項1に記載の方法。
【請求項３】
前記段階的なプロセスの各段階において抽出される前記対応する特徴が異なる画像から抽出される、請求項1に記載の方法。
【請求項４】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項1に記載の方法。
【請求項５】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される、請求項1に記載の方法。
【請求項６】
前記1つまたは複数の画像から前記バンド内の前記対応する特徴を抽出するステップが、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドに基づいて、前記下側の閾値および前記上側の閾値を設定するステップと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値、前記下側の閾値、および前記上側の閾値に基づいて生成するステップとを含む、請求項5に記載の方法。
【請求項７】
前記対象物の前記所定の特徴の前記複数のバンドが、サポートベクターマシン、K近傍法、またはクラスタリングのうちの少なくとも1つを使用して決定される、請求項1に記載の方法。
【請求項８】
前記対象物の前記所定の特徴の前記複数のバンドが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のバンドから特徴の前記バンドを選択することが、前記対象物の前記所定の特徴の前記複数のバンドの優先順位に基づく、請求項1に記載の方法。
【請求項９】
前記1つまたは複数の画像の中の関心のある領域を追跡するステップをさらに備える、請求項1に記載の方法。
【請求項１０】
前記対象物が、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである、請求項1に記載の方法。
【請求項１１】
物体検出のための装置であって、
1つまたは複数の画像を受信または捕捉するための手段と、
段階的なプロセスの中の複数の段階において前記1つまたは複数の画像を使用して物体検出を実行するための手段であって、前記複数の段階の各段階が、
対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択するための手段と、
二重閾値のローカルバイナリパターン演算子を使用して前記1つまたは複数の画像から前記バンド内の対応する特徴を抽出するための手段と、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドと、前記1つまたは複数の画像から抽出された前記バンド内の前記対応する特徴との間で、一致条件が満たされるかどうかを決定するための手段と、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成するための手段とを含む、実行するための手段と、
前記一致条件が前記複数の段階のすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するための手段と
を備える、装置。
【請求項１２】
すべての対応する特徴が1つの画像から抽出される、請求項11に記載の装置。
【請求項１３】
前記複数の段階の各段階において抽出される前記対応する特徴が異なる画像から抽出される、請求項11に記載の装置。
【請求項１４】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項11に記載の装置。
【請求項１５】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される、請求項11に記載の装置。
【請求項１６】
前記1つまたは複数の画像から前記バンド内の前記対応する特徴を抽出することが、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドに基づいて、前記下側の閾値および前記上側の閾値を設定することと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値、前記下側の閾値、および前記上側の閾値に基づいて生成することとを含む、請求項15に記載の装置。
【請求項１７】
前記対象物の前記所定の特徴の前記複数のバンドが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のバンドから特徴の前記バンドを選択することが、前記対象物の前記所定の特徴の前記複数のバンドの優先順位に基づく、請求項11に記載の装置。
【請求項１８】
物体検出のためのシステムであって、
1つまたは複数の画像を捕捉または受信するように構成されるイメージャと、
段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行するように構成される回路とを備え、前記段階的なプロセスの各段階が、
対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、
特徴抽出器によって、二重閾値のローカルバイナリパターン演算子を使用して前記1つまたは複数の画像から前記バンド内の対応する特徴を抽出することと、
分類器によって、前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドと、前記1つまたは複数の画像から抽出された前記バンド内の前記対応する特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成することと
を含み、
前記回路がさらに、前記一致条件が前記段階的なプロセスのすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するように構成される、システム。
【請求項１９】
すべての対応する特徴が1つの画像から抽出される、請求項18に記載のシステム。
【請求項２０】
前記段階的なプロセスの各段階において抽出される前記対応する特徴が異なる画像から抽出される、請求項18に記載のシステム。
【請求項２１】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項18に記載のシステム。
【請求項２２】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される、請求項18に記載のシステム。
【請求項２３】
前記1つまたは複数の画像から前記バンド内の前記対応する特徴を抽出することが、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドに基づいて、前記下側の閾値および前記上側の閾値を設定することと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値、前記下側の閾値、および前記上側の閾値に基づいて生成することとを含む、請求項22に記載のシステム。
【請求項２４】
前記対象物の前記所定の特徴の前記複数のバンドが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のバンドから特徴の前記バンドを選択することが、前記対象物の前記所定の特徴の前記複数のバンドの優先順位に基づく、請求項18に記載のシステム。
【請求項２５】
機械可読命令を記憶した非一時的記憶媒体であって、前記命令が、専用コンピューティングデバイスによって、
1つまたは複数の画像を受信または捕捉することと、
段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行することであって、前記段階的なプロセスの各段階が、
対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、
二重閾値のローカルバイナリパターン演算子を使用して前記1つまたは複数の画像から前記バンド内の対応する特徴を抽出することと、
前記対象物の前記所定の特徴の前記複数のバンドからの前記選択された特徴のバンドと、前記1つまたは複数の画像から抽出された前記バンド内の前記対応する特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成することとを含む、実行することと、
前記一致条件が前記段階的なプロセスのすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成することと
を行うように実行可能である、非一時的記憶媒体。
【請求項２６】
前記段階的なプロセスの各段階において抽出される前記対応する特徴が異なる画像から抽出される、請求項25に記載の非一時的記憶媒体。
【請求項２７】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項25に記載の非一時的記憶媒体。
【請求項２８】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される、請求項25に記載の非一時的記憶媒体。
【請求項２９】
前記1つまたは複数の画像から前記バンド内の前記対応する特徴を抽出することが、
前記対象物の前記所定の特徴の前記複数のバンドからの特徴の前記選択されたバンドに基づいて、前記下側の閾値および前記上側の閾値を設定することと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値、前記下側の閾値、および前記上側の閾値に基づいて生成することとを含む、請求項28に記載の非一時的記憶媒体。
【請求項３０】
前記対象物の前記所定の特徴の前記複数のバンドが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のバンドから特徴の前記バンドを選択することが、前記対象物の前記所定の特徴の前記複数のバンドの優先順位に基づく、請求項25に記載の非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二重閾値のローカルバイナリパターン演算子を使用した増分的な物体検出のためのシステムおよび方法に関する。
【背景技術】
【０００２】
コンピュータビジョンは、アプリケーションにおいて使用するための画像を取得し、処理し、解析し、理解することを伴う。従来は、センサに結合されたプロセッサが、センサから画像データを取得し、特徴および特徴と関連付けられる物体を検出するための取得された画像データに対するいくつかのコンピュータビジョン動作を実行する。特徴は、エッジ、コーナー、勾配、またはテクスチャを含み得る。いくつかの事例では、特徴は、人間の顔、表情、およびジェスチャーなどのより複雑な特徴も含み得る。プロセッサ上で実行されるプログラムは、平面検出、物体検出、顔検出、笑顔検出、およびジェスチャー検出などの、様々な用途において検出された特徴を利用することができる。
【０００３】
コンピューティングデバイスがコンピューティングデバイスの視野の中の特徴および物体を検出または分類することを可能にするために、近年、多くの努力がなされてきた。コンピューティングデバイス、特にモバイルデバイスは一般に、消費電力を非常に重視する。しかしながら、従来は、カメラを使用してコンピューティングデバイスの視野の中の特徴および物体を検出することは大量の処理リソースを必要とし、モバイルデバイスなどのコンピューティングデバイスにおいて多くの電力消費とより短いバッテリー持続時間とをもたらす。常時オンの特徴検出のアプリケーションでは、画像を継続的に捕捉し、画像を記憶し、画像の中のすべての特徴を抽出した後で、抽出された特徴のすべてに基づいて最終的な判断を行うことは、不必要に大量の電力を消費し、コンピューティングデバイスのバッテリー持続時間を大幅に短くすることがある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示は全般に、コンピュータビジョンを使用した特徴抽出および物体検出に関し、より詳細には、コンピュータビジョンを使用して特徴または物体を検出するための効率を改善することに関する。
【０００５】
いくつかの実施形態では、物体検出の方法が開示される。方法は、(a)1つまたは複数の画像を受信または捕捉するステップと、(b)段階的なプロセスにおいて1つまたは複数の画像を使用して物体検出を実行するステップであって、段階的なプロセスの各段階が、(i)対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、(ii)二重閾値のローカルバイナリパターン演算子を使用して1つまたは複数の画像からバンド内の対応する特徴を抽出することと、(iii)対象物の所定の特徴の複数のバンドからの選択された特徴のバンドと1つまたは複数の画像から抽出されたバンド内の対応する特徴との間で一致条件が満たされるかどうかを決定することと、(iv)一致条件が満たされないとき、段階的なプロセスから抜けて対象物が検出されないことを示す信号を生成することとを含む、ステップと、(c)一致条件が段階的なプロセスのすべての段階において満たされる場合、対象物が検出されることを示す信号を生成するステップとを含む。いくつかの実施形態では、すべての対応する特徴は1つの画像から抽出される。いくつかの実施形態では、段階的なプロセスの各段階において抽出される対応する特徴は異なる画像に由来する。
【０００６】
物体検出の方法のいくつかの実施形態では、中心対称のローカルバイナリパターン演算子などの、二重閾値のローカルバイナリパターン演算子が使用され得る。いくつかの実施形態では、二重閾値のローカルバイナリパターン演算子の閾値関数は、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される。
【０００７】
いくつかの実施形態では、1つまたは複数の画像からバンド内の対応する特徴を抽出するステップは、対象物の所定の特徴の複数のバンドからの選択された特徴のバンドに基づいて下側の閾値および上側の閾値を設定するステップと、1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、その画像の中のその画素の近隣の画素の画素値、下側の閾値、および上側の閾値に基づいて生成するステップとを含む。
【０００８】
物体検出の方法のいくつかの実施形態では、対象物の所定の特徴の複数のバンドは、サポートベクターマシン、K近傍法、またはクラスタリングなどの分類器を使用して決定される。いくつかの実施形態では、対象物の所定の特徴の複数のバンドが優先順位付けられ、対象物の所定の特徴の複数のバンドから特徴のバンドを選択することは、対象物の所定の特徴の複数のバンドの優先順位に基づく。
【０００９】
いくつかの実施形態では、物体検出の方法はさらに、1つまたは複数の画像の中の関心のある領域を追跡するステップを備える。いくつかの実施形態では、対象物は、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである。
【００１０】
本明細書では、物体検出のための装置も開示される。装置は、(a)1つまたは複数の画像を受信または捕捉するための手段と、(b)段階的なプロセスの中の複数の段階において1つまたは複数の画像を使用して物体検出を実行するための手段であって、複数の段階の各段階が、(i)対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択するための手段と、(ii)二重閾値のローカルバイナリパターン演算子を使用して1つまたは複数の画像からバンド内の対応する特徴を抽出するための手段と、(iii)対象物の所定の特徴の複数のバンドからの選択された特徴のバンドと1つまたは複数の画像から抽出されたバンド内の対応する特徴との間で一致条件が満たされるかどうかを決定するための手段と、(iv)一致条件が満たされないとき、段階的なプロセスから抜けて対象物が検出されないことを示す信号を生成するための手段とを含む、実行するための手段と、(c)一致条件が複数の段階のすべての段階において満たされる場合、対象物が検出されることを示す信号を生成するための手段とを含む。いくつかの実施形態では、すべての対応する特徴は1つの画像から抽出される。いくつかの実施形態では、複数の段階の各段階において抽出される対応する特徴は異なる画像に由来する。
【００１１】
物体検出のための装置のいくつかの実施形態では、中心対称のローカルバイナリパターン演算子などの、二重閾値のローカルバイナリパターン演算子が使用され得る。いくつかの実施形態では、二重閾値のローカルバイナリパターン演算子の閾値関数は、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される。いくつかの実施形態では、1つまたは複数の画像からバンド内の対応する特徴を抽出することは、対象物の所定の特徴の複数のバンドからの選択された特徴のバンドに基づいて下側の閾値および上側の閾値を設定することと、1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、その画像の中のその画素の近隣の画素の画素値、下側の閾値、および上側の閾値に基づいて生成することとを含む。
【００１２】
いくつかの実施形態では、対象物の所定の特徴の複数のバンドは、サポートベクターマシン、K近傍法、またはクラスタリングなどの分類器を使用して決定される。いくつかの実施形態では、対象物の所定の特徴の複数のバンドが優先順位付けられ、対象物の所定の特徴の複数のバンドから特徴のバンドを選択することは、対象物の所定の特徴の複数のバンドの優先順位に基づく。
【００１３】
いくつかの実施形態では、物体検出のための装置はさらに、1つまたは複数の画像の中の関心のある領域を追跡するための手段を備える。いくつかの実施形態では、対象物は、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである。
【００１４】
いくつかの実施形態では、物体検出のためのシステムが開示される。システムは、1つまたは複数の画像を捕捉または受信するように構成されるイメージャと、段階的なプロセスにおいて1つまたは複数の画像を使用して物体検出を実行するように構成される回路とを含む。段階的なプロセスの各段階は、(a)対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、(b)特徴抽出器によって、二重閾値のローカルバイナリパターン演算子を使用して1つまたは複数の画像からバンド内の対応する特徴を抽出することと、(c)分類器によって、対象物の所定の特徴の複数のバンドからの選択された特徴のバンドと1つまたは複数の画像から抽出されたバンド内の対応する特徴との間で一致条件が満たされるかどうかを決定することと、(d)一致条件が満たされないとき、段階的なプロセスから抜けて対象物が検出されないことを示す信号を生成することとを含む。回路はさらに、一致条件が段階的なプロセスのすべての段階において満たされる場合、対象物が検出されることを示す信号を生成するように構成される。いくつかの実施形態では、すべての対応する特徴は1つの画像から抽出される。いくつかの実施形態では、段階的なプロセスの各段階において抽出される対応する特徴は異なる画像または複数の異なる画像に由来する。
【００１５】
物体検出のためのシステムのいくつかの実施形態では、二重閾値のローカルバイナリパターン演算子は、中心対称のローカルバイナリパターン演算子である。いくつかの実施形態では、二重閾値のローカルバイナリパターン演算子の閾値関数は、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される。いくつかの実施形態では、1つまたは複数の画像からバンド内の対応する特徴を抽出することは、対象物の所定の特徴の複数のバンドからの選択された特徴のバンドに基づいて下側の閾値および上側の閾値を設定することと、1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、その画像の中のその画素の近隣の画素の画素値、下側の閾値、および上側の閾値に基づいて生成することとを含む。
【００１６】
物体検出のためのシステムのいくつかの実施形態では、対象物の所定の特徴の複数のバンドは、サポートベクターマシン、K近傍法、またはクラスタリングなどの分類器を使用して決定される。いくつかの実施形態では、対象物の所定の特徴の複数のバンドが優先順位付けられ、対象物の所定の特徴の複数のバンドから特徴のバンドを選択することは、対象物の所定の特徴の複数のバンドの優先順位に基づく。
【００１７】
いくつかの実施形態では、物体検出のためのシステムはさらに、1つまたは複数の画像の中の関心のある領域を追跡することが可能な画像プロセッサを備える。いくつかの実施形態では、対象物は、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである。
【００１８】
本明細書では、非一時的記憶媒体を備える物品も開示される。非一時的記憶媒体は、命令が記憶された機械可読命令を含み、この命令は、専用コンピューティングデバイスによって、(a)1つまたは複数の画像を受信または捕捉することと、(b)段階的なプロセスにおいて1つまたは複数の画像を使用して物体検出を実行することであって、段階的なプロセスの各段階が、(i)対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、(ii)二重閾値のローカルバイナリパターン演算子を使用して1つまたは複数の画像からバンド内の対応する特徴を抽出することと、(iii)対象物の所定の特徴の複数のバンドからの選択された特徴のバンドと1つまたは複数の画像から抽出されたバンド内の対応する特徴との間で一致条件が満たされるかどうかを決定することと、(iv)一致条件が満たされないとき、段階的なプロセスから抜けて対象物が検出されないことを示す信号を生成することとを含む、実行することと、(c)一致条件が段階的なプロセスのすべての段階において満たされる場合、対象物が検出されることを示す信号を生成することとを行うように実行可能である。いくつかの実施形態では、すべての対応する特徴は1つの画像から抽出される。いくつかの実施形態では、段階的なプロセスの各段階において抽出される対応する特徴は異なる画像に由来する。
【００１９】
物品のいくつかの実施形態では、二重閾値のローカルバイナリパターン演算子は、中心対称のローカルバイナリパターン演算子である。いくつかの実施形態では、二重閾値のローカルバイナリパターン演算子の閾値関数は、画像の中の2つの画素の画素値の差が下側の閾値と上側の閾値の間にある場合に第1のバイナリ値を返し、それ以外の場合に第2のバイナリ値を返すように構成される。いくつかの実施形態では、1つまたは複数の画像からバンド内の対応する特徴を抽出することは、対象物の所定の特徴の複数のバンドからの選択された特徴のバンドに基づいて下側の閾値および上側の閾値を設定することと、1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、その画像の中のその画素の近隣の画素の画素値、下側の閾値、および上側の閾値に基づいて生成することとを含む。
【００２０】
物品のいくつかの実施形態では、対象物の所定の特徴の複数のバンドは、サポートベクターマシン、K近傍法、またはクラスタリングなどの分類器を使用して決定される。いくつかの実施形態では、対象物の所定の特徴の複数のバンドが優先順位付けられ、対象物の所定の特徴の複数のバンドから特徴のバンドを選択することは、対象物の所定の特徴の複数のバンドの優先順位に基づく。
【００２１】
物品のいくつかの実施形態では、非一時的記憶媒体はさらに、1つまたは複数の画像の中の関心のある領域を追跡するように専用コンピューティングデバイスによって実行可能な機械可読命令を記憶している。いくつかの実施形態では、対象物は、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである。
【００２２】
本開示の態様は、例として示される。以下の説明は、図面を参照して提供され、図面では、全体にわたって同様の参照番号が同様の要素を示すために使用される。本明細書では1つまたは複数の技法の様々な詳細が説明されるが、他の技法も可能である。場合によっては、様々な技法の説明を容易にするために、周知の構造およびデバイスがブロック図の形式で示されている。
【００２３】
明細書の残りの部分および図面を参照することによって、本開示によって与えられる実施例の性質および利点のさらなる理解が実現され得る。
【図面の簡単な説明】
【００２４】
【図１】コンピュータビジョンベースの物体検出システムの例示的なブロック図である。
【図２】取得された画像を使用した物体検出または分類の方法を示すフローチャートである。
【図３Ａ】ローカルバイナリパターン(LBP)ラベルに基づいて画像データをヒストグラムへと変換する例示的なプロセスにおいて、捕捉された画像の中の関心のあるエリアを示す図である。
【図３Ｂ】ローカルバイナリパターン(LBP)ラベルに基づいて画像データをヒストグラムへと変換する例示的なプロセスにおいて、関心のあるエリアからの3×3の画素アレイのセルを示す図である。
【図３Ｃ】ローカルバイナリパターン(LBP)ラベルに基づいて画像データをヒストグラムへと変換する例示的なプロセスにおいて、セルのためのLBPラベルを示す図である。
【図３Ｄ】ローカルバイナリパターン(LBP)ラベルに基づいて画像データをヒストグラムへと変換する例示的なプロセスにおいて、関心のあるエリアの中のセルのためのLBPラベルのヒストグラムを示す図である。
【図４Ａ】画像の中のセルのためのローカルバイナリパターンラベルを生成する方法において、中心の画素と、円上の等しく離隔された8個の近隣の画素とを伴うセルを示す図である。
【図４Ｂ】画像の中のセルのためのローカルバイナリパターンラベルを生成する方法において、近隣の画素と中心の画素との間の差を示す図である。
【図４Ｃ】画像の中のセルのためのローカルバイナリパターンラベルを生成する方法において、近隣の画素のためのバイナリ値を示す図である。
【図４Ｄ】画像の中のセルのためのローカルバイナリパターンラベルを生成する方法において、二進の形式と十進の形式で生成されたLBPラベルを示す図である。
【図５】中心対称のローカルバイナリパターン(CS-LBP)ラベルの生成の例を示す図である。
【図６】増分的な特徴抽出および物体検出方法のフローチャートである。
【図７Ａ】低コントラストから高コントラストまでの勾配が1つの閾値を伴うCS-LBP演算子を使用して区別不可能であり得る例において、低コントラストのセルのためのCS-LBPラベルを示す図である。
【図７Ｂ】低コントラストから高コントラストまでの勾配が1つの閾値を伴うCS-LBP演算子を使用して区別不可能であり得る例において、中コントラストのセルのためのCS-LBPラベルを示す図である。
【図７Ｃ】低コントラストから高コントラストまでの勾配が1つの閾値を伴うCS-LBP演算子を使用して区別不可能であり得る例において、高コントラストのセルのためのCS-LBPラベルを示す図である。
【図８Ａ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、画像セルの中の画素のグレーレベルを示す図である。
【図８Ｂ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、閾値が20である画像セルのためのCS-LBPラベルを示す図である。
【図８Ｃ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、閾値が40である画像セルのためのCS-LBPラベルを示す図である。
【図８Ｄ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、閾値が80である画像セルのためのCS-LBPラベルを示す図である。
【図８Ｅ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、閾値が160である画像セルのためのCS-LBPラベルを示す図である。
【図８Ｆ】様々な閾値を使用する画像セルのためのCS-LBPラベルにおいて、閾値が160より大きい画像セルのためのCS-LBPラベルを示す図である。
【図９Ａ】様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=20およびT2=40である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図９Ｂ】様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=40およびT2=80である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図９Ｃ】様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=80およびT2=160である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図９Ｄ】様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=160およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図９Ｅ】様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=161およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１０Ａ】図8B〜図8Fに示されるような単一閾値のCS-LBP演算子を使用して生成されるラベルと同一の、様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=20およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１０Ｂ】図8B〜図8Fに示されるような単一閾値のCS-LBP演算子を使用して生成されるラベルと同一の、様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=40およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１０Ｃ】図8B〜図8Fに示されるような単一閾値のCS-LBP演算子を使用して生成されるラベルと同一の、様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=80およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１０Ｄ】図8B〜図8Fに示されるような単一閾値のCS-LBP演算子を使用して生成されるラベルと同一の、様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=160およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１０Ｅ】図8B〜図8Fに示されるような単一閾値のCS-LBP演算子を使用して生成されるラベルと同一の、様々な閾値の設定を伴う図8Aに示される画像セルのための二重閾値のCS-LBPラベルにおいて、閾値がT1=161およびT2=256である画像セルのための二重閾値のCS-LBPラベルを示す図である。
【図１１】単一の画像フレームを使用した増分的な物体検出のプロセスを示すフローチャートである。
【図１２】複数の画像フレームを使用した増分的な物体検出の例示的なプロセスを示すフローチャートである。
【図１３】1つまたは複数の実施形態が実装され得るコンピューティングシステムの例を示す図である。
【発明を実施するための形態】
【００２５】
いくつかの例示的な実施形態が、本明細書の一部を形成する添付図面に関してここで説明される。本開示の1つまたは複数の態様が実装され得る特定の実施形態が以下で説明されるが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態が使用されることがあり、様々な修正が行われることがある。
【００２６】
勾配の大きさなどの、選択的な特徴のバンドの増分的な特徴検出に基づく物体検出技法が開示される。様々な実施形態において、一度に画像の中のすべての特徴を抽出し、すべての抽出される特徴に基づく包括的な決定を行う代わりに、バンド内の画像の特徴が、ローカルバイナリパターン演算子などのバンドパス特徴抽出器を使用して複数の段階の各段階において抽出され、拒絶の判断が行われるまで、または複数の段階のいずれの段階においても拒絶ではない判断が行われるまで、各段階において部分的な判断のみが行われる。結果として、物体検出の任意の段階において、対象物の特有の特徴、たとえば対象物の集団の判別可能な、特徴的な、または共通の特徴が画像の中にない場合、それ以上の画像処理または特徴抽出はその画像に対して不要である。したがって、不必要なデータ処理を避けることができる。
【００２７】
本明細書において開示される方法およびシステムは、人物、建物、または他の物理的な物体などの、物体を検出するために使用され得る。いくつかの実施形態では、本明細書において開示される方法およびシステムは、人の顔、人の表情、または人物のジェスチャーを検出するために使用され得る。いくつかの他の実施形態では、開示される方法およびシステムは、動きなどの事象を検出するために使用され得る。開示される方法およびシステムは、シングルフレームまたはマルチフレームの状況において使用され得る。
【００２８】
例として、モバイルデバイスの常時オンアプリケーションでは、モバイルデバイスの大半が、ユーザの存在または活動を検出するためのアクティブモードにモバイルデバイスの一部分のみがある低電力モードに入り得る。アクティブモードにあるモバイルデバイスの部分は、人物、人物の表情、または人物のジェスチャーなどの対象物が検出される前に、モバイルデバイスの視野の中の画像を繰り返し捕捉し得る。対象物が捕捉された画像において検出される場合、モバイルデバイスはアクティブモードに入り得る。それ以外の場合、モバイルデバイスの大半は低電力モードにとどまり、アクティブモードにあるモバイルデバイスの部分は対象物を検出することを続ける。
【００２９】
I.物体分類
A.システムアーキテクチャ
図1は、コンピュータビジョンベースの物体検出または分類システム100の例示的なブロック図を示す。示されるように、システム100は、カメラ110、画像センサ120、特徴抽出器130、および物体分類器140を含む。システム100は、スタンドアロンデバイスであってよく、または携帯電話またはタブレットなどのモバイルデバイスの一部であってよい。図1に示されるように、カメラ100はイメージセンサ120へと画像を投影し、イメージセンサ120は画像の画像データを生成する。画像データは、後で処理するためにSRAMデバイスなどのメモリデバイスに一時的に記憶され得る。特徴抽出器130は、画像データから関心のある特徴を抽出する。物体分類器140は、画像データからの抽出された特徴を対象物の予想される特徴と比較し、画像における対象物の存在または不在を決定する。
【００３０】
カメラ110、イメージセンサ120、特徴抽出器130、および物体分類器140は、様々な異なる粒度において様々な異なる構成で実装され得る。たとえば、イメージセンサ120は、単一のセンサ素子またはセンサアレイ全体を表し得る。特徴抽出器130は、オンチップセンサ回路、専用周辺回路、汎用プロセッサもしくは専用プロセッサ上で実行可能なファームウェア/ソフトウェア命令、またはこれらの任意の組合せとして実装され得る。物体分類器140は、オンチップセンサ回路、周辺回路、汎用プロセッサもしくは専用プロセッサ上で実行可能なファームウェア/ソフトウェア命令、またはこれらの任意の組合せとして実装され得る。特徴抽出器130および物体分類器140は、デジタル動作、アナログ動作、または混合されたデジタル動作とアナログ動作を実行するように構成され得る。特徴抽出器130および物体分類器140は、同じ汎用プロセッサまたは専用プロセッサ上で実行可能なファームウェア/ソフトウェア命令として実装され得る。
【００３１】
特徴抽出器130は、エッジ、コーナー、テクスチャ、勾配などの特徴と、顔、笑顔、およびジェスチャーなどの複雑な人の特徴とを抽出し得る。特徴抽出器130によって使用され得る特徴抽出技法の例は、限定はされないが、ローカルバイナリパターン(LBP)演算、勾配方向ヒストグラム(HOG:histogram of oriented gradients)演算、LBPおよびHOGへの様々な修正または改善、ならびにこれらの任意の組合せを含む。
【００３２】
物体分類器140は、K近傍法(KNN)、ツリー、ナイーブベイズ、ロジスティック回帰、サポートベクターマシン(SVM)を含む、教師あり機械学習分類技法などの技法を使用して、画像の抽出された特徴を分類し得る。
【００３３】
図2は、たとえば図1のシステム100を使用した、取得された画像からの物体検出または分類のためのプロセス200を示すフローチャートである。ブロック210において、物体検出のために使用される画像データが取得または受信される。ブロック220において、画像データの特徴が一連の特徴抽出器を使用して抽出される。ブロック230において、包括的な分類器が、上で説明されたような様々な分類技法を使用して、対象物の特徴および画像データの抽出された特徴に基づいて画像データを分類する。ブロック240において、対象物のある本質的な特有の特徴が画像データの抽出された特徴に存在しない場合、画像は対象物を含まないものとして拒絶される。ブロック250において、対象物のすべての特有の特徴が画像データの抽出された特徴に存在する場合、画像は対象物を含むものとして分類される。
【００３４】
プロセス200における特徴抽出および物体分類は、電力および処理の負荷が大きいことがある。たとえば、特徴抽出は、メモリにセンサからの画像データを記憶すること、特徴抽出のためにメモリから画像データおよび命令をフェッチすること、後で分類するため抽出された特徴を記憶することなどの、電力および処理の負荷が大きい動作を伴い得る。機械学習分類技法などの分類技法はまた、多数の特徴が包括的な分類のために使用されるときに、電力または処理の負荷が大きいことがある。本開示の様々な実施形態は、一連の段階における増分的な特徴抽出のための改善された特徴抽出技法を使用し、画像のすべての特徴を抽出してからすべての抽出された特徴を使用して包括的かつ最終的な分類を行うのではなく、様々なより前の段階において部分的な物体分類を行い、それにより全体の動作および電力消費を減らす。
【００３５】
B.特徴抽出
特徴抽出は、物体検出および分類に非常に重要である。抽出された特徴が堅牢であり、判別可能であり、小型であり、効率的であることが望ましい。ハールウェーブレット、領域共変性、HOG、およびピラミッドHOG(PHOG)などの、判別可能で堅牢な画像の特徴を抽出するための様々な技法が、歩行者検出において使用されている。HOGは、歩行者検出においてうまく使用されているが、計算的な負荷が大きい。ローカルバイナリパターン(LBP)およびLBPの拡張版は、照明不変の特徴抽出に使用されており、多くの既存の特徴抽出技法より優れている。
【００３６】
1.ローカルバイナリパターン(LBP)
ローカル特徴検出および記述は、関心対象の領域に対して計算された測光記述子が多くの用途において奏功することが証明されて以来、多くの関心を集めている。ローカル特徴検出の基本的な考え方は、変換のクラスに対して共変性がある関心領域をまず検出することである。次いで、各々の検出された領域に対して、不変の記述子が構築される。記述子が計算されると、画像間で関心領域が照合され得る。
【００３７】
ローカルバイナリパターンは、テクスチャ記述のための強力なグレーレベル不変のテクスチャプリミティブである。LBPは、近隣の画素の相対的なグレーレベルによって各画素を記述し、次のように計算され得る。
【００３８】
【数１】
2018532191.tif 000003
【００３９】
ここで、(x, y)は画像における画素の位置であり、s()は閾値関数であり、ncは局所的な近隣の中心の画素のグレーレベルに対応し、niは半径Rの円上のN個の等しく離隔された画素のi番目の画素のグレーレベルに対応する。画素と重ならない近隣の値は双線形補間を使用して推定され得る。ある近隣の画素のグレーレベルと中心の画素のグレーレベルの差が、0などの閾値Tより小さくない場合、「1」がその近隣の画素を表すビットに割り当てられる。それ以外の場合、「0」がその近隣の画素を表すビットに割り当てられる。したがって、中心の画素のLBPはNビットの二進数によって表され、ビットの各々が近隣の画素に対応する。LBP記述子は、関心領域からの特徴抽出における使用に好都合である、いくつかの特性を有する。LBP演算子によって記述される特徴は、照明の変化に対して堅牢であり、計算が簡単かつ高速であり、多くのパラメータを設定する必要がなく、高い判別能力を有する。
【００４０】
図3A〜図3Dは、LBPラベルを使用した分類のために画像データをヒストグラムへと変換する例示的なプロセスを示す。図3Aに示されるように、画像の関心領域または調査されるウィンドウ302が重複するセル304へと分割され、重複するセル304は、各セルの中に、たとえば3×3または4×4の画素アレイを含み得る。各画素は、グレーレベルの値によって表され得る。図3Bに示されるような各セル304に対して、LBPラベルが生成され得る。図3Cに示されるように、セル304の中の各画素に対して、中心の画素306は、時計周りまたは半時計周りで円に沿った中心の画素の近隣の各々と、たとえば、中心の画素306の右、下、左、上からの、3×3の画素アレイのセルでは8個の近隣の各々と比較される。中心の画素306の値が近隣の値より大きいとき、「1」がその近隣を表すビットに割り当てられる。それ以外の場合、「0」がその近隣を表すビットに割り当てられる。これは、8桁の二進数によって表されるLBPラベルを生み出し、これは普通は便宜的に十進数に変換される。セルのためのLBPラベルを決定する詳細な例が図4A〜図4Dに示される。
【００４１】
図4Aは、いくつかの例示的な画素値を示しており、中央の画素値は70であり、8個の隣接する画素値がある。図4Bにおいて、近隣の画素値の各々から中心の画素値を差し引くことによって、各近隣に対して差が生成される。図4Cにおいて、たとえば0という閾値を使用して、各々の近隣の画素に対してバイナリ値が生成される。したがって、図4Bにおけるすべての得られる負の差は0に変換され、図4Bのすべての残りの値は1に変換される。図4Dにおいて、8個の近隣の画素を表す8個のバイナリ値を連結すること、たとえば「00001111」によって、または、バイナリ値を、画素の位置に対応する数による2のべき乗と乗じたものを加算することによって、中心の画素のためのLBPラベルが生成され、中心の画素に対して十進数で15というLBPラベル値が得られる。
【００４２】
図3Dに戻ると、関心のあるエリアの中のすべてのセルのためのLBPラベルが生成された後で、LBPラベルは、各十進数の発生の頻度を示すヒストグラム308を生成するために使用されることがあり、この十進数は画像の関心エリアの特徴ベクトルを表す。LBPラベルの各々は、255個のスロットがあるヒストグラム上のどこかに該当し得る。いくつかのヒストグラムパターンは、画像の中のコーナー、エッジ、テクスチャ、勾配などを表し得る。任意選択で、ヒストグラムは正規化され得る。次いで、特徴ベクトルは、サポートベクターマシン(SVM)を使用して、または、たとえば顔認識もしくはテクスチャ分析を通じて画像から物体を識別もしくは検出するための他の機械学習技法を使用して、統計またはヒューリスティクスに基づいて処理され得る。
【００４３】
2.中心対称のローカルバイナリパターン(CS-LBP)
LBP演算子はやや長いヒストグラムを生み出すので、より多くの電力を必要とする。さらに、LBP演算子は単調な画像エリアでは非常に堅牢ではないので、方向および勾配の記述の状況において使用するのが難しい。中心対称のローカルバイナリパターン(CS-LBP)演算子は、中心の画素をその近隣の画素と比較するのではなく、中心対称の画素のペア(それらを接続する直線が中心の画素を通るような画素のペア)から画素の勾配を計算する、LBPの修正版である。
【００４４】
CS-LBPでは、中心の画素は、セルの位置を決定するためだけに使用され、バイナリCS-LBPラベルの計算のために使用されない。図5にグラフィカルに示されるように、CS-LBPは中心対称の画素のペアから画素の勾配を計算する。定性的に、CS-LBPは、エッジまたは向きを含む空間的な勾配を抽出するが、空間的な周波数または位相などの他の特徴を無視する。CS-LBP演算子は次のように記述され得る。
【００４５】
【数２】
2018532191.tif 000004
【００４６】
ここで、(x, y)は画像におけるセルの位置であり、Nはセルの中の近隣の数であり、iは画素の中心対称なペアのインデックスであり、niはi番目の画素のグレーレベルであり、gは中心対称な画素のペアの勾配の大きさであり、Tは閾値であり、f()は閾値関数である。中心の画素の位置(x, y)におけるi番目の出力ビットは、i番目の勾配(画素iと画素
【００４７】
【数３】
2018532191.tif 000005
【００４８】
の間のグレーレベルの差)がT以上である場合は1に設定され、それ以外の場合、出力ビットは0に設定される。図5に示される例では、セル502の中の中心セルncは8個の近隣を有し、ここでn0およびn4、n1およびn5、n2およびn6、ならびにn3およびn7が4個の中心対称の画素のペアである。セル502のCS-LBPラベルは、式504を使用して計算され得る。
【００４９】
CS-LBPラベルが画像の関心領域の中のすべてのセルに対して作成された後、図3Dに示されるヒストグラム308と同様のヒストグラムが、上で説明されたような分類器による対象物の対応する特有の特徴との比較のために生成され使用され得る。
【００５０】
CS-LBPは、顔認識を含む視覚的な認識へとうまく適用されている。LBPを上回るCS-LBPの利点は、次元の低減だけによるものではなく、CS-LBPが基本的なLBPよりもうまく勾配情報を得るという事実にもよるものである。CS-LBPは、方向勾配ヒストグラム(HOG)特徴と、それらがともに画像から方向およびエッジの勾配を抽出しながら空間的な周波数および位相の情報を廃棄する(Gaborフィルタなど)という点で類似している。しかしながら、HOGは勾配の大きさを符号化するために7ビット(0.00から1.00を表す)を使用するが、CS-LBPは1ビットしか使用しない。したがって、CS-LBPは、次元の低減および計算量の低減においてHOGより有利である。
【００５１】
II.多段階の増分的な物体検出
本開示の様々な実施形態において、計算およびデータ記憶の量を減らし、したがって対応する電力消費を減らすために、多段階の増分的な特徴抽出および物体検出の方法が、図2に関して上で説明された方法を置き換えるのに使用される。そのような方法では、対象物の特徴の一部のサブセットが画像に存在しない場合、画像は対象物を含まないものとして拒絶され得る。
【００５２】
図6は、増分的な特徴抽出および物体検出の方法600を示し、ここで、特徴のサブセットは一連の段階において抽出され比較される。ブロック610において、物体検出のために使用される画像データが取得または受信される。ブロック620において、関心のある特徴のサブセットが、取得された画像データから抽出され得る。ブロック630において、関心のある特徴のサブセットが、対象物の特有の特徴の対応するサブセットと比較される。対象物の特有の特徴の対応するサブセットが画像に存在しない場合、ブロック640において画像データは対象物を含まないものとして拒絶される。ブロック650において、対象物の特有の特徴の対応するサブセットが取得された画像データから抽出される関心のある特徴のサブセットと一致する場合、関心のある特徴の別のサブセットはブロック620において次の段階で画像データから抽出され、ブロック630において対象物の特有の特徴の別の対応するサブセットと比較され得る。任意の段階において、取得された画像データから抽出される関心のある特徴のサブセットが対象物の特有の特徴の対応するサブセットと一致しない場合、ブロック640において画像データは対象物を含まないものとして拒絶される。取得された画像データから抽出される関心のある特徴のすべてのサブセットが対象物の特徴の対応するサブセットと一致する場合、対象物が検出される。
【００５３】
図6による方法は、画像から関心のある特徴のあるサブセットまたはいくつかのサブセットを抽出し、対象物の特有の特徴の対応するサブセットと比較することだけで、画像のすべての特徴を抽出する必要なく、画像を拒絶することができる。いくつかの実施形態では、対象物の特徴は、対象物の最も特徴的なまたは最も頻繁な特徴に対応する特徴が最初に抽出され分類され得るように順位付けられ得る。対象物のより特徴的ではない、またはより頻繁ではない特徴に対応する特徴は、対象物のより特徴的な、またはより頻繁な特徴が取得された画像に存在する場合にのみ、降順で後続の段階において抽出され分類される。このようにして、計算の総量およびデータ記憶とアクセスの総量は、画像のすべての特徴が抽出され、記憶され、比較されなくてもよいので、大きく低減し得る。計算およびデータ記憶の低減の量は、物体、物体の表現、または物体のジェスチャーが検出されるまで画像が絶えず継続的に捕捉され分析され得る常時オンのアプリケーションなどのアプリケーションにおいては、さらにより大きい。
【００５４】
さらに、多くの状況において、たとえば、勾配の大きさだけが抽出される必要があるとき、または関心のある特徴のサブセットまたはいくつかのサブセットだけがある段階において抽出される必要があるとき、より少ないデータ記憶および処理を必要とするより低解像度の画像が使用され得る。これは、低解像度の常時オンカメラ、または低解像度の設定のカメラなどの、低解像度のカメラを使用して画像を捕捉することによって行われ得る。いくつかの実施形態では、高解像度の画像は、特徴抽出のためのより低解像度の画像を生成するために、サブサンプリングされ、または空間的に平均化され得る。たとえば、800×600ピクセルの画像は、160×120ピクセル以下の画像にされ得る。いくつかの実施形態では、画像の解像度は、画像から抽出されるべき関心のある特徴に基づいて選択され得る。いくつかの実施形態では、異なる解像度の画像が異なる段階において使用され得る。たとえば、ある段階では低解像度の画像が使用されることがあり、別の段階ではより高解像度の画像が使用されることがある。
【００５５】
多段階の増分的な特徴抽出および物体検出の方法をより効率的にするために、単一のパスで関心のある任意の狭いバンドまたは広いバンドにおける画像の特徴を抽出すること、言い換えると、式(2)および(4)によって記述される閾値関数に従った各パスにおけるハイパスフィルタリングのための1つだけの閾値と2つ以上のハイパスフィルタリングのパスの組合せとを使用してバンドにおける特徴を抽出するのではなく、対象物の特有の特徴に基づくバンドパスフィルタを用いて画像をフィルタリングすることが望ましい。
【００５６】
III.二重閾値を使用したバンドパス特徴抽出
LBPおよびCS-LBPはバイナリ特徴記述子であるので、記憶および計算の効率のために精度を犠牲にするように設計されている。しかしながら、そのようなトレードオフは、ある特定の用途の望まれる精度によっては、一部の用途では結果を悪くすることがある。このトレードオフが1つの閾値を用いて行われる従来のLBPまたはCS-LBP演算子は、フレキシブルではない。たとえば、歩行者検出において、バイナリ特徴抽出が検出の性能を劣化させ得ることが実証されている。
【００５７】
CS-LBPおよびHOGは、それらがともに方向の勾配を抽出するという点で類似しているが、HOGは7ビットを使用してより良好な分解能で勾配の大きさを符号化するという利点があるが、CS-LBPは1ビットしか使用しない。結果として、CS-LBPは、エイリアシングの問題を示すことがあり、以下の例によって示されるように高コントラストのエッジと低コントラストのエッジを区別することが可能ではないことがある。
【００５８】
図7A〜図7Cは、低コントラストの勾配から高コントラストの勾配が1つの閾値を伴うCS-LBP演算子を使用して区別不可能であり得る例を示す。図7A〜図7Cに示されるように、CS-LBP演算子の閾値が20に設定されるとき、低コントラスト(図7A)、中コントラスト(図7B)、および高コントラスト(図7C)のセルは同じCS-LBPラベルを有し得るので、互いに区別不可能である。CS-LBPのこの欠点は、CS-LBPの適用を限定し得る。たとえば、人の検出のアプリケーションでは、HOGのようにより高い分解能で勾配の大きさを表すことが、識別の成功に重要である。
【００５９】
CS-LBPを使用して異なる勾配の特徴を区別するために、特徴を抽出するための複数のパスの各々において異なる閾値が設定され得る。各パスにおいて、抽出される特徴は対象物の特徴と比較されることがあり、2つ以上のパスからの結果は異なる勾配の特徴を区別するためにビットごとの演算によって組み合わせられることがある。たとえば、その中の画素のグレーレベル値が図8Aに示されるようなものである画像の中のセルは、弱い勾配、並の勾配、強い勾配、および非常に強い勾配を含む、対向する画素の間でのグレーレベルの差により表される、埋め込まれた勾配の4つの異なる範囲を含む。CS-LBP演算の閾値が20に設定されるとき、図8Bに示されるようにすべての勾配が選択され得る。閾値が40に設定されるとき、図8Cに示されるように弱い勾配以外のすべてが選択され得る。閾値が80に設定されるとき、図8Dに示されるように強い勾配および非常に強い勾配のみが選択される。閾値が160に設定されるとき、図8Eに示されるように非常に強い勾配が選択され得る。閾値が160より大きい値に設定されるとき、図8Fに示されるように、セルの中に存在しない最も強い勾配のみが選択され得る。したがって、たとえば、強い勾配だけを選択し、しかし非常に強い勾配を選択しないようにするために(80と160の間にあるグレーレベルの差)、2つの特徴抽出パスが使用され得る。第1のパスにおいて、CS-LBP演算の閾値は、図8Dに示されるようにCS-LBPラベル「0011」を生成するために80に設定され得る。第2のパスにおいて、CS-LBP演算の閾値は、図8Eに示されるようにCS-LBPラベル「0001」を生成するために160に設定され得る。第1のパスおよび第2のパスにおいて生成されるCS-LBPラベルは分類され、結果が組み合わせられる。代替的に、第1のパスおよび第2のパスにおいて生成されるCS-LBPラベルは、ラベル「0010」を生成するためにビットごとにXOR演算されてよく、このラベルは80と160の間の勾配を伴う特徴を表す。
【００６０】
したがって、マルチビットエンティティ(勾配の大きさなど)がバイナリパターンによって十分に表され得るように、したがって、特徴表現に1ビットよりも多くを必要とするアプリケーションがLBPまたはCS-LBPなどのバイナリ特徴記述子を用いても実現可能であるように、方法を考案することが有利であろう。
【００６１】
さらに、上で説明されたように、バンドにおける関心のある特徴のバンドパスフィルタリングまたは抽出は、特徴抽出および比較の数を、2つ以上のハイパスフィルタリングのパスと2つ以上のパスからの結果に対するビットごとの演算とを使用する特徴抽出および比較の数の半分へと減らすことができる。
【００６２】
典型的なLBPまたはCS-LBPは1つの閾値しか有しないので、1つのパスにおいて関心範囲内の特徴を抽出するのは難しい。本開示の様々な実施形態では、第2の閾値T2を追加することによって、および、CS-LBPの場合に、
【００６３】
【数４】
2018532191.tif 000006
【００６４】
であり、かつ下側の閾値T1と上側の閾値T2との間の範囲内にある勾配の大きさの情報が抽出され得るように閾値関数を修正することによって、修正されたLBPまたはCS-LBPラベルが、選択的バンドパス勾配大きさの段階ベースの増分的な特徴抽出のために使用される。同様に、LBP演算の閾値関数s()は、
【００６５】
【数５】
2018532191.tif 000007
【００６６】
と修正され得る。
LBPまたはCS-LBP演算子へのそのような拡張は、LBPまたはCS-LBPの同じ出力フォーマットを保ちながら、関心のある特定のバンドにおいて特徴を捉えることを可能にする。言い換えると、二重閾値のLBPまたはCS-LBPの1ビットの出力は、潜在的に、多ビットのダイナミックレンジとともに特徴を捉えることができる。
【００６７】
様々な実施形態において、閾値関数は、2つの閾値を使用してバイナリ値を返すことができる他の形態であり得る。たとえば、閾値関数は、gがT1とT2の間にある場合は「0」を返し、それ以外の場合は「1」を返して、バンドストップフィルタまたはノッチフィルタとして動作し得る。閾値関数は、T1<g≦T2である場合にも「1」を返し得る。
【００６８】
図9に示されるように、下側の閾値T1および上側の閾値T2の使用により、CS-LBP演算子が勾配の大きさのバンドパスフィルタとして機能することが可能になる。適切な閾値T1およびT2を規定することによって、単一のパスにおいて画像から異なる強さの勾配が抽出され得る。たとえば、図8Aに示されるセルでは、図9Aに示されるように、T1が20に設定されT2が40に設定されるとき、20と40の間の勾配を伴う特徴が抽出され得る。図9Bに示されるように、T1が40に設定されT2が80に設定されるとき、40と80の間の勾配を伴う特徴が抽出され得る。図9Cに示されるように、T1が80に設定されT2が160に設定されるとき、80と160の間の勾配を伴う特徴が抽出され得る。図9Dに示されるように、T1が160に設定されT2が256に設定されるとき、160と256の間の勾配を伴う特徴が抽出され得る。図9Eに示されるように、T1が161に設定されT2が256に設定されるとき、160より大きい勾配を伴う特徴が抽出され得る。したがって、理論的には、T1が0から最大の勾配値よりも1小さい値までインクリメントされ、T2がT1+1に設定される場合、HOGと比較して勾配の大きさの情報を何も失うことなく、あらゆる勾配の大きさが判別可能に抽出され得る。
【００６９】
加えて、二重閾値のLBPまたはCS-LBP演算子は、単一閾値のLBPまたはCS-LBPの上位集合である。たとえば、T2を画像の中の最大の勾配値に設定することによって、図10A〜図10Eに示されるような二重閾値のCS-LBP演算子によって生成されるラベルは、図8B〜図8Fに示されるような単一閾値のCS-LBPによって生成されるラベルと同一である。したがって、二重閾値のLBPまたはCS-LBP演算子は、単一閾値のLBPまたはCS-LBP演算子よりフレキシブルである。
【００７０】
IV.バンドパス特徴抽出を用いた増分的な物体検出
第2の閾値の導入によって可能にされるLBPおよびCS-LBPの選択的なバンドパス能力により、LBPまたはCS-LBPに基づく増分的な特徴抽出および物体検出が、シングルフレーム画像またはマルチフレーム画像上で実行され得る。第2の閾値により、勾配の大きさなどの特徴の特定の範囲が単一のパスにおいて抽出され得る。たとえば、二重閾値のLBPまたはCS-LBP演算子を使用する物体検出方法は、単一閾値のLBPまたはCS-LBP演算子を使用する方法と比較して、画像のための特徴抽出および分類の数を半分に減らすことができるので、計算の量および電力消費の量を半分に減らすことができる。この方法は、単一画像の状況において、またはより有利には、マルチフレームの状況において、特に消費電力をより重視する常時オンのアプリケーションに対して実施され得る。
【００７１】
たとえば、勾配の強さのある特定の範囲が、適切な閾値T1およびT2を設定することによって、バンドパスCS-LBPフィルタを使用して抽出され得る。その特定の範囲において対象物の特有の特徴がない場合、さらなる処理は必要ではない。一方、その範囲において対象物の特有の特徴がある場合、閾値の新しいセットを用いてさらなる特徴が抽出され得る。閾値の新しいセットは、以前に定義され調査されたバンドと重複しない、または一部重複する、バンドを定義し得る。隣のバンドとは、連続的であることがあり、または間隙により分離されていることがある。
【００７２】
図11および図12に示されるように、いくつかの実施形態では、バンドパス特徴抽出器を使用する増分的な物体検出方法は、1つまたは複数の画像を受信または捕捉するステップと、段階的なプロセスの中の複数の段階において1つまたは複数の画像を使用して物体検出を実行するステップとを含み得る。段階的なプロセスの複数の段階の各段階は、(1)対象物の所定の特徴の複数のバンドから異なる特徴のバンドを選択することと、(2)二重閾値のローカルバイナリパターン演算子を使用して1つまたは複数の画像からバンド内の対応する特徴を抽出することと、(3)対象物の所定の特徴の複数のバンドからの選択された特徴のバンドと1つまたは複数の画像から抽出されたバンド内の対応する特徴との間で一致条件が満たされるかどうかを決定することと、(4)一致条件が満たされないとき、段階的なプロセスから抜けて対象物が検出されないことを示す信号を生成することとを含み得る。一致の確率が閾値を超える場合、一致条件が満たされ得る。一致条件が段階的なプロセスのすべての段階において満たされる場合、対象物が検出されることを示す信号が生成され得る。複数の段階において抽出されるすべての特徴は、同じ画像に由来し得る。代替的に、複数の段階の各段階において抽出される特徴は、1つまたは複数の画像の異なる画像に由来し得る。いくつかの実施形態では、複数の段階のいくつかの段階において抽出される特徴は、同じ画像に由来し得る。
【００７３】
教師あり機械学習技法、たとえば、K近傍法(KNN)、ツリー、ナイーブベイズ、ロジスティック回帰、およびサポートベクターマシン(SVM)、または、教師なし機械学習技法、たとえば、クラスタリングなどの方法を使用して、複数のバンドの各バンドにおける対象物の特有の特徴を決定して優先順位付けることができ、最も特徴的な特徴が最初に順位付けられ、最も特徴的ではない特徴が最後に順位付けられる。電力消費をさらに減らすために、カスケード状の多段階物体検出システムの各段階において抽出されるべき特徴は、最も特徴的な特徴が最初の段階において抽出および比較され、最も特徴的ではない特徴が最後の段階において抽出および比較され、対象物を含まない画像に対してはより早い段階において物体検出プロセスから抜けられるように、同じ順序で特徴の優先順位に基づいて選択され得る。したがって、抽出されるべき特徴、したがってLBPまたはCS-LBPなどの特徴抽出演算子に対する閾値は、各段階に対して、事前に決められ得る。対象物の集団における特徴の共通性に基づくものなどの、段階の他の構成も可能である。いくつかの実施形態では、複数の特徴のバンドが、1つの段階において組合せで使用され得る。
【００７４】
関心エリアの中のすべてのセルのための二重閾値のLBPまたはCS-LBPラベルが閾値の特定のセットを使用して生成された後で、すなわち、特定のバンド内の特徴が抽出された後で、一致条件が満たされるかどうかを決定するための、SVM分類器などの分類器による対象物の特有の特徴との比較のために、ラベルのヒストグラムが生成され得る。様々な実施形態において、一致の確率がある閾値を超える場合、一致条件が満たされる。
【００７５】
こうして、画像データの中のすべての特徴を抽出して、すべての抽出された特徴に基づいて包括的かつ最終的な判断を行う代わりに、特定の段階の判断に対して不可欠な特徴のサブセットのみを抽出することができ、拒絶の判断が行われるまで、または最後の段階に達するまで、各段階において部分的な判断だけが行われる。いずれかの分類段階において拒絶の判断が行われる場合、さらなる処理は不要であるので、処理に要する不必要な電力が節約される。
【００７６】
A.シングルフレームの増分的な物体検出
図11は、二重閾値のCS-LBP演算子を使用した、単一画像のフレームに対する人の顔の検出などの増分的な物体検出のプロセス1100を示すフローチャートである。ブロック1110において、画像フレームの画像データは、図1において説明されるものなどの物体検出システムによって、取得または受信される。ブロック1120において、カスケード段階カウンタが以前の値から1だけインクリメントされ、たとえばi-1からiにインクリメントされる。ブロック1130において、段階カウンタの値iが最後の段階番号と比較される。段階カウンタの値iが最後の段階の段階番号より大きくない場合、すなわち、画像がすべての段階においては分類されていない場合、段階iに対するCS-LBPの勾配の閾値は、上で説明されたような段階iにおいて抽出され比較されるべき特徴の所定のバンドに基づいて設定されることが可能であり、ブロック1140において、バンドi内の対応する特徴が閾値を使用して画像データから抽出されることが可能である。ブロック1150において、バンドiにおける抽出された特徴が、SVMおよびKNNなどの任意の適切な分類技法を使用して分類され得る。バンドiにおける抽出された特徴がバンドiにおける対象物の予想される特徴と一致しないと決定される場合、段階1160において、画像は対象物を含まないものとして拒絶される。十分な類似性の尺度が満たされる場合、たとえば、一致の確率がある閾値を超える場合、一致が見出され得る。バンドiにおける抽出された特徴がバンドiにおける対象物の予想される特徴と一致すると決定される場合、ブロック1120において、段階番号がi+1へと1だけインクリメントされる。ブロック1130において、段階カウンタの値i+1が再び最後の段階の段階番号と比較される。段階カウンタの値i+1が最後の段階の段階番号より大きくない場合、ブロック1140において、バンドi+1内の特徴を抽出するために段階i+1に対する所定の閾値が使用され、ブロック1150において抽出された特徴が分類される。段階カウンタの値i+1が最後の段階の段階番号より大きい場合、すなわち、画像がすべての段階によって分類され、いずれの段階でも拒絶されなかった場合、ブロック1170において、画像は対象物を含むものとして受け入れられる。
【００７７】
上で説明されたシングルフレームの増分的な物体検出では、電力消費および計算の低減は、少なくとも2つの方法で達成され得る。第1に、任意の狭いバンドまたは広いバンドの中の関心のある特徴が、1つのパスで抽出され比較され得る。第2に、拒絶がいずれかの分類段階において行われる場合、画像が拒絶され、さらなるデータ処理が必要ではない。しかしながら、取得された画像データは、画像が拒絶されるか受け入れられるかのいずれかになるまで、処理の間のより後の段階における処理のために保存されている必要があり得る。
【００７８】
B.マルチフレームの増分的な物体検出
常時オンのアプリケーションでは、カメラは、固定レートまたは可変レートで画像を継続的に捕捉する。大半の常時オンのアプリケーションでは、画像は短い間隔で捕捉される。セクションIV(A)において説明された方法に従って各画像フレームを処理することは、次の画像フレームが捕捉される前に各画像フレームを分類できる高速なプロセッサ、または遅延した処理のために捕捉された画像を記憶するためのメモリのいずれかを必要とし、これらはともに大量の電力を消費する。
【００７９】
一方で、画像フレームは大半の常時オンのアプリケーションでは短い間隔で捕捉されるので、順次的に捕捉される画像フレームは、時間的に隣り合う画像フレームからほとんど変化しない。結果として、時間的に隣り合う画像フレームの中の特徴もほとんど変化しない。
【００８０】
本開示の様々な実施形態では、関心のあるバンド内の特徴は、ある画像フレームから抽出され、バンド内の対象物の対応する特有の特徴と比較され得る。バンド内の対象物の対応する特有の特徴が画像の中に存在しない場合、物体は検出されない。バンド内の対象物の対応する特有の特徴が画像に存在する場合、次の関心のあるバンド内の特徴が、次の画像から抽出され、次のバンド内の対象物の対応する特有の特徴と比較され得る。言い換えると、各画像フレームは一度だけ処理および比較され、その後で廃棄され得る。したがって、各画像フレームは、より遅いプロセッサを用いても、次のフレームが捕捉される前に処理および比較されることが可能であり、第2の処理または遅延した処理のために画像を記憶する必要がない。バンドパス特徴抽出能力がなければ、画像フレームは、バンド内の特徴を抽出するために少なくとも2回処理されるので、より多くのデータ記憶およびより多くの計算を必要とするであろう。
【００８１】
図12は、二重閾値のCS-LBP演算子を使用した、複数の画像フレームに対する人の顔の検出などのN段階の増分的な物体検出の例示的なプロセス1200を示すフローチャートである。第1の段階では、ブロック1210において、画像フレームがイメージャによって捕捉される。捕捉された画像フレームは、ブロック1220におけるバンドパス勾配特徴抽出のために、T1=128およびT2=256である二重閾値のCS-LBP演算子によって処理される。ブロック1230において、128と256との間の勾配範囲にある抽出された勾配特徴は、画像フレームが人の顔を潜在的に含み得るかどうかを決定するために、カスケード状の分類器1によって同じ勾配範囲にある人の顔の特有の勾配特徴と比較される。画像フレームが人の顔を含まないと決定される場合、プロセス1200はブロック1210において再開する。画像フレームが人の顔を含み得ると決定される場合、ブロック1240において、第2の段階に対する新しい画像フレームが捕捉される。捕捉された画像フレームは、ブロック1250におけるバンドパス勾配特徴抽出のために、T1=64およびT2=128という新しい閾値の設定を伴う二重閾値のCS-LBP演算子によって処理される。ブロック1260において、64と128との間の勾配範囲にある抽出された勾配特徴は、画像フレームが人の顔を含む可能性があり得るかどうかを決定するために、カスケード状の分類器2によって同じ勾配範囲にある人の顔の特有の勾配特徴と比較される。画像フレームは、人の顔と一致する可能性がある閾値を超える場合、人の顔を含み得る。画像フレームが人の顔を含まないと決定される場合、プロセス1200はブロック1210において再開する。画像フレームが人の顔を含み得ると決定される場合、ブロック1270において、第3の段階に対する新しいフレームが捕捉される。捕捉された画像フレームは、ブロック1280におけるバンドパス勾配特徴抽出のために、T1=32およびT2=64という閾値の設定を伴う二重閾値のCS-LBP演算子によって処理される。上のデータ処理は、第Nの段階におけるブロック1290まで、N個の段階の各々に対して繰り返す。いずれの段階においても、勾配バンドにおける画像フレームからの抽出された勾配特徴が同じ勾配バンドにおける人の顔の予想される勾配特徴と一致しない場合、プロセス1200はブロック1210において再開する。N個の段階の各々において、画像フレームからの勾配バンドにおける抽出された勾配特徴が同じ勾配バンドにおける人の顔の予想される勾配特徴と一致する場合、人の顔が検出される。
【００８２】
いくつかの実施形態では、捕捉された画像フレームの中の関心のあるエリアはフレームごとに追跡され得るので、イメージャの視野が変化しても、または対象物が動いても、各フレームに対して画像フレームの同様のエリアが処理される。
【００８３】
異なる段階のための画像捕捉、特徴抽出および分類は、図12では異なるブロックに示されているが、異なる段階は、同じハードウェアまたはファームウェア上で、ループとして実施または達成され得る。
【００８４】
V.マルチビット特徴抽出
いくつかの実施形態では、テクスチャまたは勾配の大きさなどの画像における特徴は、2ビット以上を用いて特徴を量子化することによって捉えられ得る。たとえば、減算の閾値ではなく除算の閾値を使用する、ローカルマルチビットパターン(LMP)演算子が、マルチビットにて特徴を抽出するために使用され得る。LMP演算子のための閾値関数は次のように記述され得る。
f(g)=g/T    (7)
好ましい実施形態では、閾値Tは、ビットシフトが除算を実行できるように2のべき乗であり得る。
【００８５】
結果として、中心対称のローカルマルチビットパターン(CS-LMP)では、各々の中心対称のペアに対する1ビットの出力の代わりに、各々の中心対称のペアに対する出力のビット幅は、0から256(または28)の範囲にある勾配gに対して8-log2(T)になる。したがって、所与の最小の許容可能な閾値Tminおよびセルの中のN個の中心対称の画素のもとで、セルに対するCS-LMP演算子によって生み出されるバイナリビットの総数は
【００８６】
【数６】
2018532191.tif 000008
【００８７】
であるので、CS-LMP演算子によって生み出される最大の十進数は
【００８８】
【数７】
2018532191.tif 000009
【００８９】
である。
【００９０】
生成されたCS-LMPラベルは次いで、上で説明されたような物体の分類のためのLBPまたはCS-LBPラベルと同様の方法で使用され得る。
【００９１】
VI.システム例
1つまたは複数の態様によれば、本明細書の図1〜図12において説明される装置モジュール、回路、方法、および/または方法ステップのいずれかおよび/またはすべてが、電気回路もしくはコンピューティングデバイスによって、および/またはそれらの中で実装され得る。追加または代替として、本明細書において説明される方法および/もしくは方法ステップのいずれかおよび/またはすべては、メモリ、ストレージ、または別のコンピュータ可読媒体などのコンピュータ可読媒体上に記憶されているコンピュータ可読命令などのコンピュータ可読命令において実施され得る。
【００９２】
図13は、本開示の実施形態を実践する際に利用されるデバイスまたはシステムの少なくとも一部を組み込んだ例示的なコンピューティングデバイス1300を示す。たとえば、コンピューティングデバイス1300は、モバイルデバイスまたは任意の他のコンピューティングデバイスの構成要素のいくつかを表し得る。コンピューティングデバイス1300の例には、限定はされないが、デスクトップ、ワークステーション、パーソナルコンピュータ、スーパーコンピュータ、ビデオゲーム機、タブレット、スマートフォン、ラップトップ、ネットブック、または他のポータブルデバイスがある。図13は、本明細書において説明される様々な他の実施形態によって提供される方法を実行することができ、かつ/または、ホストコンピューティングデバイス、リモートキオスク/端末、販売時点デバイス、モバイル多機能デバイス、セットトップボックス、および/もしくはコンピューティングデバイスとして機能することができる、コンピューティングデバイス1300の一実施形態の概略図を提供する。図13は、様々な構成要素の一般化された図を与えることのみを意図しており、必要に応じて、それらの構成要素のいずれかまたはすべてが利用され得る。したがって、図13は、個々のシステム要素が、比較的分離された状態または比較的統合された状態でどのように実装され得るかを概略的に示す。
【００９３】
バス1305を介して電気的に結合され得る(または適宜別様に通信し得る)ハードウェア要素を備える、コンピューティングデバイス1300が示されている。ハードウェア要素は、限定はされないが、1つまたは複数の汎用プロセッサおよび/または1つまたは複数の(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなどの)専用プロセッサを含む1つまたは複数のプロセッサ1310と、限定はされないが、1つまたは複数のカメラセンサ1350、タッチスクリーン、マウス、キーボードなどを含み得る1つまたは複数の入力デバイス1315と、限定はされないが、ディスプレイユニット、プリンタなどを含み得る1つまたは複数の出力デバイス1320とを含み得る。センサ1350は、視覚センサ、嗅覚センサ、および/または化学センサを含み得る。
【００９４】
コンピューティングデバイス1300は、1つまたは複数の非一時的記憶デバイス1325をさらに含む(かつ/またはそれと通信する)ことがあり、非一時的記憶デバイスは、限定はされないが、ローカルストレージおよび/もしくはネットワークアクセス可能なストレージを備えることがあり、ならびに/または、限定はされないが、プログラム可能、フラッシュ更新可能などであり得る、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドフォーム記憶デバイスを含むことがある。そのような記憶デバイスは、限定はされないが、様々なファイルシステム、データベース構造などを含む任意の適切なデータストレージを実装するように構成され得る。
【００９５】
コンピューティングデバイス1300は、通信サブシステム1330も含み得る。通信サブシステム1330は、データを受信し送信するためのトランシーバ、または、有線媒体および/もしくはワイヤレス媒体を含み得る。通信サブシステム1330はまた、限定はされないが、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含み得る。通信サブシステム1330は、ネットワーク、他のコンピューティングデバイス、および/または本明細書において説明される任意の他のデバイスと、データが交換されることを可能にし得る。多くの実施形態では、コンピューティングデバイス1300は、上で説明されたように、RAMまたはROMデバイスを含み得る非一時的ワーキングメモリ1335をさらに備え得る。
【００９６】
コンピューティングデバイス1300は、オペレーティングシステム1340、デバイスドライバ、実行可能ライブラリ、および/または、1つまたは複数のアプリケーションプログラム1345などの他のコードを含む、ワーキングメモリ1335内に現在位置しているように図示されている、ソフトウェア要素を備えることがあり、1つまたは複数のアプリケーションプログラム1345は、本明細書において説明されるように、様々な実施形態によって提供されるコンピュータプログラムを含むことがあり、ならびに/または、他の実施形態によって提供される方法を実施し、かつ/もしくはシステムを構成するように設計されることがある。単なる例として、上で説明された方法に関して説明される1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装されることがあり、次いで、ある態様では、そのようなコードおよび/または命令は、説明された方法に従って1つまたは複数の動作を実行するように、汎用コンピュータ(または他のデバイス)を構成し、かつ/または適応させるために使用されることがある。
【００９７】
これらの命令および/またはコードのセットは、上で説明された記憶デバイス1325などのコンピュータ可読記憶媒体に記憶されることがある。場合によっては、記憶媒体は、コンピューティングデバイス1300などのコンピューティングデバイス内に組み込まれ得る。他の実施形態では、記憶媒体に記憶されている命令/コードによって汎用コンピュータをプログラムし、構成し、かつ/または適応させるために記憶媒体が使用され得るように、記憶媒体は、コンピューティングデバイスから分離され(たとえば、コンパクトディスクのようなリムーバブル媒体)、かつ/またはインストールパッケージにおいて提供され得る。これらの命令は、コンピューティングデバイス1300によって実行可能である、実行可能コードの形をとることがあり、ならびに/または(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/展開ユーティリティなどのいずれかを使用した)コンピューティングデバイス1300上でのコンパイルおよび/もしくはインストール時に実行可能コードの形をとるソースコードおよび/もしくはインストール可能コードの形をとることがある。
【００９８】
実質的な変形が、特定の要件に従って行われ得る。たとえば、カスタマイズされたハードウェアが使用されることもあり、かつ/または特定の要素がハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、もしくはその両方で実装されることがある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイス1300への接続が利用されることがある。
【００９９】
いくつかの実施形態は、本開示による方法を実行するためにコンピューティングデバイス(コンピューティングデバイス1300など)を利用し得る。たとえば、プロセッサ1310が、ワーキングメモリ1335に含まれる(オペレーティングシステム1340、および/またはアプリケーションプログラム1345などの他のコードに組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行することに応答して、説明される方法の手順の一部またはすべてがコンピューティングデバイス1300によって実行され得る。そのような命令は、記憶デバイス1325の1つまたは複数などの別のコンピュータ可読媒体からワーキングメモリ1335に読み込まれ得る。単なる例として、ワーキングメモリ1335に含まれる命令のシーケンスの実行は、プロセッサ1310に、本明細書において説明された方法の1つまたは複数の手順を実行させ得る。
【０１００】
本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを提供することに関与する任意の媒体を指す。コンピューティングデバイス1300を使用して実装される実施形態では、様々なコンピュータ可読媒体が、実行するためにプロセッサ1310に命令/コードを提供することに関与することがあり、ならびに/または、そのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用されることがある。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はされないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとり得る。不揮発性媒体は、たとえば、記憶デバイス1325などの、光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はされないが、ワーキングメモリ1335などの動的メモリを含む。伝送媒体は、限定はされないが、バス1305、ならびに通信サブシステム1330の様々な構成要素(および/またはそれによって通信サブシステム1330が他のデバイスとの通信を提供する媒体)を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバーを含む。したがって、伝送媒体はまた、波(限定はされないが、無線波データ通信および赤外線データ通信の間に生成されるものなどの無線波、音波、および/または光波を含む)の形をとり得る。代替的な実施形態では、カメラなどのイベント駆動型構成要素およびデバイスが使用されることがあり、その場合、処理の一部がアナログドメインにおいて実行されることがある。
【０１０１】
物理的な、および/または有形のコンピュータ可読媒体の一般的な形態には、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、CD-ROM、他の任意の光媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはメモリカートリッジ、以下に記載されるような搬送波、またはコンピュータが命令および/もしくはコードを読み取ることができる任意の他の媒体がある。
【０１０２】
様々な形態のコンピュータ可読媒体が、1つまたは複数の命令の1つまたは複数のシーケンスを実行のためにプロセッサ1310に搬送することに関与し得る。単なる例として、命令は最初、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送され得る。リモートコンピュータは、命令をその動的メモリにロードし、コンピューティングデバイス1300によって受信および/または実行される伝送媒体上の信号として、命令を送信することができる。電磁信号、音響信号、光信号などの形をとり得るこれらの信号はすべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。
【０１０３】
通信サブシステム1330(および/またはその構成要素)は、一般に信号を受信し、次いで、バス1305は、信号(および/または、信号によって搬送されるデータ、命令など)をワーキングメモリ1335に搬送することができ、プロセッサ1310は、ワーキングメモリ1335から命令を取り出し、実行する。ワーキングメモリ1335によって受け取られた命令は任意選択で、プロセッサ1310による実行の前または後のいずれかに、非一時的記憶デバイス1325に記憶され得る。
【０１０４】
上で議論された方法、システム、およびデバイスは、例である。様々な実施形態が、適宜、様々な手順または構成要素を省略し、置換し、または追加し得る。たとえば、代替の構成では、説明される方法は、説明される順序とは異なる順序で実行されることがあり、かつ/または、様々な段階が追加され、省略され、および/もしくは組み合わせられることがある。さらに、特定の実施形態に関して説明された特徴は、様々な他の実施形態においては組み合わされ得る。実施形態の異なる態様および要素は、同じように組み合わされ得る。また、技術は発展するので、要素のうちの多くは、本開示の範囲をそれらの具体例に限定しない例である。
【０１０５】
具体的な詳細が、実施形態の完全な理解を提供するために、説明において与えられる。しかしながら、実施形態は、これらの具体的な詳細を伴わずに実践され得る。たとえば、実施形態を不明瞭することを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技法は、無用に詳述することなく示されている。この説明は例示的な実施形態のみに関する説明であり、本発明の範囲、適用性、または構成を限定することは意図していない。むしろ、実施形態のこれらの説明は、本発明の実施形態を実施することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
【０１０６】
また、いくつかの実施形態が、流れ図またはブロック図として示されるプロセスとして説明された。各々が、動作を逐次プロセスとして説明することがあるが、動作の多くは、並行にまたは同時に実行され得る。加えて、動作の順序は、並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実現され得る。関連するタスクを実行するためのプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実装されるとき、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは、関連するタスクを実行し得る。
【０１０７】
いくつかの実施形態を説明してきたが、本開示の精神から逸脱することなく、様々な変更形態、代替構成、および均等物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素であってよく、他のルールが、本発明の適用例よりも優先するか、または本発明の適用例を別様に修正してよい。また、上記の要素が考慮される前、その間に、またはその後に、いくつかのステップが行われ得る。したがって、上記の説明は本開示の範囲を限定しない。
【符号の説明】
【０１０８】
110  カメラ
120  イメージセンサ
130  特徴抽出器
140  物体分類器
200  プロセス
302  ウィンドウ
304  セル
306  中心の画素
308  ヒストグラム
502  セル
504  式
600  方法
1100  プロセス
1200  プロセス
1300  コンピューティングデバイス
1305  バス
1310  プロセッサ
1315  入力デバイス
1320  出力デバイス
1325  記憶デバイス
1330  通信サブシステム
1335  ワーキングメモリ
1340  オペレーティングシステム
1345  アプリケーション
1350  センサ
【図１】
2018532191.tif 000010
【図２】
2018532191.tif 000011
【図３Ａ】
2018532191.tif 000012
【図３Ｂ】
2018532191.tif 000013
【図３Ｃ】
2018532191.tif 000014
【図３Ｄ】
2018532191.tif 000015
【図４Ａ】
2018532191.tif 000016
【図４Ｂ】
2018532191.tif 000017
【図４Ｃ】
2018532191.tif 000018
【図４Ｄ】
2018532191.tif 000019
【図５】
2018532191.tif 000020
【図６】
2018532191.tif 000021
【図７Ａ】
2018532191.tif 000022
【図７Ｂ】
2018532191.tif 000023
【図７Ｃ】
2018532191.tif 000024
【図８Ａ】
2018532191.tif 000025
【図８Ｂ】
2018532191.tif 000026
【図８Ｃ】
2018532191.tif 000027
【図８Ｄ】
2018532191.tif 000028
【図８Ｅ】
2018532191.tif 000029
【図８Ｆ】
2018532191.tif 000030
【図９Ａ】
2018532191.tif 000031
【図９Ｂ】
2018532191.tif 000032
【図９Ｃ】
2018532191.tif 000033
【図９Ｄ】
2018532191.tif 000034
【図９Ｅ】
2018532191.tif 000035
【図１０Ａ】
2018532191.tif 000036
【図１０Ｂ】
2018532191.tif 000037
【図１０Ｃ】
2018532191.tif 000038
【図１０Ｄ】
2018532191.tif 000039
【図１０Ｅ】
2018532191.tif 000040
【図１１】
2018532191.tif 000041
【図１２】
2018532191.tif 000042
【図１３】
2018532191.tif 000043
【手続補正書】
【提出日】平成30年3月26日(2018.3.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体検出の方法であって、
1つまたは複数の画像を受信または捕捉するステップと、
複数の段階を含む段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行するステップであって、前記複数の段階の各段階が、
対象物の所定の特徴の複数のサブセットから、所定の特徴の前記複数のサブセットの所定の順序に従って、前記段階に対する特徴の対応するサブセットを選択することであって、前記選択された特徴のサブセットが各段階に対して異なる、選択することと、
二重閾値のローカルバイナリパターン演算子を前記1つまたは複数の画像の画素に適用することによって前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する特徴を抽出することであって、前記二重閾値のローカルバイナリパターン演算子が、2つの閾値の間の範囲にある変数に対して作用するときは第1のバイナリ値を返し、前記2つの閾値の間の前記範囲の外側の変数に対して作用するときは第2のバイナリ値を返す、抽出することと、
前記選択された特徴のサブセットと、前記抽出された特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成し、それ以外の場合、前記複数の段階の次の段階に進むこととを含む、ステップと、
前記一致条件が前記段階的なプロセスの前記複数の段階のすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するステップと
を含む、方法。
【請求項２】
前記複数の段階の中のすべての抽出される特徴が1つの画像から抽出される、請求項1に記載の方法。
【請求項３】
前記段階的なプロセスの前記複数の段階の各段階における前記抽出される特徴が異なる画像から抽出される、請求項1に記載の方法。
【請求項４】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項1に記載の方法。
【請求項５】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が前記2つの閾値の間にある場合に前記第1のバイナリ値を返し、それ以外の場合に前記第2のバイナリ値を返すように構成される、請求項1に記載の方法。
【請求項６】
前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する前記特徴を抽出するステップが、
前記選択された特徴のサブセットに基づいて、前記2つの閾値を設定するステップと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値および前記2つの閾値に基づいて生成するステップとを含む、請求項5に記載の方法。
【請求項７】
前記対象物の前記所定の特徴の前記複数のサブセットが、サポートベクターマシン、K近傍法、またはクラスタリングのうちの少なくとも1つを使用して決定される、請求項1に記載の方法。
【請求項８】
前記対象物の前記所定の特徴の前記複数のサブセットが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のサブセットから前記段階に対する特徴の前記対応するサブセットを選択することが、前記対象物の前記所定の特徴の前記複数のサブセットの優先順位に基づく、請求項1に記載の方法。
【請求項９】
前記1つまたは複数の画像の中の関心のある領域を追跡するステップをさらに備える、請求項1に記載の方法。
【請求項１０】
前記対象物が、物理的な物体、人の顔、人の表情、または人のジェスチャーのうちの少なくとも1つである、請求項1に記載の方法。
【請求項１１】
物体検出のための装置であって、
1つまたは複数の画像を受信または捕捉するための手段と、
段階的なプロセスの中の複数の段階において前記1つまたは複数の画像を使用して物体検出を実行するための手段であって、前記複数の段階の各段階が、
対象物の所定の特徴の複数のサブセットから、所定の特徴の前記複数のサブセットの所定の順序に従って、前記段階に対する特徴の対応するサブセットを選択するための手段であって、前記選択された特徴のサブセットが各段階に対して異なる、手段と、
二重閾値のローカルバイナリパターン演算子を前記1つまたは複数の画像の画素に適用することによって前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する特徴を抽出するための手段であって、前記二重閾値のローカルバイナリパターン演算子が、2つの閾値の間の範囲にある変数に対して作用するときは第1のバイナリ値を返し、前記2つの閾値の間の前記範囲の外側の変数に対して作用するときは第2のバイナリ値を返す、手段と、
前記選択された特徴のサブセットと、前記抽出された特徴との間で、一致条件が満たされるかどうかを決定するための手段と、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成し、それ以外の場合、前記複数の段階の次の段階に進むための手段とを含む、実行するための手段と、
前記一致条件が前記複数の段階のすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するための手段と
を備える、装置。
【請求項１２】
特徴を抽出するための前記手段が、1つの画像から前記複数の段階においてすべての抽出された特徴を抽出するための手段を備える、請求項11に記載の装置。
【請求項１３】
特徴を抽出するための前記手段が、異なる画像から前記複数の段階の各段階において前記抽出された特徴を抽出するための手段を備える、請求項11に記載の装置。
【請求項１４】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項11に記載の装置。
【請求項１５】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が前記2つの閾値の間にある場合に前記第1のバイナリ値を返し、それ以外の場合に前記第2のバイナリ値を返すように構成される、請求項11に記載の装置。
【請求項１６】
前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する前記特徴を抽出するための前記手段がさらに、
前記選択された特徴のサブセットに基づいて、前記2つの閾値を設定するための手段と、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値および前記2つの閾値に基づいて生成するための手段とを含む、請求項11に記載の装置。
【請求項１７】
前記対象物の前記所定の特徴の前記複数のサブセットが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のサブセットから前記段階に対する特徴の前記対応するサブセットを選択するための前記手段が、前記対象物の前記所定の特徴の前記複数のサブセットの優先順位に基づいて前記段階に対する特徴の前記対応するサブセットを選択するための手段を備える、請求項11に記載の装置。
【請求項１８】
物体検出のためのシステムであって、
1つまたは複数の画像を捕捉または受信するように構成されるイメージャと、
複数の段階を含む段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行するように構成される回路とを備え、前記複数の段階の各段階が、
対象物の所定の特徴の複数のサブセットから、所定の特徴の前記複数のサブセットの所定の順序に従って、前記段階に対する特徴の対応するサブセットを選択することであって、前記選択された特徴のサブセットが各段階に対して異なる、選択することと、
特徴抽出器によって、二重閾値のローカルバイナリパターン演算子を前記1つまたは複数の画像の画素に適用することによって前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する特徴を抽出することであって、前記二重閾値のローカルバイナリパターン演算子が、2つの閾値の間の範囲にある変数に対して作用するときは第1のバイナリ値を返し、前記2つの閾値の間の前記範囲の外側の変数に対して作用するときは第2のバイナリ値を返す、抽出することと、
分類器によって、前記選択された特徴のサブセットと、前記抽出された特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成し、それ以外の場合、前記複数の段階の次の段階に進むことと
を含み、
前記回路がさらに、前記一致条件が前記段階的なプロセスの前記複数の段階のすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成するように構成される、システム。
【請求項１９】
前記複数の段階の中のすべての抽出される特徴が1つの画像から抽出される、請求項18に記載のシステム。
【請求項２０】
前記段階的なプロセスの前記複数の段階の各段階における前記抽出される特徴が異なる画像から抽出される、請求項18に記載のシステム。
【請求項２１】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項18に記載のシステム。
【請求項２２】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が前記2つの閾値の間にある場合に前記第1のバイナリ値を返し、それ以外の場合に前記第2のバイナリ値を返すように構成される、請求項18に記載のシステム。
【請求項２３】
前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する前記特徴を抽出することが、
前記選択された特徴のサブセットに基づいて、前記2つの閾値を設定することと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値および前記2つの閾値に基づいて生成することとを含む、請求項22に記載のシステム。
【請求項２４】
前記対象物の前記所定の特徴の前記複数のサブセットが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のサブセットから前記段階に対する特徴の前記対応するサブセットを選択することが、前記対象物の前記所定の特徴の前記複数のサブセットの優先順位に基づく、請求項18に記載のシステム。
【請求項２５】
機械可読命令を記憶した非一時的記憶媒体であって、前記命令が、専用コンピューティングデバイスによって、
1つまたは複数の画像を受信または捕捉することと、
複数の段階を含む段階的なプロセスにおいて前記1つまたは複数の画像を使用して物体検出を実行することであって、前記複数の段階の各段階が、
対象物の所定の特徴の複数のサブセットから、所定の特徴の前記複数のサブセットの所定の順序に従って、特徴の対応するサブセットを選択することであって、前記選択された特徴のサブセットが各段階に対して異なる、選択することと、
二重閾値のローカルバイナリパターン演算子を前記1つまたは複数の画像の画素に適用することによって前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する特徴を抽出することであって、前記二重閾値のローカルバイナリパターン演算子が、2つの閾値の間の範囲にある変数に対して作用するときは第1のバイナリ値を返し、前記2つの閾値の間の前記範囲の外側の変数に対して作用するときは第2のバイナリ値を返す、抽出することと、
前記選択された特徴のサブセットと、前記抽出された特徴との間で、一致条件が満たされるかどうかを決定することと、
前記一致条件が満たされないとき、前記段階的なプロセスから抜け、前記対象物が検出されないことを示す信号を生成し、それ以外の場合、前記複数の段階の次の段階に進むこととを含む、実行することと、
前記一致条件が前記段階的なプロセスの前記複数の段階のすべての段階において満たされる場合、前記対象物が検出されることを示す信号を生成することと
を行うように実行可能である、非一時的記憶媒体。
【請求項２６】
前記段階的なプロセスの前記複数の段階の各段階における前記抽出される特徴が異なる画像から抽出される、請求項25に記載の非一時的記憶媒体。
【請求項２７】
前記二重閾値のローカルバイナリパターン演算子が、中心対称のローカルバイナリパターン演算子である、請求項25に記載の非一時的記憶媒体。
【請求項２８】
前記二重閾値のローカルバイナリパターン演算子の閾値関数が、画像の中の2つの画素の画素値の差が前記2つの閾値の間にある場合に前記第1のバイナリ値を返し、それ以外の場合に前記第2のバイナリ値を返すように構成される、請求項25に記載の非一時的記憶媒体。
【請求項２９】
前記1つまたは複数の画像から前記選択された特徴のサブセットに対応する前記特徴を抽出することが、
前記選択された特徴のサブセットに基づいて、前記2つの閾値を設定することと、
前記1つまたは複数の画像のうちのある画像の中の画素に対するローカルバイナリパターンラベルを、前記画像の中の前記画素の近隣の画素の画素値および前記2つの閾値に基づいて生成することとを含む、請求項28に記載の非一時的記憶媒体。
【請求項３０】
前記対象物の前記所定の特徴の前記複数のサブセットが優先順位付けられ、前記対象物の前記所定の特徴の前記複数のサブセットから前記段階に対する特徴の前記対応するサブセットを選択することが、前記対象物の前記所定の特徴の前記複数のサブセットの優先順位に基づく、請求項25に記載の非一時的記憶媒体。
【国際調査報告】
2018532191.tif 000044
2018532191.tif 000045