(57)【要約】      （修正有）【課題】各画像ピクセルの勾配方向の計算は、非常に時間がかかり、非常に高度な計算及び高メモリ帯域幅を必要とするため、埋め込みシステムでのリアルタイム性能で実装することが非常に困難。【解決手段】画像におけるオブジェクトを検出する方法であって、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算し、画像においてセルを画定する。各セルは、１番目からｎ番目までのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、夫々、事前に定義された水平及び垂直のステップサイズの整数倍である。方法はさらに、各セルについて１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算し、特徴平面和のセットに基づいて、画像の画像部分について特徴ベクトルを決定し、特徴ベクトルを、画像の画像部分における対応するオブジェクトの存在を検出するために、対応するオブジェクト分類子と比較する。【選択図】図８
2020205118.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像ピクセルを含む画像におけるオブジェクトを検出するためのオブジェクト検出システムであって、前記オブジェクト検出システムが、
命令を記憶するためのメモリ、及び、
プロセッサ、
を含み、
前記プロセッサが、記憶された命令に応答して、
前記画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算するステップと、
前記画像における複数のセルを画定するステップであって、各セルが１番目からｎ番目までのピクセルを含み、前記画像における各セルの水平及び垂直方向の開始位置が、それぞれ、事前に定義された水平及び垂直のステップサイズの整数倍である、前記画像における複数のセルを画定する前記ステップと、
前記複数のセルの各セルについて１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算するステップであって、或るセルについての或るタイプの特徴平面和が、前記セルの前記１番目からｎ番目までのピクセルの対応する特徴を総計することによって計算され、ｎが整数である、前記計算するステップと、
前記画像の画像部分について特徴ベクトルを決定するステップであって、前記特徴ベクトルが、前記画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む、前記特徴ベクトルを決定するステップと、
前記画像の前記画像部分における前記オブジェクトの存在を検出するために、前記特徴ベクトルを対応するオブジェクト分類子と比較するステップと、
を行なう、オブジェクト検出システム。
【請求項２】
請求項１に記載のオブジェクト検出システムであって、
前記１つ又は複数のタイプの１つ又は複数の特徴平面が、
前記画像ピクセルのカラースキームを表すための、第１、第２、及び第３の特徴平面と、
前記画像ピクセルの勾配大きさを表すための第４の特徴平面と、
対応する５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）ビンにおける前記画像ピクセルの勾配を表すための５番目からｍ番目までのＨＯＧ特徴平面と、
を含み、ｍが整数である、オブジェクト検出システム。
【請求項３】
請求項２に記載のオブジェクト検出システムであって、
前記５番目からｍ番目までのＨＯＧビンの各ＨＯＧビンには最小ビニング角度及び最大ビニング角度が割り当てられ、
前記最小ビニング角度及び前記最大ビニング角度の各々のタンジェントが有理数であり、
前記画像ピクセルの前記５番目からｍ番目までのＨＯＧ特徴平面が、シフト演算、減算、及び比較演算のうちの少なくとも１つに基づいて決定される、オブジェクト検出システム。
【請求項４】
請求項３に記載のオブジェクト検出システムであって、
個々の画像ピクセルについての前記５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）特徴平面が、
前記画像ピクセルの水平勾配及び垂直勾配を計算すること、及び、前記水平勾配及び垂直勾配の比に基づいて、前記５番目からｍ番目までのＨＯＧビンの中から対応するＨＯＧビンを決定することであって、前記対応するＨＯＧビンが、前記比を、前記対応するＨＯＧビンに関連付けられる第１の閾値及び第２の閾値と比較することによって決定されること、
前記画像ピクセルの勾配値を計算すること、及び、
前記決定されたＨＯＧビンに対応するＨＯＧ特徴平面に前記勾配値を割り当てること、及び、５番目からｍ番目までのＨＯＧ特徴平面の残りのＨＯＧ特徴平面にゼロ値を割り当てること、
によって計算される、オブジェクト検出システム。
【請求項５】
請求項１に記載のオブジェクト検出システムであって、
前記プロセッサが更に、記憶された命令に応答して、
前記画像の前記画像部分の次の画像部分の特徴ベクトルを計算するステップと、
前記次の画像部分の前記特徴ベクトルを、対応するオブジェクト分類子と比較するステップと、
を行ない、
前記計算するステップ及び比較するステップが、前記画像の残りの画像部分の各々について逐次的に行われ、それにより、前記画像における前記対応するオブジェクトの前記存在を検出する、オブジェクト検出システム。
【請求項６】
請求項５に記載のオブジェクト検出システムであって、
事前に定義された第１の水平及び垂直セルサイズが、それぞれ事前に定義された第２の水平及び垂直セルサイズの整数倍である場合、前記事前に定義された第１の水平及び垂直セルサイズのセルについての特徴平面和が、前記事前に定義された第２の水平及び垂直セルサイズの１つ又は複数のセルの対応する特徴平面和に基づいて計算される、オブジェクト検出システム。
【請求項７】
請求項１に記載のオブジェクト検出システムであって、
前記プロセッサが、記憶された命令に応答して、
前記１つ又は複数のタイプの特徴平面から或るタイプの特徴平面を選択することと、
部分的特徴ベクトルを計算することであって、前記部分的特徴ベクトルが前記画像部分の１つ又は複数のセルについて、前記選択されたタイプの１つ又は複数の特徴平面和を含む、前記部分的特徴ベクトルを計算することと、
前記部分的特徴ベクトルを前記オブジェクトの対応する部分分類子と比較することと、
比較の結果を前記メモリに記憶することと、
を反復的に行うこと、
前記１つ又は複数のタイプの特徴平面の各タイプの前記特徴平面に対応する、１つ又は複数の比較結果を照合すること、及び、
前記照合された結果に基づいて、前記画像における前記オブジェクトの前記存在を検出すること、
によって前記特徴ベクトルを決定する前記ステップ及び比較する前記ステップを行なう、オブジェクト検出システム。
【請求項８】
請求項１に記載のオブジェクト検出システムであって、
前記プロセッサが、記憶された命令に応答して、スケーリングされた画像を取得するために、事前に定義されたスケーリングファクタによって前記画像をスケーリングするステップを行なう、オブジェクト検出システム。
【請求項９】
複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法であって、前記方法が、
前記画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、
前記画像における複数のセルを画定することであって、各セルが１番目からｎ番目までのピクセルを含み、前記画像における各セルの水平及び垂直方向の開始位置が、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である、前記画像における複数のセルを画定すること、
前記複数のセルの各セルについて１つ又は複数のタイプの１つ又は複数の特徴平面和を計算することであって、或るセルについての或るタイプの特徴平面和が、前記セルの前記１番目からｎ番目までのピクセルの対応する特徴平面を総計することによって計算され、ｎが整数である、前記１つ又は複数のタイプの１つ又は複数の特徴平面和を計算すること、
前記画像の画像部分について特徴ベクトルを決定することであって、前記特徴ベクトルが、前記画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む、前記特徴ベクトルを決定すること、及び、
前記画像の前記画像部分における前記オブジェクトの存在を検出するために、前記特徴ベクトルを対応するオブジェクト分類子と比較すること、
を含む、方法。
【請求項１０】
請求項９に記載の方法であって、
前記１つ又は複数のタイプの１つ又は複数の特徴平面を計算することが、
前記画像ピクセルのカラースキームを表すための、第１、第２、及び第３の特徴平面を計算すること、
前記画像ピクセルの強度を表すための第４の特徴平面を計算すること、及び、
対応する５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）ビンにおける前記画像ピクセルの勾配を表すための、５番目からｍ番目までのＨＯＧ特徴平面を計算すること、
を含み、ｍが整数である、方法。
【請求項１１】
請求項１０に記載の方法であって、
前記５番目からｍ番目までのＨＯＧビンの各ＨＯＧビンには最小ビニング角度及び最大ビニング角度が割り当てられ、
前記最小ビニング角度及び前記最大ビニング角度の各々のタンジェントが有理数であり、
前記画像ピクセルの前記５番目からｍ番目までのＨＯＧ特徴平面が、シフト演算、減算、及び比較演算のうちの少なくとも１つに基づいて決定される、方法。
【請求項１２】
請求項９に記載の方法であって、
個々の画像ピクセルについての前記５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルの水平勾配及び垂直勾配を計算すること、及び、前記水平勾配及び垂直勾配の比に基づいて、前記５番目からｍ番目までのＨＯＧビンの中から対応するＨＯＧビンを決定することであって、前記対応するＨＯＧビンが、前記比を、前記対応するＨＯＧビンに関連付けられた第１の閾値及び第２の閾値と比較することによって決定されること、
前記画像ピクセルの勾配値を計算すること、及び、
前記決定されたＨＯＧビンに対応するＨＯＧ特徴平面に前記勾配値を割り当てること、及び、５番目からｍ番目までのＨＯＧ特徴平面の残りのＨＯＧ特徴平面にゼロ値を割り当てること、
を含む、方法。
【請求項１３】
請求項９に記載の方法であって、
前記画像の前記画像部分の次の画像部分の特徴ベクトルを計算すること、及び、
前記次の画像部分の前記特徴ベクトルを、対応するオブジェクト分類子と比較すること、
を更に含み、
前記特徴ベクトルを計算すること及び比較することが、前記画像の残りの画像部分の各々について逐次的に行われ、それにより、前記画像における前記対応するオブジェクトの前記存在を検出する、方法。
【請求項１４】
請求項９に記載の方法であって、
事前に定義された第１の水平及び垂直セルサイズが、それぞれ事前に定義された第２の水平及び垂直セルサイズの整数倍である場合、前記事前に定義された第２の水平及び垂直セルサイズの１つ又は複数のセルの対応する特徴平面和に基づいて、前記事前に定義された第１の水平及び垂直セルサイズのセルについての特徴平面和を計算することを更に含む、方法。
【請求項１５】
請求項９に記載の方法であって、
前記特徴ベクトルを前記決定すること及び比較することが、
前記１つ又は複数のタイプの特徴平面から或るタイプの特徴平面を選択することと、
部分的特徴ベクトルを計算することであって、前記部分的特徴ベクトルが、前記画像部分の１つ又は複数のセルの前記選択されたタイプの１つ又は複数の特徴平面和を含む、前記部分的特徴ベクトルを計算することと、
前記部分特徴ベクトルを前記オブジェクトの対応する部分的分類子と比較することと、
比較の結果を前記メモリに記憶することと、
を反復的に行うこと、
前記１つ又は複数のタイプの特徴平面の各タイプの前記特徴平面に対応する、１つ又は複数の比較結果を照合すること、及び、
前記照合された結果に基づいて、前記画像における前記オブジェクトの前記存在を検出すること、
を含む、方法。
【請求項１６】
請求項９に記載の方法であって、
スケーリングされた画像を取得するために、事前に定義されたスケーリングファクタによって前記画像をスケーリングすることを更に含む、方法。
【請求項１７】
複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法であって、前記方法が、
前記画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、
前記画像における複数のセルを画定することであって、各セルが１番目からｎ番目までのピクセルを含み、前記画像における各セルの水平及び垂直方向の開始位置が、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である、前記画像における複数のセルを画定すること、
前記複数のセルの各セルについて１つ又は複数のタイプの１つ又は複数の特徴平面和を計算することであって、或るセルについての或るタイプの特徴平面和が、前記セルの前記１番目からｎ番目までのピクセルの対応する特徴平面を総計することによって計算され、ｎが整数である、前記１つ又は複数のタイプの１つ又は複数の特徴平面和を計算すること、
前記１つ又は複数のタイプの特徴平面から或るタイプの特徴平面を選択することと、
部分特徴ベクトルを計算することであって、前記部分特徴ベクトルが、前記画像部分の１つ又は複数のセルについて、前記選択されたタイプの１つ又は複数の特徴平面和を含む、前記部分特徴ベクトルを計算することと、
前記部分特徴ベクトルを前記オブジェクトの対応する部分分類子と比較することと、
比較の結果を前記メモリに記憶することと、
を反復的に行うこと、
各タイプの前記特徴平面に対応する、１つ又は複数の比較結果を照合すること、及び、
前記照合された結果に基づいて、前記画像における前記オブジェクトの前記存在を検出すること、
を含む、方法。
【請求項１８】
請求項１７に記載の方法であって、
前記１つ又は複数のタイプの１つ又は複数の特徴平面を計算することが、
前記画像ピクセルのカラースキームを表すための、第１、第２、及び第３の特徴平面を計算すること、
前記画像ピクセルの強度を表すための第４の特徴平面を計算すること、及び、
対応する５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）ビンにおける前記画像ピクセルの勾配を表すための、５番目からｍ番目までのＨＯＧ特徴平面を計算すること、
を含み、ｍが整数である、方法。
【請求項１９】
請求項１７に記載の方法であって、
前記５番目からｍ番目までのＨＯＧビンの各ＨＯＧビンには最小ビニング角度及び最大ビニング角度が割り当てられ、
前記最小ビニング角度及び前記最大ビニング角度の各々のタンジェントが有理数であり、
前記画像ピクセルの前記５番目からｍ番目までのＨＯＧ特徴平面が、シフト演算、減算、及び比較演算のうちの少なくとも１つに基づいて決定される、方法。
【請求項２０】
請求項１７に記載の方法であって、
個々の画像ピクセルについての前記５番目からｍ番目までの勾配ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルの水平勾配及び垂直勾配を計算すること、及び、前記水平勾配及び垂直勾配の比に基づいて、前記５番目からｍ番目までのＨＯＧビンの中から対応するＨＯＧビンを決定することであって、前記対応するＨＯＧビンが、前記比を、前記対応するＨＯＧビンに関連付けられた第１の閾値及び第２の閾値と比較することによって決定されること、
2020205118.tif 000012
前記画像ピクセルの勾配値を計算すること、及び、
前記決定されたＨＯＧビンに対応するＨＯＧ特徴平面に前記勾配値を割り当てること、及び、５番目からｍ番目までのＨＯＧ特徴平面の残りのＨＯＧ特徴平面にゼロ値を割り当てること、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は一般に、車両からの歩行者及び他のオブジェクトの検出などの、オブジェクト検出に関する。
【背景技術】
【０００２】
現在、車両には、道路上の歩行者などのオブジェクトを検出し、運転者に警告／ブレーキアシストを提供するための、オブジェクト検出器が装備されている。オブジェクト検出器は、車両の前及び周囲の映像／画像を捕捉するためのビデオカメラを用い、車両の前及び周囲の障害物及び歩行者を識別するための画像処理技法を内部に適用している。
【０００３】
既存のオブジェクト検出器は、勾配方向ヒストグラム（ＨＯＧ）に基づくオブジェクト検出技法を用いており、この技法では、画像がブロックに分割され、画像のＨＯＧを形成するために、各ブロックにおける任意の方向のピクセル勾配の大きさがカウントされる。機械学習法は、画像における歩行者及び事前に定義されたオブジェクトを効果的に識別するように、ＨＯＧに識別及び分類技法を適用する。画像のＨＯＧは、各画像ピクセルの勾配方向及び勾配の大きさに基づいて計算される。画像ピクセルについて、対応する勾配方向θがθ＝ｔａｎ−１（ｙ／ｘ）として表され、この式では、ｙ＝垂直方向の勾配、ｙ＝水平方向の勾配である。
【０００４】
従来、不動点プロセッサにおける勾配方向θの計算は、除算用に１つ、逆タンジェント（ｔａｎ−１）用にもう１つを含む、２つのルックアップテーブルを用いることによって実装される。各画像ピクセルの勾配方向の計算に２つのルックアップテーブルを用いることは、非常に時間がかかり、非常に高度な計算及び高メモリ帯域幅を必要とするため、埋め込みシステムでのリアルタイム性能で実装することが非常に困難となる。メモリ帯域幅は、任意のシステム、特にマルチコアシステムにおける、重要なリソースである。メモリ帯域幅は、システム性能を最適化する際に重要な役割を担う。したがって、他のプロセッサも並行して効果的に働くように、できる限り小さなメモリ帯域幅を有することが非常に重要である。
【０００５】
他のオブジェクト検出技法には、計算の数を削減するために積分画像を計算することが含まれる。しかしながら、積分画像の計算は計算の数は削減するが、中間データ要素のサイズを増大させ、高メモリ帯域幅が必要になる。
【発明の概要】
【０００６】
複数の画像ピクセルを含む画像におけるオブジェクトを検出するためのオブジェクト検出システムを説明する例において、オブジェクト検出システムは、命令を記憶するためのメモリと、記憶された命令に応答して、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算するステップ、及び、画像における複数のセルを画定するステップを行なうためのプロセッサとを含む。各セルは、第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。プロセッサは更に、記憶された命令に応答して、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和（ｓｕｍｍａｔｉｏｎ）を計算するステップを行なう。或るセルについての或るタイプの特徴平面和は、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。プロセッサはまた、記憶された命令に応答して、画像の画像部分について特徴ベクトルを決定するステップと、画像の画像部分におけるオブジェクトの存在を検出するために特徴ベクトルを対応するオブジェクト分類子と比較するステップとを行ない、特徴ベクトルは、画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む。
【０００７】
また、複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法を説明する例において、この方法は、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、及び、画像における複数のセルを画定することを含む。各セルは第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。また、この方法は、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算することを含む。或るセルについての或るタイプの特徴平面和は、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。また、この方法は、画像の画像部分について特徴ベクトルを決定することを含む。特徴ベクトルは、画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む。また、この方法は、画像の画像部分におけるオブジェクトの存在を検出するために特徴ベクトルを対応するオブジェクト分類子と比較することを含む。
【０００８】
複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法を説明する他の例において、この方法は、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、及び、画像における複数のセルを画定することを含む。各セルは第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。また、この方法は、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算することを含む。或るセルについての或るタイプの特徴平面和が、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。また、この方法は、１つ又は複数のタイプの特徴平面から或るタイプの特徴平面を選択することと、部分的特徴ベクトルを計算することと、部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較することと、比較の結果をメモリに記憶することとを、反復的に実施することを含む。部分的特徴ベクトルは、画像部分の１つ又は複数のセルについて、選択されたタイプの１つ又は複数の特徴平面和を含む。また、この方法は、各タイプの特徴平面に対応する１つ又は複数の比較結果を照合すること、及び、照合された結果に基づいて、画像におけるオブジェクトの存在を検出することを含む。
【図面の簡単な説明】
【０００９】
【図１】例示的シナリオにおける、複数の画像ピクセルを含む画像を図示する。
【００１０】
【図２】例示的シナリオにおける、第１から第ｍのＨＯＧビン（ｂｉｎ）を図示する。
【００１１】
【図３Ａ】例示的シナリオにおける、６つのＨＯＧビンの第１のセットを図示する。
【図３Ｂ】例示的シナリオにおける、８つのＨＯＧビンの第２のセットを図示する。
【００１２】
【図４】或る実施形態における、オブジェクト検出システムのブロック図を図示する。
【００１３】
【図５Ａ】例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（６，６）のセルを図示する。
【図５Ｂ】例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（６，６）のセルを図示する。
【００１４】
【図６Ａ】例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（４，４）のセルを図示する。
【図６Ｂ】例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（４，４）のセルを図示する。
【００１５】
【図６Ｃ】例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（８，８）のセルを図示する。
【００１６】
【図７】或る実施形態における、画像フレーム内の検出ウィンドウを図示する。
【００１７】
【図８】或る実施形態における、画像におけるオブジェクトを検出する方法のフローチャートである。
【発明を実施するための形態】
【００１８】
図面は、特に記載しない限り一定の縮尺で描かれておらず、こうした図面は本来、単なる例である。
【００１９】
図１を参照すると、複数の画像ピクセルで形成される画像１００が示されている。ｉ番目の画像ピクセルの場合、ｉ＋１番目（ｘ）及びｉ−１番目（ｘ）は、ｘ方向の隣接する画像ピクセルであり、ｉ＋１番目（ｙ）及びｉ−１番目（ｙ）は、ｙ方向の隣接する画像ピクセルである。各画像ピクセルは或る強度及び勾配を有し、ｉ番目の画像ピクセルの勾配は、大きさＭＧｉ及び方向θｉを有する。ｉ番目の画像ピクセルの勾配の方向θｉは、
θｉ＝ｔａｎ−１  ｙｉ／ｘｉ    （１）
によって表され、上式で、ｘｉ＝ｉ番目のピクセルの水平勾配であり、ｙｉ＝ｉ番目のピクセルの垂直勾配である。
【００２０】
或る例において、ｉ番目のピクセルの水平勾配は、或る大きさと「正」又は「負」の方向性とを有し、
ｘｉ＝Ｉ（ｘｉ−１）−Ｉ（ｘｉ＋１）    （２）
によって表され、上式で、Ｉ（ｘｉ−１）＝対応する水平に左のピクセル、即ちｉ−１番目（ｘ）のピクセル、の強度であり、Ｉ（ｘｉ＋１）＝対応する水平に右のピクセル、即ちｉ＋１番目（ｘ）のピクセル、の強度である。
【００２１】
同様に、この例において、ｉ番目のピクセルの垂直勾配は、或る大きさと「正」又は「負」の方向性とを有し、
ｙｉ＝Ｉ（ｙｉ−１）−Ｉ（ｙｉ＋１）    （３）
によって表され、上式で、Ｉ（ｙｉ＋１）＝対応する垂直に上のピクセル、即ちｉ＋１番目（ｙ）のピクセル、の強度であり、Ｉ（ｙｉ−１）＝対応する垂直に下のピクセル、即ちｉ−１番目（ｙ）のピクセル、の強度である。
【００２２】
水平勾配の大きさＭＧｘｉは、
ＭＧｘｉ＝Ａｂｓ（Ｉ（ｘｉ−１）−Ｉ（ｘｉ＋１））    （４）
によって表される。
【００２３】
垂直勾配の大きさＭＧｙｉは、
ＭＧｙｉ＝Ａｂｓ（Ｉ（ｙｉ−１）−Ｉ（ｙｉ＋１））    （５）
によって表される。
【００２４】
ｉ番目のピクセルの勾配の大きさＭＧｉは、
2020205118.tif 000003
によって表される。
【００２５】
代替として、ｉ番目のピクセルの勾配の大きさＭＧｉは、
ＭＧｉ＝ＭＧｘｉ＋ＭＧｙｉ    （７）
によって表すことができる。
【００２６】
上記の数式において提供されるｉ番目のピクセルについての勾配の計算は限定的なものと見なされるべきではなく、勾配を計算するために他の数学式を用いることも可能である。別の例において、ｉ番目のピクセルの水平勾配は、ｉ番目のピクセルの、ｉ＋１番目（ｘ）のピクセル又はｉ−１番目（ｘ）のピクセルのいずれかとの強度差を用いて決定可能であり、ｉ番目のピクセルの垂直勾配は、ｉ番目のピクセルの、ｉ＋１番目（ｙ）のピクセル又はｉ−１番目（ｙ）のピクセルのいずれかとの強度差を用いて決定され得る。
【００２７】
図２は、或る実施形態における、画像１００におけるオブジェクト検出のための勾配のヒストグラム（ＨＯＧ）ビン２００を示す。ＨＯＧビン２００は、１番目からｍ番目までのビン、Ｂｉｎ  ０〜Ｂｉｎ  ｍ−１を含む。オブジェクト検出のために、画像１００の各画像ピクセルは、対応する勾配の方向θに基づいて、１番目からｍ番目までのビンのうちの１つにおいてカテゴリー分類される。この例において、ｍの値＝６である。しかしながら、別の例示的シナリオにおいて、ｍの値は８又は１０などと異なり得る。
【００２８】
図３Ａ及び図３Ｂは、例示的シナリオにおいて、それぞれ、６つのＨＯＧビンの第１のセット３００、及び８つのＨＯＧビンの第２のセット３０２を示す図である。
【００２９】
従来の（即ち、例示的実施形態に従わない）実装において、第１及び第２のセット３００及び３０２の各ＨＯＧビンには、０〜１８０°内の等しい方向範囲が割り当てられる。例えば、ｍ＝６のとき、各ＨＯＧビンには３０°が割り当てられるため、Ｂｉｎ  ０は０から３０°まで延在し、Ｂｉｎ  １は３０°から６０°まで延在する、という具合である。同様に、ｍ＝８のとき、各ＨＯＧビンには２２．５°が割り当てられるため、Ｂｉｎ  ０は０から２２．５°まで延在し、Ｂｉｎ  １は２２．５°から４５°まで延在する、という具合である。画像ピクセルには、対応する垂直及び水平の勾配の比を、対応する方向範囲のタンジェント値と比較することによって、ＨＯＧビンが割り当てられる。例えば、ｍの値＝６の場合、対応する勾配がＢｉｎ  ０にあるかどうかをチェックするために、画像ピクセルの垂直及び水平の勾配の比（ｙ／ｘ）が、ｔａｎ０°及びｔａｎ３０°の値と比較され得る。同様に、対応する勾配がＢｉｎ  １にあるかどうかをチェックするために、比（ｙ／ｘ）が、ｔａｎ３０°及びｔａｎ６０°の値と比較され得る、という具合である。ｔａｎ３０°、６０°、１２０°、及び１５０°は、それぞれ無理数１／√３、√３、−√３、及び−１√３であるため、画像ピクセルに関するＨＯＧビンの計算は複雑であり時間のかかるタスクである。
【００３０】
（従来の実装とは異なる）例示的実施形態において、第１及び第２のセット３００及び３０２のＨＯＧビンには、画像の画像ピクセルに関するＨＯＧビンの計算を簡略化するために、等しくない方向範囲が割り当てられる。或る実施形態において、第１及び第２のセット３００及び３０２の各ビンについて、最大及び最小のビニング角度（ｂｉｎｎｉｎｇ  ａｎｇｌｅ）θｍｉｎ及びθｍａｘが、ｔａｎθｍｉｎ及びｔａｎθｍａｘの各々が有理数であり、除算又は乗算なしで計算され得るように、選択される。また、シフト演算、減算、及び比較演算のうちの少なくとも１つの各々が、画像ピクセルのＨＯＧビンを計算するために有用である。ＨＯＧビンの第１のセット３００の場合、各ビンについての最小及び最大のビニング角度は下記の表１に示される。
【表１】
2020205118.tif 000004
【００３１】
ＨＯＧビンの第２のセット３０２の場合、各ビンについての最小及び最大のビニング角度は下記の表２に示される。
【表２】
2020205118.tif 000005
【００３２】
図４は、或る実施形態における、オブジェクト検出システム４００のブロック図を示す。例示的シナリオにおいて、オブジェクトは道路上の歩行者であり、オブジェクト検出システム４００は、車両又は任意の他の移動プラットフォームにおいて、道路上のオブジェクト検出を支援するために用いられる。オブジェクト検出システム４００は、歩行者検出システム４００とも呼ばれ得る。オブジェクト検出システム４００は、命令を記憶するためのメモリ４０２と、記憶された命令に応答して画像におけるオブジェクト検出のステップを実施するプロセッサ４０４とを含む。プロセッサ４０４は、特徴平面計算モジュール４０６、特徴ベクトル計算及び部分的分類モジュール４０８、並びに最終的分類モジュール４１０を含む。メモリ４０２は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、スタティックダイナミックＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ）ＲＡＭ、及びＤＤＲ  ＳＤＲＡＭなどの、任意の揮発性又は不揮発性メモリであり得る。同様に、プロセッサ４０４は、メモリ４０２に記憶された、ソフトウェア命令、プロトコル、又は論理命令の実行又はパフォーマンスを容易にするか又は可能にするための、様々な既知のデバイスを含み得る。例えば、プロセッサ４０４は、１つ又は複数の集積回路デバイス、中央処理ユニット（ＣＰＵ）、又はマイクロプロセッサとして具現化され得る。また、プロセッサ４０４は、メモリデバイス（例えば、プロセッサキャッシュ）、時間保持デバイス（例えば、リアルタイムクロック（ＲＴＣ））、及び／又は追加の回路要素又はデータ伝送チャネルを含み得る。プロセッサ４０４の１つの典型的な例には、エンベデッドビジョンエンジン（ＥＶＥ）が含まれる。したがって、プロセッサ４０４内部のモジュール（モジュール４０６、４０８、及び４１０など）は、単一のエンティティ又は異なるエンティティ（ソフトウェア及びファームウェアを備えるか又は備えない集積回路など）の形態で具現化され得る。プロセッサ４０４はまた、道路上のオブジェクトの画像及び／又は映像の捕捉及び／又は後処理を支援するためのハードウェアシステムを含み得、又はその他の方式でそうしたハードウェアシステムと通信することも可能である。画像及び／又は映像は、プロセッサ４０４にアクセス可能なカメラなどの画像捕捉デバイスによって捕捉され得る。
【００３３】
特徴平面計算モジュール４０６は、画像１００（図１）などの入力画像を受信し、画像１００の各画像ピクセルについて「ｈ」個の特徴平面を計算する。典型的には、ｈ＝ｍ＋４であり、この式で、ｍはＨＯＧビンの総数に等しい。例示的シナリオにおいて、ＨＯＧビンの数が６に等しい場合、特徴平面ｈの数は１０に等しい。以下の説明では、特徴平面「ｈ」の数は、特に指定のない限り、全体を通じて１０であると見なされる。
【００３４】
特徴平面計算モジュール４０６は、画像１００の各画像ピクセルについて、１０タイプの特徴平面の特徴セットＦｉを計算する。ｉ番目のピクセルの特徴セットＦｉは、
Ｆｉ＝｛Ｙｉ，Ｕｉ，Ｖｉ，Ｍｉ，Ｂｉ０，Ｂｉ１，Ｂｉ２，Ｂｉ３，Ｂｉ４，Ｂｉ５｝    （８）
によって表され、上式で、Ｙｉ、Ｕｉ、Ｖｉは、ｉ番目のピクセルの事前定義されたカラースキームを表すカラー特徴平面であり、Ｍｉは、ｉ番目のピクセルの勾配の大きさを表す大きさ特徴平面であり、Ｂｉ０、Ｂｉ１、Ｂｉ２、Ｂｉ３、Ｂｉ４、Ｂｉ５は、それぞれ、Ｂｉｎ  ０、Ｂｉｎ  １、Ｂｉｎ  ２、Ｂｉｎ  ３、Ｂｉｎ  ４、及びＢｉｎ  ５におけるｉ番目のピクセルの勾配の大きさを表すＨＯＧ特徴平面である。例示的実施形態において、ｉ番目のピクセルは、１つのビンにおいて非ゼロの勾配大きさ、及び他の５つのビンにおいてゼロ勾配を有する。
【００３５】
例示的実施形態において、特徴平面計算モジュール４０６は、従来技法に基づき、ｉ番目のピクセルについてＹｉ、Ｕｉ、Ｖｉ、Ｍｉの値を計算するか又はその他の方式でこれらの値にアクセスする。特徴平面計算モジュール４０６は、対応する水平及び垂直の勾配ｘｉ及びｙｉに基づいて推定される、ｉ番目のピクセルの勾配の大きさ及び方向に基づいて、Ｂｉ０、Ｂｉ１、Ｂｉ２、Ｂｉ３、Ｂｉ４、Ｂｉ５の値を計算する。
【００３６】
特徴平面計算モジュール４０６は、ｉ番目のピクセルの勾配のＨＯＧビンを計算するために、下記の表３において特定される、第１及び第２の閾値並びに比較条件を参照し、この表で、ＨＯＧビンの数は６に等しい。
【表３】
2020205118.tif 000006
【００３７】
特徴平面計算モジュール４０６は、ｉ番目のピクセルの勾配のＨＯＧビンを計算するために、下記の表４において特定される、第１及び第２の閾値並びに比較条件を参照し、この表で、ＨＯＧビンの数は８に等しい。
【表４】
2020205118.tif 000007
【００３８】
ｉ番目のピクセルの水平及び垂直の勾配ｘｉ及びｙｉが、対応する比較条件を満たす場合、ｉ番目のピクセルにビンが割り当てられる。表３及び表４に基づき、画像ピクセルについてのＨＯＧビンの計算は、主にシフト及び比較を含む。これが可能であるのは、ｔａｎθｍｉｎ及びｔａｎθｍａｘの各々が有理数であるように、各ＨＯＧビンについてθｍｉｎ及びθｍａｘが定義されるためである。
【００３９】
ｉ番目のピクセルの勾配についてＨＯＧビンを計算した後、特徴平面計算モジュール４０６は、数式（６）に基づいて対応する勾配の大きさを計算する。その後、特徴平面計算モジュール４０６は、計算されたＨＯＧビンに対応するＨＯＧ特徴平面に大きさ値を割り当て、残りのＨＯＧ特徴平面にゼロ値を割り当てる。例示的シナリオにおいて、特徴平面計算モジュール４０６がｉ番目の画像ピクセルについてＢｉｎ  １における勾配大きさＭｉを計算する場合、特徴セットＦｉは、
Ｆｉ＝｛Ｙｉ，Ｕｉ，Ｖｉ，Ｍｉ，０，Ｍｉ，０，０，０，０｝
として表される。
【００４０】
同様に、特徴計算モジュール４０６は、入力画像の各画像ピクセルについて特徴セットを計算し、同じものをメモリ４０２に記憶する。従来の（例示的実施形態に従わない）シナリオにおいて、特徴セットの数が画像ピクセルの数に等しい場合、特徴平面計算のうちで最も時間のかかる部分は、対応するＨＯＧビンを決定するために勾配の方向θを計算していた。これに対して、例示的実施形態では、特徴計算モジュール４０６は、方向θの計算をバイパスし、画像ピクセルの水平勾配と垂直勾配との間の数学的関係に基づいて、画像ピクセルのＨＯＧビンを決定する。この結果、特徴平面計算において約３０〜４５％の性能向上が生じる。
【００４１】
特徴平面計算モジュール４０６は更に、画像１００において複数のセルを画定する。セルとは、（Ｃｘ，Ｃｙ）としてのサイズを有する画像１００のユニットであり、ここで、Ｃｘはセル幅であり、Ｃｙはセル高さであり、（Ｃｘ×Ｃｙ）はセル内のピクセルの総数である。画像１００における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。入力画像内のセルは、図５Ａ及び図５Ｂ、並びに図６Ａ、図６Ｂ、及び図６Ｃを参照して更に示される。
【００４２】
図５Ａ及び図５Ｂは、例示的実施形態における、サイズ（６，６）の第１、第２、及び第３のセル５０２、５０４、５０６を含む、サイズ（６４，１２８）の画像５００を図示する。いくつかの例示的実施形態の説明を容易にするために、数個のセル５０２、５０４、５０６のみが示されている。セルは全画像５００において画定される。第１のセル５０２は、ｘ及びｙの両方の方向に、０番目から６番目のピクセルまで延在する。第２のセル５０４は、ｘ方向に４番目から１０番目のピクセルまで、及びｙ方向に０番目から６番目のピクセルまで延在する。第３のセル５０６は、ｘ方向に０番目から６番目のピクセルまで、及びｙ方向に４番目から１０番目のピクセルまで延在する。
【００４３】
一実施形態において、画像５００における各セルのｘ及びｙ方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの倍数である。例えば、水平及び垂直のステップサイズが各々４ピクセルである場合、セルサイズにかかわらず、セルの開始位置は、ｘ及びｙ方向に０，４，８，１２，・・・ピクセルである。例示的シナリオにおいて、ｘ方向に沿った第１及び第２のセル５０２及び５０４の開始位置は、それぞれ０番目及び４番目のピクセルである。また、ｙ方向に沿った第１及び第３のセル５０２及び５０６は、それぞれ０番目及び４番目のピクセルである。水平及び垂直のセルサイズが、対応するステップサイズと異なる場合、隣接するセルのいくつかの画像ピクセルが互いに重なり合う。
【００４４】
特徴平面計算モジュール４０６（図４）は、入力画像５００の各セルについて、各タイプの特徴平面についての特徴平面和を計算する。或るセルについての特徴平面和が、同様のタイプのセルの画像ピクセルのそれらの特徴を総計することによって計算される。例示的シナリオにおいて、サイズ（６×６）の第１のセル５０２についての（タイプＹ特徴平面の）特徴平面和Ｃ１（Ｙ）が、第１のセル５０２の３６のピクセルすべてのＹ特徴平面を総計することによって計算され、
2020205118.tif 000008
によって表される。
【００４５】
サイズ（６×６）の第１のセル５０２についての（タイプＵ平面の）特徴平面和Ｃ１（Ｕ）が、第１のセル５０２の３６のピクセルすべてのＵ特徴平面を総計することによって計算され、
2020205118.tif 000009
によって表される。
【００４６】
したがって、特徴平面計算モジュール４０６は、画像５００のｉ番目のセルについて、１０の特徴平面に対応する１０の特徴平面和を計算する。ｉ番目のセルについての特徴平面和のセットＳｉは、
Ｓｉ＝｛Ｃｉ（Ｙ），Ｃｉ（Ｕ），Ｃｉ（Ｖ），Ｃｉ（Ｍ），Ｃｉ（Ｂ０），Ｃｉ（Ｂ１），
Ｃｉ（Ｂ２），Ｃｉ（Ｂ３），Ｃｉ（Ｂ４），Ｃｉ（Ｂ５）｝    （１１）
によって表され、上式で、Ｃｉ（Ｙ）、Ｃｉ（Ｕ）、及びＣｉ（Ｖ）は、ｉ番目のセルについてのＹ、Ｕ、及びＶ特徴平面和であり、Ｃｉ（Ｍ）はｉ番目のセルについてのＭ特徴平面和であり、Ｃｉ（Ｂ０）、Ｃｉ（Ｂ１）、Ｃｉ（Ｂ２）、Ｃｉ（Ｂ３）、Ｃｉ（Ｂ４）、及びＣｉ（Ｂ５）は、ｉ番目のセルについてのＨＯＧ特徴平面和である。
【００４７】
図６Ａ及び図６Ｂは、第１から第９のセル６０２〜６１８を含む（６４又は１２８などの）サイズの画像６００を示し、セル６０２〜６１８の各々のサイズは４×４（例えば、１６ピクセル）である。例えば、セル６０２は、ｘ及びｙの両方の方向に０番目から４番目のピクセルまで延在し、セル６０４は、ｘ方向に４番目から８番目のピクセルまで、及びｙ方向に０番目から４番目のピクセルまで延在し、セル６０６は、ｘ方向に８番目から１２番目のピクセルまで、及びｙ方向に０番目から４番目のピクセルまで延在する、という具合である。
【００４８】
特徴平面計算モジュール４０６（図４）は、入力画像６００の各セルについての各タイプの特徴平面和を計算する。例示的シナリオにおいて、サイズ（４×４）の第１のセル６０２についての（タイプＶ平面の）特徴平面和Ｃ２（Ｖ）が、第１のセル６０２の１６のピクセルすべてのＶ特徴平面を総計することによって計算され、
2020205118.tif 000010
によって表される。
【００４９】
サイズ（４×４）のセル６０２についての（タイプＭ特徴平面の）特徴平面和Ｃ２（Ｍ）が、第１のセル６０４の１６のピクセルすべてのＭ特徴平面を総計することによって計算され、
2020205118.tif 000011
によって表される。
【００５０】
数式（１１）及び数式（１２）と同様に、特徴平面計算モジュール４０６は、画像６００の各セルについて、１０の特徴平面に対応する１０の特徴平面和を計算する。
【００５１】
図６Ｃは、サイズ（８×８）のセル６２０及びセル６２２を表すサイズ（６４，１２８）の画像６００を示す。一実施形態において、サイズ（８×８）のセル６２０は、図６Ａ及び図６Ｂを参照して説明したようなサイズ（４×４）のセル６０２、６０４、６０８、及び６１０を組み合わせることによって形成される。或る例において、特徴平面計算モジュール４０６は、セル６０２、６０４、６０８、及び６１０のＹ特徴平面和を総計することによって、サイズ（８×８）のセル６２０についての（タイプＹ平面の）特徴平面和Ｃ３（Ｙ）を計算する。サイズ（８×８）のセル６２０についての（タイプＹ平面の）特徴平面和Ｃ３（Ｙ）は、
Ｃ３（Ｙ）＝Ｃ１１（Ｙ）＋Ｃ２１（Ｙ）＋Ｃ４１（Ｙ）＋Ｃ５１（Ｙ）    （１４）
によって表され、上式で、Ｃ１１（Ｙ）＝セル６０２のＹ特徴平面和であり、Ｃ２１（Ｙ）＝セル６０４のＹ特徴平面和であり、Ｃ４１（Ｙ）＝セル６０８のＹ特徴平面和であり、Ｃ５１（Ｙ）＝セル６１０のＹ特徴平面和である。
【００５２】
同様に、サイズ（８×８）のセル６２２は、サイズ（４×４）のセル６０８、６１０、６１４、及び６１６を組み合わせることによって形成される。或る実施形態において、特徴平面計算モジュール４０６は、サイズ（４×４）のセル６０８、６１０、６１４、及び６１６のＹ特徴平面和を総計することによって、サイズ（８×８）のセル６２２についての（タイプＹ平面の）特徴平面和Ｃ４（Ｙ）を計算する。結果として、特徴平面計算モジュール４０６は、第１１のセル６２２についてのＹ特徴平面和を計算する際に、セル６０８及び６１０のＹ特徴平面和を再使用する。同様に、（Ｕ平面、Ｖ平面、及び６つのＨＯＧ平面などの）他の平面についての和も計算される。
【００５３】
図７は、入力画像７０４におけるオブジェクト検出のために用いられる、検出ウィンドウ７００及び７０２の例を図示する。入力画像７０４はフレームサイズ（Ｆｗ，Ｆｈ）を有し、ここで、Ｆｗはフレーム幅であり、Ｆｈはフレーム高さであり、Ｆｈ×Ｆｗは入力画像７０４における画像ピクセルの総数である。一実施形態において、検出ウィンドウ７００及び７０２の各々は、サイズ（ＳＷｘ，ＳＷｙ）を有する入力画像７０４の画像部分であり、ここで、ＳＷｘはウィンドウ幅であり、ＳＷｙはウィンドウ高さであり、ＳＷｘ×ＳＷｙは、検出ウィンドウ（７００、７０２）における画像ピクセルの総数である。検出ウィンドウ（７００、７０２）のステップサイズはＳｘ×Ｓｙとして参照され、ここで、Ｓｘは、ｘ方向に沿った１動作において検出ウィンドウ（７００、７０２）によってトラバースされるピクセルの数であり、Ｓｙは、ｙ方向に沿った１動作において検出ウィンドウ（７００、７０２）によってトラバースされるピクセルの数である。
【００５４】
モジュール４０８（図４）は、第１の検出ウィンドウ７００を選択し、その中の第１の部分的特徴ベクトルを計算するために或るタイプの特徴平面を選択する。第１の部分的特徴ベクトルは、第１の検出ウィンドウ７００の各セルに対応する、選択されたタイプの特徴平面和のセットである。或る例において、モジュール４０８がＹ特徴平面を選択する場合、第１の部分的特徴ベクトルは、第１の検出ウィンドウ７００内で画定されるセルのＹ特徴平面和を含むセットである。第１の検出ウィンドウ７００（第１から第ｎのセルを含む）のＹ特徴平面についての第１の部分的特徴ベクトルＰ１１（Ｙ）は、
Ｐ１１（Ｙ）＝｛Ｃ１（Ｙ），Ｃ２（Ｙ），Ｃ３（Ｙ），・・・，Ｃｎ（Ｙ）｝    （１５）
によって表され、上式で、Ｃ１（Ｙ）＝第１の検出ウィンドウ７００の第１のセルのＹ特徴平面和であり、Ｃ２（Ｙ）＝第１の検出ウィンドウ７００の第２のセルのＹ特徴平面和であり、Ｃｎ（Ｙ）＝第１の検出ウィンドウ７００の第ｎのセルのＹ特徴平面和である。
【００５５】
例示的シナリオにおいて、第１の検出ウィンドウ７００のサイズが（６４×１２８）であり、セルサイズが（８×８）である場合、第１の検出ウィンドウにおけるセルの数は（６４／８）×（１２８／８）＝１２８に等しい。したがって、部分的特徴ベクトルにおける要素の数は、セルの総数、即ち１２８、に等しく、部分的特徴ベクトルの数は１０に等しい。また、完全な特徴ベクトルは、第１の検出ウィンドウ７００の各セルについて各タイプの特徴平面和を含む。特徴平面和タイプの数が１０である場合、完全な特徴ベクトル
は１２８×１０＝１２８０の要素を含む。
【００５６】
モジュール４０８は、第１の検出ウィンドウ７００におけるオブジェクトのＹデータの存在を検出するために、第１の部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較し、第１の部分的特徴ベクトルを記憶する代わりに、比較の結果をメモリ４０２に記憶する。その後、モジュール４０８は、第１の検出ウィンドウ７００についての第２の部分的特徴ベクトルを計算するために、Ｕ特徴平面などの次のタイプの特徴平面を選択する。その後、第１の検出ウィンドウ７００においてオブジェクトのＵデータが検出されるかどうかを検出するために、第２の部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較し、比較の結果をメモリ４０２に記憶する。例示的シナリオにおいて、部分的オブジェクト分類子はＡＤＡＢＯＯＳＴ分類子である。
【００５７】
同様に、モジュール４０８は、次の特徴平面について部分的特徴ベクトルを計算するステップと、比較の結果をメモリ４０２に記憶するために、対応する部分的分類子と比較するステップとを、反復的に実施する。結果として、モジュール４０８は、１０の部分的特徴ベクトルを反復的に計算し、比較結果をメモリ４０２に記憶するために、対応する部分的オブジェクト分類子との１０回の比較を行なう。
【００５８】
モジュール４０８は、第１の検出ウィンドウ７００のセルの特徴平面和を記憶する代わりに、比較結果のみをメモリ４０２に記憶するため、メモリ帯域幅（ダブルデータレート（ＤＤＲ）メモリ帯域幅など）が大幅に節約される。モジュール４０８は、第１の検出ウィンドウ７００についての完全な特徴ベクトルの計算（１２８０の要素を共に計算することが必要となる）をバイパスし、一度に１つの部分的特徴ベクトルのみを計算する（１２８の要素を共に計算することが必要となる）ため、ＤＤＲ帯域幅が大幅に節約される。
【００５９】
最終的分類モジュール４１０は、モジュール４０８によって生成される比較結果を照合し、それに応じて、第１の検出ウィンドウ７００にオブジェクトが存在するかどうかを最終的に決定する。一実施形態において、モジュール４０８は、対応する部分的オブジェクト分類子との比較に基づいて、各部分的特徴ベクトルに対応するスコアを計算し、したがって、各特徴平面タイプに対応する１０の部分的スコアの総計を生成する。最終的分類モジュール４１０は、この１０の部分的スコアを加算して、第１の検出ウィンドウ７００にオブジェクトが存在するかどうかを示すための最終的スコアを生成する。
【００６０】
その後、モジュール４０８は、第２の検出ウィンドウ７０２（図７）を選択し、対応する部分的特徴ベクトル及び部分的スコアを計算する。その後、最終的分類モジュール４１０は、部分的スコアを照合して、第２の検出ウィンドウ７０２におけるオブジェクトの存在を検出する。モジュール４０８は部分的スコアを計算し、最終的分類モジュール４１０は、画像７０４の残りの検出ウィンドウの各々について部分的スコアを逐次的に照合し、それによって、画像７０４における対応するオブジェクトの存在を検出する。いくつかの例示的実施形態において、１２８０の要素のすべてを単一サイクルで計算することも可能であり、その後、これらの要素は、検出ウィンドウ（画像部分）におけるオブジェクトの存在を検出するために、分類子と比較され得る。
【００６１】
図８は、或る実施形態において、画像におけるオブジェクトを検出する方法のフローチャートである。或る実施形態において、方法８００の動作は、プロセッサ４００（図４）などのプロセッサによって行われる。
【００６２】
ブロック８０２で、この方法は、例示的画像１００（図１）などの、画像（入力画像）の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算することを含む。少なくとも１つの例において、各画像ピクセルについて１０タイプの特徴平面が計算され、１０タイプの特徴平面は、Ｙ、Ｕ、Ｖ特徴平面、Ｍ特徴平面、及び６つのＨＯＧ特徴平面を含む。或る画像ピクセルについての６つのＨＯＧ特徴平面は、画像ピクセルの水平及び垂直の勾配に基づいて計算される。
【００６３】
ブロック８０４で、この方法は、画像１００における複数のセルを画定することを含み、各セルは第１から９番目のピクセルを含む。画像１００における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。例えば、水平及び垂直のステップサイズが各々４ピクセルである場合、セルサイズにかかわらず、セルの開始位置は、ｘ及びｙ方向に０，４，８，１２，・・・ピクセルである。
【００６４】
ブロック８０６で、この方法は、セルの各々についての１つ又は複数のタイプの１つ又は複数の特徴平面和を計算することを含む。或るセルについての或るタイプの特徴平面和が、そのセルの１番目からｎ番目までのピクセルの対応する特徴平面を総計することによって計算される。例示的シナリオにおいて、第１のセル５０２（図５）などの、サイズ（６×６）のセルについての（タイプＹ特徴平面の）特徴平面和Ｃ１（Ｙ）が、第１のセル５０２の３６のピクセルすべてのＹ特徴平面を総計することによって計算される。
【００６５】
ブロック８０８で、この方法は、画像７０４（図７）の第１の検出ウィンドウ７００などの画像部分について特徴ベクトルを決定することを含む。画像部分の特徴ベクトルは、画像部分において画定されるセルの特徴平面和のセットを含む。一実施形態において、特徴ベクトルは、画像部分において画定されるセルについて、１タイプのみの特徴平面和のセットを含む、部分的特徴ベクトルである。
【００６６】
ブロック８１０で、この方法は、画像の画像部分における対応するオブジェクトの存在を検出するために、特徴ベクトルを対応するオブジェクト分類子と比較することを含む。一実施形態において、特徴ベクトルは、部分的特徴ベクトルであり、画像部分における対応するオブジェクトの存在を検出するために、対応する部分的オブジェクト分類子と比較される。オブジェクトの存在は、画像全体におけるオブジェクトの存在を決定するために、（図７を参照して説明する様々な検出ウィンドウにおけるなど）様々な画像部分において検出される。
【００６７】
部分的特徴ベクトルの一実施形態において、部分的特徴ベクトルは各タイプの特徴平面について反復的に決定され、各タイプの部分的特徴ベクトルは、各タイプの対応する部分的分類器と比較される。また、各タイプについての比較の結果はメモリに記憶される。また、各タイプの特徴平面に対応する１つ又は複数の比較結果が照合され、オブジェクトの存在は、照合された結果に基づいて画像において検出される。
【００６８】
例示的実施形態の１つ又は複数の利点が、入力画像におけるオブジェクトを検出することを含む。様々な実施形態のオブジェクト検出システムにおいて、画像ピクセル勾配のＨＯＧビンが、勾配の方向を計算せずに、画像ピクセルの水平勾配と垂直勾配との間の数学的関係に基づいて決定され、それにより、特徴平面計算において約３０〜４５％の性能向上が生じる。また、完全な特徴ベクトル計算に代わる部分的特徴ベクトル計算は、メモリ帯域幅の約９５％を大幅に節約する。オブジェクト検出システムの計算の複雑さ及びフットプリントは、従来の設計に比べて著しく低減される。また、オブジェクト検出システムは、任意のセルサイズ、検出ウィンドウサイズ、ステップサイズ、特徴平面の数、特徴ベクトルの数、及び分類子のタイプに適合可能である。
【００６９】
本明細書全体を通じた、特徴、利点、又は同様の言い回しへの言及は、特徴及び利点のすべてが、すべての実施形態にあるべきである（又はある）ことを示唆するものではない。したがって、本明細書全体を通じた、特徴及び利点の考察及び同様の表現は、必ずしも同じ実施形態に言及するものではない。
【００７０】
特許請求の範囲内で、説明する実施形態における改変が可能であり、他の実施形態が可能である。例えば、前述のような様々な実施形態は、異なる順のステップ及び／又は動作を用いて、並びに／或いは異なる構成におけるハードウェア要素を用いて、実施される。
【図１】
2020205118.tif 000013
【図２】
2020205118.tif 000014
【図３Ａ】
2020205118.tif 000015
【図３Ｂ】
2020205118.tif 000016
【図４】
2020205118.tif 000017
【図５Ａ】
2020205118.tif 000018
【図５Ｂ】
2020205118.tif 000019
【図６Ａ】
2020205118.tif 000020
【図６Ｂ】
2020205118.tif 000021
【図６Ｃ】
2020205118.tif 000022
【図７】
2020205118.tif 000023
【図８】
2020205118.tif 000024
【手続補正書】
【提出日】令和2年10月14日(2020.10.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像ピクセルを含む画像におけるオブジェクトを検出するためのオブジェクト検出システムであって、
命令を記憶するためのメモリと、
プロセッサであって、記憶された命令に応答して、
各画像ピクセルについて１組の特徴平面を計算するステップであって、勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することを含む、前記１組の特徴平面を計算するステップと、
前記画像における画像ピクセルのセルを画定するステップと、
特徴平面の和をもたらすためにセルにおいて全ての前記画像ピクセルの対応する特徴平面を総計するステップと、
前記画像においてセルの検出窓を画定するステップと、
各検出窓について１組の部分特徴ベクトルを決定するために検出窓において全ての前記セルの対応する特徴平面の和を総計するステップと、
前記部分特徴ベクトルを対応する部分オブジェクト分類子と比較して前記比較結果を前記メモリに格納するステップと、
オブジェクトが前記検出窓に存在するかを決定するために前記比較結果を照合するステップと、
を行なう、前記プロセッサと、
を含む、オブジェクト検出システム。
【請求項２】
請求項１に記載のオブジェクト検出システムであって、
前記１組の特徴平面を計算するステップが、
前記画像ピクセルのカラースキームを表す第１、第２及び第３の特徴平面を計算することと、
前記画像ピクセルの勾配大きさを表す第４の特徴平面を計算することと、
前記画像ピクセルの勾配を表す５番目からｍ番目までの勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することと、
を更に含む、オブジェクト検出システム。
【請求項３】
請求項１に記載のオブジェクト検出システムであって、
前記１組の特徴平面を計算するステップが、
前記ＨＯＧ特徴平面の各々についてビンを画定することと、
前記ビンに対して等しくない方向範囲を割り当てることであって、前記方向範囲が有理数であって除算又は乗算なしに計算され得る、前記割り当てることと、
前記等しくない方向範囲に従って各ピクセルを前記ビンの１つに分類することと、
を更に含む、オブジェクト検出システム。
【請求項４】
請求項１に記載のオブジェクト検出システムであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記水平勾配と前記垂直勾配との比を対応するＨＯＧビンに関連付けられる第１の有理数及び第２の有理数と比較することによって前期比に基づいてＨＯＧビンの中から対応するＨＯＧビンを決定することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記決定されたＨＯＧビンに対応する前記ビンに前記対応する勾配の大きさを割り当てて残りのＨＯＧビンにゼロ値を割り当てることと、
を含む、オブジェクト検出システム。
【請求項５】
請求項１に記載のオブジェクト検出システムであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面について６つのビンを画定することであって、各特徴平面について１つのビンである、前記画定することと、
Ｂｉｎ０：０，０．５、Ｂｉｎ１：０．５，２、Ｂｉｎ２：２，＋∞、Ｂｉｎ３：＋∞，−２、Ｂｉｎ４：−２，−０．５、Ｂｉｎ５：−０．５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記等しくない方向範囲に従って各ピクセルを前記ビンの１つに分類することと、
を含む、オブジェクト検出システム。
【請求項６】
請求項１に記載のオブジェクト検出システムであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面について６つのビンを画定することであって、各特徴平面について１つのビンである、前記６つのビンを画定することと、
Ｂｉｎ０：０，０．５、Ｂｉｎ１：０．５，２、Ｂｉｎ２：２，＋∞、Ｂｉｎ３：＋∞，−２、Ｂｉｎ４：−２，−０．５、Ｂｉｎ５：−０．５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記対応する勾配の大きさを前記分類されたビンに割り当てて残りのビンにゼロ値を割り当てることと、
を含む、オブジェクト検出システム。
【請求項７】
請求項１に記載のオブジェクト検出システムであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
前記ＨＯＧ特徴平面について８つのビンを画定することであって、各特徴平面について１つのビンである、前記８つのビンを画定することと、
Ｂｉｎ０：０，０．３７５、Ｂｉｎ１：０．３７５，１、Ｂｉｎ２：１，２．６６５、Ｂｉｎ３：２．６６５，＋∞、Ｂｉｎ４：＋∞，−２．６６５、Ｂｉｎ５：−２．６６５，−１、Ｂｉｎ６：−１，−０．３７５、Ｂｉｎ７：−０．３７５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記分類されたビンに前記対応する勾配の大きさを割り当てて残りのビンにゼロ値を割り当てることと、
を含む、オブジェクト検出システム。
【請求項８】
請求項１に記載のオブジェクト検出システムであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、方向角の計算なしに前記画像ピクセルについて水平勾配と垂直勾配との比に従って勾配方向ヒストグラム（ＨＯＧ）ビンにおいて前記画像ピクセルを分類することを含む、オブジェクト検出システム。
【請求項９】
画像ピクセルの画像においてオブジェクトを検出するプロセスであって、
各画像ピクセルについて１組の特徴平面を計算することであって、勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することを含む、前記１組の特徴平面を計算することと、
前記画像において画像ピクセルのセルを画定することと、
特徴平面和をもたらすためにセルにおいて全ての前記画像ピクセルの対応する特徴平面を総計することと、
前記画像においてセルの検出窓を画定することと、
各検出窓について１組の部分特徴ベクトルを決定するために検出窓において全ての前記セルの対応する特徴平面和を総計することと、
前記部分特徴ベクトルを対応する部分オブジェクト分類子と比較して前記比較結果をメモリに格納することと、
前記検出窓にオブジェクトが存在するかを決定するために前記比較結果を照合することと、
を含む、プロセス。
【請求項１０】
請求項９に記載のプロセスであって、
前記各画像ピクセルについて１組の特徴平面を計算することが、
前記画像ピクセルのカラースキームを表す第１、第２及び第３の特徴平面を計算することと、
前記画像ピクセルの強度を表す第４の特徴平面を計算することと、
前記画像ピクセルの勾配と大きさとを表す５番目からｍ番目までの勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することと、
を更に含む、プロセス。
【請求項１１】
請求項９に記載のプロセスであって、
前記各画像ピクセルについて１組の特徴平面を計算することが、
前記ＨＯＧ特徴平面の各々についてビンを画定することと、
前記ビンに等しくない方向範囲を割り当てることであって、前記方向範囲が有理数であって除算又は乗算なしに計算され得る、前記割り当てることと、
前記等しくない方向範囲に従って各ピクセルを前記ビンの１つに分類することと、
を更に含む、プロセス。
【請求項１２】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記水平勾配と前記垂直勾配との比を対応するＨＯＧビンに関連付けられる第１の有理数及び第２の有理数と比較することによって前記比に基づいてＨＯＧビンの中から対応するＨＯＧビンを決定することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記決定されたＨＯＧビンに対応する前記ビンに前記対応する勾配の大きさを割り当てて残りのビンにゼロ値を割り当てることと、
を含む、プロセス。
【請求項１３】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記ＨＯＧ特徴平面について６つのビンを画定することであって、各特徴平面について１つのビンである、前記６つのビンを画定することと、
Ｂｉｎ０：０，０．５、Ｂｉｎ１：０．５，２、Ｂｉｎ２：２，＋∞、Ｂｉｎ３：＋∞，−２、Ｂｉｎ４：−２，−０．５、Ｂｉｎ５：−０．５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記等しくない方向範囲に従って各ピクセルを前記ビンの１つに分類することと、
を含む、プロセス。
【請求項１４】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
前記ＨＯＧ特徴平面について６つのビンを画定することであって、各特徴平面について１つのビンである、前記６つのビンを画定することと、
Ｂｉｎ０：０，０．５、Ｂｉｎ１：０．５，２、Ｂｉｎ２：２，＋∞、Ｂｉｎ３：＋∞，−２、Ｂｉｎ４：−２，−０．５、Ｂｉｎ５：−０．５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
を含む、プロセス。
【請求項１５】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面について６つのビンを画定ことであって、各特徴平面について１つのビンである、前記画定することと、
Ｂｉｎ０：０，０．５、Ｂｉｎ１：０．５，２、Ｂｉｎ２：２，＋∞、Ｂｉｎ３：＋∞，−２、Ｂｉｎ４：−２，−０．５、Ｂｉｎ５：−０．５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記対応する勾配の大きさを前記分類されたビンに割り当てて残りのビンにゼロ値を割り当てることと、
を含む、プロセス。
【請求項１６】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
前記ＨＯＧ特徴平面について８つのビンを画定することであって、各特徴平面について１つのビンである、前記８つのビンを画定することと、
Ｂｉｎ０：０，０．３７５、Ｂｉｎ１：０．３７５，１、Ｂｉｎ２：１，２．６６５、Ｂｉｎ３：２．６６５，＋∞、Ｂｉｎ４：＋∞，−２．６６５、Ｂｉｎ５：−２．６６５，−１、Ｂｉｎ６：−１，−０．３７５、Ｂｉｎ７：−０．３７５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
前記画像ピクセルの対応する勾配の大きさを計算することと、
前記分類されたビンに前記対応する勾配の大きさを割り当てて残りのビンにゼロ値を割り当てることと、
を含む、プロセス。
【請求項１７】
請求項９に記載のプロセスであって、
前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、方向角の計算なしに前記画像ピクセルについて水平勾配と垂直勾配との比に従って勾配方向ヒストグラム（ＨＯＧ）ビンにおいて前記画像ピクセルを分類することを含む、方法。
【請求項１８】
請求項９に記載のプロセスであって、
前記セルを画定することが、水平及び垂直方向において等しい数のピクセルを有するセルを画定することを含む、プロセス。
【請求項１９】
請求項９に記載のプロセスであって、
前記セルを画定することが、１つのセルが他のセルに重なり、水平及び垂直方向において等しい数のピクセルを有するセルを画定することを含む、プロセス。
【請求項２０】
請求項９に記載のプロセスであって、
前記検出窓を画定することが、他の検出窓に重なる検出窓を画定することを含む、プロセス。