(57)【要約】  画像プロセッサ（１０）は、画像内部の検出ウィンドウを選択するためのウィンドウセレクタと、検出ウィンドウの任意の部分におけるピクセルグループの自己類似性情報を、検出器ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表すために決定するため、および前記決定を、検出ウィンドウの全体的な自己類似性記述子を生成するために検出ウィンドウの全ての部分におけるグループについて反復するための自己類似性計算部（４０）とを有する。分類器（５０）は、全体的な自己類似性記述子を基礎としてオブジェクトが存在するかどうかを分類するために使用される。局所類似性ではなく全体的な自己類似性を用いることにより、より多くの情報が捕捉され、これにより、より優れた分類がもたらされ得る。具体的には、これは、オブジェクト固有のより遠距離の自己類似性、および任意のスケールで存在する自己類似性の認識を可能にする手助けをする。【選択図】図３
2013533998.tif 000002
【特許請求の範囲】
【請求項１】
ある画像または一連の画像においてオブジェクトを検出するための画像プロセッサ（１０）であって、各画像はピクセルで形成されており、かつ前記画像プロセッサは、
前記画像内部の検出ウィンドウを選択するためのウィンドウセレクタと、
前記検出ウィンドウの任意の部分におけるピクセルグループの自己類似性情報を、前記検出ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表すために決定するため、及び、前記決定を前記選択された検出ウィンドウの全体的な自己類似性記述子を生成するために前記検出ウィンドウの全ての部分におけるグループについて反復するため、の自己類似性計算部（４０）と、
その検出ウィンドウの前記全体的な自己類似性記述子から、前記画像の前記検出ウィンドウ内に前記オブジェクトが存在するかどうかを分類するための分類器（５０）と、
を備えることを特徴とする画像プロセッサ。
【請求項２】
前記自己類似性情報は、前記グループのピクセルの色の自己類似性の量を含むことを特徴とする請求項１に記載の画像プロセッサ。
【請求項３】
前記グループのピクセルの色の分布と、前記色の分布の自己類似性の量を含む前記自己類似性情報と、を決定するように調整される部分（４２）を有することを特徴とする請求項１または２に記載の画像プロセッサ。
【請求項４】
ピクセルのセルにおける輝度勾配の分布を決定して勾配情報を決定するため、および前記検出ウィンドウの全部分に渡るセルのこのような勾配情報を前記分類器へ入力するため、の部分（３０）を有しており、前記分類器はさらに、前記勾配情報を用いて前記オブジェクトが存在するかどうかを分類するように調整されることを特徴とする請求項１から３のいずれかに記載の画像プロセッサ。
【請求項５】
前記グループの流れを、画像シーケンスにおける連続画像に渡る前記グループの前記ピクセルの動作ベクトルとして決定し、かつ前記流れの自己類似性の量を含む前記自己類似性情報を決定するように調整される部分を有することを特徴とする請求項１から４のいずれかに記載の画像プロセッサ。
【請求項６】
前記自己類似性計算部は、前記グループ内のピクセルの特徴値のヒストグラムを、補間を用いて決定するように調整されるヒストグラム生成器（４４）を有することを特徴とする請求項１から５のいずれかに記載の画像プロセッサ。
【請求項７】
前記自己類似性計算部は、前記検出ウィンドウにおける異なるピクセルグループのヒストグラム間の類似性を、ヒストグラムインターセクションによって決定するように調整される部分（４６）を有することを特徴とする請求項６に記載の画像プロセッサ。
【請求項８】
前記画像部分の動作ベクトルを検出するための動作検出部（７０）を備えており、前記分類器部分もまた、前記検出ウィンドウにおける部分の前記動作ベクトルを基礎として分類するように調整されることを特徴とする請求項１から７のいずれかに記載の画像プロセッサ。
【請求項９】
前記類似性情報と前記輝度勾配の分布とを前記分類器へ入力する前に結合するためのコンバイナ部（６０）を有することを特徴とする請求項１から８のいずれかに記載の画像プロセッサ。
【請求項１０】
ある画像または一連の画像においてオブジェクトを検出するための画像プロセッサを使用する方法であって、各画像はピクセルで形成されており、かつ前記方法は、
前記画像内部の検出ウィンドウを選択するステップ（１００、１３０）と、
前記画像プロセッサを用いて、前記検出ウィンドウの任意の部分におけるピクセルグループの自己類似性情報を、前記検出器ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表現するために決定するステップ（１１０）と、
前記決定を、前記選択された検出ウィンドウの全体的な自己類似性記述子を生成するために前記検出ウィンドウの全ての部分におけるグループについて反復するステップ（１３０）と、
その検出ウィンドウの前記全体的な自己類似性記述子から、前記画像の前記検出ウィンドウ内に前記オブジェクトが存在するかどうかを分類するステップ（１４０）と、
を有することを特徴とする方法。
【請求項１１】
前記グループのピクセルの色の分布と、前記色の分布の自己類似性の量を含む前記自己類似性情報とを決定するステップを有することを特徴とする請求項１０に記載の方法。
【請求項１２】
ピクセルのセルにおける輝度勾配の分布を決定して勾配情報を決定するステップと、前記検出ウィンドウの全部分に渡るセルのこのような勾配情報を決定するステップとを有しており、前記分類するステップはさらに、前記勾配情報を用いて前記オブジェクトが存在するかどうかを分類することを特徴とする請求項１０または１１に記載の方法。
【請求項１３】
前記グループの流れを、画像シーケンスにおける連続画像に渡る前記グループの前記ピクセルの動作ベクトルとして決定し、かつ前記流れの自己類似性の量を含む前記自己類似性情報を決定するステップを有することを特徴とする請求項１０から１２のいずれかに記載の方法。
【請求項１４】
コンピュータが読み取り可能な媒体上に存在し、かつコンピュータにより実行されると、請求項１０から１３のいずれかに記載の方法を前記コンピュータに実行させる命令を有することを特徴とするプログラム。
【請求項１５】
請求項１から９のいずれかに記載の画像プロセッサを有する集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人等のオブジェクトを検出する画像処理のための装置および方法に関する。またこのような方法を実行するための対応するコンピュータプログラムと、コンピュータプログラムを格納するためのメモリデバイスと、また対応する集積回路と、に関する。
【背景技術】
【０００２】
歩行者の検出は、自動車の安全性［非特許文献１１、８参照］および映像監視［非特許文献２３］等の実際的用途におけるその重要性に起因して、最近の研究の焦点となっている。通常、立っている、または直立歩行している「普通の」歩行者用の現在まで最も成功しているモデルは、今もなお検索ウィンドウ全体に対して画一的なグローバル記述子である。このようなモデルの場合、動作を引き起こさせるために変えることができる３つの主たるステップ、即ち特徴抽出、分類および非最大抑制が存在する。生画像データから抽出される最も一般的な特徴は、ＨＯＧフレームワークの異形、即ち勾配の局所ヒストグラムおよび（相対）光学的流動［非特許文献３、４、１０、２４、２７］、ならびに異なるフレーバの一般化されたハールウェーブレット、例えば［非特許文献６、２３］である。我々発明者らの知る競合分類器は、統計的学習技術を用いて特徴からスコア（歩行者が存在している可能性を示す）−通常、サポート・ベクトル・マシン［非特許文献３、１３、１７、１９、２７］またはブースティングの何らかの異形［非特許文献２３、２７、２８、３０］の何れか、へのマッピングを学習する。
【０００３】
歩行者（即ち、直立位置にある人）の検出において行われている目覚ましい進歩は、おそらくは、データセットをベンチマーキングに使用することがますます困難になっていることによって最もよく例証される。第一世代［非特許文献１６］および第二世代［非特許文献３］の歩行者データベースは事実上の飽和状態であって、より困難な新しいデータセット［非特許文献７、２７、６］に取って代わられている。また、現実的な複雑性データを記録するこれらの最近の努力は、歩行者検出器によって可能になることと、多くのアプリケーションで要求されると思われることとの間に依然としてギャップがあることも示していて、［非特許文献６］では、完全に可視である人々に対してであっても、画像当たり１つの偽陽性検出の検出率が、最良方法でもいまだ６０％未満である。
【先行技術文献】
【非特許文献】
【０００４】
参考文献
【非特許文献１】［１］Ｍ．Ａｎｄｒｉｌｕｋａ、Ｓ．Ｒｏｔｈ、およびＢ．Ｓｃｈｉｅｌｅ。絵画的構造の再検討：人検出と関節のある姿勢推定。ＣＶＰＲ（コンピュータビジョンおよびパターン認識に関するＩＥＥＥ会議）、２００９年。
【非特許文献２】［２］Ｂ．Ｂａｂｅｎｋｏ、Ｐ．Ｄｏｌｌ’ａｒ、Ｚ．Ｔｕ、およびＳ．Ｂｅｌｏｎｇｉｅ。同時的な学習およびアラインメント：複数インスタンスおよび複数姿勢の学習。実像における顔に関するＥＣＣＶ（コンピュータビジョンに関する欧州会議）ワークショップ、２００８年。
【非特許文献３】［３］Ｎ．Ｄａｌａｌ、およびＢ．Ｔｒｉｇｇｓ。人検出用勾配方向ヒストグラム。ＣＶＰＲ、２００５年。
【非特許文献４】［４］Ｎ．Ｄａｌａｌ、Ｂ．Ｔｒｉｇｇｓ、およびＣ．Ｓｃｈｍｉｄ。フローおよび外観の方向ヒストグラムを用いる人検出。ＥＣＣＶ、２００６年。
【非特許文献５】［５］Ｐ．Ｄｏｌｌ’ａｒ、Ｚ．Ｔｕ、Ｐ．Ｐｅｒｏｎａ、およびＳ．Ｂｅｌｏｎｇｉｅ。積分チャネル特徴。ＢＭＶＣ（英国マシンビジョン会議）、２００９年。
【非特許文献６】［６］Ｐ．Ｄｏｌｌ’ａｒ、Ｃ．Ｗｏｊｅｋ、Ｂ．Ｓｃｈｉｅｌｅ、およびＰ．Ｐｅｒｏｎａ。歩行者検出：ベンチマーク。ＣＶＰＲ、２００９年。
【非特許文献７】［７］Ｍ．Ｅｎｚｗｅｉｌｅｒ、およびＤ．Ｍ．Ｇａｖｒｉｌａ。単眼歩行者検出：サーベイと実験。ＰＡＭＩ（パターン分析およびマシンインテリジェンス）、２００９年。
【非特許文献８】［８］Ａ．Ｅｓｓ、Ｂ．Ｌｅｉｂｅ、Ｋ．Ｓｃｈｉｎｄｌｅｒ、およびＬ．ｖａｎ  Ｇｏｏｌ。ロバストな複数人追跡用モバイルビジョンシステム。ＣＶＰＲ、２００８年。
【非特許文献９】［９］Ｍ．Ｅｖｅｒｉｎｇｈａｍ、Ｌ．Ｖａｎ  Ｇｏｏｌ、Ｃ．Ｋ．Ｉ．Ｗｉｌｌｉａｍｓ、Ｊ．Ｗｉｎｎ、およびＡ．Ｚｉｓｓｅｒｍａｎ。ＰＡＳＣＡＬビジュアル・オブジェクト・クラス・チャレンジ２００８年（ＶＯＣ２００８）の結果。
【非特許文献１０】［１０］Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ、Ｄ．ＭｃＡｌｌｅｓｔｅｒ、およびＤ．Ｒａｍａｎａｎ。識別訓練法によるマルチスケール変形可能パーツモデル。ＣＶＰＲ、２００８年。
【非特許文献１１】［１１］Ｄ．Ｍ．Ｇａｖｒｉｌａ、およびＳ．Ｍｕｎｄｅｒ。移動車両からの複数手掛かりによる歩行者検出および追跡。ＩＪＣＶ（コンピュータビジョンの国際ジャーナル）、７３：４１〜５９、２００７年。
【非特許文献１２】［１２］Ｉ．Ｎ．Ｊｕｎｅｊｏ、Ｅ．Ｄｅｘｔｅｒ、Ｉ．Ｌａｐｔｅｖ、およびＰ．Ｐ’ｅｒｅｚ。時間的自己類似性からの交差視行動認識。ＥＣＣＶ、２００８年。
【非特許文献１３】［１３］Ｚ．Ｌｉｎ、およびＬ．Ｓ．Ｄａｖｉｓ。人検出およびセグメンテーション用姿勢不変記述子。ＥＣＣＶ、２００８年。
【非特許文献１４】［１４］Ｓ．Ｍａｊｉ、Ａ．Ｃ．Ｂｅｒｇ、およびＪ．Ｍａｌｉｋ。交差カーネル支持ベクトルマシンを用いる分類は効率的である。ＣＶＰＲ、２００８年。
【非特許文献１５】［１５］Ｐ．Ｏｔｔ、およびＭ．Ｅｖｅｒｉｎｇｈａｍ。歩行者およびオブジェクト検出のための黙示的色セグメンテーション特徴。ＩＣＣＶ（コンピュータビジョンに関する国際会議）、２００９年。
【非特許文献１６】［１６］Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ、およびＴ．Ｐｏｇｇｉｏ。オブジェクト検出用訓練可能システム。ＩＪＣＶ、３８（１）：１５〜３３、２０００年。
【非特許文献１７】［１７］Ｐ．Ｓａｂｚｍｅｙｄａｎｉ、およびＧ．Ｍｏｒｉ。シェープレット特徴の学習による歩行者検。」ＣＶＰＲ、２００７年。
【非特許文献１８】［１８］Ｗ．Ｓｃｈｗａｒｔｚ、Ａ．Ｋｅｍｂｈａｖｉ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ。部分最小二乗分析を用いる人検出。ＩＣＣＶ、２００９年。
【非特許文献１９】［１９］Ａ．Ｓｈａｓｈｕａ、Ｙ．Ｇｄａｌｙａｈｕ、およびＧ．Ｈａｙｕｎ。運転支援システム用歩行者検出：単フレーム分類とシステムレベル性能。ＩＶＳ（インテリジェント車両シンポジウム）、２００４年。
【非特許文献２０】［２０］Ｅ．Ｓｈｅｃｈｔｍａｎ、およびＭ．Ｉｒａｎｉ。画像およびビデオを通じた局所自己類似性のマッチング。ＣＶＰＲ、２００７年。
【非特許文献２１】［２１］Ｃ．Ｓｔａｕｆｆｅｒ、およびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ。検出および認識用類似性テンプレート。ＣＶＰＲ、２００１年。
【非特許文献２２】［２２］Ｋ．Ｅ．Ａ．ｖａｎ  ｄｅ  Ｓａｎｄｅ、Ｔ．Ｇｅｖｅｒｓ、およびＣ．Ｇ．Ｍ．Ｓｎｏｅｋ。オブジェクトおよび光景認識用色記述子の評価。ＰＡＭＩ、２００９年（近刊）。
【非特許文献２３】［２３］Ｐ．Ｖｏｉｌａ、Ｍ．Ｊｏｎｅｓ、およびＤ．Ｓｎｏｗ。動作と外観のパターンを用いる歩行者検出。ＩＣＣＶ、２００３年。
【非特許文献２４】［２４］Ｘ．Ｗａｎｇ、Ｔ．Ｘ．Ｈａｎ、およびＳ．Ｙａｎ。部分的隠蔽処理によるＨＯＧ−ＬＢＰ人検出。ＩＣＣＶ、２００９年。
【非特許文献２５】［２５］Ｔ．Ｗａｔａｎａｂｅ、Ｓ．Ｉｔｏ、およびＫ．Ｙｏｋｏｉ。歩行者検出用共起勾配方向ヒストグラム。ＰＳＩＶＴ（画像およびビデオ技術に関する環太平洋シンポジウム）、２００９年。
【非特許文献２６】［２６］Ｍ．Ｗｅｒｌｂｅｒｇｅｒ、Ｗ．Ｔｒｏｂｉｎ、Ｔ．Ｐｏｃｋ、Ａ．Ｗｅｄｅｌ、Ｄ．Ｃｒｅｍｅｒｓ、およびＨ．Ｂｉｓｃｈｏｆ。異方性Ｈｕｂｅｒ−Ｌ１の光学的流動。ＢＭＶＣ、２００９年。
【非特許文献２７】［２７］Ｃ．Ｗｏｊｅｋ、Ｓ．Ｗａｌｋ、およびＢ．Ｓｃｈｉｅｌｅ。複数手掛かりによる車内歩行者検出。ＣＶＰＲ、２００９年。
【非特許文献２８】［２８］Ｂ．Ｗｕ、およびＲ．Ｎｅｖａｔｉａ。エッジ部分検出器のベイズコンビネーションによる部分的に隠蔽された複数人の検出および追跡。ＩＪＣＶ、７５（２）：２４７〜２６６、２００７年。
【非特許文献２９】［２９］Ｃ．Ｚａｃｈ、Ｔ．Ｐｏｃｋ、およびＨ．Ｂｉｓｃｈｏｆ。リアルタイムＴＶ−Ｌ１光学的流動の二重性ベース手法。ＤＡＧＭ（ドイツパターン認識協会）、２００７年。
【非特許文献３０】［３０］Ｑ．Ｚｈｕ、Ｍ．−Ｃ．Ｙｅｈ、Ｋ．−Ｔ．Ｃｈｅｎｇ、およびＳ．Ａｖｉｄａｎ。カスケード式勾配方向ヒストグラムを用いる高速人検出。ＣＶＰＲ、２００６年。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、人等のオブジェクトを検出する画像処理のための装置および方法、およびこのような方法を実行するための対応するコンピュータプログラム、および対応する集積回路を提供することにある。第１の態様によれば、本発明は、
ある画像または一連の画像においてオブジェクトを検出するための画像プロセッサを提供し、各画像はピクセル（画素）で形成され、かつ画像プロセッサは、画像内部の検出ウィンドウを選択するためのウィンドウセレクタ（選択手段）と、検出ウィンドウの任意の部分におけるピクセルグループの自己類似性情報を、検出器ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表すために決定するため、および前記決定を、選択された検出ウィンドウの全体的（大域的）な自己類似性記述子を生成するために検出ウィンドウの全ての部分におけるグループについて反復するための自己類似性計算部と、その検出ウィンドウの全体的な自己類似性記述子から、画像の検出ウィンドウ内にオブジェクトが存在するかどうかを分類するための分類器とを備える。
【０００６】
局所類似性ではなく全体的な自己類似性を用いることにより、より多くの情報が捕捉され、これにより、より優れた分類がもたらされ得る。具体的には、これは、オブジェクト固有のより遠距離の自己類似性、および任意のスケールで存在する自己類似性の認識を可能にする手助けをする。分類器は、次に、オブジェクトを最もよく判別するこれらの自己類似性を利用する、または捕捉することができる。
【０００７】
本発明の実施形態は、追加される他の任意の特徴を有することができ、このような追加的特徴の中には、従属請求項に記載されているもの、および以下に詳述されるものがある。
本発明の他の態様は、対応する方法およびコンピュータプログラムを含む。追加的特徴は何れも、互いに組み合わされ、かつ任意の態様と組み合わされることが可能であり、または放棄されることが可能である。当業者には、他の優位点、特に他の先行技術を凌ぐ優位点が明らかとなるであろう。多くの変形および修正は、本発明の特許請求の範囲を逸脱することなく行われることが可能である。したがって、本発明の形式は単に例示であって、本発明の特許請求の範囲を限定するためのものでないことは、明らかに理解されるべきである。
【図面の簡単な説明】
【０００８】
次に、添付の図面を参照して、本発明を実行する方法を例示として説明する。
【０００９】
【図１】第１の実施形態による画像プロセッサを示す。
【図２】ある実施形態による方法ステップを示す。
【図３】別の実施形態を示す。
【図４】ある画像のウィンドウおよびこの画像の異なる部分における４セルからの自己類似性情報のビューを示す。
【図５】動作検出器を有するある実施形態による画像プロセッサを示す。
【図６】ある実施形態による、勾配情報を決定するステップを示す。
【図７】ある実施形態による、自己類似性情報を決定するステップを示す。
【図８】検出ウィンドウを示す画像の一例を示す。
【図９】別の実施形態によるステップを示す。
【発明を実施するための形態】
【００１０】
本発明を具体的な実施形態に関連して、かつ所定の図面を参照して説明するが、本発明はこれらに限定されるものではなく、特許請求の範囲によってのみ限定される。記述される図面は単なる略図であり、限定的なものではない。諸図を通じて、幾つかのエレメントのサイズは例示のために誇張され、かつ縮尺通りに描かれていない場合がある。本明細書および特許請求の範囲において、「を備える」という言い回しが使用される場合、これは、他のエレメントまたはステップを除外するものではない。単数名詞を指して例えば「１つの」または「ある」、「その」といった不定冠詞または定冠詞が使用される場合、これは、外に別段の明示のない限り、その名詞の複数形を包含する。
【００１１】
特許請求の範囲において使用される「を備える」という言い回しは、続いて列挙される手段に限定されるものとして解釈されるべきではなく、これは、他のエレメントまたはステップを除外するものではない。したがって、「手段ＡおよびＢを備えるデバイス」という表現の範囲は、コンポーネントＡおよびＢのみから成るデバイスに限定されるべきではない。これは、本発明に関しては、デバイスのコンポーネントのうちで関連のあるものがＡおよびＢのみであることを意味する。
【００１２】
さらに、本明細書および特許請求の範囲における第１、第２、第３、等々の言い回しは類似するエレメントを区別するために使用されるものであって、必ずしも順序または発生順を記述するために使用されるものではない。このように使用される言い回しは、適切な状況下では互換的であること、かつ本明細書に記述されている発明の実施形態が本明細書において記述または例示されているもの以外の順序で動作し得ることは、理解されるべきである。
【００１３】
さらに、本明細書および特許請求の範囲における上部、底部、上、下、等々の言い回しは説明を目的として使用されるものであって、必ずしも相対位置を記述するためのものではない。このように使用される言い回しは、適切な状況下では互換的であること、かつ本明細書に記述されている発明の実施形態が本明細書において記述または例示されているもの以外の方向性で動作し得ることは、理解されるべきである。
【００１４】
本明細書を通じて、「一実施形態」または「ある実施形態」の言及は、その実施形態に関連して記述される具体的な特徴、構造または特性が、本発明の少なくとも１つの実施形態に包含されることを意味する。したがって、本明細書を通じて様々な箇所に現出する「一実施形態における」または「ある実施形態における」という言い回しは、必ずしも全てが同じ実施形態を指すものではないが、その可能性は含まれる。さらに、一般的な当業者には本開示から明らかとなると思われるように、これらの具体的な特徴、構造または特性は、１つまたは複数の実施形態において任意の適切なやり方で結合されてもよい。
【００１５】
同様に、本発明の例示的な実施形態の説明では、本開示を簡素化しかつ様々な発明的態様のうちの１つまたは複数の理解を促進させることを目的として、発明の様々な特徴が単一の実施形態、図面またはその説明に纏められることがある点は認識されるべきである。しかしながら、この開示方法は、特許請求されている発明が、各請求項に明記されている特徴より多くの特徴を要求する、という意図を反映したものと解釈されるべきではない。むしろ、添付の特許請求の範囲が示しているように、発明的態様は、先に開示される単一の実施形態の全ての特徴には存在していない。したがって、発明を実施するための形態に続く特許請求の範囲は、本記述により、この発明を実施するための形態に明示的に組み込まれ、各請求項は、各請求項自体が本発明の個々の実施形態として独立している。
【００１６】
さらに、本明細書に記述されている実施形態の中には、他の実施形態に包含される幾つかの特徴のみを含むものがあるが、当業者には理解されると思われるように、異なる実施形態の特徴の組み合わせは発明の範囲内にあり、かつ異なる実施形態を形成することが意図されている。例えば、添付の特許請求の範囲において、特許請求されている実施形態は、何れも任意の組み合わせで使用されることが可能である。
【００１７】
さらに、本明細書において、実施形態のうちの幾つかは、コンピュータシステムのプロセッサによって、または機能を実行する他の手段によって実装されることが可能な一方法として、または一方法のエレメントの組み合わせとして記述されている。したがって、このような方法または方法エレメントを実行するために必要な命令を有するプロセッサは、その方法または方法エレメントを実行するための手段を形成する。さらに、本明細書に記述されている装置実施形態のエレメントは、本発明の実行を目的としてそのエレメントにより実行される機能を実行するための手段の一例である。信号の言及は、任意の媒体における任意の種類の信号を包含する可能性があり、よって、例えば電気信号または光信号または無線信号または他の信号を包含することが可能である。分析の言及は、物質に関する情報を導出する、または増強するために信号を任意の仕方で処理することを包含する可能性がある。プロセッサの言及は、任意形式の信号またはデータを処理するための任意の手段を包含する可能性があり、よって例えば、パーソナルコンピュータ、マイクロプロセッサ、アナログ回路、特定用途向け集積回路、そのためのソフトウェア、等々を包含することが可能である。
【００１８】
本明細書で行う説明では、多くの特有の詳細が記述される。しかしながら、本発明の実施形態がこれらの特有の詳細なしに実施されてもよいことは理解される。他の例では、本明細書の理解を曖昧にしないために、周知の方法、構造および技術の詳細な説明は示されていない。
【００１９】
幾つかの実施形態が対処する幾つかの問題点の序論
本発明の少なくとも幾つかの実施形態は、低レベル特徴の自己類似性を基礎とする、具体的な実施形態によっては、検出器ウィンドウ内の異なる部分領域からの色ヒストグラムを基礎とする新しい特徴を有する。ＣＳＳと称されるこの特徴は、空間的に局所化された色の分布のペアワイズ統計を捕捉し、よって、ある特有の例の実際の色とは独立している。発見されるものは、所定の部分領域の、単にその部分領域に隣接する部分ではなく検出器ウィンドウの他の任意の部分との類似性という意味における全体的な類似性である。自己類似性は、着衣に依存して人毎に変わり得る実際の色の分布とは独立して、「左右の肩上の色の分布は、通常高い類似性を示す」といった特性の表現を可能にする。ＣＳＳの追加は、静止画および連続画像双方の最新の分類パフォーマンスを改善することができる。新しい特徴は特に静止画の場合に強力であり、よって、コンテンツベースの画像検索等のアプリケーションでも有益である。これはまた、光学的流動の形式の動作検出との組み合わせで、連続画像も一貫して改善させる。
【００２０】
最近では、インスタンス固有の色情報が、２つの局所的な色分布モデル（「前景」および「背景」）について距離の勾配を符号化する黙示的な局所セグメンテーション特徴［非特許文献１５参照］の形式で使用されていた。特徴としての自己類似性の使用を唱道している著者は、ごく僅かである。
【００２１】
最も顕著には、［非特許文献２０］が生画像パッチの局所的自己類似性を対数−極のビン化された記述子で符号化している。著者らは、テンプレートのマッチングタスクにおいて勾配特徴に関する卓越したパフォーマンスを実証していて、このマッチングタスクは特定の人体姿勢のマッチングを含むことが可能である。［非特許文献１２］の著者らは、人間行動認識の特徴時系列に関する自己類似性記述子を提案し、記述子の十分な視点不変性を観察している。
【００２２】
異なるコンテキストにおいて、［非特許文献２１］は、色の条件付きガウス分布を想定して、色類似性がピクセルレベルで計算される表現を提案している。
【００２３】
通常、特徴の選択は、検出器設計時における最も重要な決定であり、優良な特徴の発見も、いまだ大部分は理論ガイドがほとんどない経験的プロセスである。新しい特徴を含む特徴の異なる組み合わせが、検出器ウィンドウの異なる領域での色の類似性を基礎として評価されたが、これは、検出性能を大幅に高めることができる。我々発明者らの検出ウィンドウの一実施形態における歩行者領域のサイズは、４８×９６ピクセルである。人の周囲に何らかのコンテキストを包含することの有益性が示されていることから［非特許文献３参照］、ウィンドウ自体はこれより大きい（６４×１２８ピクセル）。勾配の方向ヒストグラム、ＨＯＧは、オブジェクト検出のための既知の特徴であり、［非特許文献３］において初めて提案された。著者らは、３重線形補間を使って、局所セルにおける勾配情報をヒストグラム内に収集し、かつ近傍セルで構成される重複ブロックを正規化する。補間、局所正規化およびヒストグラムビニングは、照明状態の変化および僅かな姿勢変動に対して表現をロバストにする。ＨＯＧは、場合により、局所的２値パターン（ＬＢＰ）によって増強されることが可能である［非特許文献２４参照］。
【００２４】
図１、図２  第１の実施形態
図１は、ある実施形態による画像プロセッサを示す。図２は、この実施形態または他の実施形態によって実行されるステップを示す。画像プロセッサは、例えば、示される部分毎の専用回路ブロック等のハードウェアを有する１つまたは複数の集積回路として実装されることが可能であり、または、例えば、サーバ内等で汎用プロセッサにより順番に実行されるソフトウェアモジュールとして実装されることが可能である。図示されている部分にはセレクタ２０が含まれ、これは、画像ソースデバイス５から入力画像または画像ストリーム（リアルタイムまたは非リアルタイムのビデオフレーム等）を受信し、かつ検出ウィンドウを選択して、そのウィンドウ内部で、処理されるべきピクセルグループを選択する。グループサイズは、例えば６×６ピクセルまたは８×８ピクセルまたは異なるサイズであってもよい。これらは正方形である必要はなく、長方形であっても、他の規則的な、または不規則な形状であってもよい。グループは、全体的な自己類似性計算部４０によって処理される。この自己類似性計算部は、検出ウィンドウの任意部分におけるピクセルグループの自己類似性情報を、検出器ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表現するために決定し、かつ検出ウィンドウの全部分におけるグループについてこの決定を反復して、選択された検出ウィンドウに関する全体的な自己類似性記述子を生成する。これもやはり、様々な仕方で実装されることが可能であって、後に図７を参照して一例を詳述する。ウィンドウの異なる部分に関する自己類似性情報は、並行して、または順次的に決定されることが可能であり、分類器５０へ供給される。分類器５０は、その情報が、探求されているオブジェクトに対応するものであるかどうかを決定する。これは、２値決定であっても、スコア（点数、得点）を作成するものであってもよく、かつ様々な仕方で実行されることが可能であり、後に一例を詳述する。画像プロセッサには、プロセッサの任意の段階で、図示されていない他の部分が存在してもよい。デバイス５５は、分類器のスコアまたは決定を基礎として解釈する、または措置を講じるために設けられることが可能である。これは、例えば、車両制御システム、または運転者支援システム、ロボットシステム、侵入者検出用監視システム、等々であってもよい。
【００２５】
図２は、図１の、または他の実施形態の画像プロセッサの動作ステップを示す。ステップ１００において、ウィンドウが選択され、かつ第１のピクセルグループが選択される。ステップ１１０では、検出ウィンドウの任意部分におけるピクセルグループの自己類似性情報が、検出器ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表現するために決定される。ウィンドウの全部分について全体的な自己類似性が処理されていなければ、ステップ１２０において、次のグループについて前記決定が反復される。これが検出器ウィンドウの全部分について実行され、選択された検出ウィンドウの全体的な自己類似性記述子が生成されれば、この記述子は分類器によって使用されることが可能である。ステップ１４０では、記述子から、画像内にオブジェクトが存在するかどうかの分類が行われる。
【００２６】
幾つかの実施形態の追加的特徴
追加的特徴には、そのグループのピクセル色の自己類似性の量を含む自己類似性情報が含まれてもよい。これは、具体的には人等のオブジェクトを区別する手助けをすることができる幾つかの有益な特徴のうちの１つである。画像プロセッサは、グループのピクセルの色の分布と、色の分布の自己類似性の量を含む自己類似性情報とを決定するように調整される部分（４２）を有することが可能である。これは、具体的には人等のオブジェクトを区別する手助けをすることができる別の特徴である。
【００２７】
事例によっては、ピクセルのセルにおける輝度勾配の分布を決定して勾配情報を決定するため、および検出ウィンドウの全部分に渡るセルのこのような勾配情報を分類器へ入力するための部分（３０）が設けられていて、分類器はさらに、勾配情報を用いてオブジェクトが存在するかどうかを分類するように調整される。多くの場合、勾配情報は自己類似性情報に対して相補的である可能性があり、よって、より優れた分類を可能にする手助けをするよう、分類器へより弁別的な情報を提供する。
【００２８】
画像プロセッサは、グループの流れを、画像シーケンスにおける連続画像に渡るグループのピクセルの動作ベクトルとして決定し、かつ流れの自己類似性の量を含む自己類似性情報を決定するように調整される部分を有することが可能である。これは、歩行者等の移動オブジェクトを区別する手助けをすることができる別の特徴である。
【００２９】
自己類似性計算部は、グループ内のピクセルの特徴値のヒストグラムを、補間を用いて決定するように調整されるヒストグラム生成器（４４）を有することが可能である。このような補間は、後続ステップの計算負荷を減らすための幾分かのデータ圧縮を可能にし、かつより高速またはより安価な処理を可能にする。
【００３０】
自己類似性計算部は、検出ウィンドウにおける異なるピクセルグループのヒストグラム間の類似性をヒストグラムインターセクション（ヒストグラム交差、ヒストグラム間の類似値）によって決定するように調整される部分（４６）を有することが可能である。ヒストグラムインターセクション法は、類似性を決定する幾つかの仕方のうちの１つであり、特に効率的かつ効果的であることが分かっている。
【００３１】
画像プロセッサは、画像部分の動作ベクトルを検出するための動作検出部（７０）を備えることが可能であり、分類器部分もまた、検出ウィンドウにおける部分の動作ベクトルを基礎として分類するように調整される。このような動作情報は、幾つかの状況において人間を区別するためにも有益であり、かつ自己類似性情報と相補的であることが多い。
【００３２】
画像プロセッサは、類似性情報と輝度勾配の分布とを分類器へ入力する前に結合するためのコンバイナ部（６０）（結合器部６０）を有することが可能である。原則的には、分類器は情報に単独で作用することもできるが、通常はまず情報を結合する方が効率的である。
【００３３】
図３、全体的自己類似性計算部の実施形態
図３は、図１の実施形態に類似する実施形態を示しているが、全体的自己類似性情報を計算するために部分４０を実装する一つの仕方をより詳細に示し、かつ部分４０が実行可能な機能の幾つかを示している。しかしながら、他の仕方も予見されることが可能である。この事例において、自己類似性情報の特徴は色の分布であり、よって、ピクセルグループの色の分布を決定するステップ４２が示されている。ステップ４４では、データ量を減らしかつエイリアシング効果を減らすために、場合により補間４４を用いてヒストグラムが生成される。異なるグループのヒストグラムは、典型的には格納され、かつ必要に応じて、所定のグループおよび検出ウィンドウの何れかにおける他のグループのヒストグラム間の類似性を決定するステップ４６によって検索される。全てのヒストグラムが他の全てのヒストグラムと比較されれば、結果は多数の類似性値となる可能性があり、これは、Ｇがグループ数であればグループペアと同数の次元数（即ち、Ｇ＊（Ｇ−１）／２）を有する多次元行列またはベクトルと見なされる可能性がある。グループ同士は隣接していても、重なっていても、バラバラに広がっていてもよいが、自己類似性がウィンドウ内で全体的であって、考察されているグループに隣接する他のグループのみに関連しているという意味合いにおける局所的でないように、ウィンドウの異なる部分から選択されるべきである。これは、例えばカメラノイズ／画像アーティファクト／異なる量のクラッタまたは全体としてより低い「自己類似性」を有する幾つかの画像の他の任意の原因等の条件を考慮して、出力ベクトルを正規化するための正規化ステップ４８に繋がることが可能である。コンバイナ６０は、自己類似性情報と勾配情報等の他の情報とを結合するために設けられることが可能である。これは、双方にとって互換的なデータフォーマットが存在することを含意し、よって、勾配情報は、分類器へ入力するための、自己類似性情報のベクトルと共に積層され得るベクトルの形式であることが可能である。
【００３４】
次に、結合されたデータは、オブジェクトが検出されたかどうかを決定またはスコアリングするために分類器５０へ供給されることが可能である。これは、画像内の他の検出ウィンドウについて反復されることが可能である。他のウィンドウは、ここでは説明が不要である既知のアルゴリズムを用いて、例えば特定のエリアのスライディングによって、スケールを変更するためのズーミングによって、または探求によって選択されることが可能である。
【００３５】
図４  自己類似性情報図
図４は、左側に、ある画像内の検出ウィンドウ例を示し、かつ右側に、この例における特定の４点について決定された自己類似性情報の異なる４図を示している。自己類似性情報は、マーキングされたセル位置において、後に詳述するＨＳＶ＋ヒストグラムインターセクション法を用いて計算される。より高い類似性を有するセルは、より明るい。４つの自己類似性図のうち、最左図は、画像内の人の頭部に位置決めされたグループと他のあらゆるピクセルグループとの色類似性を表している。第２の図は、画像内の人の胃部に位置決めされたグループと他のあらゆるピクセルグループとの色類似性である。第３の図は、画像内の人の太腿領域に位置決めされたグループと他のあらゆるピクセルグループとの色類似性である。第４の図は、画像内の背景における水を示す点で、人から離れて位置決めされたグループと他のあらゆるピクセルグループとの色類似性である。自己類似性が、着衣領域および可視的な皮膚領域のような関連部分をどのように強調表示しかつ区別するかに留意されたい。
【００３６】
図５、動作検出を有する実施形態
図５は、図１の実施形態に類似する実施形態を示す。ウィンドウ／セル／グループセレクタ部２１は、画像内の検出ウィンドウを選択し、かつそのウィンドウ内でピクセルのグループまたはセルを選択する。ウィンドウの選択は、例えば、特定のエリアのスライディング、スケーリングまたは発見によるものであってもよい。セルおよびグループは、例えば６×６ピクセルまたは８×８ピクセルの同一サイズであっても、異なるサイズであってもよい。これらは正方形である必要はなく、長方形であっても、他の規則的な、または不規則な形状であってもよい。セルは、勾配計算部３０へ供給される。グループは、自己類似性計算部４０へ送られる。グループおよびセルというネーミングは、異なるピクセルが異なる部分へ送られて処理され得ることを示すためのものであるが、原則的には、同じセルが、図示されている双方の部分へ送られる可能性もある。
【００３７】
勾配計算部は、輝度勾配の険しさ、およびそのセルの方向性等の勾配情報を決定する。これは、例えば明るさの強度、または色の強度であってもよい。この部分の実装には様々なアルゴリズムの使用が可能であり、後に一例を詳述する。全体的自己類似性計算部は、そのグループの、ウィンドウの他の任意部分に対する自己類似性情報を決定する。これもやはり、様々な仕方で実装されることが可能であって、後にその一例を、図７を参照して詳述する。
【００３８】
勾配情報および自己類似性情報は、並行して、または順次的に決定されることが可能であり、双方が分類器５０へ供給される。
【００３９】
この事例では、フレーム（好ましくは連続するフレーム）を基礎として所定のセルまたはグループの光学的流動等の動作情報を決定することができる動作検出器部７０が追加されることが可能である。これは、確立された慣例に従った様々な仕方で実装されることが可能であり、よってここでは詳述しない。以下、この部分の可能な増強について述べる。
【００４０】
図６、勾配情報の決定ステップ
図６には、勾配情報を、各セル内の輝度勾配分布の形式で決定するための勾配計算部３０を実装する一つの仕方のステップが示されている。ステップ２００では、ウィンドウが８×８ピクセルのセルに分割される。ステップ２１０では、そのセルの勾配値が決定され、かつ適宜強度または色の値である６４個のピクセル値から勾配の方向性が決定される。ステップ２２０では、これらの値が異なる方向性毎に１つの９個のビンに分離される。ステップ２３０では、これらのステップが他のセルについて反復され、異なるセルのためのビンが、例えば１つのセル分が重なる２×２セルブロックにグループ化される。ステップ２５０における正規化は、ブロックベースで実行される。他の実装の仕方も、予見されることが可能である。
【００４１】
図７、全体的自己類似性情報の決定ステップ
図７には、全体的（大域的）自己類似性情報を決定するステップ１１０を実装するための一つの仕方のステップが示されている。ステップ３００では、ウィンドウが８×８ピクセルグループに分割される。ステップ３１０では、３重線形補間を用いて、１２８個の８×８ピクセルグループから、適宜１２８個の局所色ヒストグラムおよび／またはフローヒストグラムが計算される。色は、周知のＨＳＶフォーマットで表されるが、他の色表現が使用される可能性もある。フローは、動作ベクトルとして表現されることが可能である。ステップ３２０では、これらのヒストグラムのペアが比較され、類似性の値が決定される。ヒストグラムインターセクション法が使用されるが、他の方法が使用される可能性もある。１２８個全てが他の全てと比較されれば、結果的に８１２８次元ベクトルの類似性値が得られる。ステップ３３０では、このベクトルにＬ２正規化が適用される。正規化されたベクトルの形式である結果は、コンバイナまたは分類器へ出力される。
【００４２】
図８  検出ウィンドウを示す画像例
この図は、その幾つかは人であり、かつ幾つかは他と重なり合って隠蔽を引き起こしている多くのオブジェクトを含有する画像の一例を示している。人である可能性がある各オブジェクトの周りには、検出ウィンドウが示されている。これらは、画像上でのウィンドウのスライディング、および異なるウィンドウおよび異なるスケールにおけるウィンドウのスコアの比較を基礎として選択されてもよい。
【００４３】
図９、別の実施形態におけるステップ
図９において、ステップ４００では、ウィンドウが、特定のエリアをスライドし、スケーリングし、または探求することによって画像上で移動される。ステップ４１０では、そのウィンドウについて、全体的自己類似性記述子および場合により他の特徴が取得される。ステップ４２０では、分類器を用いて各ウィンドウのスコアまたは決定が生成される。ステップ４３０では、異なるウィンドウのスコアが比較され、かつこれを用いてウィンドウの移動先および／またはスケール先が決定されてもよい。これにより、ステップ４００からステップ４３０までが反復されることになる場合がある。いかなる時も、ステップ４４０は、オブジェクトを位置決めするため、かつスコアおよびロケーション（位置、場所）を基礎として、例えば車両またはロボットを制御する、または監視システムにおける警報を発する、等の措置を講じるために、異なるウィンドウのスコアを用いて実行されてもよい。
【００４４】
ＨＯＧ／ＨＯＦの実施上の配慮点
実験では、８×８ピクセルセルについて、９個のビンを用いてヒストグラムを計算した。ブロックサイズは、１セルサイズ分が重複する２×２セルであった。フローのＨＯＦヒストグラムは、当初、［非特許文献４］においてＤａｌａｌ外によっても提案されている。我々発明者らは、ＨＯＧに対して相補的なこれらの（例えば、［非特許文献４］のＩＭＨｗｄスキームにおける）使用は、人がかなり動作する現実的なデータセットを大幅に改善することができると決断した。本発明の幾つかの実施形態には、ＨＯＦのより低次元の変形であるＩＭＨｄ２が導入されている。これは、ＩＭＨｗｄのパフォーマンス（３×３ブロックを９ヒストグラムで符号化）に整合させながら、２×２ブロック内の動作差分を１ブロック当たり４ヒストグラムで符号化する。この新しい符号化スキームは、下記のように説明することができる。
【００４５】
４つの正方形は、１ヒストグラム毎の符号化を表示している。第１のヒストグラムの場合、左上のセルのｉ番目の行およびｊ番目の列におけるピクセルに対応する光学的流動が、左下のセルの対応する位置におけるピクセルから減算され、かつ結果としてのベクトルは、オリジナルのＨＯＦスキームの場合のようにヒストグラムを決する。ＩＭＨｄ２は、パフォーマンスを著しく変えることなく、４４％の次元縮退（１ウィンドウ当たり４５３６値ではなく２５２０値）をもたらす。
【００４６】
我々発明者らは、公的に入手可能な［非特許文献２６］のフロー実装を用いた。ＨＯＦは、強度のブロックアーティファクトを有するＪＰＥＧ画像に対して計算されるフローフィールド（よって、劣化されているフローフィールド）についても、かなりの改善をもたらし続けている。
【００４７】
著者の中には、複数タイプの低レベル特徴を組み合わせることによる改善について報告している者がある［非特許文献５、１８、２７参照］。それでもなお、画像統計には多くの異なる態様が存在することから、勾配と光学的流動との既知の組み合わせに加えて、どういった手掛かりが使用され得るかについてはかなり不明瞭である。色情報は、画像分類においては好評であるものの［非特許文献２２参照］、検出にはほとんど使用されない、といった類の特徴である。さらに、二次画像統計、特に共起ヒストグラムは好評を博していて、特徴空間を極端な高次元へと押しやっている［非特許文献２５、１８参照］。
【００４８】
ＣＳＳ
本発明の実施形態は、これらの考案のうちの２つを組み合わせ、かつ例えば色の二次統計を追加の特徴として用いることができる。色は人（またはその着衣）および背景の双方でスペクトル全体に渡って変わることから、かつ事実上未解決の色彩恒常問題に起因して、色自体の用途は限定的である。しかしながら、局所的に色が類似する、例えば（図４参照）ある特定の人間の皮膚の色は２つの腕および顔で類似し、かつ大部分の人々の着衣についても同様であることにおいて、人は何らかの構造体を示している。したがって、我々発明者らは、記述子ウィンドウ内の色の自己類似性、即ち異なる部分領域における色間の類似性を符号化する。局所ヒストグラムのロバスト性をてこ入れするために、我々発明者らは、エイリアシングを最小限に抑えるべくＨＯＧの場合と同様に３重線形補間を用いて８×８ピクセルブロックに渡りＤ個の局所色ヒストグラムを計算する。我々発明者らは、ＲＧＢ、ＨＳＶ、ＨＬＳおよびＣＩＥ  Ｌｕｖ空間における３×３×３ヒストグラム、および正規化されたｒｇ、ＨＳおよびｕｖにおける４×４ヒストグラムを含み、強度を放棄しかつクロミナンスのみを保つ異なる色空間を用いて実験を行った。これらの中では、ＨＳＶが最も効果を発揮し、よって以下、これを用いる。
【００４９】
ヒストグラムは、その間のペアワイズ類似性が計算される基本特徴を形成する。この場合もやはり、ヒストグラム間の類似性を定義する多くの可能性が存在する。我々発明者らは、Ｌ１ノルム、Ｌ２−ノルム、Ｘ２距離およびヒストグラムインターセクションを含む幾つかの周知の距離関数を用いて実験した。我々発明者らは、最も効果的であったという理由でヒストグラムインターセクションを使用した。最終的に、類似性の（Ｄ．（Ｄ−１）／２）次元ベクトルへＬ２正規化を適用した。Ｄ＝１２８ブロックを用いた我々発明者らの実装において、ＣＳＳは８１２８次元を有する。正規化は、ＳＶＭ分類器との組み合わせにおいて著しい効果を有することが分かった。ＣＳＳは、色彩恒常問題を、単に色を局所的に比較するだけで回避することに留意されたい。計算コストに関しては、ＣＳＳは、ＨＯＦと同程度である。
【００５０】
色の自己類似性は、根本的な色ヒストグラムを特徴として直に用いることより適切である。ＨＳＶ空間におけるＣＳＳは、顕著な改善をもたらす。反対に、色ヒストグラム値の直接的追加は、ＨＯＧのパフォーマンスを損なうことさえある。理想世界においては、この行動は、ＳＶＭトレーニングが情報を与えない特徴を廃棄するので発生しない。残念ながら、これは、特徴統計がトレーニングセットおよび試験セットにおいて同一である場合でしか成立しない。我々発明者らの設定では、−かつ事実上実用において高頻度で−これは当て嵌まらず、トレーニングデータは試験データとは異なるカメラで、かつ異なる照明状態で記録されたため、色について学習される重みは一方から他方へ一般化しない。同様の観察が［非特許文献２７］によって行われ、著者は、ハール特徴の追加が役立つ場合もあるが、画像化状態が変われば慎重な正規化が要求されることを発見している。［非特許文献５］は、（生の）色をうまく利用することを示し、よって、これが検出器の分類器における一因子として組み込まれる実施形態が予見され得る（例えば、皮膚の色は原則として理に適った手掛かりである場合がある）ことに留意されたい。
【００５１】
自己類似性は色ヒストグラムに限定されず、検出器ウィンドウ内の任意の局所化されたサブ特徴へ直に一般化することに留意されたい。我々発明者らは、ＨＯＧブロック形式の勾配方向等の特徴、またはフローヒストグラム等の動作検出特徴に対し、自己類似性を用いて実験を行った。
【００５２】
分類器
線形ＳＶＭは、その良好なパフォーマンスおよび速度により、依然として人検出に関する人気のある選択肢である。非線形カーネルは、典型的には幾分かの改善をもたらすが、一般に例の分類に要する時間は支持ベクトルの数において線形的であり、実際には扱いにくい。例外は（ヒストグラム）交差カーネル（ＨＩＫ）［非特許文献１４参照］であり、これは、対数時間で精確に、または定数時間で近似的に計算されることが可能であって、一方で一貫して線形カーネルの性能を凌ぐ。
【００５３】
Ｖｉｏｌａらの［非特許文献２３］は、歩行者検出に関する研究においてＡｄａＢｏｏｓｔを用いている。しかしながら、それ以降、多数の視点を有する困難なデータセットに対してＡｄａＢｏｏｓｔの性能はさほどよくないことが示されている［非特許文献２７参照］。ＭＰＬＢｏｏｓｔは、複数の（強力な）分類器を並行して学習することにより、問題の幾分かを矯正している。したがって、最終スコアは全ての分類器に渡る最大スコアとなり、個々の分類器は、全体的な分類性能を低下させることなく特徴空間の特有の領域を集中的に検討することができる。
【００５４】
結果の検討
次に、我々発明者らの検出器の異なる変形を用いて達成された結果について論じる。我々発明者らは、Ｃａｌｔｅｃｈ  Ｐｅｄｅｓｔｒｉａｎｓ上で、データセットを装備した評価スクリプトを用いた。ＴＵＤ−Ｂｒｕｓｓｅｌｓでは、（［非特許文献２７］とは対照的に）画像の縁に歩行者を含む全画像上で、実際のアプリケーションでは誰が特に重要であるかを評価した。例えば、自動車の安全に関して言えば、視覚周囲における人に近い存在が最も重要なものである。別段の指摘のない限り、我々発明者らの検出器で使用される分類器はＨＩＫＳＶＭである。
【００５５】
パフォーマンスの測定は、データの最も一般的な部分である、Ｃａｌｔｅｃｈ  Ｐｅｄｅｓｔｒｉａｎｓの「適度な」サブセットに関して行った。これは、完全に可視的である、または隠蔽率が３５％未満である、高さが５０ピクセル以上の歩行者より成る。ＨＩＫＳＶＭ（ＨＯＧＦ＋ＣＳＳ）においてＨＯＧ、ＨＯＦおよびＣＳＳを用いた最強の形での我々発明者らの検出器は、先行する上位パフォーマ−［非特許文献５］のチャネル特徴（ＣｈｎＦｔｒｓ）および［非特許文献１０］の潜在ＳＶＭ（ＬａｔＳｖｍ−Ｖ２）−の性能を大幅に、即ち、
０．０１ｆｐｐｉで１０．９％、０．１ｆｐｐｉで１４．７％および１ｆｐｐｉで７．０％凌いでいる。我々発明者らは、我々発明者らのベースラインであるＨＯＧとＨＩＫＳＶＭとの組み合わせが最新技術の［非特許文献５、１０］に比肩するものであり、これは、正しいブートストラッピングの効果および慎重な実装の重要性を例証していることにも注目している。我々発明者らは、データセットへの検出器の調整を行わなかった。それでも、パフォーマンス利得がデータセット固有のものではないことを確実にするために、我々発明者らは、我々発明者らの検出器がＩＮＲＩＡＰｅｒｓｏｎ上でもオリジナルのＨＯＧ実装［非特許文献３］の性能を凌ぐものであることを検証している（ＣＳＳを追加すれば、ＨＯＧ＋ＬＢＰが改善することにも留意されたい）。ＨＯＧ＋ＣＳＳは、一貫してＨＯＧ単体より優れていて、０．１ｆｐｐｉで５．９％の改善をもたらすが、これは、色の自己類似性が実際に勾配情報に対して相補的であることを示す。ＨＯＧ＋ＨＯＦは、特に低い偽陽性率に対してＨＯＧをさらに凌ぐ改善をもたらし、０．１ｆｐｐｉでの改善は１０．９％である。これは、検出の手掛かりとしての動作パワーに対する先の結果を追認する。最後に、ＨＯＧ＋ＨＯＦ＋ＣＳＳは、単なるＨＯＧ＋ＨＯＦより優れていて、ＣＳＳもまたフローに対して相補的な情報を含有することを示し、かつ我々発明者らの最良の結果である０．１ｆｐｐｉにおける再現４４．３５％を達成する。
【００５６】
サブセットに「近い」（８０ピクセルまたはこれより高い）ものに対するパフォーマンスは、この場合もやはり、我々発明者らのベースライン（（我々発明者らの）ＨＯＧ）が少なくとも最新技術［非特許文献５、１０］に比肩するものであることを示した。ＨＯＧ＋ＣＳＳは、０．０１ｆｐｐｉと０．５ｆｐｐｉとの間でより優れたパフォーマンスをもたらし、０．１ｆｐｐｉでは６％であった。ＨＯＧへのＨＯＦの追加（ＨＯＧＦ）は、０．０１ｆｐｐｉで再現を１９．９％追加した。０．１ｆｐｐｉでは、これは、最も競合する存在であるＨＯＧ＋ＣＳＳを１１％も上回り、かつ公開されている最良の結果（ＬａｔＳｖｍ−Ｖ２）を２１．２％も上回った。ＣＳＳの追加は、大きい歩行者に対しても別の小さな改善をもたらした。「近似の」スケールに対してＨＯＦがこのように良く機能する理由は、おそらくは、マルチスケールフロー推定の間、より高いピラミッドレベルでは圧縮アーティファクトの可視性が下がり、よってフローフィールドは人が大きいほど精確になることにある。
【００５７】
また、増大する隠蔽レベルに関しても評価を行った。「隠蔽なし」のサブセットに対する結果は、「適切な」歩行者の約５％しか部分的に隠蔽されていないサブセットとほぼ同一であった。プロットは、可読性をより良くするために垂直に拡張もされている。部分的に隠蔽された歩行者のみに対する評価では（このような例は約１００件しか存在しないことから、これは重大な統計ではない）、潜在ＳＶＭおよびチャネル特徴の性能は我々発明者らのＨＯＧを僅かに凌ぐが、ＨＯＧ＋ＨＯＦがやはり優勢であり、この場合もＣＳＳが僅かな改善を追加してもたらす。ひどく隠蔽された歩行者に対しては、評価されたアルゴリズムのパフォーマンスは全て実に劣悪である。重度の隠蔽に対するロバスト性の欠如は、全体的検出器に関する周知の問題点である。それでもやはり、我々発明者らの検出器によって顕著な相対的な改善は存在する。
【００５８】
０．１ｆｐｐｉでは、ＨＯＧ＋ＨＯＦ＋ＣＳＳによる再現は７．８％であり、ＣｈｎＦｔｒｓの場合の３．９％に比べると２倍の再現である。１ｆｐｐｉでは、我々発明者らのフル検出器の性能がなお最良であって、再現率はＬａｔＳｖｍ−Ｖ２より５．９％高い。色の自己類似性が隠蔽の存在下で役立つということは、局所部分領域の隠蔽が他の全ての部分領域とのその類似性に影響を与える可能性があることに起因して、最初は直観に反するように思われるかもしれない。しかしながら、Ｃａｌｔｅｃｈの場合、「重度の隠蔽」はほとんど下部身体が隠蔽されることを意味し、よって、上部身体の異なる部分間の類似性はなおも使用されることが可能である。
【００５９】
改善は、ＴＵＤ−ＢｒｕｓｓｅｌｓデータセットにＣＳＳを追加することによって得られた。ＣＳＳは、高精度体制を改善するものではないが、０．０５ｆｐｐｉを起点にパフォーマンスに顕著なブーストが存在し、再現は０．１ｆｐｐｉで２．７％、および１ｆｐｐｉで４．２％改善される。フロー情報のない静止画の場合、改善はこれより早期に始まり、０．１ｆｐｐｉで３．６％、および１ｆｐｐｉで５．４％に達する。
【００６０】
ＴＵＤＢｒｕｓｓｅｌｓ上で［非特許文献２７］の結果が比較されれば、本稿の場合、ハール特徴はこのデータセット上でのみ改善をもたらし、他のデータセット上ではパフォーマンスが犠牲にされることが多かった。これは、今までのところ、極めて異なる画質および色統計を有するデータセット上でも一貫した改善をもたらしているＣＳＳとは対照的である。入手可能な調査から判断すると、ハール特徴は潜在的に、役立つよりも損なう可能性が高い。
【００６１】
静止画設定の場合、ＨＯＧ＋ＣＳＳの性能は、一貫して［非特許文献２７］の結果を、ＭＰＬＢｏｏｓｔとＨＯＧ＋Ｈａａｒとの組み合わせより５％〜８％凌ぎ、かつＨＯＧとＨＩＫＳＶＭとの組み合わせを７％〜８％凌いだ。動作を利用すると、ＨＯＧ＋ＨＯＦ（ＩＭＨｗｄスキーム）、ハール特徴および線形ＳＶＭを用いる［非特許文献２７］の検出器は、低い偽陽性率に対してはＨＯＧ＋ＨＯＦ＋ＣＳＳと比肩するが、０．２ｆｐｐｉからは反落し始める。ＨＯＧ＋ＨＯＦとＨＩＫＳＶＭとの組み合わせを用いる［非特許文献２７］の結果は、特に低い偽陽性率において一貫してＨＯＧ＋ＨＯＦ＋ＣＳＳより３％〜５％悪い。我々発明者らは、全事例において、個々のデータセット用のオリジナル刊行物［非特許文献６、２７］において使用されたツールおよび検出を用いた。
【００６２】
ある評価は、Ｃａｌｔｅｃｈデータセットの「遠位」サブセットに対して行った。この設定では、２０〜３０ピクセルまでの高さという注釈の付いた歩行者のみを考察した。Ｐａｓｃａｌ条件を満たす検出は、小さくは１０ピクセル、または大きくは５９ピクセルであることが可能である。２０〜３０ピクセル範囲内の注釈は何れも、範囲外の検出によってマッチングされることが可能である。これは、対応が困難な非対称を導入する。Ｃａｌｔｅｃｈ評価スクリプトは、考察範囲外の検出を全て廃棄し、その結果、高さ２９ピクセルと注釈が付けられかつ高さ３０ピクセルが検出された歩行者は検出失敗として計数されるという状況が生じる。但し、Ｉ／Ｕ＞９０％である。これは明らかに、特に多くの注釈がサイズ限度に近ければ（サイズ範囲が狭い場合は常にそうである）望ましくない。しかしながら、この偏向を修正しようとすれば、他の偏向がもたらされる。１つの可能性は、フルセットの注釈および検出との対応づけを確立し、その後、余分なサイズを除くことにある。
【００６３】
コンピュータの実装
例えば、分布密度を決定する、または自己類似性情報を検出する、または画像内の人を検出するための先に論じた方法ステップのうちの幾つかは、ハードウェア、または例えばマイクロプロセッサもしくはＰＬＡ（プログラマブル論理アレイ）、ＰＡＬ（プログラマブルアレイ論理）、ＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）等のプログラマブル論理デバイス（ＰＬＤ）等の処理エンジンを用いるソフトウェアの形式の論理によって実装されてもよい。
【００６４】
ここで、車両制御または運転者支援または監視カメラのモニタリング等のアプリケーションで用いるための埋込み式プロセッサを有する回路の一例について説明する。この回路は、英国のＡＲＭ社によって設計された、単一チップ上へ他の示されるコンポーネントと共に合成され得るＡＲＭ７ＴＤＭＩコア等の埋込み式マイクロプロセッサの周囲にＶＬＳＩチップとして構築されてもよい。或いは、他の適切なプロセッサが使用されてもよく、かつこれらは、例えば米国のＩｎｔｅｌ社によって供給されるＰｅｎｔｉｕｍ（登録商標）プロセッサのように埋め込まれる必要がない。例えば、チップ上には、ゼロ・ウェイト・ステートＳＲＡＭメモリ、ならびにキャッシュメモリが設けられてもよい。典型的には、データを関連ネットワーク、例えば無線またはケーブルネットワークとの間で送受信するためのＩ／Ｏ（入力／出力）インタフェースが設けられる。ＦＩＦＯバッファは、これらのインタフェースを介するデータ転送からプロセッサをデカップルするために使用されてもよい。インタフェースは、ネットワーク接続、即ち適切なポートおよびネットワークアドレスを提供することができ、例えばインタフェースは、ネットワークカードの形式であってもよい。
【００６５】
ソフトウェアプログラムは、内部ＲＯＭ（読取り専用メモリ）に、かつ／または他の任意の不揮発性メモリ上へ格納されてもよく、例えば外部メモリに格納されてもよい。外部メモリへのアクセスは、必要であれば、アドレスバス、データバスおよび制御バスを有する外部バスインタフェースによって提供されてもよい。記述されている実施形態の方法および装置は、プロセッサ上で実行されるソフトウェアとして実装されてもよい。具体的には、本発明による画像プロセッサは、プロセッサの適切なプログラミングによって実装されてもよい。これまでに述べた方法および手順は、コンピュータプログラムとしてＣ言語等の適切なコンピュータ言語で書かれ、次いで埋込み設計の特有のプロセッサ用にコンパイルされてもよい。例えば、上述の埋込み式ＡＲＭコアＶＬＳＩの場合、ソフトウェアはＣ言語で書かれ、次いでＡＲＭ  ＣコンパイラおよびＡＲＭアセンブラを用いてコンパイルされてもよい。ソフトウェアはコードを有し、コードは、処理エンジン上で実行されると、本発明による方法および装置を提供する。ソフトウェアプログラムは、磁気ディスク、ディスケット、固体記憶装置、テープメモリ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ等の光ディスク、他等の任意の適切な機械読取り可能媒体上へ格納されてもよい。
【００６６】
結論として、これまでに述べたように、画像プロセッサ（１０）は、画像内部の検出ウィンドウを選択するためのウィンドウセレクタと、検出ウィンドウの任意の部分におけるピクセルグループの自己類似性情報を、検出ウィンドウの他の任意部分における他のグループに対するそのグループの自己類似性の量を表すために決定するため、および前記決定を、検出ウィンドウの全体的な自己類似性記述子を生成するために検出ウィンドウの全ての部分におけるグループについて反復するための、自己類似性計算部（４０）とを有する。分類器（５０）は、全体的な自己類似性記述子を基礎としてオブジェクトが存在するかどうかを分類するために使用される。局所類似性ではなく全体的な自己類似性を用いることにより、より多くの情報が捕捉され、これにより、より優れた分類がもたらされ得る。具体的には、これは、オブジェクト固有のより遠距離の自己類似性、および任意のスケールで存在する自己類似性の認識を可能にする手助けをする。他の変形もまた、特許請求の範囲に包含されることが予見され得る。
【図１】
2013533998.tif 000003
【図２】
2013533998.tif 000004
【図３】
2013533998.tif 000005
【図４】
2013533998.tif 000006
【図５】
2013533998.tif 000007
【図６】
2013533998.tif 000008
【図７】
2013533998.tif 000009
【図８】
2013533998.tif 000010
【図９】
2013533998.tif 000011
【国際調査報告】
2013533998.tif 000012
2013533998.tif 000013
2013533998.tif 000014