(57)【要約】【課題】特徴モデル生成方法及び特徴モデル生成装置を提供する。【解決手段】特徴モデル生成方法は、目標画像内で特徴点とその位置情報と記述情報を取得し；各特徴点に対して、記述情報から、第一類視覚単語と第二類視覚単語を含む視覚辞書モデル内でそれとマッチングするマッチング視覚単語を探索し、第一類視覚単語内では、視覚単語とその他の視覚単語は空間関係において関連性を有し、特徴点とマッチングするマッチング視覚単語に対して、その類別に基づきマッピング目標視覚単語を確定し、かつ少なくとも特徴点とマッチング視覚単語の記述情報から特徴点をマッピング目標視覚単語上にマッピングする特徴ウェイトを計算し；及び視覚辞書モデル内の視覚単語上の特徴ウェイトから空間情報を有する目標画像の特徴モデルを生成することを含む。【選択図】図１
2016062610.tif 000002
【特許請求の範囲】
【請求項１】
目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得し、
各特徴点に対して、
前記特徴点の記述情報から、第一類視覚単語と第二類視覚単語を含む視覚辞書モデル内で、前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索し、前記第一類視覚単語内では、１視覚単語と少なくとも一つのその他の視覚単語とが空間関係における関連性を有し、
前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき、少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算し、及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成すること含むことを特徴とする、特徴モデル生成方法。
【請求項２】
前記目標画像が類別既知の少なくとも一つのサンプル画像を含むか、または前記目標画像が類別未知の少なくとも一つの検出待ち画像であり、かつ
前記目標画像が前記サンプル画像の場合、前記方法が、
前記サンプル画像内で予めマーキングした目標物体の少なくとも一つの構造部分の位置情報を取得し、及び
各特徴点の位置情報と各構造部分の位置情報に基づき、前記特徴点の最近傍部材情報を確定し、前記最近傍部材情報が前記特徴点と距離の最も近い前記目標物体の構造部分を表すことを特徴とする、請求項1に記載の方法。
【請求項３】
前記サンプル画像内の各特徴点の位置情報、記述情報及び最近傍部材情報から前記視覚辞書モデルを生成することを含むことを特徴とする、請求項2に記載の方法。
【請求項４】
前記サンプル画像内の各特徴点の位置情報、記述情報及び最近傍部材情報から前記視覚辞書モデルを生成することが、
記述情報に基づいて前記サンプル画像内の全ての特徴点に対してクラスタリングを行い、複数の視覚単語を含む前記視覚辞書モデルを生成し、
各視覚単語内の特徴点の位置情報と最近傍部材情報から前記視覚単語を前記第一類視覚単語と第二類視覚単語に分け、前記第一類視覚単語内の前記特徴点の位置と最近傍構造部分の分布が所定分布に合致し、及び
前記第一類視覚単語内で、前記視覚単語間の内在メトリクスから、１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立することを含むことを特徴とする、請求項3に記載の方法。
【請求項５】
前記視覚単語間の内在メトリクスから、１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立することが、
第一視覚単語に対応する最近傍構造部分と第二視覚単語に対応する最近傍構造部分の前記目標物体内における内在構造距離から前記第一視覚単語と前記第二視覚単語の空間関係における関連性を計算することを含むことを特徴とする、請求項4に記載の方法。
【請求項６】
前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索することが、
前記特徴点の記述情報と視覚辞書モデル内の各視覚単語の記述情報に基づき、前記特徴点と前記視覚単語間の類似性を計算し、及び
その類似性が所定しきい値以上である視覚単語を前記マッチング視覚単語と確定することを含むことを特徴とする、請求項1に記載の方法。
【請求項７】
前記マッチング視覚単語の類別に基づいて少なくとも一つのマッピング目標視覚単語を確定することが、
前記マッチング視覚単語が第一類視覚単語であるか、それとも第二類視覚単語であるかを判断し、
前記マッチング視覚単語が第一類視覚単語であるとき、前記視覚辞書モデル内で前記マッチング視覚単語と空間関係において関連性を有する少なくとも一つのその他の視覚単語を探索し、かつ前記マッチング視覚単語自身と前記少なくとも一つのその他の視覚単語を前記マッピング目標視覚単語と確定し、及び
前記マッチング視覚単語が第二類視覚単語であるとき、前記マッチング視覚単語自身のみを前記マッピング目標視覚単語と確定することを含むことを特徴とする、請求項1に記載の方法。
【請求項８】
前記マッピング目標視覚単語が前記マッチング視覚単語自身であるとき、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することが、前記特徴点と前記マッチング視覚単語間の特徴距離から前記特徴点を前記マッチング視覚単語自身にマッピングする特徴ウェイトを計算することを含み、かつ
前記マッピング目標視覚単語が前記その他の視覚単語である場合、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することが、前記特徴点と前記マッチング視覚単語間の特徴距離と前記マッチング視覚単語と前記その他の視覚単語の空間関係における関連性から前記特徴点を前記その他の視覚単語上にマッピングする特徴ウェイトを計算することを含むことを特徴とする、請求項7に記載の方法。
【請求項９】
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成することが、
各視覚単語に対して、前記視覚単語が前記第一類視覚単語である場合、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第一特徴ウェイトを計算し、前記視覚単語が前記第二視覚単語である場合は、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第二特徴ウェイトを計算し、かつ前記第一特徴ウェイトと前記第二特徴ウェイトの和を求め、前記視覚単語上のマッピングされた全体特徴ウェイトを生成し、及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた全体特徴ウェイトに対してカスケードを行い、空間情報を有する前記目標画像の特徴モデルを生成することを含むことを特徴とする、請求項1に記載の方法。
【請求項１０】
目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得するのに用いる特徴抽出ユニットと、
各特徴点に対して、
前記特徴点の記述情報から、第一類視覚単語と第二類視覚単語を含む視覚辞書モデル内で、前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索し、前記第一類視覚単語内では、１視覚単語と少なくとも一つその他の視覚単語は空間関係における関連性を有し、
前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算し、及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成するのに用いる視覚辞書マッチングユニットと、を含むことを特徴とする、特徴モデル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理分野に関し、さらに具体的には、特徴モデル生成方法及び特徴モデル生成装置に関する。
【背景技術】
【０００２】
視覚辞書モデル（またはBoVWモデルと称する）は、現在、目標分類または目標識別分野の最適な方法の一つである。該モデルは、より高い識別率が得られるように、目標特徴をより良好に表すことができる。
【０００３】
視覚辞書モデルの確立は特徴点の特徴から実現する。そのため、該モデルは位置、光線、回転及びアフィン変換に対して不変性を有している。同時に、該モデルは一部遮蔽と移動に比較的良好なロバスト性を有している。
【０００４】
しかしながら、伝統的視覚辞書モデルは直接目標内の全ての特徴点をヒストグラムに生成し、目標内の特徴点の空間情報を考慮しないため、良好な識別率を取得できない。
【０００５】
そのため、改良した空間辞書マッチング方法が提案されている。該方法は、空間ピラミッドマッチング（SPM）を、空間情報を考慮した補足として用いる。空間ピラミッドマッチングは、最初の視覚辞書モデルに空間情報を追加できる簡単な方法である。該マッチングアルゴリズムは、視覚辞書モデルと結びついて、目標全体に基づく単一特徴ベクトルを取得するのではなく、目標に対応する空間ピラミッド内の各サブ区域に対して特徴ベクトルを取得することができる。そのうち、各特徴ベクトルは目標のあるサブ区域に対応する視覚辞書モデルに基づく特徴情報である。全てのサブ区域の特徴ベクトルを取得後、それらを組み合わせて次元のより大きな特徴ベクトルとし、該特徴ベクトルはざっくりとした空間情報を暗に含んでいる。そのため、該空間ピラミッドマッチングはより良好な識別率を取得できる。しかしながら、空間ピラミッドマッチングアルゴリズムは画像の各サブ区域内の特徴点に視覚辞書マッチングを行うとき大量の重複計算が存在し、大量の処理資源を占用し、また剛性変化のみを考慮しているため、該アリゴリズムは厳格すぎであり、また時間がかかる。このほか、空間ピラミッドマッチング方法では、各特徴点は所属するサブ区域に影響を与えることしかできないため、このような場合、各サブ区域間の相互関係をほとんど表すことができない。
【０００６】
別の改良した空間視覚辞書マッチング方法は、視覚辞書マッチング過程で空間情報を考慮したものである。該方法は、サンプルを異なるサブブロックに分け、距離テンプレートにより異なるサブブロック間の空間関係影響を取得する。しかしながら、該方法の考慮する空間関係は依然として剛性のものであり、目標物体の内部構造までは考慮していない。つまり、視覚辞書内の各視覚単語（単語類別）は独立したものであり、それらの間の相互関係は考慮されていない。
以上より、従来の視覚辞書モデルは、目標の空間情報を良好に表現することができず、また動画関連性の応用においても多くの制限を受ける。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
所謂BoW（Bag  of  words）とは、一組のデータを含む梱包または包装である。一つのBoW内には往々にして若干数の画像の基本特徴元素を含み、例えば若干数の画像の特徴は、形状、構造、色、テクスチャなどの特徴を含む。BoVW（Bag  of  visuai  words）は一種類または複数の種類の画像の特徴を有しているため、BoVW内の元素を抽出するとき、近い種類の画像に記述を行うことができ、同時に異なる類別の画像の分類に用いることもできる。BoVWはある画像内で運用し、視覚辞書とイメージ的に称することもでき、それは一連の視覚単語を含み、該画像の各種特徴を視覚辞書内の各視覚単語を用いて表すことができる。
【０００８】
本発明は、空間情報を有する目標画像の特徴モデルの生成を提供することを目的とする。
【課題を解決するための手段】
【０００９】
そのため、本発明が特徴モデルを確立するとき、画像の分類に用いる分類モデルをより正確に確立するため、視覚辞書モデルを考慮するほか、画像上の各点の間の空間位置関係も考慮し、それによってより正確に画像を分類する。
【００１０】
本発明の一つの面においては、
目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得し、
各特徴点に対して、
前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索し、前記視覚辞書モデルは第一類視覚単語と第二類視覚単語を含み、前記第一類視覚単語内では、１視覚単語と少なくとも一つその他の視覚単語は空間関係において関連性を有し；
前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算し；及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成することを含む、特徴モデル生成方法を提供する。
【００１１】
また、本発明の別の面においては、
目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得するのに用いる特徴抽出ユニット、及び、
各特徴点に対して、
前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索し、前記視覚辞書モデルは第一類視覚単語と第二類視覚単語を含み、前記第一類視覚単語内では、１視覚単語と少なくとも一つその他の視覚単語は空間関係において関連性を有し；
前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算し；及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成するのに用いる視覚辞書マッチングユニットを含む、特徴モデル生成装置を提供する。
【００１２】
従来技術と比べ、本発明実施例の特徴モデル生成方法と装置を採用すると、視覚辞書モデルを確立する第一歩から、目標物体の各部位（即ち特徴点）間の内在構造関係を利用して該目標物体内部の空間関連性を確立し、またこの空間関連性から目標画像内の各特徴点と視覚辞書モデル内の各視覚単語間の特徴ウェイトのマッピングを行い、それによって空間情報を有し、視覚単語のウェイトに基づく目標画像の特徴モデルを生成できる。
【００１３】
本発明のその他特徴とメリットは後ろの明細書内で説明し、また部分的に明細書から自明である、または本発明を実施することで理解できる。本発明の目的とその他メリットは明細書、特許請求の範囲及び図面内で特に指摘している構造により実現し、取得できる。
【図面の簡単な説明】
【００１４】
図面は本発明へのさらなる理解を提供するのに用い、明細書の一部を構成し、本発明の実施例とともに本発明を解釈するのに用いるが、本出願を制限するものではない。
【図１】本発明実施例の特徴モデル生成方法の全体フローチャートである。
【図２】本発明実施例の具体例の特徴モデル生成方法の全体フローチャートである。
【図３】本発明実施例の具体例の特徴モデル生成方法内の全体データフロー図である。
【図４】本発明実施例の具体例の特徴抽出と記述ステップの具体的フローチャートである。
【図５】Ａは、本発明実施例の具体例のSIFT特徴記述の原理図である。Ｂは、本発明実施例の具体例のSIFT特徴記述の原理図である。
【図６】本発明実施例の具体例の身体部分をマーキングした歩行者とサンプリングポイントの概念図である。
【図７】本発明実施例の具体例の視覚辞書モデル生成ステップの具体的フローチャートである。
【図８】Ａ乃至Ｄは、本発明実施例の具体例のK近傍アルゴリズムの原理図である。
【図９】Ａ乃至Ｄは、本発明実施例の具体例の有意類別生成サブステップの概念図である。
【図１０】Ａ乃至Ｂは、本発明実施例の具体例の有意類別関連性確立サブステップの概念図である。
【図１１】本発明実施例の具体例の視覚辞書マッチングステップの具体的フローチャートである。
【図１２】Ａ乃至Ｂは、本発明実施例の具体例のマッチング視覚単語探索サブステップの概念図である。
【図１３】Ａ乃至Ｂは、本発明実施例の具体例の特徴ウェイトマッピングサブステップの概念図である。
【図１４】Ａ乃至Ｂは、本発明実施例の具体例の特徴モデル生成サブステップの概念図である。
【図１５】本発明実施例の特徴モデル生成装置の機能配置ブロック図である。
【図１６】本発明実施例の車両制御システムの機能構造図である。
【図１７】車載カメラに基づき画像上で改良した視覚辞書モデルを用いて物体検出を行う物体検出サブシステムの内部構造である。
【発明を実施するための形態】
【００１５】
図面を参考に本発明の各実施例を詳しく説明する。ここで、注意すべきことは、図面では、同じ図面表記を基本的に同じまたは類似の構造と機能を有する組成部分に付与し、それらに関する重複する説明を省略していることである。
【００１６】
当業者に本出願をよりきちんと理解してもらうために、下記順序、即ち、
１．本発明の構想概要
２．特徴モデル生成方法
２．１  具体例
３．特徴モデル生成装置
４．車両制御システム
５．物体検出サブシステム
という順序で本発明についてさらに詳細に説明する。
【００１７】
１．本発明の構想概要
従来技術内の技術問題に対して研究する過程で、本発明人はある目標物体は通常有機的全体であり、その内部には往々にして異なる構造部分が含まれ、各構造部分間には往々にして特定の内在構造関係が存在することを認識した。この考えを利用して、視覚辞書モデルに改良を行い、目標物体の内部構造関係を十分に考慮し、空間情報を有する前記目標画像の特徴モデルを生成できる。
【００１８】
２．特徴モデル生成方法
以下の文では、図1を参考に本発明実施例の特徴モデル生成方法の全体フロー例を説明する。
【００１９】
図1は、本発明実施例の特徴モデル生成方法の全体フローチャートである。
【００２０】
図1に示すように、該特徴モデル生成方法は以下を含むことができる。
【００２１】
ステップS110では、目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得する。
【００２２】
特徴モデル生成方法の応用シーンによって決まり、前記目標画像は類別既知の少なくとも一つのサンプル画像を含むか、または前記目標画像は類別未知の少なくとも一つの検出待ち画像などである。
【００２３】
例えば、各特徴点の位置情報は該特徴点のサンプル画像内の位置座標でよく、また該特徴点の記述情報は該特徴点の特徴記述子でもよく、それは特徴記述ベクトル、または直接に特徴記述と称することもできる。
【００２４】
実施例では、前記目標画像が前記サンプル画像であるとき、前記の位置情報と記述情報のほか、さらに前記特徴点の最近傍部材情報を取得でき、該特徴点の目標物体内の内在構造位置をマーキングするのに用いる。例えば、該最近傍部材情報は前記特徴点と距離が最も近い前記目標物体の内部構造部分を記述するのに用いることができる。
【００２５】
そのため、少なくとも一つの特徴点を取得後、前記方法はさらに、前記サンプル画像内で予めマーキングした目標物体の少なくとも一つの構造部分の位置情報を取得し、及び各特徴点の位置情報と各構造部分の位置情報に基づき前記特徴点の最近傍部材情報を確定し、前記最近傍部材情報は前記特徴点と距離が最も近い前記目標物体の構造部分を表すことを含むことができる。
【００２６】
実施例では、サンプル画像内の各特徴点の位置情報、記述情報と最近傍部材情報を取得後、空間情報を有する視覚辞書モデルを生成できる。
【００２７】
そのため、前記方法はさらに、前記サンプル画像内の各特徴点の位置情報、記述情報と最近傍部材情報から前記視覚辞書モデルを生成することを含むことができる。
【００２８】
通常、視覚辞書モデルの生成ステップはクラスタリング、類別区分、空間関連性の確立などのサブステップを含むことができる。
【００２９】
具体例では、前記サンプル画像内の各特徴点の位置情報、記述情報と最近傍部材情報から前記視覚辞書モデルを生成することは、記述情報に基づいて前記サンプル画像内の全ての特徴点に対してクラスタリングを行い、複数の視覚単語を含む前記視覚辞書モデルを生成し、各視覚単語内の特徴点の位置情報と最近傍部材情報から前記視覚単語を前記第一類視覚単語と第二類視覚単語に分け、前記第一類視覚単語内の前記特徴点の位置と最近傍構造部分の分布が所定分布に合致し、及び前記第一類視覚単語内では、前記視覚単語間の内在メトリクスから１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立することを含むことができる。
【００３０】
特別に、空間情報を有する視覚辞書モデルを生成するため、視覚辞書モデル内の二つの視覚単語（例えば、簡単に第一視覚単語と第二視覚単語と称する）が前記第一類視覚単語に属すとき、この二つの第一類視覚単語間の内在メトリクスからそれらの関連性を確立できる。例えば、この内在メトリクスは対応する最近傍構造部分の前記目標物体の中にある構造上の距離から実現できる。そのため、前記の空間情報を有する視覚辞書モデルも構造化視覚辞書と称することができる。
【００３１】
そのため、視覚単語間の内在メトリクスから１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立することは、第一視覚単語に対応する最近傍構造部分と第二視覚単語に対応する最近傍構造部分の前記目標物体内における内在構造距離から前記第一視覚単語と前記第二視覚単語の空間関係における関連性を計算することを含むことができる。
【００３２】
ステップS120では、各特徴点に対して、前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索する。
【００３３】
視覚辞書モデルを取得後、前記目標画像が前記サンプル画像、検出待ち画像であるに関係なく、どちらも各特徴点の特徴に対して、構造化視覚辞書内で探索を行い、これと最も近いマッチング視覚単語を探し出すことができる。
【００３４】
そのため、実施例では、前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索することは、前記特徴点の記述情報と視覚辞書モデル内の各視覚単語の記述情報に基づき前記特徴点と前記視覚単語間の類似性を計算し、及びその類似性が所定しきい値以上である視覚単語を前記マッチング視覚単語と確定することを含むことができる。
【００３５】
ステップS130では、前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算する。
【００３６】
上述したように、構造化視覚辞書内には二種類の異なる視覚単語が存在する。つまり、マッチング視覚単語はおそらく第一類視覚単語または第二類視覚単語である。そのため、異なる方式から各特徴点をどの一つまたは複数の視覚単語にマッピングすべきかを確定し、合わせて前記特徴点を視覚単語上にマッピングするウェイト値を確定できる。まず各特徴点をマッピングすべきマッピング目標視覚単語を確定するため、実施例では、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定することは、前記マッチング視覚単語が第一類視覚単語であるか、それとも第二類視覚単語であるかを判断し、前記マッチング視覚単語が第一類視覚単語であるとき、前記視覚辞書モデル内で前記マッチング視覚単語と空間関係において関連性を有する少なくとも一つのその他の視覚単語を探索し、かつ前記マッチング視覚単語自身と前記少なくとも一つのその他の視覚単語を前記マッピング目標視覚単語と確定し、及び前記マッチング視覚単語が第二類視覚単語であるとき、前記マッチング視覚単語自身のみを前記マッピング目標視覚単語と確定することを含むことができる。
【００３７】
つまり、ステップS120で探索した特徴点とマッチングするマッチング視覚単語が第二類視覚単語に属す場合、前記マッチング視覚単語自身だけを考慮すればよい。反対に、ステップS120で探索した特徴点とマッチングするマッチング視覚単語が第一類視覚単語に属す場合、特徴に基づきマッピングした該マッチング視覚単語自身を考慮する必要のあるほか、さらに該マッチング視覚単語と構造関連性を有するその他の視覚単語も考慮できる。
【００３８】
続いて、実施例では、前記マッピング目標視覚単語が前記マッチング視覚単語自身であるとき、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することは、前記特徴点と前記マッチング視覚単語間の特徴距離から前記特徴点を前記マッチング視覚単語自身にマッピングする特徴ウェイトを計算することを含むことができる。
【００３９】
例えば、このような特徴距離は前記特徴点の特徴記述ベクトルと前記マッチング視覚単語の特徴記述ベクトル間の距離（例えば、ユークリッド距離）を計算することで取得できる。
【００４０】
別の実施例では、前記マッチング視覚単語が前記その他の視覚単語であるとき、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することは、前記特徴点と前記マッチング視覚単語間の特徴距離と前記マッチング視覚単語と前記その他の視覚単語の空間関係における関連性から前記特徴点を前記その他の視覚単語上にマッピングする特徴ウェイトを計算することを含むことができる。
【００４１】
例えば、マッチング視覚単語と前記その他の視覚単語の空間関係における関連性は視覚辞書モデルを生成する前記過程内で確立できる。
【００４２】
ステップS140では、前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成する。
【００４３】
最後に、前記目標画像が前記サンプル画像、検出待ち画像であるに関係なく、どちらでも該画像上の全てのサンプリングポイントの特徴を第一類視覚単語または第二類視覚単語にマッピングする特徴ウェイト値はある方式を採用して組合せまたは評定をし、それによってこの目標物体の統一的特徴記述を得ることができる。
【００４４】
実施例では、前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成することは、各視覚単語に対して、前記視覚単語が前記第一類視覚単語であるとき、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第一特徴ウェイトを計算し、前記視覚単語が前記第二視覚単語であるとき、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第二特徴ウェイトを計算し、かつ前記第一特徴ウェイトと前記第二特徴ウェイトの和を求め、前記視覚単語上のマッピングされた全体特徴ウェイトを生成し、及び前記視覚辞書モデル内の各視覚単語上のマッピングされた全体特徴ウェイトに対してカスケードを行い、空間情報を有する前記目標画像の特徴モデルを生成することを含むことができる。
【００４５】
以上からわかるように、本発明の実施例は視覚辞書モデルを確立する第一歩から、目標物体の各部分間の内在構造関係を利用して該目標物体内部の空間関連性を確立し、かつこの空間関連性から目標画像内の各特徴点と視覚辞書モデル内の各視覚単語間の特徴ウェイトマッピングを行い、それによって目標画像内の特徴点の空間情報を有する視覚単語のウェイトに基づく目標画像の特徴モデルを生み出すことができる特徴モデル生成方法を提供する。
【００４６】
言うまでもなく、前記特徴モデル生成方法は異なる目的を実現するのに用いることができる。実施例では、前記特徴モデル生成方法はサンプル訓練過程に応用できる。このとき、前記特徴モデル生成方法はサンプル画像により訓練操作を行い、それによって識別待ち目標の視覚辞書モデルと分類器を取得できる。別の実施例では、前記特徴モデル生成方法は目標検出過程にも応用でき。このとき前記特徴モデル生成方法は訓練して取得した視覚辞書モデルと分類器により検出待ち画像の分類結果を出力できる。
【００４７】
具体的には、サンプル訓練過程に応用するとき、該特徴モデル生成方法はまず訓練集合内の各サンプル画像に対してサンプリングを行い、各特徴点の基礎特徴を抽出後、さらに視覚辞書モデルを改良することができる。改良した視覚辞書モデルを生成するとき、該方法は内在メトリクスから一部視覚単語間の空間関連性を確立できる。続いて、底層特徴ベクトルを視覚辞書モデルにマッピングし、最終特徴記述を生成するとき、該方法は依然として一部視覚単語間の空間関連性を考慮してマッピングを行い、空間情報を有する前記目標画像の特徴モデルを生成できる。最後に、該方法はさらに取得した特徴モデルを利用して分類訓練を行うことができる。
【００４８】
また、目標検出過程に応用するとき、該特徴モデル生成方法は検出待ち画像に対してサンプリングを行い、一部視覚単語間の空間関連性から検出待ち画像内の特徴点を視覚辞書モデル内の視覚単語にマッピングし、空間情報を有する前記目標画像の特徴モデルを生成し、かつ訓練を利用して取得した分類基準を得ることにより最終的な物体検出結果を生成できる。
【００４９】
２．１  具体例
以下の文では、図2から図14を参考に本発明実施例の具体例の特徴モデル生成方法の全体フローチャートを説明する。
【００５０】
本発明実施例の具体例では、特徴モデル生成方法をオフラインのサンプル訓練課程とオンラインの目標検出過程に応用することを例に説明する。
【００５１】
しかしながら、説明すべきことは、ここでは該特徴モデル生成方法を分類訓練と実際の分類操作の実行に応用し、それによって画像の空間位置に基づくより正確な分類を取得するが、本発明はこれに限るものではない。該方法は同様に特徴モデルに基づくその他応用分野に応用でき、例えば画像検索、画像マッチングなどで、前記の画像分類と画像識別分野に限らない。
【００５２】
図2は本発明実施例の具体例の特徴モデル生成方法の全体フローチャートであり、図3は本発明実施例の具体例の特徴モデル生成方法内の全体データフロー図である。
【００５３】
図2と図3を参考にすると、図2に示す特徴モデル生成方法の全体フローチャートと図3に示す特徴モデル生成方法内の全体データフロー図は一つ一つ対応し、その違いは、図2に示す特徴モデル生成方法の各ステップS201からS210、図3に示す特徴モデル生成方法を実行する各ステップ時にかかわる関連データF1からF10にあるだけである。
【００５４】
図2と図3に示すように、本発明実施例の具体例の特徴モデル生成方法は二つの異なる過程、即ちオフラインのサンプル訓練課程とオンラインの目標検出過程に応用できる。
【００５５】
具体的には、該特徴モデル生成方法は以下を含むことができる。
【００５６】
ステップS201では、サンプル画像を入力する。
【００５７】
具体的には、識別待ち目標の視覚辞書モデルと分類器を取得するため、Nフレームサンプル画像F1を入力でき、Nは自然数である。
【００５８】
例えば、前記サンプル画像はモデル訓練に用いるポジティブ・ネガティブサンプル画像を含むことができる。ポジティブサンプルは識別待ち目標（例えば、人、動物、建築物）を含む画像であり、ネガティブサンプルは識別待ち目標を含まない画像である。
【００５９】
また、前記サンプル画像は類別が既知（ポジティブサンプルまたはネガティブサンプル）のグレースケール図（またはグレースケール画像と称す）及び/または深度画像（または視差画像または視差図と称する）でもよい。具体的には、該グレースケール図はカメラから直接採集したものでよく、該視差画像も双眼距離測定原理に基づき、確定したカメラを利用して採集したものでよい。
【００６０】
しかしながら、本発明はこれに限るものではない。言うまでもなく、いかなる従来の視差画像を取得する方法も本発明に用いることができる。例えば、該視差画像は専門の視差カメラが直接撮影して生成できる。入れ替えて、双眼カメラ、多眼カメラ、ステレオカメラによりグレースケール図を撮影し、それから前記グレースケール図に基づいて対応する視差画像を計算して取得することもできる。具体的には、例えば、検出する対象（または目標と称する）が例えば道路上の車両または歩行者といった対象である場合、車載双眼カメラにより左画像と右画像を撮影し取得し、左画像（または右画像）をここでのグレースケール図とし、さらに左画像と右画像からここでの視差画像を計算して取得できる。
【００６１】
ここでは、実施例では、例えば車両にあるカメラによりグレースケール図と視差画像の取得を実現できる。または別の実施例では、例えば有線ネットワークまたは無線ネットワークを利用して遠隔にあるカメラからグレースケール図と対応する視差画像を取得できる。また、画像撮影装置（例えば、カメラ）に関しても必ず車両に設置する必要はなく、反対に、例えば、必要に応じて路肩の建築物、または目標対象の撮影に適したその他位置に設置することもできる。
【００６２】
説明すべきことは、ここでの視差画像は必ず複数のカメラから取得する必要があると限定するものではなく、一台のカメラから時間領域に基づいて取得こともできる。例えば、一台のカメラがある時刻に撮影した画像を左画像とし、それから次の時刻に、該カメラの位置をわずかに移動してから撮影した画像を右画像とし、このようにして取得した左画像と右画像から視差画像を計算して取得することもできる。
【００６３】
また、以上の文ではグレースケール図をサンプル画像とする例で説明を行った。しかしながら、当業者であれば理解できることは、カメラの撮影パラメータとコンピュータの計算性能などのパラメータが許容する場合、カラー図（またはカラー画像と称する）をグレースケール図の代わりに使用することもできる。
【００６４】
ステップS202では、各サンプル画像に対して特徴点の集合を抽出し、特徴点の属性情報を取得する。
【００６５】
具体的には、訓練集合内のNフレームサンプル画像（グレースケール/カラー画像、及び/または深度画像を含む）に対して、特徴抽出ユニットF1がまず各画像に対してサンプリングを行い、各サンプリングポイントの目標物体の各種特徴F2を抽出し、次の過程またはステップに用いる。
【００６６】
図4は本発明実施例の具体例の特徴抽出と記述ステップの具体的フローチャートである。
【００６７】
図4に示すように、該特徴抽出と記述ステップは具体的には以下を含む。
【００６８】
サブステップS2021では、各サンプル画像に対して特徴点を抽出する。
【００６９】
具体的には、訓練サンプル画像を取得後、各種方式によりサンプル画像に対してサンプリングを行い、サンプル画像の特徴点（またはサンプリングポイントと称する）を取得する。例えば、特徴点はいかなる従来の抽出アルゴリズムからでも取得でき、例えばランダムサンプリング、集中的サンプリング、コーナー検出、スケール不変特徴量変換（SIFT）特徴点抽出などである。以下、仮に集中的サンプリングを例として説明を行う。
【００７０】
サブステップS2022では、各特徴点の属性情報を取得する。
【００７１】
具体的に、集中的サンプリングにより複数の特徴点を取得後、さらに各特徴点にその特徴に基づいて対応する表現を行い、特徴点の例えば形状、構造、色、テクスチャなどの属性情報を取得できる。例えば、ここではいずれかの局部特徴を採用してサンプリングポイントに記述を行うことができ、これらの特徴点は回転、縮小拡大、並進に対して不変な特徴でもよい。以下、仮にSIFT特徴をここで用いて、サンプリングポイントの特徴とする。
【００７２】
図5Aと図5Bは、本発明実施例の具体例のSIFT特徴記述の原理図である。
【００７３】
図5Aは各画素の勾配情報がすでに算出され、かつ円内の位置に基づいてウェイトを加えている。図5Bは特徴ヒストグラム内の各ストライプ内の勾配に対する蓄積を表している。SIFT特徴記述の原理は当業者に熟知されているため、ここではその詳細な説明は省略する。
【００７４】
集中的SIFT特徴記述を利用して、目標物体の画像にサンプリングと記述を行った後、各サンプリングポイントは1）FDと記す特徴記述、及び2）（x，y）と記す位置情報という二つの性質を有する。
【００７５】
このほか、サンプル画像内の目標物体の各部分間の内在構造関係を利用して該目標物体内部の空間関連性を確立するため、さらに各サンプリングポイントの3）最近傍構造部分及びその距離という性質を取得する必要がある。
【００７６】
以下、説明しやすくするため、歩行者を目標物体とする例で該最近傍構造部分及びその距離情報の取得を説明する。言うまでもなく、本発明はこれに限らない。目標物体は、例えば車両、建築物、ガードレールなどその他の物体を含むこともできる。
【００７７】
図6は、本発明実施例の具体例の身体部分をマーキングした歩行者とサンプリングポイントの概念図である。
【００７８】
図6は前記最近傍構造部分のマーキング操作を行った歩行者の概念図である。図6に示すように、身体部分は黒点が表し、サンプリングポイントは円が表す。例えば、図6では、歩行者の検出については、該歩行者の左肩部材（LSと表記）、右肩部材（RSと表記）と頭部部材（Hと記載）などをマーキングしている。
【００７９】
そのため、ある特徴点と各構造部分間の距離を計算することで、簡単に目標物体内のどの構造部分が該特徴点と最も近い構造部分か判断し、該特徴点の附加属性情報として、該最近傍構造部分とその距離を記録できる。
【００８０】
図6に示すように、円が表す該サンプリングポイントの最近傍身体部分は該歩行者の左肩部材LSである。
【００８１】
ステップS203では、サンプリングポイント特徴から改良した視覚辞書モデルを確立する。
【００８２】
具体的には、各サンプリングポイントの目標物体の各種特徴を抽出後、抽出した特徴にクラスタリングを行い、特徴の目標物体上の位置と所在部位から、有意類別を集中し、それらの間の関連性を確立し、構造化した視覚辞書F3を取得する。前記視覚辞書には、画像特徴を記述できる大量の視覚単語を含むことができる。
【００８３】
図7は、本発明実施例の具体例の視覚辞書モデル生成ステップの具体的フローチャートである。
【００８４】
図7に示すように、該視覚辞書モデル生成ステップは具体的に以下を含む。
【００８５】
サブステップS2031では、抽出した特徴点にクラスタリングを行う。
【００８６】
具体的には、訓練サンプル画像内の特徴点を受け取った後、一時的に特徴点の位置情報を考慮せず、特徴点の記述情報に基づいて、これらの特徴点にクラスタリングを行い、視覚辞書を生み出す。例えばこのサブステップは伝統的視覚辞書モデル内のクラスタリングステップと似ているため、ここではいずれかの伝統クラスタリングアルゴリズムを採用してサンプリングポイントにクラスタリングを行うことができる。以下、K近傍（KNN）アルゴリズムをここで用いると仮定する。
【００８７】
図8Aから図8Dは、本発明実施例の具体例のK近傍アルゴリズムの原理図である。
【００８８】
図8Aから図8Dでは、各四角い点は各サンプリングポイント（または特徴点）で取得した多次元の特徴記述を表す。例えば、一般的なクラスタリング方法として、K近傍アルゴリズムはここで用いることができる。図8Aの中の三つの丸い点（それぞれ左上、左下、右下の位置にある）は初期クラスタ中心を表し、ランダムに点を間引くことで実現する。それから、図8Bと図8Cに示す反復過程により、徐々に更に正確なクラスタ中心を探しだし、それによって図8Dに示すように最終的なクラスタリング結果を取得する。K近傍アルゴリズムの原理は当業者に熟知されているため、ここではその詳細な説明は省略する。
【００８９】
前記ではK近傍アルゴリズムを例に説明したが、本発明はこれに限らない。例えばクラスタリングステップはさらに分割法（Partitioning  Methods）、階層法（Hierarchical  Methods）、密度に基づく手法（density-based  methods）、格子に基づく手法（grid-based  methods）、モデルに基づく手法（Model-Based  Methods）などを含むことができる。クラスタリングアルゴリズムはK-MEANSアルゴリズム、K-MEDOIDSアルゴリズム、CLARANSアルゴリズム、BLRCHアルゴリズム、CUREアルゴリズム、CHAMELEONアルゴリズム、DBSCANアルゴリズム、OPTICSアルゴリズム、DENCLUEアルゴリズム、STINGアルゴリズム、CLIQUEアルゴリズム、WAVE-CLUSTERアルゴリズムなどを含むことができ、これらはすべて従来技術の中で成熟しているクラスタリングアルゴリズムであり、ここでは一つ一つ例を挙げて説明しない。
【００９０】
このように、これらの特徴点の記述情報に対してクラスタリングを行うことで、複数の類似した記述情報が視覚単語内にクラスタリングさせ、かつそれによって全ての特徴点の全記述情報内からクラスタリングして複数の視覚単語を取得し、視覚辞書を生成することができる。
【００９１】
簡単に例を挙げると、仮に、ある特徴点aの記述情報が例えば円形、緋色を含み、別の特徴点bの記述情報が円形、青色を含み、また別の特徴点cの記述情報が四角、深紅色を含むとする。そうすると、前記ステップにより全ての記述情報をクラスタリングし、例えば、円形、四角、赤色、青色といったいくつかの視覚単語を取得し、それによって視覚辞書を生成する。説明すべきことは、ここで例に挙げたのは二つの異なる類型の記述情報を一つに合併するクラスタリングであり、当然のことながら、実際は一つの類型または二つ以上の類型の記述情報を一つに合併するクラスタリングを採用してもよい。
【００９２】
サブステップS2032では、サンプリングポイントの位置情報と身体部分情報に基づき、一つ前のサブステップS2031でクラスタリングした各類別の分布状況を計算して、クラスタの類別を探索し、有意類別とする。
【００９３】
図9Aから図9Dは、本発明実施例の具体例の有意類別生成サブステップの概念図である。
【００９４】
図9Aから図9Dは有意類別生成サブステップ例を示す。ここでは、目標歩行者の画像内のサンプリングポイントに対して、図9A内の丸に示すように、対応する特徴点は伝統クラスタリング過程で図9Bに示す三つの類別（左側部分にあり最も濃い色で表している類別、右側部分にあり比較的濃い色で表している類別、下側部分にあり最も薄い色で表している類別を含む）の中の下側部分類別内にクラスタリングされる。図9Aから図9Bに向かう矢印の特徴点を例にとると、この点は身体部分情報、位置情報、記述情報の三つの性質を有し、仮にそれらをそれぞれLS（左肩部材）、(x，y)、FDと記すとする。それから広げてわかるように、このクラスタ内の各点はどれもこの三つの属性情報を有している。それから、前記情報から、このクラスタ内の全ての点に対して、それらの位置と所在身体部分の分布状況を計算し、かつ該分布が所定の二次元の分布局面を形成しているか否か判断できる。
【００９５】
例えば、該分布の形状が所定分布に合致していると判断し、図9Cの分布1に示すように、例えばガウス分布に類似し、その中の大多数の点が比較的集中した最大値点を有している場合、この類型の類別を有意類別（または第一類視覚単語と称する）と呼ぶように定義できる。
【００９６】
入れ替えて、図9Bに示す三つの類別の中の右側部分類別内の伝統的特徴内の全てサンプリングポイントに対して、それらの性質はそれぞれLA、（x，y）、FD；LUL、（x，y）、FD；LW、（x，y）、FD等を含むことがわかる。ここでは、LAは左足踝、LULは右上腕、LWは左手首を表す。（x，y）は、それらの位置情報の一般的な表示であり、実際には、例えば、それぞれ（x1，y1）、（x2，y2）、（x3，y3）と記すことができる、画像内の異なる位置座標である。
【００９７】
では、このクラスタ内に含まれるすべての点に対してそれらの位置と所在身体部分の分布状況を計算後、それらの位置と所在身体部分の分布状況がガウス分布に合致しないと判断でき、反対に、図9Dの中の分布2に示すように、この曲面の形状は比較的乱れ、特別集中した最大値点がなく、この類型の類別を非有意類別（または第二類視覚単語と称する）と呼ぶように定義できる。
【００９８】
サブステップS2033では、有意類別間の内在メトリクスから、有意類別間の関連性を確立する。
【００９９】
具体的には、有意類別間の内在メトリクスは第一有意類別に対応する最近傍構造部分と第二有意類別に対応する最近傍構造部分の前記目標物体内の内在構造距離である。例えば、歩行者を目標物体とする場合、骨格距離はその中の一つのメトリクス方式とすることができる。また、例えば車両を目標物体とする場合、主要部材（例えば、ライト、ホイール、ABピラー）間の距離をこのメトリクス方式とすることができる。
【０１００】
図10Aと図10Bは、本発明実施例の具体例の有意類別関連性確立サブステップの概念図である。
【０１０１】
図10Aと図10Bは、有意類別関連性確立サブステップの一例である。図10Aでは、歩行者の骨格情報をマーキングし、異なる身体部分（例えば、頭部、左肩、右肩）の有意類別は異なるグレースケールの黒丸でマーキングしている。その中の二つの有意類別は独立して図10B内でマーキングされ、それぞれ頭部（H）と左肩（LS）の二つの身体部分を表し、図の中の上部と下部の曲線矢印が示す通りである。この二つの有意類別間の関連性は、それらの間の内在メトリクスから確立できる。この内在メトリクスはウェイト値で表すことができる。例えば、それらの間のウェイト計算の計算方式は公式1に示す通りである。
【数１】
2016062610.tif 000003
【０１０２】
式中、WH,LSは有意類別Hと有意類別LSの空間関係における関連性を表し、βは調節ファクターを表し、それは経験値から来る。Hは頭部身体部分のある位置を表し、LSは左肩身体部分のある位置を表し、idis(H,LS)は例えば骨格距離などHとLS間の内在距離を表す。例えば、この内在距離はマーキングした異なる身体部分間の画素距離から計算できる。
【０１０３】
また、実施例では、距離の最も近い二つの有意類別についてのみ、それらの間の関連性を確立してもよい。当然のことながら、全ての有意類別または一部有意類別間の関連性を確立することもでき、これは実際の検出の要望から確定するか、または物体の内部構造特性から確定し、当然のことながら他の評定（例えば、システム全体の処理能力など）に基づいてもよい。
【０１０４】
このように、前記ステップS203により、構造化した視覚辞書モデルが出来上がり、この視覚辞書モデルの中には、伝統クラスタリング方法から取得した特徴に対する単語があるだけでなく、位置と身体部分情報から取得した有意類別もあり、内在メトリクスに基づいて、有意類別間の関係を確立し、視覚辞書内部の空間関係における関連性を強化した。
【０１０５】
つまり、該特徴モデル生成方法は視覚辞書モデルを生成するとき、内在メトリクスにより、各有意類別間の関連性を確立できる。
【０１０６】
ステップS204では、各特徴点に一つまたは複数の視覚単語がマッチングし、空間視覚辞書マッチングアルゴリズムにより、サンプル画像の記述方法を画素データから空間情報を有する視覚単語のウェイトに基づく特徴モデルに変換させる。
【０１０７】
具体的には、構造化した視覚辞書モデルを取得後、距離情報と内部構造情報を利用して、目標物体の特徴を、内部関連性が確立された視覚辞書上にマッピングし、各検出待ち物体のBoVWモデルに基づく特徴記述F4を取得できる。
【０１０８】
説明すべきことは、該特徴点マッチング過程は同時にポジティブサンプルとネガティブサンプルを含むすべての訓練サンプルに応用できることである。また、視覚単語のマッチングと視覚辞書のマッチングは異なるものであり、視覚単語のマッチングは特徴点の記述情報が視覚単語と類似した状況を表し、視覚辞書のマッチングは空間情報を有する視覚単語のウェイトに基づく特徴モデルを確立することである。
【０１０９】
総じていえば、視覚辞書マッチング過程は、特徴点に基づく特徴表現（例えば、記述情報）を新しいより役立つ空間情報を有するBoVWモデルに基づく特徴表現（例えば、特徴行列、または特徴モデルなどでよい）に変換することを目的とする。具体的には、サンプル画像内の各サンプリングポイントの特徴を生成された構造化視覚辞書上にマッピングして、目標物体の統一の記述子を形成できる。マッピングする過程でマッチングを行うとき、構造化視覚辞書の内在関係も考慮できる。
【０１１０】
図11は、本発明実施例の具体例の視覚辞書マッチングステップの具体的フローチャートである。
【０１１１】
図11に示す通り、該視覚辞書マッチングステップは具体的に以下を含む。
【０１１２】
サブステップS2041では、視覚辞書モデル内でマッチングする視覚単語を探索する。
【０１１３】
サンプル画像の特徴点の位置情報と記述情報を受け取った後、視覚辞書の中からサンプル内の各特徴点を描写できる一つまたは複数の視覚単語を探し出し、マッチングする視覚単語とすることができる。例えば、前述の例を引き続き例とすると、ある特徴点aのマッチングする視覚単語が例えば円形、赤色であれば、該特徴点a自身の記述情報は円形、緋色である。
【０１１４】
具体的には、まず特徴点の記述情報と視覚辞書内の各視覚単語間の類似度を計算できる。該類似度は距離測定値fdis(fi,Ck)を採用して表すことができ、それはユークリッド距離を含むがそれに限らない。ここでは、fiは特徴点iの特徴記述情報である。Ckは視覚辞書内のk個目の視覚単語の特徴記述情報である。距離測定値fdis(fi,Ck)が小さくなればなるほど、特徴点と対応する視覚単語の類似度は高くなる。
【０１１５】
それから、各特徴点に最も類似する視覚単語を選択できる。現在特徴点の記述情報と全ての視覚単語の類似度を取得後、該操作は空間エンコーディング過程にマッチングする一つまたは複数の視覚単語を選択することを目的とする。特徴点に最も近いマッチングする視覚単語を一つのみ選択するとき、硬判定と称することができる。軟判定は各特徴点に一つよりも多いマッチングする視覚単語を選択することである。
【０１１６】
軟判定を例にとると、最後に、判断結果を取得でき、該判断結果は類似度及び各特徴点に対応する最も類似する一つまたは複数の視覚単語を含み、マッチングする一つまたは複数の視覚単語とすることができる。
【０１１７】
図12Aと図12Bは、本発明実施例の具体例のマッチング視覚単語探索サブステップの概念図である。
【０１１８】
図12Aと図12Bに示すように、目標画像内のサンプリングポイントは図12Aの丸に示す通りであり、対応する特徴ベクトルは矢印の指すヒストグラムに示す通りであり、fiと記す。また、構造化視覚辞書は図12Bに示す通りであり、該視覚辞書モデル内の各視覚単語もその特徴モデルを利用して表すことができ、Ckと記す。マッチング視覚単語を探索するとき、前述したように、特徴の類似性に基づいて、構造化視覚辞書内の最も近い一つまたは複数の視覚単語類、例えば特徴点との間の類似性が所定しきい値よりも大きい一つまたは複数の視覚単語類を探し出すことができる。
【０１１９】
サブステップS2042では、特徴点をマッチング視覚単語上にマッピングする特徴ウェイトを計算する。
【０１２０】
特徴点にマッチングする一つまたは複数の視覚単語を確定後、さらにこれらの視覚単語の類別を判断できる。
【０１２１】
第一の状況では、一つまたは複数の視覚単語類の中で、１視覚単語が非有意類別であれば、サンプリングポイント特徴fiを該視覚単語Ck上にマッピングしたウェイト数値は
（外１）
2016062610.tif 000004
であり、式中、βは調節ファクターであり、経験値から来ている。fdis(fi,Ck)はサンプリングポイント特徴fiと視覚単語特徴Ckの間の距離である。
【０１２２】
例では、伝統視覚辞書モデル内の距離を計算する方法から特徴間の距離fdis(fi,Ck)を計算できる。例えば、特徴間の距離計算の計算方式は公式2に示す通りである。
【数２】
2016062610.tif 000005
【０１２３】
式中、fdis(fi,Ck)はサンプリングポイント特徴fiと視覚単語特徴Ckの間の距離を表し、fiは特徴点iの特徴記述情報であり、Ckは視覚辞書内のk個目の視覚単語の特徴記述情報であり、Dは特徴ベクトルの次元数である。
【０１２４】
第二の状況では、１視覚単語が有意類別である場合、サンプリングポイント特徴に基づいてマッピングしたこの視覚単語のほか、さらにそれと空間構造内において関連性を有するその他類別もマッピングを行う必要があり、またマッピングしたウェイトと類別の間の関連ウェイトは関係があることを考慮する必要がある。
【０１２５】
図13Aと図13Bは、本発明実施例の具体例の特徴ウェイトマッピングサブステップの概念図である。
【０１２６】
図13Aと図13Bが示すように、仮にサンプリングポイント特徴fiが有意類別lにマッチングし、かつ有意類別lと有意類別j、有意類別kの間に、ウェイトWl,jとWl,kにより関連性を確立する。ここでは、ウェイトWl,jとWl,kの計算方法は構造化視覚辞書生成ステップS203の有意類別関連確立サブステップ2033の中で詳細に説明をしているため、その詳細な説明は省略する。
【０１２７】
このような場合、サンプリングポイント特徴fiを計算して視覚辞書に投影を行うとき、有意類別l自身に投影するウェイト値は
（外２）
2016062610.tif 000006
であり、有意類別lと有意類別j、有意類別kの間の関連性を経由して、有意類別jに投影するウェイト値は
（外３）
2016062610.tif 000007
であり、有意類別kに投影するウェイト値は
（外４）
2016062610.tif 000008
であると定義できる。
【０１２８】
図13Bに示す通り、仮に生成された構造化視覚辞書内に計7つの視覚単語があるとすると、各視覚単語はすべてその上にマッピングしたサンプリングポイント特徴ウェイトを有し、またこれらのサンプリングポイントはすべて一枚の画像、即ちサンプル画像から来たものである。では、前記類似の方法により、該特徴モデル生成方法は有意類別と非有意類別によって決めることができ、サンプル画像内の各底層特徴を視覚辞書内の各視覚単語にマッピングし、最終特徴記述を生成し、有意類別間の関連性を十分に考慮したうえで、マッピング操作を行う。
【０１２９】
上述したように、上記サブステップS2041とS2042では、サンプリングポイントの特徴に対して、構造化視覚辞書内で探索を行い、最も近い数個または複数の単語を探し出し、サンプリングポイントをこれらの単語上に投影するウェイトと数値を計算できる。そのため、習慣では、この二つのサブステップはまとめてコーディング（coding）ステップと称することができる。
【０１３０】
サブステップS2043では、各視覚単語上のマッピングされた特徴ウェイトから該サンプル画像のBoVWモデルに基づく特徴モデルを生成する。
【０１３１】
具体的には、続いて、検出待ち画像上の全てのサンプリングポイント特徴を有意類別、非有意類別にマッピングしたウェイト値はある方式を採用して組合せまたは評定を行い、この検出待ち物体の統一した特徴記述を取得する。
【０１３２】
図14Aと図14Bは、本発明実施例の具体例の特徴モデル生成サブステップの概念図である。
【０１３３】
前述の図13Bに示すように、仮に生成された構造化視覚辞書内に計7つの視覚単語があるとすると、各視覚単語はすべてその上にマッピングしたサンプリングポイント特徴ウェイトを有し、またこれらのサンプリングポイントはすべて一枚の画像、即ちサンプル画像から来たものであり、かつ図14Aの四角に示す通りである。そのため、各視覚単語上の特徴記述をカスケードすることで、この画像をこの構造視覚辞書上にマッピングした統一した特徴記述を取得でき、図14Bの特徴ウェイトヒストグラムに示す通りであり、その中の有意類別視覚単語は空間関係において相関性を有する。ここでは、矢印により有意類別間の相互関連性及びそれらの間のウェイトを表す。
【０１３４】
具体的には、空間情報を有する前記目標画像の特徴モデルにとって、複数の視覚単語内のその中の一つの視覚単語の特徴ウェイト値は、例えば類別jに対して、その大きさを計算する計算方式は公式3に示す通りである。
【数３】
2016062610.tif 000009
【０１３５】
式中、Hjは前記視覚辞書モデル内のj個目の視覚単語上のマッピングされた特徴ウェイトを表し、n1はj個目の視覚単語が前記有意類別（第一類）視覚単語である時、j個目の視覚単語と空間関係内で関連性を有する視覚単語がj個目の視覚単語にマッピングした特徴点の個数を表し、Tはj個目の視覚単語と空間関係内で関連性を有する視覚単語の総個数であり、n2はj個目の視覚単語が前記非有意類別（第二類）視覚単語である時、j個目の視覚単語にマッピングした特徴点の個数を表し、ftはt個目の特徴点の記述情報を表し、Ciはi個目の視覚単語の記述情報を表し、fdis(ft,Ck)はt個目の特徴点とi個目の視覚単語の間の特徴距離を表し、wi,jはi個目の視覚単語と前記j個目の視覚単語の空間関係における関連性を表し、fmはm個目の特徴点の記述情報を表し、Cjはj個目の視覚単語の記述情報を表し、fdis(fm,Cj)はm個目の特徴点とj個目の視覚単語の間の特徴距離を表し、β1とβ2は所定係数である。
【０１３６】
上述したように、前記サブステップS2043では、サンプル画像内の全てのサンプリングポイント特徴を視覚辞書モデル内の各視覚単語上にマッピングでき、それによって視覚辞書特徴を取得する。そのため、習慣的には、このサブステップをまとめてポーリング（polling）ステップと称することもできる。
【０１３７】
ステップS205では、全ての訓練サンプル画像の全ての収集した特徴モデルにより訓練を行い、分類器を取得する。
【０１３８】
訓練集合内の全てのサンプル画像（ポジティブサンプルとネガティブサンプル）の視覚辞書特徴モデルを取得後、この視覚辞書特徴訓練分類器F5を利用して、サンプル画像の空間情報を有する視覚単語のウェイトに基づく特徴モデルに基づいて、ポジティブサンプル画像（目標物体を含む画像）とネガティブサンプル画像（目標物体を含まない画像）の分類基準を取得し、後続処理において、オンラインのMフレーム（Mは自然数）画像内の各フレーム画像に対して、特徴抽出と視覚辞書マッチングを終わらせた後、訓練の終わった分類器を利用して物体に対して検出または識別を行う。
【０１３９】
具体的には、分類器は訓練データに基づいて訓練して取得したものであり、実際の応用では識別待ち目標の分類実現に用いる。訓練データは訓練サンプル画像に全てのサンプル画像のBoVWモデルに基づく特徴モデルを集中する。例えば、分類器は、例えばベクターマシン、Adabootst分類器、Bayes分類器、BPニューラルネットワーク分類器、決定木アルゴリズム、サポートベクターマシン（SVM）アルゴリズムなどの従来のアルゴリズムを採用できるが、ここでは一つ一つ詳しくは述べない。この分類アルゴリズムは伝統的に存在するものであり、従来技術では、ポジティブサンプル（分類結果がポジティブ）とネガティブサンプル（分類結果がネガティブ）を含むサンプル画像の特徴モデルは前述のアルゴリズムに基づく分類訓練を経て前記分類器を取得できる。
前記ステップS201からS205は特徴モデルを確立し、学習により分類器を取得するステップである。以下、ステップS206からS210は記述を識別待ち区域に入力し、前記ステップが取得した視覚辞書と分類器から識別または分類を行うステップである。
【０１４０】
ステップS206では、検出待ち画像を入力する。
【０１４１】
ステップS207では、検出待ち画像に対して特徴点の集合を抽出し、また特徴点の属性情報を取得する。
【０１４２】
ステップS208では、各特徴点に一つまたは複数の視覚単語をマッチングし、空間視覚辞書マッチングアルゴリズムにより、サンプル画像の記述方法を画素データから空間情報を有する視覚単語のウェイトに基づく特徴モデルに転換させる。
【０１４３】
ステップS206からS208は前記ですでに詳細に説明したステップS201、S202とS203と非常に類似しており、その違いはここでの目標画像が類別既知のサンプル画像ではなく、その類別が未知の少なくとも一つの検出待ち画像であることだけであるため、ここでは詳細な説明を省略する。
【０１４４】
また、処理資源を節約するため、ステップS207で特徴点の属性情報を取得するとき、該属性情報は、1）FDと記す特徴記述、及び2）（x、y）と記す位置情報だけを含み、該特徴点の最近傍構造部分及び両者間の距離を確定する必要はない。
【０１４５】
ステップS209では、訓練の終わった分類器を利用して検出待ち画像に対して検出を行う。
【０１４６】
具体的には、訓練の終わった分類器（例えば、SVM分類器）は特定の分類基準に基づき、分類すべき検出待ち画像の空間情報を有する特徴モデルから、それが目標物体を含んでいるかどうか判断できる。
【０１４７】
ステップS210では、検出結果を出力する。
【０１４８】
例えば、最終的に取得した検出結果は車載カメラ画像内の歩行者の検出、車両の検出などにうまく応用することができる。言うまでもなく、この歩行者識別、車両検出及びその他目標の検出と識別は、ドライバー走行補助システムと車両自動ナビゲーションシステムに必要不可欠な重要機能であり、これは運転手にとって、周囲の物体に衝突するのを回避し、運転手の安全走行にとって非常に重要なものであるからである。
【０１４９】
しかしながら、くどくど言う必要がないことは、本発明実施例の具体例が言及している改良した視覚辞書モデルを利用して物体検出を行う方式は、車載カメラ内に用いることができるだけでなく、その他の様々な応用にも用いることができることである。例えば車両走行分野のほか、物体検出は監視分野にとってもとても重要な問題であり、例えば地下鉄付近の効果的な監視、駐車場の自動監視、またはスーパーの監視使用などである。
【０１５０】
以上からわかるように、本発明実施例の具体例は、訓練の集中する各サンプルにサンプリングを行い、各サンプリングポイントの基本特徴を抽出後、視覚辞書モデルを改良し、視覚辞書モデルを生成するとき、内部メトリクスから各有意類別間の関連性を確立し、底層特徴を視覚辞書にマッピングして最終特徴記述を生成するとき、依然として有意類別間の関連性を考慮してマッピングを行い、また最後に取得した特徴記述を分類訓練し、それによって改良した視覚辞書モデルを利用した最終的な物体検出結果を取得する特徴モデル生成方法を提供する。
【０１５１】
また、説明すべきことは、本発明内で言及しているのは画像、写真等であるが、動画の場合も、動画の一つまたは複数のフレームを前記画像、写真として前記目標分類方法を行うことができることである。
【０１５２】
３．特徴モデル生成装置
本発明の実施例はさらに特徴モデル生成装置により実施できる。以下の文では、図15を参考に本発明実施例の特徴モデル生成装置の機能配置ブロック図を説明する。
【０１５３】
図15は、本発明実施例の特徴モデル生成装置の機能配置ブロック図である。
【０１５４】
図15に示すように、該特徴モデル生成装置100は、特徴抽出ユニット101と視覚辞書マッチングユニット103を含むことができる。
【０１５５】
特徴抽出ユニット101は、目標画像内で少なくとも一つの特徴点を取得し、かつ各特徴点の位置情報と記述情報を取得するのに用いることができる。
【０１５６】
視覚辞書マッチングユニット103は、
各特徴点に対して、
前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索し、前記視覚辞書モデルは第一類視覚単語と第二類視覚単語を含み、前記第一類視覚単語内では、１視覚単語と少なくとも一つその他の視覚単語は空間関係において関連性を有し；
前記特徴点とマッチングする各マッチング視覚単語に対して、前記マッチング視覚単語の類別に基づき少なくとも一つのマッピング目標視覚単語を確定し、かつ少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算し；及び
前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成するのに用いることができる。
【０１５７】
実施例では、前記目標画像が類別既知の少なくとも一つのサンプル画像を含むか、または前記目標画像が類別のわからない少なくとも一つの検出待ち画像であり、かつ前記目標画像が前記サンプル画像の時、特徴抽出ユニット101は前記サンプル画像内で予めマーキングした目標物体の少なくとも一つの構造部分の位置情報を取得し、及び各特徴点の位置情報と各構造部分の位置情報に基づき前記特徴点の最近傍部材情報を確定し、前記最近傍部材情報が前記特徴点と距離の最も近い前記目標物体の構造部分を表すのに用いることができる。
【０１５８】
また、該特徴モデル生成装置100は視覚辞書モデル生成ユニット102を含むことができる。
【０１５９】
該視覚辞書モデル生成ユニット102は、前記サンプル画像内の各特徴点の位置情報、記述情報と最近傍部材情報から前記視覚辞書モデルを生成するのに用いることができる。
【０１６０】
実施例では、該視覚辞書モデル生成ユニット102は、記述情報に基づいて、前記サンプル画像内の全ての特徴点に対してクラスタリングを行い、複数の視覚単語を含む前記視覚辞書モデルを生成し、各視覚単語内の特徴点の位置情報と最近傍部材情報から前記視覚単語を前記第一類視覚単語と前記第二類視覚単語に分け、前記第一類視覚単語内の特徴点の位置と最近傍構造部分の分布が所定分布に合致し、及び前記第一類視覚単語内で、前記視覚単語間の内在メトリクスから１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立するという操作により、前記サンプル画像内の各特徴点の位置情報、記述情報と最近傍部材情報から前記視覚辞書モデルを生成することが実行できる。
【０１６１】
具体例では、該視覚辞書モデル生成ユニット102は、第一視覚単語に対応する最近傍構造部分と第二視覚単語に対応する最近傍構造部分の前記目標物体内における内在構造距離から前記第一視覚単語と前記第二視覚単語の空間関係における関連性を計算するという操作により、視覚単語間の内在メトリクスから１視覚単語と少なくとも一つのその他の視覚単語の空間関係における関連性を確立することを実行できる。
【０１６２】
実施例では、該視覚辞書マッチングユニット103は、前記特徴点の記述情報と視覚辞書モデル内の各視覚単語の記述情報に基づき前記特徴点と前記視覚単語間の類似性を計算し、及びその類似性が所定しきい値以上である視覚単語を前記マッチング視覚単語と確定するという操作により、前記特徴点の記述情報から視覚辞書モデル内で前記特徴点とマッチングする少なくとも一つのマッチング視覚単語を探索することを実行できる。
【０１６３】
実施例では、該視覚辞書マッチングユニット103は、前記マッチング視覚単語が第一類視覚単語であるか、それとも第二類視覚単語であるかを判断し、前記マッチング視覚単語が第一類視覚単語であるとき、前記視覚辞書モデル内で前記マッチング視覚単語と空間関係において関連性を有する少なくとも一つのその他の視覚単語を探索し、かつ前記マッチング視覚単語自身と前記少なくとも一つのその他の視覚単語を前記マッピング目標視覚単語と確定し、及び前記マッチング視覚単語が第二類視覚単語であるとき、前記マッチング視覚単語自身のみを前記マッピング目標視覚単語と確定するという操作により、前記マッチング視覚単語の類別に基づいて少なくとも一つのマッピング目標視覚単語を確定することを実行できる。
【０１６４】
実施例では、前記マッピング目標視覚単語が前記マッチング視覚単語自身であるとき、該視覚辞書マッチングユニット103は、前記特徴点と前記マッチング視覚単語間の特徴距離から前記特徴点を前記マッチング視覚単語自身にマッピングする特徴ウェイトを計算するという操作により、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することを実行できる。
【０１６５】
代わりに、前記マッピング目標視覚単語が前記その他の視覚単語であるとき、該視覚辞書マッチングユニット103は、前記特徴点と前記マッチング視覚単語間の特徴距離と前記マッチング視覚単語と前記その他の視覚単語の空間関係における関連性から前記特徴点を前記その他の視覚単語上にマッピングする特徴ウェイトを計算するという操作により、少なくとも前記特徴点の記述情報と前記マッチング視覚単語の記述情報から前記特徴点を各マッピング目標視覚単語上にマッピングする特徴ウェイトを計算することを実行できる。
【０１６６】
実施例では、該視覚辞書マッチングユニット103は、各視覚単語に対して、前記視覚単語が前記第一類視覚単語であるとき、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第一特徴ウェイトを計算し、前記視覚単語が前記第二視覚単語であるとき、前記目標画像内の各特徴点を前記視覚単語上にマッピングする第二特徴ウェイトを計算し、かつ前記第一特徴ウェイトと前記第二特徴ウェイトの和を求め、前記視覚単語上のマッピングされた全体特徴ウェイトを生成し、及び前記視覚辞書モデル内の各視覚単語上のマッピングされた全体特徴ウェイトに対してカスケードを行い、空間情報を有する前記目標画像の特徴モデルを生成するという操作により、前記視覚辞書モデル内の各視覚単語上のマッピングされた特徴ウェイトから空間情報を有する前記目標画像の特徴モデルを生成することを実行できる。
【０１６７】
前記の特徴抽出ユニット101、視覚辞書モデル生成ユニット102、視覚辞書マッチングユニット103の具体的な機能と操作は図1から図14を参考に説明した特徴モデル生成方法の中で詳しく紹介しているため、重複説明を省略する。
【０１６８】
説明すべきことは、前記特徴モデル生成装置100の部材はソフトウェアプログラムで実現できることである。例えば、汎用コンピュータの中のCPUにRAMやROM等及びその中で運行するソフトウェアコードを組み合わせて実現する。ソフトウェアプログラムは例えばフラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、光ディスクなどの記憶媒体に記憶でき、運行時に例えばランダムアクセスメモリRAMにロードしてCPUが実行する。また、汎用コンピュータのほか、特定用途向け集積回路とソフトウェアの間の協同から実現することもできる。前記集積回路は例えばMPU（マイクロプロセッサー）、DSP（デジタル信号処理器）、FPGA（現場プログラム可能ゲートアレイ）、ASIC（特定用途向け集積回路）などの中の少なくとも一つにより実現することを含む。このような汎用コンピュータまたは特定用途向け集積回路などは例えば特定位置（例えば、車両）に積載でき、カメラが撮影して取得した二次元画像とステレオ画像を目標画像として空間情報を有する特徴モデルを生成するため、特定位置に設置した道路と道路関連の対象画像形成に用いるカメラなどの画像形成設備と通信を行う。また特徴モデル生成装置100の各部材は例えば特定のフィールドプログラマブルゲートアレイ、特定用途向け集積回路などの専用のハードウェアを用いて実現できる。また、特徴モデル生成装置100の各部材はソフトウェアとハードウェアの組み合わせを利用して実現することもできる。
【０１６９】
４．車両制御システム
また、本発明は車両制御システムに応用することができ、車載カメラ画像内の歩行者検出、車両検出などを実現するのに用いることができる。以下の文では、図16を参考に、本発明実施例の車両制御システムの機能構造を説明する。
【０１７０】
図16は、本発明実施例の車両制御システムの機能構造図である。
【０１７１】
具体的には、図16は本発明の提起する構造部分の改良した視覚辞書モデルに基づいて物体検出を行う方法を利用して車両の自動制御を実現する車両制御システム300を示している。
【０１７２】
該車両制御システム300は車両1000にセットする。該システム300は二つのカメラ310、画像処理モジュール320、車両制御モジュール330を含む。カメラ310は車両ドアミラー近くの位置に設置でき、車両1000前方のシーンを取得するのに用いる。取得した車両前方シーンの画像は画像処理モジュール320へ入力する。画像処理モジュール320は入力した画像を分析し、それらに前処理を行い、サンプリングポイントの特徴を抽出し、構造視覚辞書モデルを確立し、改良した視覚辞書モデル上にマッピングした特徴を取得する。実施例では、該画像処理モジュール320はさらに分類判断を行い、検出結果を取得し、それによって目標物体が歩行者、車両なのか、路上の障害物、信号機等なのか識別する。車両制御モジュール330は画像処理モジュール320が出力する信号を受信し、取得した物体検出結果から、制御信号を生成して車両1000の走行方向や走行速度を制御する。
【０１７３】
例えば、該画像処理モジュール320は図15に示す特徴モデル生成装置100を利用して伝統的分類器の配置を組み合わせて実現する。
【０１７４】
５．物体検出サブシステム
図17は、車載カメラに基づき画像上で改良した視覚辞書モデルを用いて物体検出を行う物体検出サブシステムの内部構造である。
【０１７５】
図17に示すように、該物体検出サブシステムは図16に示す車両制御システム内の部分集合であり、カメラ310と画像処理モジュール320のみを含む。
【０１７６】
具体的には、カメラ310は画像センサ201とカメラデジタル信号処理器（DSP）202を含む。画像センサ201は光信号を電子信号に変換し、取得した現在の車両1000前方の画像をアナログ画像信号に変換し、さらに結果をカメラDSP202に入力する。必要な場合、カメラ310はさらにレンズ、フィルタなどを含むことができる。例えば、本システムでは複数のカメラ310を含むことができ、これらのカメラはレジストレーション後、同時に複数の画像を取得することができる。
【０１７７】
カメラDSP202はアナログ画像信号をデジタル画像信号に変換し、画像処理モジュール320に送信する。
【０１７８】
画像処理モジュール320では、画像入力インターフェース203が規定の時間間隔で画像を取得する。深度画像形成モジュール204が視覚またはその他原理を利用して入力した一対のデジタル画像を深度画像に変換する。その後深度画像はメモリ206に書き込まれ、さらにプログラム207が分析と処理を行う。ここでの画像処理は様々な操作を含み、例えばサンプリングポイント特徴の計算、視覚辞書特徴の計算などである。メモリ（例えばROMまたはRAM）206内にロードされたプログラム207が一連の操作を行い物体の検出を行い。この過程では、CPU205は制御操作及び演算操作を担い、例えばインターフェースがデータを取得し、画像処理を行うなどである。
【０１７９】
例えば、該プログラム207は前記の本発明実施例の特徴モデル生成方法を実施するのに用いることができる。
【０１８０】
以上、本発明の各実施例を説明した。しかしながら、当業者であれば、本発明の原理と精神から逸脱することなく、これらの実施例に様々な修正、組合せ、副次的組合せを行うことができ、また、このような修正は本発明の範囲内に含まれることを理解していなければならない。
【図１】
2016062610.tif 000010
【図２】
2016062610.tif 000011
【図３】
2016062610.tif 000012
【図４】
2016062610.tif 000013
【図５】
2016062610.tif 000014
【図６】
2016062610.tif 000015
【図７】
2016062610.tif 000016
【図８】
2016062610.tif 000017
【図９】
2016062610.tif 000018
【図１０】
2016062610.tif 000019
【図１１】
2016062610.tif 000020
【図１２】
2016062610.tif 000021
【図１３】
2016062610.tif 000022
【図１４】
2016062610.tif 000023
【図１５】
2016062610.tif 000024
【図１６】
2016062610.tif 000025
【図１７】
2016062610.tif 000026