(57)【要約】  人物のシルエットライン等の、オブジェクトの輪郭や、オブジェクトの輪郭とその周囲の画像変化に起因する重要な特徴を、背景ノイズの影響を低減して抽出することができる特徴量算出装置。特徴量算出装置（１００）は、画像データから対象オブジェクトの特徴量を算出する装置であって、入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出する特徴値算出部（１１０）と、複数の画素のエッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するエッジ方向の組算出部と、特徴値算出に用いた複数の画素の全画素又は所定の画素を相関値算出対象画素とし、特徴量毎に、相関値算出対象画素間におけるエッジ強度の相関値を算出する相関値算出部とを有する特徴量算出部（１２０）と、相関値毎に特徴量をヒストグラムにカウントし、ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部（１３０）とを備える。
2011114736.tif 000002
【特許請求の範囲】
【請求項１】
画像データから対象オブジェクトの特徴量を算出する特徴量算出装置であって、
入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出する特徴値算出部と、
複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するエッジ方向の組算出部と、
前記特徴値算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出する相関値算出部と、
前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部と、
を備える特徴量算出装置。
【請求項２】
前記エッジ方向の組算出部は、
所定の時空間的配置関係にある複数の画素のエッジ方向値の組を前記特徴量として算出し、
前記相関値算出部は、
前記特徴量の算出に用いた前記複数の画素を、前記相関値算出対象画素とする、
請求項１記載の特徴量算出装置。
【請求項３】
前記相関量算出部は、
前記相関値算出対象画素間の画素値の差、及び
前記相関値算出対象画素間のエッジ強度値の差、及び
前記相関値算出対象画素間の時空間的距離のいずれか、又はこれらの組を用いて、前記相関値を算出する、
請求項１記載の特徴量算出装置。
【請求項４】
前記入力画像データが、カラー画像である場合に、
前記特徴値算出部は、
前記カラー画像データから、所定の時空間的配置関係にある複数の画素について、前記カラー画像データの３要素値ごとに、前記エッジ方向値および前記エッジ強度値を算出し、
前記エッジ方向の組算出部は、
前記エッジ強度値が最大値である要素のエッジ方向の組を、前記特徴量として算出し、
前記相関値算出部は、
前記相関値を、前記複数の画素において前記エッジ強度値のうち最大エッジ強度が前記カラー画像データの３要素のうちのいずれの要素から得られたかが一致するか否かに基づいて算出する、
請求項１記載の特徴量算出装置。
【請求項５】
前記エッジ方向の組算出部は、
所定ブロック内の各画素ｖ１に対して、画素ｖ１とＮ個の特定の時空間上の配置関係にある画素ｖ２とのエッジ方向の組を算出する、
請求項１記載の特徴量算出装置。
【請求項６】
前記エッジ方向の組算出部は、
ＹＣｂＣｒ空間のチャンネル毎に、前記特徴量の算出を行う、
請求項１記載の特徴量算出装置。
【請求項７】
全ブロックの前記特徴ベクトルを連結するヒストグラム連結部、を備える、
請求項１記載の特徴量算出装置。
【請求項８】
画像データから対象オブジェクトの特徴量を算出する特徴量算出方法であって、
入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出するステップと、
複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するステップと、
前記特徴量の算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出するステップと、
前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するステップと、
を有する特徴量算出方法。
【請求項９】
請求項８に記載の特徴量算出方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン分野において、特に画像から対象物体（以下、オブジェクト）の位置、存在を検知、検出する特徴量算出装置、特徴量算出方法及びプログラムに関する。
【背景技術】
【０００２】
画像中に映る人物の位置を検出する技術は、映像監視システム、自動車の運転支援システム、または、画像や映像への自動アノテーションシステムなど、多様なアプリケーションへの活用が期待されており、近年、研究開発が盛んに行われている。【０００３】
走査枠探索型の検出手法は、可変サイズの走査矩形枠で入力画像を細かくラスタスキャンし、スキャンした走査枠内の画像特徴を抽出し、オフラインで別途学習した識別器を用いて走査枠に対象オブジェクトが写っているか否かを判別する。入力画像のサイズに依存するが、１画像あたりのスキャン回数は数万〜数十万回に及ぶため、特徴量及び識別器の処理演算量が検出処理速度に大きく影響する。そのため、処理コストが低く、かつ対象オブジェクトの識別に有効な特徴量の選別が検出性能を左右する重要な要素であり、顔や人、車など検出対象オブジェクトごとに多様な特徴量が提案されている。【０００４】
一般に、オブジェクト検出手法としてはsliding window方式を採用しているものが多い（例えば、非特許文献１及び特許文献１）。Sliding window方式とは、規定サイズの走査矩形枠（window）で入力画像を細かくラスタスキャンし、スキャンした各window内の画素から画像特徴を抽出し、対象windowに人が写っているか否かを判別するものである。Window又は入力画像を所定の比率で拡縮させてさらにスキャンすることによって、多様なサイズのオブジェクトを検出する。スキャンした各windowから特徴量を抽出し、抽出した特徴量に基づいて、検出対象のオブジェクトであるか否かを判別する。上記は静止画像について記述したが、非特許文献２のように、時間軸に前後のフレームにおける特徴量も利用するなど動画像処理も同様である。【０００５】
検出精度を左右する重要な要素の一つが、人物か否かを判別するのに用いる特徴量であり、これまでに様々な特徴量が提案されている。代表的な特徴量としては、非特許文献１の、Ｄalalらにより提案されたHistogram of Oriented Gradients（以下、ＨＯＧという）特徴量がある。ＨＯＧは、規定サイズのwindow画像を小領域に分割し、局所領域内のエッジ方向値をヒストグラム化した特徴量である。ＨＯＧは、エッジの方向情報を用いることで人物のシルエットを捉え、また小領域ごとにヒストグラム特徴を抽出することにより局所的な幾何学変化を許容する効果を有しており、多様な姿勢を含むＩＮＲＩＡデータセット（同非特許文献１にて記載）においても優れた検出性能を出すことを示した。【０００６】
また、特許文献１は、非特許文献１を改良した方式として提案されている。非特許文献１では、入力のwindow画像を固定サイズの小領域に分割し、その小領域ごとにエッジ方向ヒストグラムを構築していたが、特許文献１では小領域サイズを可変にすることで多様な特徴量を用意し、さらにブースティングによって識別に最適な特徴量の組み合わせを選出する方式を提示している。【０００７】
また、同じく非特許文献１を改良した方式として、非特許文献３がある。非特許文献１では、エッジ方向を８又は９方向に量子化し、それぞれの角度ごとにエッジ方向ヒストグラムを構築していた。非特許文献３では、各画素のエッジ方向値に加え、２画素間のエッジ方向の組み合わせを３０オフセットの位置関係ごとにもヒストグラムを構築するように改良したCo−Occurrence HistgramsofOriented Gradients（以下、ｃｏＨＯＧという）特徴を提案している。【０００８】
図１は、ＨＯＧ特徴量及びｃｏＨＯＧ特徴量について説明する図である。図１Ａはスキャン走査枠画像である入力画像、図１Ｂはエッジ画像、図１Ｃはエッジ勾配ヒストグラム特徴を示す。【０００９】
ＨＯＧ及びｃｏＨＯＧは、共に入力画像の輝度Ｉから算出したエッジ画像から特徴量を抽出する。エッジ画像は、エッジ勾配θ及びエッジ強度ｍａｇからなり、次式（１）により求められる。【００１０】
【数１】
2011114736.tif 000003
このようにして求めたエッジ画像を既定のＢ個の小領域に分割し、小領域ごとにエッジ勾配ヒストグラムＦｂを求める。各小領域の勾配ヒストグラムの要素をそれぞれ特徴次元として捉え、それらをすべて連結した多次元特徴ベクトルを特徴量とＦとする。エッジ勾配ヒストグラムＦｂは、次式（２）で示される。【００１１】
【数２】
2011114736.tif 000004
ＨＯＧでは、０−１８０度に変換したエッジ勾配値を９方向に分割して量子化し、エッジ強度値を重みとして勾配ヒストグラムを算出する。ｃｏＨＯＧは、０−３６０度のエッジ勾配値を８方向に分割し、局所領域内の各画素の勾配値と、局所領域内の各画素を基点画素として周囲３０点のオフセット画素の勾配値の組み合わせごとにヒストグラムを算出する。ｃｏＨＯＧでは、エッジ強度値をエッジのノイズ除去として用いており、エッジ強度値が閾値以上の画素について、勾配方向ごと、及び勾配方向の組み合わせごとに事象個数をカウントする。【００１２】
図２は、非特許文献１、特許文献１、及び非特許文献３に代表される従来の特徴量算出方式を示す図である。【００１３】
図２に示すように、特徴量算出装置１０は、特徴値算出部１２、ヒストグラム特徴構成部１３、識別関数１４、及び判定部１５を備える。【００１４】
入力として画像データ１１（図２ａ．参照）が与えられると、まず、特徴値算出部１２は、画像データ１１を小領域に分割し（図２ｂ．参照）、エッジデータを抽出する（図２ｃ．ｄ．参照）。図２において、特徴値算出部１２は、図２ｃ．太枠部分の小領域ｋに着目し、小領域ｋのエッジ強度値とエッジ方向値を算出する例を示している。エッジデータとしては、エッジ方向値（０〜１８０度又は０〜３６０度）をＱ分割し、Ｑ方向に量子化した値を用いる。Ｑの値としては、８又は９が設定されることが多い。【００１５】
次に、ヒストグラム特徴構成部１３は、局所領域内に含まれる画素をエッジ方向値ごとにヒストグラムとしてカウントする。ヒストグラム特徴構成部１３は、この局所領域ごとのエッジ方向値のヒストグラムを、全局所領域に連結して特徴ベクトルを作成する（図２ｅ．参照）。図２において、ヒストグラム特徴構成部１３は、図２ｃ．太枠部分の局所領域ｋにおける特徴ベクトルを作成している。【００１６】
判定部１５は、こうして作成した入力画像データに対する特徴ベクトルを、あらかじめオフラインの学習処理で構築した識別関数１４を用いて、ターゲットのオブジェクトであるか否か判別し、出力する。【００１７】
人物検出で用いるwindow画像は、人の姿勢による変動を許容し、また背景とのエッジデータを用いるため人の領域だけでなく背景領域も含むのが一般的である（例えば、図２の入力画像データ１１参照）。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特表２００９−５１０５４２号公報
【非特許文献】
【００１９】
【非特許文献１】N. Dalaland B. Triggs著、 “Histogram of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognition, vol.1, pp.886-893, 2005
【非特許文献２】P.Viola、M.Jones, and D.Snow著、“Detecting pedestrians using patterns of motion and appearance”, IEEE International Conference on Computer Vision, 2003
【非特許文献３】T. Watanabe, S. Ito, and K. Yokoi, “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”, Pacific-Rim Symposium on Image and Video Technology, 2009
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来のいずれの文献の方式は、以下の解決課題があった。【００２１】
（１）エッジ情報を画像内から一律に抽出するため、背景画素にエッジが多い場合には特徴量にノイズが重畳し、誤判別が増加してしまうという課題があった。すなわち、従来のいずれの文献においても、window内に発生するエッジ特徴を均一に扱い、均一に特徴量を取得するため、特徴ベクトルにはノイズが含まれている。【００２２】
具体的には、非特許文献１及び特許文献２におけるＨＯＧは、セル内の全画素についてエッジ方向をカウントするため、セル内に存在する背景に起因するエッジも、人物に起因するエッジも均一にヒストグラムにカウントしてしまう。【００２３】
図３は、図２の特徴画像部分を抜粋し、さらに背景画素を追加した図である。【００２４】
図３に示すように、例示している局所領域ｋには、人物の右腕に起因する縦方向のシルエットライン（図３ｆ．参照）と、背景に映る横線のライン（図３ｇ．参照）が存在する。【００２５】
しかし、従来手法では、局所領域内に存在するエッジ方向のデータを、均一に、単純に、全て、特徴ベクトルにカウントしてしまうため、本来必要のない、背景データに起因するエッジ群もヒストグラム上にカウントしてしまい、これがノイズとなってしまう（図３ｅ．参照）。そのため、背景のエッジの状況によって特徴ベクトルの値が左右されやすく、特に背景にエッジが多く煩雑な画像の場合には、識別器による判別精度が大幅に低下してしまう。背景領域の画像特徴は撮影環境によって無限に変化するため、実アプリケーションにおいて任意環境での性能を維持するには、よりロバストで、ノイズの重畳がし難い特徴量構造が必要である。【００２６】
また、非特許文献３に記載のｃｏＨＯＧにおいても同様であり、ｃｏＨＯＧは近隣画素間でのエッジ方向の組をカウントするため、上記課題に加えて、例えば人物のボディラインに起因するエッジと背景に起因するエッジの共起をも同等にカウントしてしまい、ノイズの影響で同様に精度低下につながってしまう。【００２７】
このように、従来手法では、画像内のエッジの勾配情報を、画像内の画素から均一に抽出する特徴量であったため、背景画素によって特徴ベクトルが左右されやすく、複雑背景下では誤検出が発生しやすい構造であった。【００２８】
（２）また、エッジ特徴は、エッジの強度及びエッジ方向からなる。従来手法では、エッジ強度の値をノイズ除去のための閾値としてや、エッジ方向値の信頼度の重み付けのための情報としてしか用いない。すなわち、エッジがある個所において一律にその方向情報のみの組み合わせを用いて特徴量を算出している。この課題について、図４に画像を示して明確化する。【００２９】
図４は、入力のカラー画像データ（図４ａ．）、白黒画像データ（図４ｂ．）、エッジ強度値データ（図４ｃ．）、エッジ方向データ（図４ｄ．）を可視化した画像例を示す図である。【００３０】
図４ｃ．に示すエッジ強度値画像は、非特許文献３と同様に、エッジ強度の値をある閾値で二値化しており、白画素はエッジ強度値が閾値以上であった画素であり、黒画素はエッジ強度値が閾値以下であった画素を示す。また、図４ｄ．に示すエッジ方向データを表した画像は、エッジ方向０〜３６０度を４５度ずつの８方向に量子化し、それぞれの８方向の角度を色付けして可視化している。図４ｄ．に示す黒は、エッジ強度値が閾値以下の画素であったためにエッジ方向値が利用されない画素を示している。【００３１】
従来手法では、人物か否かの判定に用いる特徴として、図４に示す画像のうち、主としてエッジ方向データしか用いられてこなかった。【００３２】
このように、従来手法では、エッジ強度情報は、ノイズ除去としてしか使用しておらず、強度にかかわらずエッジ勾配情報のみを利用していた。【００３３】
本発明は、かかる点に鑑みてなされたものであり、人物のシルエットライン等の、オブジェクトの輪郭や、オブジェクトの輪郭とその周囲の画像変化に起因する重要な特徴を、背景ノイズの影響を低減して抽出することができる特徴量算出装置、特徴量算出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明の特徴量算出装置は、画像データから対象オブジェクトの特徴量を算出する特徴量算出装置であって、入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出する特徴値算出部と、複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するエッジ方向の組算出部と、前記特徴値算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出する相関値算出部と、前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部とを備える。【００３５】
本発明の特徴量算出方法は、画像データから対象オブジェクトの特徴量を算出する特徴量算出方法であって、入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出するステップと、複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するステップと、前記特徴量の算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出するステップと、前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するステップとを有する。【００３６】
また、他の観点から、本発明は、上記特徴量算出方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００３７】
本発明によれば、人物のシルエットライン等の、オブジェクトの輪郭や、オブジェクトの輪郭とその周囲の画像変化に起因する重要な特徴を、背景ノイズの影響を低減して抽出することができる。特に、背景画像をターゲットオブジェクトとして判定してしまう誤判定を抑制する効果も高い。
【図面の簡単な説明】
【００３８】
【図１】ＨＯＧ特徴量及びｃｏＨＯＧ特徴量について説明する図
【図２】従来の特徴量算出方式を示す図
【図３】図２の特徴画像部分を抜粋し、さらに背景画素を追加した図
【図４】入力のカラー画像データ、白黒画像データ、エッジ強度値データ、エッジ方向データを可視化した画像例を示す図
【図５】本発明の実施の形態１に係る特徴量算出装置の構成を示すブロック図
【図６】上記実施の形態１に係る特徴量算出装置の特徴量算出部の構成を示すブロック図
【図７】上記実施の形態１に係る特徴量算出装置の３Ｄオブジェクトに起因するエッジ強度の振幅特徴を表す図
【図８】上記本実施の形態１と従来手法とを比較して説明する図
【図９】上記実施の形態１と従来手法の特徴ベクトルを比較して説明する図
【図１０】上記実施の形態１のエッジの連結性及び連結エッジを説明する図
【図１１】上記実施の形態１に係る特徴量算出装置の動作を説明する図
【図１２】上記実施の形態１に係る特徴量算出装置の動作を説明する図
【図１３】上記実施の形態１に係る特徴量算出装置の処理を示すフロー図
【図１４】上記実施の形態１に係る特徴量算出装置のエッジ強度値、及び相関値の具体例を示す図
【図１５】上記実施の形態１の特徴量算出装置を用い、精度の効果検証を行った結果を表にして示す図
【図１６】上記本実施の形態１の特徴量算出装置を用い、色空間ＹＣｂＣｒにおいて、精度の効果検証を行った結果を表にして示す図
【図１７】本発明の実施の形態２に係る特徴量算出装置の構成を示すブロック図
【図１８】上記実施の形態２に係る特徴量算出装置の特徴量算出部の構成を示すブロック図
【図１９】上記実施の形態２に係る特徴量算出装置のＬＢＰ特徴を説明する図
【図２０】上記実施の形態２に係る特徴量算出装置の処理を示すフロー図
【図２１】上記各実施の形態に係る特徴量算出装置の画素間のエッジ方向の組を（θｖ１，θｖ２）で表すことを説明する図
【図２２】上記各実施の形態に係る特徴量算出装置の画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図
【図２３】上記各実施の形態に係る特徴量算出装置の（θｖ１，θｖ２）と（θｖ１，θｖ２−ｖ１）の違いを例に挙げて説明する図
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００４０】
（実施の形態１）
まず、本実施の形態における各用語について説明する。
「画素値」は、輝度値を含む。
「エッジ強度」は、画素値の変化の度合いを示す情報である。エッジ強度は、画素値の変化量を示す「エッジ強度値」により、定量的に表現される。
「エッジ方向」は、エッジ勾配を示すものであり、エッジ強度が変化する方向である。エッジ方向は、画素値の増加の度合いが最も大きい方向を角度で示す「エッジ方向値」により、定量的に表現される。
「エッジ方向の組」は、予め定義した特定の配置関係にある複数位置についてのエッジ方向の組である。エッジ方向の組は、各位置のエッジ方向値の組で表現される。
「相関値」は、上述の複数位置における、エッジ強度の相関の度合いを定量的に示す情報であり、エッジ強度値の変化量に対応する値である。
「エッジ勾配」は、本実施の形態において、２つの意味を有する。１つ目は、従来と同様に、エッジ方向の意味である。２つ目は、エッジ方向の組および相関値である。
「連結エッジ」は、エッジ強度の連結性のあるエッジ群である。
「エッジ勾配群」は、エッジ勾配（エッジ方向の組および相関値）の連結性のある画素の集まりである。
「特徴値」は、画素単位のエッジの特徴を示す情報であり、本実施の形態では、エッジ強度値およびエッジ方向値を含む。
「特徴量」は、特徴値を組み合わせた情報であり、本実施の形態では、エッジ方向の組を含む。
「小領域」は、ヒストグラムの作成の単位となる画像領域であり、「局所領域」あるいは「小ブロック」ともいう。
【００４１】
図５は、本発明の実施の形態１に係る特徴量算出装置の構成を示すブロック図である。本実施の形態の特徴量算出装置は、特徴量算出装置を搭載した、画像処理によるオブジェクト検出に有効なオブジェクト検出装置に適用した例である。加えて、前記特徴量算出方法を用いたオブジェクト検出器及びオブジェクト検出器の学習方法について適用することができる。オブジェクトの種類として、顔、人物、動物などが含まれるが、以下では特に人物を例に挙げて説明する。
【００４２】
図５に示すように、特徴量算出装置１００は、入力画像データの画素単位の特徴値を算出する特徴値算出部１１０と、複数の画素の前記特徴値を組み合わせて画素間の特徴量を算出する特徴量算出部１２０と、前記特徴値算出に用いた画素の相関値毎に前記特徴値をヒストグラムによりカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部１３０と、全ブロックの特徴ベクトルを連結するヒストグラム連結部１４０とを備える。
【００４３】
特徴量算出装置１００への入力は、スキャン走査枠画像（画像データ）である。特徴量算出装置１００からの出力は、識別に用いる特徴ベクトルである。また、スキャン走査枠画像は、特徴値算出部１１０に入力される前に、図示しない輝度補正部により輝度補正されることが好ましい。
【００４４】
特徴値算出部１１０は、入力した画像データから各画素毎にエッジ方向及びエッジ強度を算出する。ここでは、特徴値算出部１１０は、入力画像のすべての画素についてエッジ強度、エッジ方向を算出する。なお、特徴値算出部１１０は、エッジ抽出部と呼称してもよい。
【００４５】
特徴値算出部１１０は、入力の画像データが与えられると、画像データの各画素についてエッジ方向を求める。例えば、画像Ｉにおいて、座標（ｘ，ｙ）における画素をＩ（ｘ，ｙ）と表記する場合、エッジ方向θは、次式（３）（４）により求めることができる。なお、式（３）は、前掲式（１）と同じである。
【００４６】
【数３】
2011114736.tif 000005
上記式（３）（４）を用いた場合、θは、０〜３６０の度数で求まる。ここで、度数をＱ分割し、Ｑ方向に量子化した値を用いてもよい。
【００４７】
各画素の特徴値は、予め定義したＮ個の特定の時空間上の配置関係にある複数の画素の、上記エッジ方向θの値の組を特徴値とする。上記時空間とは、画像上の２次元空間（ｘ、ｙ）と時間軸ｔからなる３次元空間を意味し、画像内位置（ｘ，ｙ）及び時間軸値（ｔ）によって一意に決まる。また、時空間上の配置関係とは、画像上のある着目画素（ｘ，ｙ，ｔ）に対し、３次元空間内の近傍画素など、距離（ｄｄｘ，ｄｄｙ，ｄｄｔ）等によって定義可能である。
【００４８】
特徴値の算出にあたっては、時空間上の２画素以上の点を利用しても同等である。ここでは２点を使用する場合を例に説明を記載する。
【００４９】
上記、予め定義した特定の配置関係にある画素ｖ１、ｖ２ごとに、エッジ方向の組（θｖ１，θｖ２）を算出する。
【００５０】
図６は、上記特徴量算出部１２０の構成を示すブロック図である。
【００５１】
図６に示すように、特徴量算出部１２０は、エッジ方向の組を算出するエッジ方向の組算出部１２１と、前記複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する相関値算出部１２２とを備える。
【００５２】
特徴量算出部１２０は、ブロック単位で後述する図１３Ａの処理を行う。
【００５３】
エッジ方向の組算出部１２１及び相関値算出部１２２は、ブロック内の画素ｖ１に対する、Ｎ個の対応画素ｖ２について、それぞれ後述する図１３Ｂの処理を行う。
【００５４】
相関値算出部１２２は、エッジ方向の組算出部１２１と密接に連動して動作する。
【００５５】
相関値算出部１２２は、上述の特徴値算出部が特徴値（θｖ１，θｖ２）の算出時に用いた画素ｖ１、ｖ２における画素値から、例えば次式（５）により各画素におけるエッジ強度値ｍｖ１，ｍｖ２を算出する。
【００５６】
【数４】
2011114736.tif 000006
特徴量算出部１２０は、エッジ強度値をもとに、相関値Ｃｖ１，ｖ２を次式（６）により算出する。
【００５７】
【数５】
2011114736.tif 000007
上記Ｇ（ｘ）は、エッジ強度の差の値の大きさによって傾斜をかけるための関数であり、Ｇ（ｘ）＝ｘであってもよいし、閾値αを用いて次式（７）のように算出してもよい。
【００５８】
【数６】
2011114736.tif 000008
Ｇ（ｘ）式の形態は限定しないが、ここでは０〜Τ−１の値を持つΤ段階の相関値をＣとして出力するものとする。
【００５９】
図５に戻って、ヒストグラム作成部１３０は、ブロック単位で後述する図１３Ａの処理を行う。
【００６０】
ヒストグラム作成部１３０は、特徴量算出部１２０の相関値算出部１２２の出力として、エッジ方向情報とその相関値からなる（θｖ１，θｖ２，Ｃｖ１，ｖ２）が所定の特徴値の数分（Ｎ個）入力される。
【００６１】
θｖ１及びθｖ２は、それぞれエッジ方向量子化数Ｑに基づき、０〜Ｑ−１のＱとおりの値をとり得る。また、Ｃｖ１，ｖ２は、０〜Τ−１のΤとおりの値をとり得る。そこで、（θｖ１，θｖ２，Ｃｖ１，ｖ２）の値の組Ｑ＊Ｑ＊Τのそれぞれの要素をヒストグラムの各ビンに割り当てた、ヒストグラムを用意する。
【００６２】
入力画像データの局所領域に存在する画素から、（θｖ１，θｖ２，Ｃｖ１，ｖ２）の特徴値を持つ画素の数をヒストグラムにカウントし、各ビンの値を特徴ベクトルの１次元とする、Ｑ＊Ｑ＊Τ次元特徴ベクトルを生成する。
【００６３】
ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結する。
【００６４】
このように、特徴量算出装置１００の特徴値算出部１１０は、入力の画像データを、あらかじめ指定した小領域に分割し、小領域ごとの特徴値としてエッジ強度値（０．０〜１．０の間の実数値）及びエッジ方向値を算出する。特徴量算出部１２０は、Ｎ個の所定の複数画素について、画素間のエッジ方向値と相関値（θｖ１，θｖ２，Ｃｖ１，ｖ２）算出する。ヒストグラム作成部１３０は、特徴値（θｖ１，θｖ２，Ｃｖ１，ｖ２）ごとにビンを設定したヒストグラムで特徴をカウントし、小領域ごとに算出する。ヒストグラム連結部１４０は、これらを連結し、特徴ベクトルとして出力する。
【００６５】
オブジェクト検出装置は、上記特徴量算出装置１００と、前記図２の識別関数１４及び判定部１５とを組み込むことにより実現することができる。前記識別関数１４は、判定部１５と密接に関係し、学習アルゴリズムとして一般に知られるＳＶＭ（Support Vector Machine）やブースティング、ランダムフォレスト等により事前に学習した識別関数１４の情報を用い、判定部１５にて判定処理を行うものである。
【００６６】
この判定部は、オフライン学習処理によりあらかじめ構築した識別関数を用い、入力の特徴ベクトルがターゲットであるか否か判定し、ここでは人物か否かを出力する。
【００６７】
すなわち、特徴量算出装置１００は、エッジ強度の相関値を求め、エッジ強度の相関値毎にエッジ方向の組をカウントしてヒストグラムを作成する。これにより、特徴量算出装置１００は、エッジ傾きの相関性（連結性）だけでなく、エッジ強度の相関性（連結性）をも示す特徴量（ヒストグラム）を取得することができる。すなわち、特徴量算出装置１００は、画像から、人物のシルエットライン等のオブジェクトの輪郭に特徴的に現れるエッジ勾配群を、抽出することができる。したがって、特徴量算出装置１００は、背景ノイズの影響を低減して、人等のオブジェクトの輪郭の特徴量を算出することができる。
【００６８】
以下、上述のように構成された特徴量算出装置１００の動作を説明する。
【００６９】
まず、本発明の基本的な考え方について説明する。
【００７０】
本発明の特徴量算出方法は、複数の画素の情報を用いて算出する特徴値を、ヒストグラム化して特徴ベクトルを構築する際に、特徴値の算出に用いた画素間の相関性（類似性を含む）を判定する機能を備え、画素間の相関値ごとに特徴値ヒストグラムを構築する。
【００７１】
より具体的には、エッジ強度値や入力画像の画素値等の情報を用いて画素間の相関性が高いか否かを判定し、オブジェクト形状を現すシルエットラインに代表されるエッジの連なりを持つ画素間でのエッジ方向ヒストグラム特徴を抽出する。特に、エッジ強度値は、従来のようにノイズ除去として２値化するのではなく、実数値を用いる。
【００７２】
本発明は、小領域に着目すると、検出ターゲットオブジェクトの画素集合も、隣接背景領域の画素集合も画素変化が少ないことから、境界にできるエッジの連なりを構成する画素群では画素値やエッジ強度値は近い値を持ちうる、ということに着目した。画素値そのものの値は、オブジェクトによって変化するが、画素間の相関性は、同一オブジェクトの近隣画素間では類似することを利用している。この特徴を利用して、オブジェクトラインのシルエットラインを的確に捉える。的確に、とは、同一オブジェクトからのエッジに起因する特徴のみを捉え、エッジの連なりを捉えやすくしていることを意味する。
【００７３】
加えて、相関性が高い画素間の情報だけでなく、相関値ごとに特徴値をも扱う。
【００７４】
図７は、３Ｄオブジェクトに起因するエッジ強度の振幅特徴を表す図である。
【００７５】
背景に起因するエッジと３Ｄオブジェクトに起因するエッジでは、例えば人物画像でいうと人や脚のシルエットラインにおいて、背景との境界で起こる強いエッジの周囲に、図７Ａに例示するような、３Ｄ形状に起因したエッジ強度値の振幅が現れる。本発明は、この特徴を利用し、エッジの起伏がどれくらいの相関関係にある画素間でどのような特徴値の傾向がでるかを、画素間のエッジ強度等の相関値情報を利用して、細やかに特徴を捉える。
【００７６】
図７Ａに示すように、エッジ強度情報も人物のシルエットラインをよく表す重要な特徴である。
【００７７】
エッジ強度画像に着目すると、人物画像に特有の特徴が有る。エッジ強度値は、人物領域と背景領域の境界において局所最大値をとり、シルエットラインに垂直な方向に山形の振幅形状を有する（図７Ａ参照）。人物領域及び背景領域の色情報によって振幅の高さは変動する。図７Ｂに示すように、人物のシルエットラインに沿って山形の振幅が連なって発生し、境界部分を尾根とするエッジ強度の等高線として現れる。
【００７８】
この特徴を利用し、エッジ強度が類似値を有する等高線上の画素間におけるエッジ勾配を抽出する。これにより、画素の連結性を捉え、人物のシルエットラインを安定して抽出する。加えて、エッジ強度の等高線を跨ぐ画素間での勾配特徴（エッジ勾配）も抽出する。人物は三次元形状を有していることから、人物と背景の境界で発生する強いエッジの内側（人物の領域側）には、人物の丸みに起因して輝度値をなだらかに変化させたエッジが群れをなして現れる特徴（エッジ勾配群）を抽出する。
【００７９】
すなわち、エッジ勾配群を多く含む画像領域は、オブジェクトの輪郭を含んでいる可能性が高いことから、本発明は、オブジェクトを安定して抽出することができる。
【００８０】
上記を考慮した特徴量を以下に定式化する。上述のとおり、本発明の特徴量はエッジ強度の相関性を用いてエッジの連結性を判定するため２画素以上の画素を用い、その画素間の相関性と画素間のエッジ勾配情報（エッジ勾配）を抽出する。次式（８）では、簡単のため、２画素間のエッジ勾配の組とエッジ強度の相関性を用いる場合について記載する。
【００８１】
【数７】
2011114736.tif 000009
上記式（８）において、ｂ∈[０，Ｂ−１]、ｄ∈[０，Ｄ−１]とする。特徴ベクトルＦは、Ｂ個のブロックからなり、各ブロックにおけるＤ次元のエッジ勾配ヒストグラム特徴を連結したものである。また、Ｑ（）及びг（）は量子化関数を示し、次元数Ｄはエッジ勾配方向の量子化数及びエッジ強度の相関値量子化数に基づいて決まる。なお、式（８）におけるＱ及びＱ’は同一又は相違のどちらでもよい。
【００８２】
各ブロックにおいて、ブロック内の画素（ｘi，ｙi）と近隣画素（ｘｊ，ｙｊ）の相関性をエッジ強度の差に基づいて算出し、かつ、エッジ勾配の値θと相関角度ｄθを組としてヒストグラム特徴にカウントする。
【００８３】
次に、本実施の形態と従来手法とを比較して説明する。
【００８４】
図８は、本実施の形態と従来手法とを比較して説明する図である。図８Ａは入力画像、図８Ｂ、図８Ｃは前記式（３）−（５）に従ってエッジ抽出した画像であり、図８Ｂはエッジ強度画像、図８Ｃはエッジ方向画像である。図８Ｃのエッジ方向画像は、エッジ方向０〜３６０°を８方向に量子化して色分けした図である。
【００８５】
従来手法では、図８Ｃの、主にエッジ方向画像のみを使用している。正確には、ＨＯＧはエッジ方向ヒストグラムを作る際に、エッジ方向値の信頼度の値として、エッジ強度値を使っている。しかし、本実施の形態のように、エッジ強度画像の情報からエッジの連結性や画素間の類似性を捉える用途では使用されていない。また、ｃｏＨＯＧでは、正確には、エッジ強度値を閾値処理し、２値化して用いている。
【００８６】
これに対して、本実施の形態は、図８Ｂのエッジ強度画像と、図８Ｃのエッジ勾配画像の両方を使用する。
【００８７】
次に、本実施の形態と従来手法の特徴ベクトルを比較して説明する。
【００８８】
図９は、本実施の形態と従来手法の特徴ベクトルを比較して説明する図である。図９Ａは入力画像、図９Ｂは本実施の形態のエッジ画像、図９Ｃ本実施の形態の特徴ベクトルである。また、図９Ｄは従来手法のエッジ画像、図９Ｅは従来手法の特徴ベクトルである。
【００８９】
図９Ｂ，図９Ｄに示すように、本実施の形態と従来手法はいずれもエッジ画像を算出する。図９Ｂ，図９Ｄの場合、ａ．人物領域の画素のエッジと、ｂ．背景領域画素のエッジ（ノイズ）である。
【００９０】
図９Ｅに示すように、従来手法の特徴量は、領域内の全画素のエッジ方向を均一にカウントする。このため、人物に起因するエッジ特徴に、背景に起因するエッジノイズが重畳してしまう。
【００９１】
これに対して、図９Ｃに示すように、本実施の形態は、エッジ強度の類似性を加味して連結したエッジの勾配情報（エッジ勾配）を抽出する。このため、図９Ａに示すように、人物のシルエットライン等を捉える重要な特徴に、ノイズが重畳することなく、識別に重要な特徴の値を安定して抽出することができる。
【００９２】
すなわち、従来手法はノイズを重畳していた（図９Ｅｃ．参照）に対して、本実施の形態はノイズを分離する（図９Ｃｄ．参照）特徴がある。
【００９３】
図１０は、本実施の形態のエッジの連結性及び連結エッジを説明する図である。
【００９４】
特徴値算出部１１０（図５参照）は、入力画像のすべての画素についてエッジ強度、エッジ方向を算出する。特徴値算出部１１０は、図１０ａ．の元画像に対して、実数値を用いて図１０ｂ．のエッジ画像（エッジ勾配画像）を算出する。特徴値算出部１１０は、図１０ｃ．のエッジの方向と、図１０ｄ．のエッジ強度とを算出する。図１０ｂ．のエッジ画像（エッジ勾配画像）の場合、図１０ｃ．の実線矢印が人物領域の画素のエッジの方向を示し、図１０ｃ．の破線矢印が背景領域画素のエッジ（ノイズ）の方向を示す。
【００９５】
図１０ｄ．のエッジ強度は、隣接画素との輝度勾配である。また、図１０ｄ．のヒストグラムの高さがエッジの強さを示している。図１０ｂ．のエッジ画像（エッジ勾配画像）の場合、図１０ｄ．の実線ヒストグラムが人物領域の画素のエッジ強度を示し、図１０ｄ．のハッチングヒストグラムが背景領域画素のエッジ（ノイズ）強度を示す。本実施の形態は、エッジ強度の類似性を加味して連結したエッジの勾配情報（エッジ勾配）を抽出することを特徴とする。図１０ｂ．のエッジ画像（エッジ勾配画像）の場合、図１０ｄ．の破線で囲んだエッジ強度が、エッジ強度の類似性を表しており、エッジ（エッジ勾配）の連結性を示している。これらのエッジを連結エッジと呼ぶ。より詳細に説明すると、連結エッジは、図１０ｄ．のハッチングヒストグラムと比べて明らかに画素間の相関性が小さく、かつ、連結エッジ同士ではエッジ（エッジ勾配）が連なる連結性がある。このように、エッジの強度情報を利用することで、エッジの連なりを捉え、画素間の連結性に応じてエッジ勾配ヒストグラムを構築している。
【００９６】
次に、特徴量算出装置１００の動作について説明する。
【００９７】
図１１及び図１２は、特徴量算出装置１００の動作を説明する図である。
【００９８】
図１１ａ．は、特徴量算出装置１００の特徴値算出部１１０（図５参照）に入力される画像データである。図１１ｂ−ｄ．は、特徴値算出部１１０の各処理画像であり、図１１ｂ．は、エッジ画像（エッジ勾配画像）、図１１ｃ．はエッジ強度値∈{０．０〜１．０}、図１１ｄ．はエッジ方向値（エッジ勾配）∈{０，１，２，…，Ｑ−１}である。上述したように、エッジ強度値は、従来のようにノイズ除去として２値化するのではなく、実数値{０．０〜１．０}を用いる。
【００９９】
図１２ｅ．は、特徴値算出部１１０により算出された相関値、図１２ｆ．は、ヒストグラム作成部１３０にカウントされた特徴ベクトルである。
【０１００】
特徴値算出部１１０において、入力画像データがブロックに分かれている。この単位を小ブロック（小領域）という。
【０１０１】
特徴値算出部１１０は、入力画像データの全面（全画素）に対して、エッジ強度・エッジ方向（エッジ勾配）を算出する。
【０１０２】
特徴量算出部１２０は、入力画像データの複数の画素の特徴値を組み合わせて画素間の特徴量を算出する。詳細には、特徴量算出部１２０は、複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する。
【０１０３】
ヒストグラム作成部１３０は、上記小ブロックに分割し（小ブロックには、複数の画素が含まれる）、分割された小ブロックごとにヒストグラムを作成する。
【０１０４】
ここでは、図１１ｃ．の局所領域ｋのエッジ強度値、エッジ方向値（エッジ勾配）（図１１ｄ．）を用いてエッジの連なりを捉え、画素間の連結性に応じてエッジ勾配ヒストグラムを構築する。すなわち、エッジ強度値から画素間の類似性を算出し、連結性のある画素（エッジ勾配群）間での共起性を捉えることで、同一オブジェクトに起因するエッジの特徴を抽出しやすい特徴量構造にする。
【０１０５】
図１２ｆ．の局所領域ｋにおける特徴ベクトルが示す範囲は、ｋ番目の小ブロックのヒストグラムという意味である。
【０１０６】
小ブロックごとのヒストグラム作成が、全ての小ブロックについて行われ、各ヒストグラムが統合されて、最終的にヒストグラム図面が作成される（図１２ｆ．参照）。局所領域ｋにおける特徴ベクトルが示す範囲の左隣のカウントは、例えば“ｋ−１番目”、右隣のカウントは、例えば“ｋ＋１番目”である。
【０１０７】
なお、小ブロックごとにヒストグラムを作成する際に、ｃｏＨＯＧ（２画素使う方法）の１画素目（起算画素＝着目画素）は当該小ブロック内に含まれる各画素である。２画素目（近傍エッジ）は、小ブロック外の画素も対象になる。
【０１０８】
図１３は、特徴量算出装置１００の処理を示すフローチャートである。
【０１０９】
図１３Ａに示すように、スキャン画像データが入力されると、ステップＳ１で特徴値算出部１１０は、前記式（３）に従って各画素ごとにｄｘ、ｄｙを算出する。
【０１１０】
ステップＳ２では、特徴値算出部１１０は、前記式（４）（５）に従って各画素ごとにエッジ方向θ、エッジ強度ｍを算出する。
【０１１１】
ステップＳ３では、特徴量算出部１２０は、小ブロックごとの処理を行う。このとき、特徴量算出部１２０は、小ブロックへの分割も行う。
【０１１２】
ステップＳ４では、ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結し、スキャン画像データの特徴ベクトルを出力して本フローを終了する。
【０１１３】
図１３Ｂは、上記ステップＳ３の小ブロックごとの処理の詳細を示すフローである。特徴量算出部１２０は、ブロック内の各画素ｖ１について繰り返し処理を行う。まず、ステップＳ１１で特徴量算出部１２０のエッジ方向の組算出部１２１及び相関値算出部１２２は、前記式（６）（７）に従って画素ｖ１と、Ｎ個の特定の時空間が位置関係にある画素ｖ２とのエッジ方向の組及び相関値を算出する。
【０１１４】
ステップＳ１２では、ヒストグラム作成部１３０は、算出したエッジ方向の組及び相関値（エッジ勾配）をヒストグラムにカウントして上記ステップＳ１１に戻る。このように、特徴量算出部１２０は、図１３Ｂの破線枠内のブロック内の各画素についての繰り返し処理に関与する。
【０１１５】
図１４は、エッジ強度値、及び相関値の具体例を示す図である。
【０１１６】
図１４Ａに示すように、特徴値算出部１１０が、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２及びエッジ強度値ｍｖ１，ｍｖ２を算出した場合、特徴量算出部１２０は、前記式（６）に従って強度値の差の値を基に相関値Ｃの値を設定する。図１４Ｂに示すように、画素間のエッジ方向値と相関値（θｖ１，θｖ２，Ｃｖ１，ｖ２）を設定する。また、図１４Ｂａ．に示すように、上記差の値に閾値を設けることで量子化する。一例としては、例えば差の値があらかじめ指定した閾値（例えば閾値５）以下の場合は０、閾値以上の場合は１とする。
【０１１７】
[実施例]
本実施の形態は、ヒストグラムの次元をどのように定義するかは任意である。したがって、従来手法のｃｏＨＯＧ、ＬＢＰなど２画素以上を考慮する多様な特徴量への適用、応用が可能である。比較のため非特許文献１（Ｄａｌａｉ’ｓ  ＨＯＧ）と従来手法のｓｃｏＨＯＧとを比較し、本実施の形態の有効性について検証する。
【０１１８】
図１５は、本実施の形態の特徴量算出装置１００を用い、精度の効果検証を行った結果を表にして示す図である。
【０１１９】
実験に用いるデータベースとしては、非特許文献１にて提案され、人物検出のアルゴリズム評価でよく用いられるＩＮＲＩＡデータセットを使用した。学習用画像としては、人物画像２４１６枚と人物を含まない背景画像１２１８枚が用意されている。背景画像については、ＩＮＩＲＡのウェブサイト
http://pascal.inrialpes.fr/data/human/
の情報に沿い、用意された１２１８枚のそれぞれからランダムに切り出した１０箇所の矩形画像を背景サンプルとして用いる。
【０１２０】
図１５の表１は、ＲＯＣ（receiver operating characteristic）カーブであり、横軸に誤検出率（False Positive Rate）、縦軸に正検出率（Hit Rate）を示す。誤検出率が低い設定において正検出率が高い値をとることが望ましく、グラフ内の左上に位置するほうが性能が高いことを意味する。
【０１２１】
このＲＯＣカーブにおいて、同様の学習データ及び検出データを用いてｃｏＨＯＧ手法と比較した結果、誤検出率１ｅ−４、１ｅ−５の際に、２〜４％性能が向上することが確認でき、効果が確認できている。
【０１２２】
ここで、本実施の形態では、相関値の算出に複数画素間のエッジ強度の差を基に求める算出式を記載したが、相関値の算出方法として、次式（９）のように、エッジ強度の差に加え、画素値の差、及び時空間的距離を用いて算出してもよい。
【０１２３】
【数８】
2011114736.tif 000010
上記式（９）において、α、β、γは０．０〜１．０の間の実数を示し、各項の重みを表す定数である。また、Ｉｖは画素ｖにおける画素値を表す。またｄｉｓｔ（）は画素間の距離値を返す関数を示し、ユークリッド距離等によって求めてもよい。各Ｇは前記式（７）に記載の方法であってもよい。
【０１２４】
また、入力がカラー画像である場合、エッジ方向及びエッジ強度を入力のカラーデータの３要素の値を用いて、次式（１０）−（１３）により算出してもよい。
【０１２５】
【数９】
2011114736.tif 000011
上記式（１０）−（１３）の各変数の添え字に記載した、Ｒ，Ｇ，Ｂは入力のカラー画像がＲＧＢの３要素を持つ画像である場合を例として示しているが、これはＹＣｂＣｒ等、別のカラー空間であってもよい。
【０１２６】
このような場合に、エッジ強度及びエッジ方向算出に用いたＭａｘＣｏｌＩｄの値（Ｒ ｏｒ Ｇｏｒ Ｂ）が同一値を持つか否かで、相関性の有無を次式（１４）のように判定してもよい。
【０１２７】
【数１０】
2011114736.tif 000012
図１６は、本実施の形態の特徴量算出装置１００を用い、色空間ＹＣｂＣｒにおいて、精度の効果検証を行った結果を表にして示す図である。図１６の表２は、ＲＯＣカーブであり、横軸に誤検出率、縦軸に正検出率を示す。
【０１２８】
エッジ方向及びエッジの相関値算出を、色空間ＹＣｂＣｒで、それぞれのＹ，Ｃｂ、Ｃｒチャンネルごとに行い、それぞれで特徴ベクトルを算出し、全てを用いると、図１６の×印に示す性能となり、さらに性能が向上する。
【０１２９】
このように、ＹＣｂＣｒ空間で特徴量算出を行うことで、性能をより一層向上させることができる。
【０１３０】
以上詳細に説明したように、本実施の形態によれば、特徴量算出装置１００は、入力画像データの画素単位の特徴値を算出する特徴値算出部１１０と、複数の画素の前記特徴値を組み合わせて画素間の特徴量を算出する特徴量算出部１２０と、前記特徴値算出に用いた画素の相関値毎に前記特徴値をヒストグラムによりカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部１３０と、全ブロックの特徴ベクトルを連結するヒストグラム連結部１４０とを備える。また、特徴量算出部１２０は、エッジ方向の組を算出するエッジ方向の組算出部１２１と、前記複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する相関値算出部１２２とを備える。
【０１３１】
かかる構成によれば、特徴値と、その特徴値を算出した画素間の相関値を特徴情報として利用し、相関性を鑑みることで、画素間の関係性及び連結性を捉える。画素間の関係性、連結性を捉えることは、すなわちオブジェクトのシルエット形状のような連結性のある画素群（エッジ勾配群）の特徴抽出が可能となり、背景によるノイズを抑制し、オブジェクト検出の精度を改善することができる。このように、画素間のつながり、連結性を考慮して特徴値を抽出することができ、オブジェクトの検出精度を高める特徴量を生成することができる。
【０１３２】
また、画素間のエッジ方向の組を、（θｖ１，θｖ２）でなく、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことも可能である。
【０１３３】
図２１乃至図２３は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図である。
【０１３４】
図２１は、画素間のエッジ方向の組を（θｖ１，θｖ２）で表すことを説明する図である。なお、（θｖ１，θｖ２）は、従来手法のｃｏＨＯＧと同じである。
【０１３５】
図２１Ａに示すように、特徴値算出部１１０は、前記式（３），（４）に従って各画素のエッジ方向０〜３６０度の値で算出する。画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２は、それぞれ２°、８０°であるとする。
【０１３６】
図２１Ｂに示すように、相関値算出部１２２又は相関値算出部２２２（後述）は、０〜３６０度を８方向に量子化し、各角度を０〜７の番号に割り当てる。
【０１３７】
図２１Ｃに示すように、相関値算出部１２２又は相関値算出部２２２（後述）は、画素間のエッジ方向の組を、（θｖ１，θｖ２）＝（２°，８０°）＝（０，１）と表すことができる。
【０１３８】
図２２は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図である。相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表す手法は、本実施の形態ではじめて開示するものである。
【０１３９】
図２２Ａに示すように、特徴値算出部１１０は、前記式（３），（４）に従って各画素のエッジ方向０〜３６０度の値で算出する。画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２は、それぞれ２°、８０°であるとする。
【０１４０】
図２２Ｂに示すように、相関値算出部１２２又は相関値算出部２２２は、０〜３６０度を８方向に量子化し、各角度を０〜７の番号に割り当てる。特に、画素ｖ１のエッジ方向θｖ１＝２°を０とすることで、相対角度ｄθｖ２−ｖ１＝８０°−２°＝７８°⇒１となる。
【０１４１】
図２２Ｃに示すように、相関値算出部１２２又は相関値算出部２２２は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）＝（２°，７８°）＝（０，１）と表すことができる。
【０１４２】
図２３は、（θｖ１，θｖ２）と（θｖ１，θｖ２−ｖ１）の違いを例を挙げて説明する図である。
【０１４３】
図２３Ａの例１に示すように、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２の値が乖離している場合（θｖ１＝２°，θｖ２＝８０°）、画素間のエッジ方向の組として、（θｖ１，θｖ２）と相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）のどちらを使用しても差異はない。
【０１４４】
しかし、図２３Ｂの例２に示すように、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２の値が接近している場合（θｖ１＝４４°，θｖ２＝４６°）、画素間のエッジ方向の組として、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）を使用すると、画素の勾配の類似性をより正確に数値化することができる。
【０１４５】
（実施の形態２）
実施の形態２は、ヒストグラム特徴を構築する特徴種が、エッジ方向値ではなく、ＬＢＰ（Local Binary Pattern）特徴等の特徴を用いる場合の例である。
【０１４６】
図１７は、本発明の実施の形態２に係る特徴量算出装置の構成を示すブロック図である。図５と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１４７】
図１７に示すように、特徴量算出装置２００は、特徴量算出部２２０と、ヒストグラム作成部１３０と、ヒストグラム連結部１４０とを備える。
【０１４８】
特徴量算出部２２０は、入力画像データからＬＢＰ特徴を算出し、かつ、複数の画素の前記ＬＢＰ特徴を組み合わせて画素間の特徴量を算出する。
【０１４９】
図１８は、上記特徴量算出部２２０の構成を示すブロック図である。
【０１５０】
図１８に示すように、特徴量算出部２２０は、ＬＢＰ特徴量算出部２２１と、相関値算出部２２２とを備える。
【０１５１】
ＬＢＰ特徴量算出部２２１は、ＬＢＰ特徴量を算出する。
【０１５２】
相関値算出部２２２は、前記ＬＢＰ特徴値の算出に用いた複数の画素のうち、ＬＢＰのビット列において０と１が反転した画素群、又は０と１が反転した画素群と中心画素を相関値算出対象画素とし、相関値算出対象画素間の相関性を算出する。
【０１５３】
特徴量算出部２２０は、ブロック単位で後述する図２０Ａの処理を行う。
【０１５４】
以下、上述のように構成された特徴量算出装置２００の動作を説明する。
【０１５５】
図１９は、ＬＢＰ特徴を説明する図である。
【０１５６】
図１９Ａに示すように、ＬＢＰは、ある画素を中心として、画素値をその近隣画素と比較し、近隣画素が中心画素より大きい場合は１、そうでない場合は０とし（図１９Ｂ参照）、それら各近隣画素の０ｏｒ１の値を連結したビット列を特徴値とする（図１９Ｃ参照）。
【０１５７】
従来のＬＢＰ特徴では、図１９に示すようなビット列の並びが局所領域でどれくらい表すかをヒストグラム化して特徴ベクトルとするものがある。これにおいても、ＬＢＰビット列の０と１が転換した画素、又は０と１が転換した画素と中心画素のエッジ強度や画素値の相関性を用いることによって上記と同様に実現することができ、同様の効果を得ることができる。
【０１５８】
図２０は、特徴量算出装置２００の処理を示すフローチャートである。図１３と同一処理ステップには同一ステップを付している。
【０１５９】
図２０Ａに示すように、スキャン画像データが入力されると、ステップＳ２１で特徴量算出部２２０は、小ブロックごとの処理を行う。このとき、特徴量算出部２２０は、小ブロックへの分割も行う。
【０１６０】
ステップＳ４では、ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結し、スキャン画像データの特徴ベクトルを出力して本フローを終了する。
【０１６１】
図２０Ｂは、上記ステップＳ２１の小ブロックごとの処理の詳細を示すフローである。特徴量算出部２２０は、ブロック内の各画素ｖ１について繰り返し処理を行う。まず、ステップＳ３１で特徴量算出部２２０のＬＢＰ特徴量算出部２２１及び相関値算出部２２２は、ブロック内の各画素ｖ１に対して、画素ｖ１を中心点としてＬＢＰ特徴を特定画素の相関性を加味して算出する。
【０１６２】
ステップＳ１２では、ヒストグラム作成部１３０は、算出したエッジ方向の組及び相関値をヒストグラムにカウントして上記ステップＳ１１に戻る。このように、特徴量算出部２２０は、図２０Ｂの破線枠内のブロック内の各画素についての繰り返し処理に関与する。
【０１６３】
本実施の形態によれば、特徴量算出装置２００は、入力画像データからＬＢＰ特徴を算出し、かつ、ＬＢＰ特徴算出時に参照する複数の画素の相関性を加味して、新たな特徴量を算出する特徴量算出部２２０を備える。特徴量算出部２２０は、ＬＢＰ特徴量算出部２２１が、ＬＢＰ特徴量を算出し、相関値算出部２２２が、ＬＢＰ特徴値の算出に用いた複数の画素のうち、ＬＢＰのビット列において０と１が反転した画素群、又は０と１が反転した画素群と中心画素を相関値算出対象画素とし、相関値算出対象画素間の相関性を算出する。
【０１６４】
本実施の形態では、ＬＢＰビット列の０と１が転換した画素、又は０と１が転換した画素と中心画素のエッジ強度や画素値の相関性を用いることによって、実施の形態１と同様の効果、すなわち特徴値と、その特徴値を算出した画素間の相関値を特徴情報として利用し、相関性を鑑みることで、画素間の関係性及び連結性を捉える。画素間の関係性、連結性を捉えることができる。したがって、オブジェクトのシルエット形状のような連結性のある画素群（エッジ勾配群）の特徴抽出が可能となり、背景によるノイズを抑制し、オブジェクト検出の精度を改善することができる。このように、画素間のつながり、連結性を考慮して特徴値を抽出することができ、オブジェクトの検出精度を高める特徴量を生成することができる。
【０１６５】
なお、ＬＢＰ特徴量算出部２２１は、勿論、実施の形態１と同様に、ＹＣｂＣｒ空間のチャンネル毎に、特徴量の算出を行ってもよい。
【０１６６】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。画像データから対象オブジェクトの特徴量を算出する特徴量算出装置を有する電子機器であればどのような装置にも適用できる。
【０１６７】
本発明の特徴量算出装置及び方法は、画素間の相関性を利用してエッジの連なりやエッジの振幅関係を捉えることを第一の特徴、効果としている。特徴値としては、エッジ方向に基づくヒストグラムであってもよいし、ＬＢＰ等の画素値のグラディエント情報のようなものに基づくヒストグラム特徴であってもよい。ＬＢＰに関する参考文献には、下記がある。
【０１６８】
ＬＢＰに関する参考文献：Face Detection with local binary patterns: Applicationto face recognition. IEEE Trans. Pattern Anal. Mach. Intell., 2037-2041, 2006
【０１６９】
また、上記各実施の形態では、特徴量算出装置という名称を用いたが、これは説明の便宜上であり、装置はオブジェクト検出装置、方法はオブジェクト検出方法等であってもよい。
【０１７０】
以上説明した特徴量算出装置は、この特徴量算出方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【０１７１】
２０１０年３月１９日出願の特願２０１０−６５２４６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１７２】
本発明に係る特徴量算出装置及び特徴量算出方法は、精度高く対象オブジェクトを判別するために有効な特徴量算出装置であり、画像特徴を用いたオブジェクト検出装置やオブジェクト追跡装置等に有用である。用途としては、人物や動物等を検出対象とする場合、映像監視システムや、自動車の運転支援システム、画像や映像への自動アノテーションシステムなどの用途にも適用できる。
【符号の説明】
【０１７３】
１００，２００  特徴量算出装置
１１０  特徴値算出部
１２０，２２０  特徴量算出部
１２１  エッジ方向の組算出部
１２２，２２２  相関値算出部
１３０  ヒストグラム作成部
１４０  ヒストグラム連結部
２２１  ＬＢＰ特徴量算出部
【図１】
2011114736.tif 000013
【図２】
2011114736.tif 000014
【図３】
2011114736.tif 000015
【図４】
2011114736.tif 000016
【図５】
2011114736.tif 000017
【図６】
2011114736.tif 000018
【図７】
2011114736.tif 000019
【図８】
2011114736.tif 000020
【図９】
2011114736.tif 000021
【図１０】
2011114736.tif 000022
【図１１】
2011114736.tif 000023
【図１２】
2011114736.tif 000024
【図１３】
2011114736.tif 000025
【図１４】
2011114736.tif 000026
【図１５】
2011114736.tif 000027
【図１６】
2011114736.tif 000028
【図１７】
2011114736.tif 000029
【図１８】
2011114736.tif 000030
【図１９】
2011114736.tif 000031
【図２０】
2011114736.tif 000032
【図２１】
2011114736.tif 000033
【図２２】
2011114736.tif 000034
【図２３】
2011114736.tif 000035
【手続補正書】
【提出日】平成23年5月27日(2011.5.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン分野において、特に画像から対象物体（以下、オブジェクト）の位置、存在を検知、検出する特徴量算出装置、特徴量算出方法及びプログラムに関する。
【背景技術】
【０００２】
画像中に映る人物の位置を検出する技術は、映像監視システム、自動車の運転支援システム、または、画像や映像への自動アノテーションシステムなど、多様なアプリケーションへの活用が期待されており、近年、研究開発が盛んに行われている。
【０００３】
走査枠探索型の検出手法は、可変サイズの走査矩形枠で入力画像を細かくラスタスキャンし、スキャンした走査枠内の画像特徴を抽出し、オフラインで別途学習した識別器を用いて走査枠に対象オブジェクトが写っているか否かを判別する。入力画像のサイズに依存するが、１画像あたりのスキャン回数は数万〜数十万回に及ぶため、特徴量及び識別器の処理演算量が検出処理速度に大きく影響する。そのため、処理コストが低く、かつ対象オブジェクトの識別に有効な特徴量の選別が検出性能を左右する重要な要素であり、顔や人、車など検出対象オブジェクトごとに多様な特徴量が提案されている。
【０００４】
一般に、オブジェクト検出手法としてはsliding window方式を採用しているものが多い（例えば、非特許文献１及び特許文献１）。Sliding window方式とは、規定サイズの走査矩形枠（window）で入力画像を細かくラスタスキャンし、スキャンした各window内の画素から画像特徴を抽出し、対象windowに人が写っているか否かを判別するものである。Window又は入力画像を所定の比率で拡縮させてさらにスキャンすることによって、多様なサイズのオブジェクトを検出する。スキャンした各windowから特徴量を抽出し、抽出した特徴量に基づいて、検出対象のオブジェクトであるか否かを判別する。上記は静止画像について記述したが、非特許文献２のように、時間軸に前後のフレームにおける特徴量も利用するなど動画像処理も同様である。
【０００５】
検出精度を左右する重要な要素の一つが、人物か否かを判別するのに用いる特徴量であり、これまでに様々な特徴量が提案されている。代表的な特徴量としては、非特許文献１の、Ｄalalらにより提案されたHistogram of Oriented Gradients（以下、ＨＯＧという）特徴量がある。ＨＯＧは、規定サイズのwindow画像を小領域に分割し、局所領域内のエッジ方向値をヒストグラム化した特徴量である。ＨＯＧは、エッジの方向情報を用いることで人物のシルエットを捉え、また小領域ごとにヒストグラム特徴を抽出することにより局所的な幾何学変化を許容する効果を有しており、多様な姿勢を含むＩＮＲＩＡデータセット（同非特許文献１にて記載）においても優れた検出性能を出すことを示した。
【０００６】
また、特許文献１は、非特許文献１を改良した方式として提案されている。非特許文献１では、入力のwindow画像を固定サイズの小領域に分割し、その小領域ごとにエッジ方向ヒストグラムを構築していたが、特許文献１では小領域サイズを可変にすることで多様な特徴量を用意し、さらにブースティングによって識別に最適な特徴量の組み合わせを選出する方式を提示している。
【０００７】
また、同じく非特許文献１を改良した方式として、非特許文献３がある。非特許文献１では、エッジ方向を８又は９方向に量子化し、それぞれの角度ごとにエッジ方向ヒストグラムを構築していた。非特許文献３では、各画素のエッジ方向値に加え、２画素間のエッジ方向の組み合わせを３０オフセットの位置関係ごとにもヒストグラムを構築するように
改良したCo−Occurrence HistgramsofOriented Gradients（以下、ｃｏＨＯＧという）特徴を提案している。
【０００８】
図１は、ＨＯＧ特徴量及びｃｏＨＯＧ特徴量について説明する図である。図１Ａはスキャン走査枠画像である入力画像、図１Ｂはエッジ画像、図１Ｃはエッジ勾配ヒストグラム特徴を示す。
【０００９】
ＨＯＧ及びｃｏＨＯＧは、共に入力画像の輝度Ｉから算出したエッジ画像から特徴量を抽出する。エッジ画像は、エッジ勾配θ及びエッジ強度ｍａｇからなり、次式（１）により求められる。
【００１０】
【数１】
2011114736.tif 000036
このようにして求めたエッジ画像を既定のＢ個の小領域に分割し、小領域ごとにエッジ勾配ヒストグラムＦｂを求める。各小領域の勾配ヒストグラムの要素をそれぞれ特徴次元として捉え、それらをすべて連結した多次元特徴ベクトルを特徴量とＦとする。エッジ勾配ヒストグラムＦｂは、次式（２）で示される。
【００１１】
【数２】
2011114736.tif 000037
ＨＯＧでは、０−１８０度に変換したエッジ勾配値を９方向に分割して量子化し、エッジ強度値を重みとして勾配ヒストグラムを算出する。ｃｏＨＯＧは、０−３６０度のエッジ勾配値を８方向に分割し、局所領域内の各画素の勾配値と、局所領域内の各画素を基点画素として周囲３０点のオフセット画素の勾配値の組み合わせごとにヒストグラムを算出する。ｃｏＨＯＧでは、エッジ強度値をエッジのノイズ除去として用いており、エッジ強度値が閾値以上の画素について、勾配方向ごと、及び勾配方向の組み合わせごとに事象個数をカウントする。
【００１２】
図２は、非特許文献１、特許文献１、及び非特許文献３に代表される従来の特徴量算出方式を示す図である。
【００１３】
図２に示すように、特徴量算出装置１０は、特徴値算出部１２、ヒストグラム特徴構成部１３、識別関数１４、及び判定部１５を備える。
【００１４】
入力として画像データ１１（図２ａ．参照）が与えられると、まず、特徴値算出部１２は、画像データ１１を小領域に分割し（図２ｂ．参照）、エッジデータを抽出する（図２ｃ．ｄ．参照）。図２において、特徴値算出部１２は、図２ｃ．太枠部分の小領域ｋに着
目し、小領域ｋのエッジ強度値とエッジ方向値を算出する例を示している。エッジデータとしては、エッジ方向値（０〜１８０度又は０〜３６０度）をＱ分割し、Ｑ方向に量子化した値を用いる。Ｑの値としては、８又は９が設定されることが多い。
【００１５】
次に、ヒストグラム特徴構成部１３は、局所領域内に含まれる画素をエッジ方向値ごとにヒストグラムとしてカウントする。ヒストグラム特徴構成部１３は、この局所領域ごとのエッジ方向値のヒストグラムを、全局所領域に連結して特徴ベクトルを作成する（図２ｅ．参照）。図２において、ヒストグラム特徴構成部１３は、図２ｃ．太枠部分の局所領域ｋにおける特徴ベクトルを作成している。
【００１６】
判定部１５は、こうして作成した入力画像データに対する特徴ベクトルを、あらかじめオフラインの学習処理で構築した識別関数１４を用いて、ターゲットのオブジェクトであるか否か判別し、出力する。
【００１７】
人物検出で用いるwindow画像は、人の姿勢による変動を許容し、また背景とのエッジデータを用いるため人の領域だけでなく背景領域も含むのが一般的である（例えば、図２の入力画像データ１１参照）。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特表２００９−５１０５４２号公報
【非特許文献】
【００１９】
【非特許文献１】N. Dalaland B. Triggs著、 “Histogram of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognition, vol.1, pp.886-893, 2005
【非特許文献２】P.Viola、M.Jones, and D.Snow著、“Detecting pedestrians using patterns of motion and appearance”, IEEE International Conference on Computer Vision, 2003
【非特許文献３】T. Watanabe, S. Ito, and K. Yokoi, “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”, Pacific-Rim Symposium on Image and Video Technology, 2009
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来のいずれの文献の方式は、以下の解決課題があった。
【００２１】
（１）エッジ情報を画像内から一律に抽出するため、背景画素にエッジが多い場合には特徴量にノイズが重畳し、誤判別が増加してしまうという課題があった。すなわち、従来のいずれの文献においても、window内に発生するエッジ特徴を均一に扱い、均一に特徴量を取得するため、特徴ベクトルにはノイズが含まれている。
【００２２】
具体的には、非特許文献１及び特許文献２におけるＨＯＧは、セル内の全画素についてエッジ方向をカウントするため、セル内に存在する背景に起因するエッジも、人物に起因するエッジも均一にヒストグラムにカウントしてしまう。
【００２３】
図３は、図２の特徴画像部分を抜粋し、さらに背景画素を追加した図である。
【００２４】
図３に示すように、例示している局所領域ｋには、人物の右腕に起因する縦方向のシルエットライン（図３ｆ．参照）と、背景に映る横線のライン（図３ｇ．参照）が存在する
。
【００２５】
しかし、従来手法では、局所領域内に存在するエッジ方向のデータを、均一に、単純に、全て、特徴ベクトルにカウントしてしまうため、本来必要のない、背景データに起因するエッジ群もヒストグラム上にカウントしてしまい、これがノイズとなってしまう（図３ｅ．参照）。そのため、背景のエッジの状況によって特徴ベクトルの値が左右されやすく、特に背景にエッジが多く煩雑な画像の場合には、識別器による判別精度が大幅に低下してしまう。背景領域の画像特徴は撮影環境によって無限に変化するため、実アプリケーションにおいて任意環境での性能を維持するには、よりロバストで、ノイズの重畳がし難い特徴量構造が必要である。
【００２６】
また、非特許文献３に記載のｃｏＨＯＧにおいても同様であり、ｃｏＨＯＧは近隣画素間でのエッジ方向の組をカウントするため、上記課題に加えて、例えば人物のボディラインに起因するエッジと背景に起因するエッジの共起をも同等にカウントしてしまい、ノイズの影響で同様に精度低下につながってしまう。
【００２７】
このように、従来手法では、画像内のエッジの勾配情報を、画像内の画素から均一に抽出する特徴量であったため、背景画素によって特徴ベクトルが左右されやすく、複雑背景下では誤検出が発生しやすい構造であった。
【００２８】
（２）また、エッジ特徴は、エッジの強度及びエッジ方向からなる。従来手法では、エッジ強度の値をノイズ除去のための閾値としてや、エッジ方向値の信頼度の重み付けのための情報としてしか用いない。すなわち、エッジがある個所において一律にその方向情報のみの組み合わせを用いて特徴量を算出している。この課題について、図４に画像を示して明確化する。
【００２９】
図４は、入力のカラー画像データ（図４ａ．）、白黒画像データ（図４ｂ．）、エッジ強度値データ（図４ｃ．）、エッジ方向データ（図４ｄ．）を可視化した画像例を示す図である。
【００３０】
図４ｃ．に示すエッジ強度値画像は、非特許文献３と同様に、エッジ強度の値をある閾値で二値化しており、白画素はエッジ強度値が閾値以上であった画素であり、黒画素はエッジ強度値が閾値以下であった画素を示す。また、図４ｄ．に示すエッジ方向データを表した画像は、エッジ方向０〜３６０度を４５度ずつの８方向に量子化し、それぞれの８方向の角度を色付けして可視化している。図４ｄ．に示す黒は、エッジ強度値が閾値以下の画素であったためにエッジ方向値が利用されない画素を示している。
【００３１】
従来手法では、人物か否かの判定に用いる特徴として、図４に示す画像のうち、主としてエッジ方向データしか用いられてこなかった。
【００３２】
このように、従来手法では、エッジ強度情報は、ノイズ除去としてしか使用しておらず、強度にかかわらずエッジ勾配情報のみを利用していた。
【００３３】
本発明は、かかる点に鑑みてなされたものであり、人物のシルエットライン等の、オブジェクトの輪郭や、オブジェクトの輪郭とその周囲の画像変化に起因する重要な特徴を、背景ノイズの影響を低減して抽出することができる特徴量算出装置、特徴量算出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明の特徴量算出装置は、画像データから対象オブジェクトの特徴量を算出する特徴
量算出装置であって、入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出する特徴値算出部と、複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するエッジ方向の組算出部と、前記特徴値算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出する相関値算出部と、前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部とを備える。
【００３５】
本発明の特徴量算出方法は、画像データから対象オブジェクトの特徴量を算出する特徴量算出方法であって、入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出するステップと、複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するステップと、前記特徴量の算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出するステップと、前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するステップとを有する。
【００３６】
また、他の観点から、本発明は、上記特徴量算出方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００３７】
本発明によれば、人物のシルエットライン等の、オブジェクトの輪郭や、オブジェクトの輪郭とその周囲の画像変化に起因する重要な特徴を、背景ノイズの影響を低減して抽出することができる。特に、背景画像をターゲットオブジェクトとして判定してしまう誤判定を抑制する効果も高い。
【図面の簡単な説明】
【００３８】
【図１】ＨＯＧ特徴量及びｃｏＨＯＧ特徴量について説明する図
【図２】従来の特徴量算出方式を示す図
【図３】図２の特徴画像部分を抜粋し、さらに背景画素を追加した図
【図４】入力のカラー画像データ、白黒画像データ、エッジ強度値データ、エッジ方向データを可視化した画像例を示す図
【図５】本発明の実施の形態１に係る特徴量算出装置の構成を示すブロック図
【図６】上記実施の形態１に係る特徴量算出装置の特徴量算出部の構成を示すブロック図
【図７】上記実施の形態１に係る特徴量算出装置の３Ｄオブジェクトに起因するエッジ強度の振幅特徴を表す図
【図８】上記本実施の形態１と従来手法とを比較して説明する図
【図９】上記実施の形態１と従来手法の特徴ベクトルを比較して説明する図
【図１０】上記実施の形態１のエッジの連結性及び連結エッジを説明する図
【図１１】上記実施の形態１に係る特徴量算出装置の動作を説明する図
【図１２】上記実施の形態１に係る特徴量算出装置の動作を説明する図
【図１３】上記実施の形態１に係る特徴量算出装置の処理を示すフロー図
【図１４】上記実施の形態１に係る特徴量算出装置のエッジ強度値、及び相関値の具体例を示す図
【図１５】上記実施の形態１の特徴量算出装置を用い、精度の効果検証を行った結果を表にして示す図
【図１６】上記本実施の形態１の特徴量算出装置を用い、色空間ＹＣｂＣｒにおいて、精度の効果検証を行った結果を表にして示す図
【図１７】本発明の実施の形態２に係る特徴量算出装置の構成を示すブロック図
【図１８】上記実施の形態２に係る特徴量算出装置の特徴量算出部の構成を示すブロック図
【図１９】上記実施の形態２に係る特徴量算出装置のＬＢＰ特徴を説明する図
【図２０】上記実施の形態２に係る特徴量算出装置の処理を示すフロー図
【図２１】上記各実施の形態に係る特徴量算出装置の画素間のエッジ方向の組を（θｖ１，θｖ２）で表すことを説明する図
【図２２】上記各実施の形態に係る特徴量算出装置の画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図
【図２３】上記各実施の形態に係る特徴量算出装置の（θｖ１，θｖ２）と（θｖ１，θｖ２−ｖ１）の違いを例に挙げて説明する図
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００４０】
（実施の形態１）
まず、本実施の形態における各用語について説明する。
「画素値」は、輝度値を含む。
「エッジ強度」は、画素値の変化の度合いを示す情報である。エッジ強度は、画素値の変化量を示す「エッジ強度値」により、定量的に表現される。
「エッジ方向」は、エッジ勾配を示すものであり、エッジ強度が変化する方向である。エッジ方向は、画素値の増加の度合いが最も大きい方向を角度で示す「エッジ方向値」により、定量的に表現される。
「エッジ方向の組」は、予め定義した特定の配置関係にある複数位置についてのエッジ方向の組である。エッジ方向の組は、各位置のエッジ方向値の組で表現される。
「相関値」は、上述の複数位置における、エッジ強度の相関の度合いを定量的に示す情報であり、エッジ強度値の変化量に対応する値である。
「エッジ勾配」は、本実施の形態において、２つの意味を有する。１つ目は、従来と同様に、エッジ方向の意味である。２つ目は、エッジ方向の組および相関値である。
「連結エッジ」は、エッジ強度の連結性のあるエッジ群である。
「エッジ勾配群」は、エッジ勾配（エッジ方向の組および相関値）の連結性のある画素の集まりである。
「特徴値」は、画素単位のエッジの特徴を示す情報であり、本実施の形態では、エッジ強度値およびエッジ方向値を含む。
「特徴量」は、特徴値を組み合わせた情報であり、本実施の形態では、エッジ方向の組を含む。
「小領域」は、ヒストグラムの作成の単位となる画像領域であり、「局所領域」あるいは「小ブロック」ともいう。
【００４１】
図５は、本発明の実施の形態１に係る特徴量算出装置の構成を示すブロック図である。本実施の形態の特徴量算出装置は、特徴量算出装置を搭載した、画像処理によるオブジェクト検出に有効なオブジェクト検出装置に適用した例である。加えて、前記特徴量算出方法を用いたオブジェクト検出器及びオブジェクト検出器の学習方法について適用することができる。オブジェクトの種類として、顔、人物、動物などが含まれるが、以下では特に人物を例に挙げて説明する。
【００４２】
図５に示すように、特徴量算出装置１００は、入力画像データの画素単位の特徴値を算出する特徴値算出部１１０と、複数の画素の前記特徴値を組み合わせて画素間の特徴量を算出する特徴量算出部１２０と、前記特徴値算出に用いた画素の相関値毎に前記特徴値をヒストグラムによりカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部１３０と、全ブロックの特徴ベクトルを連結するヒストグラム連結部１４０
とを備える。
【００４３】
特徴量算出装置１００への入力は、スキャン走査枠画像（画像データ）である。特徴量算出装置１００からの出力は、識別に用いる特徴ベクトルである。また、スキャン走査枠画像は、特徴値算出部１１０に入力される前に、図示しない輝度補正部により輝度補正されることが好ましい。
【００４４】
特徴値算出部１１０は、入力した画像データから各画素毎にエッジ方向及びエッジ強度を算出する。ここでは、特徴値算出部１１０は、入力画像のすべての画素についてエッジ強度、エッジ方向を算出する。なお、特徴値算出部１１０は、エッジ抽出部と呼称してもよい。
【００４５】
特徴値算出部１１０は、入力の画像データが与えられると、画像データの各画素についてエッジ方向を求める。例えば、画像Ｉにおいて、座標（ｘ，ｙ）における画素をＩ（ｘ，ｙ）と表記する場合、エッジ方向θは、次式（３）（４）により求めることができる。なお、式（３）は、前掲式（１）と同じである。
【００４６】
【数３】
2011114736.tif 000038
上記式（３）（４）を用いた場合、θは、０〜３６０の度数で求まる。ここで、度数をＱ分割し、Ｑ方向に量子化した値を用いてもよい。
【００４７】
各画素の特徴値は、予め定義したＮ個の特定の時空間上の配置関係にある複数の画素の、上記エッジ方向θの値の組を特徴値とする。上記時空間とは、画像上の２次元空間（ｘ、ｙ）と時間軸ｔからなる３次元空間を意味し、画像内位置（ｘ，ｙ）及び時間軸値（ｔ）によって一意に決まる。また、時空間上の配置関係とは、画像上のある着目画素（ｘ，ｙ，ｔ）に対し、３次元空間内の近傍画素など、距離（ｄｄｘ，ｄｄｙ，ｄｄｔ）等によって定義可能である。
【００４８】
特徴値の算出にあたっては、時空間上の２画素以上の点を利用しても同等である。ここでは２点を使用する場合を例に説明を記載する。
【００４９】
上記、予め定義した特定の配置関係にある画素ｖ１、ｖ２ごとに、エッジ方向の組（θｖ１，θｖ２）を算出する。
【００５０】
図６は、上記特徴量算出部１２０の構成を示すブロック図である。
【００５１】
図６に示すように、特徴量算出部１２０は、エッジ方向の組を算出するエッジ方向の組算出部１２１と、前記複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する相関値算出部１２２とを備える。
【００５２】
特徴量算出部１２０は、ブロック単位で後述する図１３Ａの処理を行う。
【００５３】
エッジ方向の組算出部１２１及び相関値算出部１２２は、ブロック内の画素ｖ１に対する、Ｎ個の対応画素ｖ２について、それぞれ後述する図１３Ｂの処理を行う。
【００５４】
相関値算出部１２２は、エッジ方向の組算出部１２１と密接に連動して動作する。
【００５５】
相関値算出部１２２は、上述の特徴値算出部が特徴値（θｖ１，θｖ２）の算出時に用いた画素ｖ１、ｖ２における画素値から、例えば次式（５）により各画素におけるエッジ強度値ｍｖ１，ｍｖ２を算出する。
【００５６】
【数４】
2011114736.tif 000039
特徴量算出部１２０は、エッジ強度値をもとに、相関値Ｃｖ１，ｖ２を次式（６）により算出する。
【００５７】
【数５】
2011114736.tif 000040
上記Ｇ（ｘ）は、エッジ強度の差の値の大きさによって傾斜をかけるための関数であり、Ｇ（ｘ）＝ｘであってもよいし、閾値αを用いて次式（７）のように算出してもよい。
【００５８】
【数６】
2011114736.tif 000041
Ｇ（ｘ）式の形態は限定しないが、ここでは０〜Τ−１の値を持つΤ段階の相関値をＣとして出力するものとする。
【００５９】
図５に戻って、ヒストグラム作成部１３０は、ブロック単位で後述する図１３Ａの処理を行う。
【００６０】
ヒストグラム作成部１３０は、特徴量算出部１２０の相関値算出部１２２の出力として、エッジ方向情報とその相関値からなる（θｖ１，θｖ２，Ｃｖ１，ｖ２）が所定の特徴値の数分（Ｎ個）入力される。
【００６１】
θｖ１及びθｖ２は、それぞれエッジ方向量子化数Ｑに基づき、０〜Ｑ−１のＱとおりの値をとり得る。また、Ｃｖ１，ｖ２は、０〜Τ−１のΤとおりの値をとり得る。そこで、（θｖ１，θｖ２，Ｃｖ１，ｖ２）の値の組Ｑ＊Ｑ＊Τのそれぞれの要素をヒストグラムの各ビンに割り当てた、ヒストグラムを用意する。
【００６２】
入力画像データの局所領域に存在する画素から、（θｖ１，θｖ２，Ｃｖ１，ｖ２）の特徴値を持つ画素の数をヒストグラムにカウントし、各ビンの値を特徴ベクトルの１次元とする、Ｑ＊Ｑ＊Τ次元特徴ベクトルを生成する。
【００６３】
ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結する。
【００６４】
このように、特徴量算出装置１００の特徴値算出部１１０は、入力の画像データを、あらかじめ指定した小領域に分割し、小領域ごとの特徴値としてエッジ強度値（０．０〜１．０の間の実数値）及びエッジ方向値を算出する。特徴量算出部１２０は、Ｎ個の所定の複数画素について、画素間のエッジ方向値と相関値（θｖ１，θｖ２，Ｃｖ１，ｖ２）算出する。ヒストグラム作成部１３０は、特徴値（θｖ１，θｖ２，Ｃｖ１，ｖ２）ごとにビンを設定したヒストグラムで特徴をカウントし、小領域ごとに算出する。ヒストグラム連結部１４０は、これらを連結し、特徴ベクトルとして出力する。
【００６５】
オブジェクト検出装置は、上記特徴量算出装置１００と、前記図２の識別関数１４及び判定部１５とを組み込むことにより実現することができる。前記識別関数１４は、判定部１５と密接に関係し、学習アルゴリズムとして一般に知られるＳＶＭ（Support Vector Machine）やブースティング、ランダムフォレスト等により事前に学習した識別関数１４の情報を用い、判定部１５にて判定処理を行うものである。
【００６６】
この判定部は、オフライン学習処理によりあらかじめ構築した識別関数を用い、入力の特徴ベクトルがターゲットであるか否か判定し、ここでは人物か否かを出力する。
【００６７】
すなわち、特徴量算出装置１００は、エッジ強度の相関値を求め、エッジ強度の相関値毎にエッジ方向の組をカウントしてヒストグラムを作成する。これにより、特徴量算出装置１００は、エッジ傾きの相関性（連結性）だけでなく、エッジ強度の相関性（連結性）をも示す特徴量（ヒストグラム）を取得することができる。すなわち、特徴量算出装置１００は、画像から、人物のシルエットライン等のオブジェクトの輪郭に特徴的に現れるエッジ勾配群を、抽出することができる。したがって、特徴量算出装置１００は、背景ノイズの影響を低減して、人等のオブジェクトの輪郭の特徴量を算出することができる。
【００６８】
以下、上述のように構成された特徴量算出装置１００の動作を説明する。
【００６９】
まず、本発明の基本的な考え方について説明する。
【００７０】
本発明の特徴量算出方法は、複数の画素の情報を用いて算出する特徴値を、ヒストグラム化して特徴ベクトルを構築する際に、特徴値の算出に用いた画素間の相関性（類似性を含む）を判定する機能を備え、画素間の相関値ごとに特徴値ヒストグラムを構築する。
【００７１】
より具体的には、エッジ強度値や入力画像の画素値等の情報を用いて画素間の相関性が高いか否かを判定し、オブジェクト形状を現すシルエットラインに代表されるエッジの連なりを持つ画素間でのエッジ方向ヒストグラム特徴を抽出する。特に、エッジ強度値は、従来のようにノイズ除去として２値化するのではなく、実数値を用いる。
【００７２】
本発明は、小領域に着目すると、検出ターゲットオブジェクトの画素集合も、隣接背景領域の画素集合も画素変化が少ないことから、境界にできるエッジの連なりを構成する画素群では画素値やエッジ強度値は近い値を持ちうる、ということに着目した。画素値そのものの値は、オブジェクトによって変化するが、画素間の相関性は、同一オブジェクトの近隣画素間では類似することを利用している。この特徴を利用して、オブジェクトラインのシルエットラインを的確に捉える。的確に、とは、同一オブジェクトからのエッジに起因する特徴のみを捉え、エッジの連なりを捉えやすくしていることを意味する。
【００７３】
加えて、相関性が高い画素間の情報だけでなく、相関値ごとに特徴値をも扱う。
【００７４】
図７は、３Ｄオブジェクトに起因するエッジ強度の振幅特徴を表す図である。
【００７５】
背景に起因するエッジと３Ｄオブジェクトに起因するエッジでは、例えば人物画像でいうと人や脚のシルエットラインにおいて、背景との境界で起こる強いエッジの周囲に、図７Ａに例示するような、３Ｄ形状に起因したエッジ強度値の振幅が現れる。本発明は、この特徴を利用し、エッジの起伏がどれくらいの相関関係にある画素間でどのような特徴値の傾向がでるかを、画素間のエッジ強度等の相関値情報を利用して、細やかに特徴を捉える。
【００７６】
図７Ａに示すように、エッジ強度情報も人物のシルエットラインをよく表す重要な特徴である。
【００７７】
エッジ強度画像に着目すると、人物画像に特有の特徴が有る。エッジ強度値は、人物領域と背景領域の境界において局所最大値をとり、シルエットラインに垂直な方向に山形の振幅形状を有する（図７Ａ参照）。人物領域及び背景領域の色情報によって振幅の高さは変動する。図７Ｂに示すように、人物のシルエットラインに沿って山形の振幅が連なって発生し、境界部分を尾根とするエッジ強度の等高線として現れる。
【００７８】
この特徴を利用し、エッジ強度が類似値を有する等高線上の画素間におけるエッジ勾配を抽出する。これにより、画素の連結性を捉え、人物のシルエットラインを安定して抽出する。加えて、エッジ強度の等高線を跨ぐ画素間での勾配特徴（エッジ勾配）も抽出する。人物は三次元形状を有していることから、人物と背景の境界で発生する強いエッジの内側（人物の領域側）には、人物の丸みに起因して輝度値をなだらかに変化させたエッジが群れをなして現れる特徴（エッジ勾配群）を抽出する。
【００７９】
すなわち、エッジ勾配群を多く含む画像領域は、オブジェクトの輪郭を含んでいる可能性が高いことから、本発明は、オブジェクトを安定して抽出することができる。
【００８０】
上記を考慮した特徴量を以下に定式化する。上述のとおり、本発明の特徴量はエッジ強度の相関性を用いてエッジの連結性を判定するため２画素以上の画素を用い、その画素間の相関性と画素間のエッジ勾配情報（エッジ勾配）を抽出する。次式（８）では、簡単のため、２画素間のエッジ勾配の組とエッジ強度の相関性を用いる場合について記載する。
【００８１】
【数７】
2011114736.tif 000042
上記式（８）において、ｂ∈[０，Ｂ−１]、ｄ∈[０，Ｄ−１]とする。特徴ベクトルＦは、Ｂ個のブロックからなり、各ブロックにおけるＤ次元のエッジ勾配ヒストグラム特徴を連結したものである。また、Ｑ（）及びг（）は量子化関数を示し、次元数Ｄはエッジ勾配方向の量子化数及びエッジ強度の相関値量子化数に基づいて決まる。なお、式（８）
におけるＱ及びＱ’は同一又は相違のどちらでもよい。
【００８２】
各ブロックにおいて、ブロック内の画素（ｘi，ｙi）と近隣画素（ｘｊ，ｙｊ）の相関性をエッジ強度の差に基づいて算出し、かつ、エッジ勾配の値θと相関角度ｄθを組としてヒストグラム特徴にカウントする。
【００８３】
次に、本実施の形態と従来手法とを比較して説明する。
【００８４】
図８は、本実施の形態と従来手法とを比較して説明する図である。図８Ａは入力画像、図８Ｂ、図８Ｃは前記式（３）−（５）に従ってエッジ抽出した画像であり、図８Ｂはエッジ強度画像、図８Ｃはエッジ方向画像である。図８Ｃのエッジ方向画像は、エッジ方向０〜３６０°を８方向に量子化して色分けした図である。
【００８５】
従来手法では、図８Ｃの、主にエッジ方向画像のみを使用している。正確には、ＨＯＧはエッジ方向ヒストグラムを作る際に、エッジ方向値の信頼度の値として、エッジ強度値を使っている。しかし、本実施の形態のように、エッジ強度画像の情報からエッジの連結性や画素間の類似性を捉える用途では使用されていない。また、ｃｏＨＯＧでは、正確には、エッジ強度値を閾値処理し、２値化して用いている。
【００８６】
これに対して、本実施の形態は、図８Ｂのエッジ強度画像と、図８Ｃのエッジ勾配画像の両方を使用する。
【００８７】
次に、本実施の形態と従来手法の特徴ベクトルを比較して説明する。
【００８８】
図９は、本実施の形態と従来手法の特徴ベクトルを比較して説明する図である。図９Ａは入力画像、図９Ｂは本実施の形態のエッジ画像、図９Ｃ本実施の形態の特徴ベクトルである。また、図９Ｄは従来手法のエッジ画像、図９Ｅは従来手法の特徴ベクトルである。
【００８９】
図９Ｂ，図９Ｄに示すように、本実施の形態と従来手法はいずれもエッジ画像を算出する。図９Ｂ，図９Ｄの場合、ａ．人物領域の画素のエッジと、ｂ．背景領域画素のエッジ（ノイズ）である。
【００９０】
図９Ｅに示すように、従来手法の特徴量は、領域内の全画素のエッジ方向を均一にカウントする。このため、人物に起因するエッジ特徴に、背景に起因するエッジノイズが重畳してしまう。
【００９１】
これに対して、図９Ｃに示すように、本実施の形態は、エッジ強度の類似性を加味して連結したエッジの勾配情報（エッジ勾配）を抽出する。このため、図９Ａに示すように、人物のシルエットライン等を捉える重要な特徴に、ノイズが重畳することなく、識別に重要な特徴の値を安定して抽出することができる。
【００９２】
すなわち、従来手法はノイズを重畳していた（図９Ｅｃ．参照）に対して、本実施の形態はノイズを分離する（図９Ｃｄ．参照）特徴がある。
【００９３】
図１０は、本実施の形態のエッジの連結性及び連結エッジを説明する図である。
【００９４】
特徴値算出部１１０（図５参照）は、入力画像のすべての画素についてエッジ強度、エッジ方向を算出する。特徴値算出部１１０は、図１０ａ．の元画像に対して、実数値を用いて図１０ｂ．のエッジ画像（エッジ勾配画像）を算出する。特徴値算出部１１０は、図１０ｃ．のエッジの方向と、図１０ｄ．のエッジ強度とを算出する。図１０ｂ．のエッジ
画像（エッジ勾配画像）の場合、図１０ｃ．の実線矢印が人物領域の画素のエッジの方向を示し、図１０ｃ．の破線矢印が背景領域画素のエッジ（ノイズ）の方向を示す。
【００９５】
図１０ｄ．のエッジ強度は、隣接画素との輝度勾配である。また、図１０ｄ．のヒストグラムの高さがエッジの強さを示している。図１０ｂ．のエッジ画像（エッジ勾配画像）の場合、図１０ｄ．の実線ヒストグラムが人物領域の画素のエッジ強度を示し、図１０ｄ．のハッチングヒストグラムが背景領域画素のエッジ（ノイズ）強度を示す。本実施の形態は、エッジ強度の類似性を加味して連結したエッジの勾配情報（エッジ勾配）を抽出することを特徴とする。図１０ｂ．のエッジ画像（エッジ勾配画像）の場合、図１０ｄ．の破線で囲んだエッジ強度が、エッジ強度の類似性を表しており、エッジ（エッジ勾配）の連結性を示している。これらのエッジを連結エッジと呼ぶ。より詳細に説明すると、連結エッジは、図１０ｄ．のハッチングヒストグラムと比べて明らかに画素間の相関性が小さく、かつ、連結エッジ同士ではエッジ（エッジ勾配）が連なる連結性がある。このように、エッジの強度情報を利用することで、エッジの連なりを捉え、画素間の連結性に応じてエッジ勾配ヒストグラムを構築している。
【００９６】
次に、特徴量算出装置１００の動作について説明する。
【００９７】
図１１及び図１２は、特徴量算出装置１００の動作を説明する図である。
【００９８】
図１１ａ．は、特徴量算出装置１００の特徴値算出部１１０（図５参照）に入力される画像データである。図１１ｂ−ｄ．は、特徴値算出部１１０の各処理画像であり、図１１ｂ．は、エッジ画像（エッジ勾配画像）、図１１ｃ．はエッジ強度値∈{０．０〜１．０}、図１１ｄ．はエッジ方向値（エッジ勾配）∈{０，１，２，…，Ｑ−１}である。上述したように、エッジ強度値は、従来のようにノイズ除去として２値化するのではなく、実数値{０．０〜１．０}を用いる。
【００９９】
図１２ｅ．は、特徴値算出部１１０により算出された相関値、図１２ｆ．は、ヒストグラム作成部１３０にカウントされた特徴ベクトルである。
【０１００】
特徴値算出部１１０において、入力画像データがブロックに分かれている。この単位を小ブロック（小領域）という。
【０１０１】
特徴値算出部１１０は、入力画像データの全面（全画素）に対して、エッジ強度・エッジ方向（エッジ勾配）を算出する。
【０１０２】
特徴量算出部１２０は、入力画像データの複数の画素の特徴値を組み合わせて画素間の特徴量を算出する。詳細には、特徴量算出部１２０は、複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する。
【０１０３】
ヒストグラム作成部１３０は、上記小ブロックに分割し（小ブロックには、複数の画素が含まれる）、分割された小ブロックごとにヒストグラムを作成する。
【０１０４】
ここでは、図１１ｃ．の局所領域ｋのエッジ強度値、エッジ方向値（エッジ勾配）（図１１ｄ．）を用いてエッジの連なりを捉え、画素間の連結性に応じてエッジ勾配ヒストグラムを構築する。すなわち、エッジ強度値から画素間の類似性を算出し、連結性のある画素（エッジ勾配群）間での共起性を捉えることで、同一オブジェクトに起因するエッジの特徴を抽出しやすい特徴量構造にする。
【０１０５】
図１２ｆ．の局所領域ｋにおける特徴ベクトルが示す範囲は、ｋ番目の小ブロックのヒ
ストグラムという意味である。
【０１０６】
小ブロックごとのヒストグラム作成が、全ての小ブロックについて行われ、各ヒストグラムが統合されて、最終的にヒストグラム図面が作成される（図１２ｆ．参照）。局所領域ｋにおける特徴ベクトルが示す範囲の左隣のカウントは、例えば“ｋ−１番目”、右隣のカウントは、例えば“ｋ＋１番目”である。
【０１０７】
なお、小ブロックごとにヒストグラムを作成する際に、ｃｏＨＯＧ（２画素使う方法）の１画素目（起算画素＝着目画素）は当該小ブロック内に含まれる各画素である。２画素目（近傍エッジ）は、小ブロック外の画素も対象になる。
【０１０８】
図１３は、特徴量算出装置１００の処理を示すフローチャートである。
【０１０９】
図１３Ａに示すように、スキャン画像データが入力されると、ステップＳ１で特徴値算出部１１０は、前記式（３）に従って各画素ごとにｄｘ、ｄｙを算出する。
【０１１０】
ステップＳ２では、特徴値算出部１１０は、前記式（４）（５）に従って各画素ごとにエッジ方向θ、エッジ強度ｍを算出する。
【０１１１】
ステップＳ３では、特徴量算出部１２０は、小ブロックごとの処理を行う。このとき、特徴量算出部１２０は、小ブロックへの分割も行う。
【０１１２】
ステップＳ４では、ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結し、スキャン画像データの特徴ベクトルを出力して本フローを終了する。
【０１１３】
図１３Ｂは、上記ステップＳ３の小ブロックごとの処理の詳細を示すフローである。特徴量算出部１２０は、ブロック内の各画素ｖ１について繰り返し処理を行う。まず、ステップＳ１１で特徴量算出部１２０のエッジ方向の組算出部１２１及び相関値算出部１２２は、前記式（６）（７）に従って画素ｖ１と、Ｎ個の特定の時空間が位置関係にある画素ｖ２とのエッジ方向の組及び相関値を算出する。
【０１１４】
ステップＳ１２では、ヒストグラム作成部１３０は、算出したエッジ方向の組及び相関値（エッジ勾配）をヒストグラムにカウントして上記ステップＳ１１に戻る。このように、特徴量算出部１２０は、図１３Ｂの破線枠内のブロック内の各画素についての繰り返し処理に関与する。
【０１１５】
図１４は、エッジ強度値、及び相関値の具体例を示す図である。
【０１１６】
図１４Ａに示すように、特徴値算出部１１０が、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２及びエッジ強度値ｍｖ１，ｍｖ２を算出した場合、特徴量算出部１２０は、前記式（６）に従って強度値の差の値を基に相関値Ｃの値を設定する。図１４Ｂに示すように、画素間のエッジ方向値と相関値（θｖ１，θｖ２，Ｃｖ１，ｖ２）を設定する。また、図１４Ｂａ．に示すように、上記差の値に閾値を設けることで量子化する。一例としては、例えば差の値があらかじめ指定した閾値（例えば閾値５）以下の場合は０、閾値以上の場合は１とする。
【０１１７】
[実施例]
本実施の形態は、ヒストグラムの次元をどのように定義するかは任意である。したがって、従来手法のｃｏＨＯＧ、ＬＢＰなど２画素以上を考慮する多様な特徴量への適用、応用が可能である。比較のため非特許文献１（Ｄａｌａｉ’ｓ  ＨＯＧ）と従来手法のｓｃ
ｏＨＯＧとを比較し、本実施の形態の有効性について検証する。
【０１１８】
図１５は、本実施の形態の特徴量算出装置１００を用い、精度の効果検証を行った結果を表にして示す図である。
【０１１９】
実験に用いるデータベースとしては、非特許文献１にて提案され、人物検出のアルゴリズム評価でよく用いられるＩＮＲＩＡデータセットを使用した。学習用画像としては、人物画像２４１６枚と人物を含まない背景画像１２１８枚が用意されている。背景画像については、ＩＮＩＲＡのウェブサイト
http://pascal.inrialpes.fr/data/human/
の情報に沿い、用意された１２１８枚のそれぞれからランダムに切り出した１０箇所の矩形画像を背景サンプルとして用いる。
【０１２０】
図１５の表１は、ＲＯＣ（receiver operating characteristic）カーブであり、横軸に誤検出率（False Positive Rate）、縦軸に正検出率（Hit Rate）を示す。誤検出率が低い設定において正検出率が高い値をとることが望ましく、グラフ内の左上に位置するほうが性能が高いことを意味する。
【０１２１】
このＲＯＣカーブにおいて、同様の学習データ及び検出データを用いてｃｏＨＯＧ手法と比較した結果、誤検出率１ｅ−４、１ｅ−５の際に、２〜４％性能が向上することが確認でき、効果が確認できている。
【０１２２】
ここで、本実施の形態では、相関値の算出に複数画素間のエッジ強度の差を基に求める算出式を記載したが、相関値の算出方法として、次式（９）のように、エッジ強度の差に加え、画素値の差、及び時空間的距離を用いて算出してもよい。
【０１２３】
【数８】
2011114736.tif 000043
上記式（９）において、α、β、γは０．０〜１．０の間の実数を示し、各項の重みを表す定数である。また、Ｉｖは画素ｖにおける画素値を表す。またｄｉｓｔ（）は画素間の距離値を返す関数を示し、ユークリッド距離等によって求めてもよい。各Ｇは前記式（７）に記載の方法であってもよい。
【０１２４】
また、入力がカラー画像である場合、エッジ方向及びエッジ強度を入力のカラーデータの３要素の値を用いて、次式（１０）−（１３）により算出してもよい。
【０１２５】
【数９】
2011114736.tif 000044
上記式（１０）−（１３）の各変数の添え字に記載した、Ｒ，Ｇ，Ｂは入力のカラー画像がＲＧＢの３要素を持つ画像である場合を例として示しているが、これはＹＣｂＣｒ等、別のカラー空間であってもよい。
【０１２６】
このような場合に、エッジ強度及びエッジ方向算出に用いたＭａｘＣｏｌＩｄの値（Ｒ
ｏｒ Ｇｏｒ Ｂ）が同一値を持つか否かで、相関性の有無を次式（１４）のように判定してもよい。
【０１２７】
【数１０】
2011114736.tif 000045
図１６は、本実施の形態の特徴量算出装置１００を用い、色空間ＹＣｂＣｒにおいて、精度の効果検証を行った結果を表にして示す図である。図１６の表２は、ＲＯＣカーブであり、横軸に誤検出率、縦軸に正検出率を示す。
【０１２８】
エッジ方向及びエッジの相関値算出を、色空間ＹＣｂＣｒで、それぞれのＹ，Ｃｂ、Ｃｒチャンネルごとに行い、それぞれで特徴ベクトルを算出し、全てを用いると、図１６の×印に示す性能となり、さらに性能が向上する。
【０１２９】
このように、ＹＣｂＣｒ空間で特徴量算出を行うことで、性能をより一層向上させることができる。
【０１３０】
以上詳細に説明したように、本実施の形態によれば、特徴量算出装置１００は、入力画像データの画素単位の特徴値を算出する特徴値算出部１１０と、複数の画素の前記特徴値を組み合わせて画素間の特徴量を算出する特徴量算出部１２０と、前記特徴値算出に用いた画素の相関値毎に前記特徴値をヒストグラムによりカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部１３０と、全ブロックの特徴ベクトルを連結するヒストグラム連結部１４０とを備える。また、特徴量算出部１２０は、エッジ方向の組を算出するエッジ方向の組算出部１２１と、前記複数の画素間の全画素又は所定の画素を相関値算出対象画素とし、前記相関値算出対象画素間における相関値を算出する相関値算出部１２２とを備える。
【０１３１】
かかる構成によれば、特徴値と、その特徴値を算出した画素間の相関値を特徴情報として利用し、相関性を鑑みることで、画素間の関係性及び連結性を捉える。画素間の関係性、連結性を捉えることは、すなわちオブジェクトのシルエット形状のような連結性のある画素群（エッジ勾配群）の特徴抽出が可能となり、背景によるノイズを抑制し、オブジェクト検出の精度を改善することができる。このように、画素間のつながり、連結性を考慮して特徴値を抽出することができ、オブジェクトの検出精度を高める特徴量を生成することができる。
【０１３２】
また、画素間のエッジ方向の組を、（θｖ１，θｖ２）でなく、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことも可能である。
【０１３３】
図２１乃至図２３は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図である。
【０１３４】
図２１は、画素間のエッジ方向の組を（θｖ１，θｖ２）で表すことを説明する図である。なお、（θｖ１，θｖ２）は、従来手法のｃｏＨＯＧと同じである。
【０１３５】
図２１Ａに示すように、特徴値算出部１１０は、前記式（３），（４）に従って各画素のエッジ方向０〜３６０度の値で算出する。画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２は、それぞれ２°、８０°であるとする。
【０１３６】
図２１Ｂに示すように、相関値算出部１２２又は相関値算出部２２２（後述）は、０〜３６０度を８方向に量子化し、各角度を０〜７の番号に割り当てる。
【０１３７】
図２１Ｃに示すように、相関値算出部１２２又は相関値算出部２２２（後述）は、画素間のエッジ方向の組を、（θｖ１，θｖ２）＝（２°，８０°）＝（０，１）と表すことができる。
【０１３８】
図２２は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表すことを説明する図である。相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）で表す手法は、本実施の形態ではじめて開示するものである。
【０１３９】
図２２Ａに示すように、特徴値算出部１１０は、前記式（３），（４）に従って各画素のエッジ方向０〜３６０度の値で算出する。画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２は、それぞれ２°、８０°であるとする。
【０１４０】
図２２Ｂに示すように、相関値算出部１２２又は相関値算出部２２２は、０〜３６０度
を８方向に量子化し、各角度を０〜７の番号に割り当てる。特に、画素ｖ１のエッジ方向θｖ１＝２°を０とすることで、相対角度ｄθｖ２−ｖ１＝８０°−２°＝７８°⇒１となる。
【０１４１】
図２２Ｃに示すように、相関値算出部１２２又は相関値算出部２２２は、画素間のエッジ方向の組を、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）＝（２°，７８°）＝（０，１）と表すことができる。
【０１４２】
図２３は、（θｖ１，θｖ２）と（θｖ１，θｖ２−ｖ１）の違いを例を挙げて説明する図である。
【０１４３】
図２３Ａの例１に示すように、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２の値が乖離している場合（θｖ１＝２°，θｖ２＝８０°）、画素間のエッジ方向の組として、（θｖ１，θｖ２）と相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）のどちらを使用しても差異はない。
【０１４４】
しかし、図２３Ｂの例２に示すように、画素ｖ１と画素ｖ２のエッジ方向θｖ１，θｖ２の値が接近している場合（θｖ１＝４４°，θｖ２＝４６°）、画素間のエッジ方向の組として、相対角度を用いた（θｖ１，ｄθｖ２−ｖ１）を使用すると、画素の勾配の類似性をより正確に数値化することができる。
【０１４５】
（実施の形態２）
実施の形態２は、ヒストグラム特徴を構築する特徴種が、エッジ方向値ではなく、ＬＢＰ（Local Binary Pattern）特徴等の特徴を用いる場合の例である。
【０１４６】
図１７は、本発明の実施の形態２に係る特徴量算出装置の構成を示すブロック図である。図５と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１４７】
図１７に示すように、特徴量算出装置２００は、特徴量算出部２２０と、ヒストグラム作成部１３０と、ヒストグラム連結部１４０とを備える。
【０１４８】
特徴量算出部２２０は、入力画像データからＬＢＰ特徴を算出し、かつ、複数の画素の前記ＬＢＰ特徴を組み合わせて画素間の特徴量を算出する。
【０１４９】
図１８は、上記特徴量算出部２２０の構成を示すブロック図である。
【０１５０】
図１８に示すように、特徴量算出部２２０は、ＬＢＰ特徴量算出部２２１と、相関値算出部２２２とを備える。
【０１５１】
ＬＢＰ特徴量算出部２２１は、ＬＢＰ特徴量を算出する。
【０１５２】
相関値算出部２２２は、前記ＬＢＰ特徴値の算出に用いた複数の画素のうち、ＬＢＰのビット列において０と１が反転した画素群、又は０と１が反転した画素群と中心画素を相関値算出対象画素とし、相関値算出対象画素間の相関性を算出する。
【０１５３】
特徴量算出部２２０は、ブロック単位で後述する図２０Ａの処理を行う。
【０１５４】
以下、上述のように構成された特徴量算出装置２００の動作を説明する。
【０１５５】
図１９は、ＬＢＰ特徴を説明する図である。
【０１５６】
図１９Ａに示すように、ＬＢＰは、ある画素を中心として、画素値をその近隣画素と比較し、近隣画素が中心画素より大きい場合は１、そうでない場合は０とし（図１９Ｂ参照）、それら各近隣画素の０ｏｒ１の値を連結したビット列を特徴値とする（図１９Ｃ参照）。
【０１５７】
従来のＬＢＰ特徴では、図１９に示すようなビット列の並びが局所領域でどれくらい表すかをヒストグラム化して特徴ベクトルとするものがある。これにおいても、ＬＢＰビット列の０と１が転換した画素、又は０と１が転換した画素と中心画素のエッジ強度や画素値の相関性を用いることによって上記と同様に実現することができ、同様の効果を得ることができる。
【０１５８】
図２０は、特徴量算出装置２００の処理を示すフローチャートである。図１３と同一処理ステップには同一ステップを付している。
【０１５９】
図２０Ａに示すように、スキャン画像データが入力されると、ステップＳ２１で特徴量算出部２２０は、小ブロックごとの処理を行う。このとき、特徴量算出部２２０は、小ブロックへの分割も行う。
【０１６０】
ステップＳ４では、ヒストグラム連結部１４０は、全ブロックの特徴ベクトルを連結し、スキャン画像データの特徴ベクトルを出力して本フローを終了する。
【０１６１】
図２０Ｂは、上記ステップＳ２１の小ブロックごとの処理の詳細を示すフローである。特徴量算出部２２０は、ブロック内の各画素ｖ１について繰り返し処理を行う。まず、ステップＳ３１で特徴量算出部２２０のＬＢＰ特徴量算出部２２１及び相関値算出部２２２は、ブロック内の各画素ｖ１に対して、画素ｖ１を中心点としてＬＢＰ特徴を特定画素の相関性を加味して算出する。
【０１６２】
ステップＳ１２では、ヒストグラム作成部１３０は、算出したエッジ方向の組及び相関値をヒストグラムにカウントして上記ステップＳ１１に戻る。このように、特徴量算出部２２０は、図２０Ｂの破線枠内のブロック内の各画素についての繰り返し処理に関与する。
【０１６３】
本実施の形態によれば、特徴量算出装置２００は、入力画像データからＬＢＰ特徴を算出し、かつ、ＬＢＰ特徴算出時に参照する複数の画素の相関性を加味して、新たな特徴量を算出する特徴量算出部２２０を備える。特徴量算出部２２０は、ＬＢＰ特徴量算出部２２１が、ＬＢＰ特徴量を算出し、相関値算出部２２２が、ＬＢＰ特徴値の算出に用いた複数の画素のうち、ＬＢＰのビット列において０と１が反転した画素群、又は０と１が反転した画素群と中心画素を相関値算出対象画素とし、相関値算出対象画素間の相関性を算出する。
【０１６４】
本実施の形態では、ＬＢＰビット列の０と１が転換した画素、又は０と１が転換した画素と中心画素のエッジ強度や画素値の相関性を用いることによって、実施の形態１と同様の効果、すなわち特徴値と、その特徴値を算出した画素間の相関値を特徴情報として利用し、相関性を鑑みることで、画素間の関係性及び連結性を捉える。画素間の関係性、連結性を捉えることができる。したがって、オブジェクトのシルエット形状のような連結性のある画素群（エッジ勾配群）の特徴抽出が可能となり、背景によるノイズを抑制し、オブジェクト検出の精度を改善することができる。このように、画素間のつながり、連結性を考慮して特徴値を抽出することができ、オブジェクトの検出精度を高める特徴量を生成することができる。
【０１６５】
なお、ＬＢＰ特徴量算出部２２１は、勿論、実施の形態１と同様に、ＹＣｂＣｒ空間のチャンネル毎に、特徴量の算出を行ってもよい。
【０１６６】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。画像データから対象オブジェクトの特徴量を算出する特徴量算出装置を有する電子機器であればどのような装置にも適用できる。
【０１６７】
本発明の特徴量算出装置及び方法は、画素間の相関性を利用してエッジの連なりやエッジの振幅関係を捉えることを第一の特徴、効果としている。特徴値としては、エッジ方向に基づくヒストグラムであってもよいし、ＬＢＰ等の画素値のグラディエント情報のようなものに基づくヒストグラム特徴であってもよい。ＬＢＰに関する参考文献には、下記がある。
【０１６８】
ＬＢＰに関する参考文献：Face Detection with local binary patterns: Applicationto face recognition. IEEE Trans. Pattern Anal. Mach. Intell., 2037-2041, 2006
【０１６９】
また、上記各実施の形態では、特徴量算出装置という名称を用いたが、これは説明の便宜上であり、装置はオブジェクト検出装置、方法はオブジェクト検出方法等であってもよい。
【０１７０】
以上説明した特徴量算出装置は、この特徴量算出方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【０１７１】
２０１０年３月１９日出願の特願２０１０−６５２４６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１７２】
本発明に係る特徴量算出装置及び特徴量算出方法は、精度高く対象オブジェクトを判別するために有効な特徴量算出装置であり、画像特徴を用いたオブジェクト検出装置やオブジェクト追跡装置等に有用である。用途としては、人物や動物等を検出対象とする場合、映像監視システムや、自動車の運転支援システム、画像や映像への自動アノテーションシステムなどの用途にも適用できる。
【符号の説明】
【０１７３】
１００，２００  特徴量算出装置
１１０  特徴値算出部
１２０，２２０  特徴量算出部
１２１  エッジ方向の組算出部
１２２，２２２  相関値算出部
１３０  ヒストグラム作成部
１４０  ヒストグラム連結部
２２１  ＬＢＰ特徴量算出部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データから対象オブジェクトの特徴量を算出する特徴量算出装置であって、
入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出する特徴値算出部と、
複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するエッジ方向の組算出部と、
前記特徴値算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出する相関値算出部と、
前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するヒストグラム作成部と、
を備える特徴量算出装置。
【請求項２】
前記エッジ方向の組算出部は、
所定の時空間的配置関係にある複数の画素のエッジ方向値の組を前記特徴量として算出し、
前記相関値算出部は、
前記特徴量の算出に用いた前記複数の画素を、前記相関値算出対象画素とする、
請求項１記載の特徴量算出装置。
【請求項３】
前記相関量算出部は、
前記相関値算出対象画素間の画素値の差、及び
前記相関値算出対象画素間のエッジ強度値の差、及び
前記相関値算出対象画素間の時空間的距離のいずれか、又はこれらの組を用いて、前記相関値を算出する、
請求項１記載の特徴量算出装置。
【請求項４】
前記入力画像データが、カラー画像である場合に、
前記特徴値算出部は、
前記カラー画像データから、所定の時空間的配置関係にある複数の画素について、前記カラー画像データの３要素値ごとに、前記エッジ方向値および前記エッジ強度値を算出し、
前記エッジ方向の組算出部は、
前記エッジ強度値が最大値である要素のエッジ方向の組を、前記特徴量として算出し、
前記相関値算出部は、
前記相関値を、前記複数の画素において前記エッジ強度値のうち最大エッジ強度が前記カラー画像データの３要素のうちのいずれの要素から得られたかが一致するか否かに基づいて算出する、
請求項１記載の特徴量算出装置。
【請求項５】
前記エッジ方向の組算出部は、
所定ブロック内の各画素ｖ１に対して、画素ｖ１とＮ個の特定の時空間上の配置関係にある画素ｖ２とのエッジ方向の組を算出する、
請求項１記載の特徴量算出装置。
【請求項６】
前記エッジ方向の組算出部は、
ＹＣｂＣｒ空間のチャンネル毎に、前記特徴量の算出を行う、
請求項１記載の特徴量算出装置。
【請求項７】
全ブロックの前記特徴ベクトルを連結するヒストグラム連結部、を備える、
請求項１記載の特徴量算出装置。
【請求項８】
画像データから対象オブジェクトの特徴量を算出する特徴量算出方法であって、
入力画像データの画素単位の特徴値として、エッジ方向及びエッジ強度を算出するステップと、
複数の画素の前記エッジ方向を組み合わせて、画素間の特徴量としてエッジ方向の組を算出するステップと、
前記特徴量の算出に用いた前記複数の画素の全画素又は所定の画素を相関値算出対象画素とし、前記特徴量毎に、前記相関値算出対象画素間における前記エッジ強度の相関値を算出するステップと、
前記相関値毎に前記特徴量をヒストグラムにカウントし、前記ヒストグラムを特徴ベクトルとして作成するステップと、
を有する特徴量算出方法。
【請求項９】
請求項８に記載の特徴量算出方法の各ステップをコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011114736.tif 000046
【図２】
2011114736.tif 000047
【図３】
2011114736.tif 000048
【図４】
2011114736.tif 000049
【図５】
2011114736.tif 000050
【図６】
2011114736.tif 000051
【図７】
2011114736.tif 000052
【図８】
2011114736.tif 000053
【図９】
2011114736.tif 000054
【図１０】
2011114736.tif 000055
【図１１】
2011114736.tif 000056
【図１２】
2011114736.tif 000057
【図１３】
2011114736.tif 000058
【図１４】
2011114736.tif 000059
【図１５】
2011114736.tif 000060
【図１６】
2011114736.tif 000061
【図１７】
2011114736.tif 000062
【図１８】
2011114736.tif 000063
【図１９】
2011114736.tif 000064
【図２０】
2011114736.tif 000065
【図２１】
2011114736.tif 000066
【図２２】
2011114736.tif 000067
【図２３】
2011114736.tif 000068
【国際調査報告】
2011114736.tif 000069
2011114736.tif 000070