(57)【特許請求の範囲】
【請求項１】
画像上の各部分の輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定し、さらに、輝度勾配方向を整理して画像特徴量を構成する画像特徴量抽出装置において、
前記輝度勾配強度の密度は、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで計算することを特徴とする画像特徴量抽出装置。
【請求項２】
請求項１において、画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置として特定し、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定することを特徴とする画像特徴量抽出装置。
【請求項３】
請求項１又は２において、輝度勾配強度の密度を計算するためインテグラルイメージを利用することを特徴とする画像特徴量抽出装置。
【請求項４】
請求項３において、前記インテグラルイメージは、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること又は前記座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること特徴とする画像特徴量抽出装置。
【請求項５】
画像データを入力する画像入力部と、
前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、
前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、
前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、
前記インテグラルイメージ作成部で求めたインテグラルイメージを利用して、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで輝度勾配強度の密度を計算し、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、
前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、
前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、
を備えることを特徴とする画像特徴量抽出装置。
【請求項６】
画像データを入力する画像入力部と、
前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、
前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、
前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、
前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する傾斜インテグラルイメージ作成部と、
前記インテグラルイメージ作成部及び前記傾斜インテグラルイメージ作成部で求めたインテグラルイメージの双方を利用して、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで求めた二つの輝度勾配強度の密度の平均値を計算し、この平均値である輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、この平均値である輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、
前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、
前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、
を備えることを特徴とする画像特徴量抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置に関するものである。
【背景技術】
【０００２】
画像中から対象物を検出するための画像特徴量抽出方法として以下の方法が提案されている。
非特許文献１では、複数サイズのエッジ検出フィルタを用意し、このフィルタの反応により画像特徴量の位置とサイズを特定し、特定した位置周辺の各画素における輝度勾配を基に局所的な模様を数値化し、特徴量として記述した。
【０００３】
特許文献１では、自動車両からの距離が不明な検出対象を識別するため、事前の学習における検出対象の大きさを基に入力画像を拡大縮小した複数枚のサイズ変更画像を用意し、サイズ変更画像において部分領域の輝度差を基にした画像特徴量を抽出した。さらに、画像特徴量の計算を高速化するためにインテグラルイメージを利用した。インテグラルイメージとは、矩形領域の４角の画素値を加減算することで特徴量が導出されるように、変換前画像の各画素値を演算した結果を、その変換前画像の画素の配列に従って配置したデータである。
【０００４】
特許文献２では、鼻頂点のような顔特徴点を検出するため、まず瞳の位置を求め、瞳の間隔を基に顔特徴点のスケールを決定し、スケールに応じた顔特徴点近傍の周辺バターンを画像特徴量とした。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９８３６１号公報
【特許文献２】特開２００８−１４６３２９号公報
【非特許文献】
【０００６】
【非特許文献１】「”Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−”，藤吉弘亘，情報処理学会研究会報告，２００７−ＣＶＩＭ−１６０，ｐｐ．２１１−２２４」
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１の方法では、画像特徴量のサイズを特定するため複数サイズのエッジ検出フィルタを用意し、これら複数のフィルタを繰り返し画像上の各点に適用してフィルタ出力を調査するため、画像特徴量のサイズ特定に処理時間を要すると共に、フィルタ出力結果を保管する記憶容量が必要となる。
【０００８】
特許文献１の方法では、自動車両からの距離が不明な検出対象を識別するため、つまり、画像上でのサイズが不明な検出対象を識別するため、入力画像のサイズを変更した複数サイズのサイズ変更画像を用意するため、サイズ変更画像を作成する手間と保管する記憶容量が必要となる。
【０００９】
特許文献２の方法では、瞳の間隔を基に画像特徴量のスケールを決定するため、顔以外の検出対象には適用できない。
【課題を解決するための手段】
【００１０】
上記課題を解決する本発明の請求項１に係る画像特徴量抽出装置は、画像上の各部分の輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定し、さらに、輝度勾配方向を整理して画像特徴量を構成する画像特徴量抽出装置において、前記輝度勾配強度の密度は、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで計算することを特徴とする。
【００１１】
上記課題を解決する本発明の請求項２に係る画像特徴量抽出装置は、請求項１において、画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置として特定し、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定することを特徴とする。
【００１３】
上記課題を解決する本発明の請求項３に係る画像特徴量抽出装置は、請求項１又は２において、輝度勾配強度の密度を計算するためインテグラルイメージを利用することを特徴とする。
【００１４】
上記課題を解決する本発明の請求項４に係る画像特徴量抽出装置は、請求項３において、前記インテグラルイメージは、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること又は前記座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること特徴とする。
【００１５】
上記課題を解決する本発明の請求項５に係る画像特徴量抽出装置は、画像データを入力する画像入力部と、前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、前記インテグラルイメージ作成部で求めたインテグラルイメージを利用して、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで輝度勾配強度の密度を計算し、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする。
【００１６】
上記課題を解決する本発明の請求項６に係る画像特徴量抽出装置は、画像データを入力する画像入力部と、前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する傾斜インテグラルイメージ作成部と、前記インテグラルイメージ作成部及び前記傾斜インテグラルイメージ作成部で求めたインテグラルイメージの双方を利用して、予め設定された画像特徴量のサイズの範囲である最小サイズ及び最大サイズ、画像特徴量のサイズを調査する刻み幅に基づき、画像上の注目点を中心とした前記最小サイズから前記最大サイズまで前刻み幅毎のサイズに応じた正方形範囲における輝度勾配強度の総計を前記正方形範囲の面積で割ることで求めた二つの輝度勾配強度の密度の平均値を計算し、この平均値である輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、この平均値である輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする。
【発明の効果】
【００１７】
（１）画像処理により高速に対象物検出のための画像特徴量を抽出することができる。
（２）画像特徴量の抽出において処理の中間データの記憶容量を小さく抑えることができる。
（３）画像上の検出対象のサイズに対応した画像特徴量を抽出することができる。
（４）インテグラルイメージを利用すると、輝度勾配強度の密度を高速に計算することができ、座標軸に対して傾斜したインテグラルイメージを利用すると、対象物の見え方が大きく回転した場合でも、安定して高速に対象物検出のための特徴量を抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】図１（ａ）は横方向のｓｏｂｅｌフィルタの例を示す説明図、図１（ｂ）は縦方向のｓｏｂｅｌフィルタの例を示す説明図である。
【図２】図２画像上の注目点に周辺サイズに対する輝度勾配強度密度の変化を調べる例の説明図であり、図２（ａ）はピークがある例を、図２（ｂ）はピークがない例を示す。
【図３】輝度勾配方向のヒストグラムを作成し画像特徴量全体の回転方向を決定する例の説明図である。
【図４】輝度勾配方向累計データの例を示す説明図である。
【図５】本発明の第１の実施例に係る画像特徴量抽出のフローチャートである。
【図６】本発明の第１の実施例に係る画像特徴量抽出装置のブロック図である。
【図７】本発明の第２の実施例に係る輝度勾配強度密度の計算方法の模式図である。
【図８】本発明の第２の実施例に係る画像特徴量抽出装置のブロック図である。
【発明を実施するための形態】
【００１９】
＜基本的な考え方＞
本発明の目的は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置を提供することである。特に自動搬送車等の移動体にカメラを搭載した場合、検出対象とカメラとの間隔が近距離から遠距離まで大きく変動することが多い。
【００２０】
このような場合においても、検出対象の画像上のサイズに適応して画像特徴量の位置とサイズを特定し、画像特徴量を抽出する必要がある。
そこで本発明では、非特許文献１の方法の複数サイズのエッジ検出フィルタの出力により画像特徴量のサイズを特定する部分に代えて、輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定する。
【００２１】
本発明では、次の手順により画像特徴量を抽出する。(1)画像を平滑化する。(2)画像上の輝度勾配強度と輝度勾配方向を求める。(3)画像特徴量の位置とサイズを特定する。(4)画像特徴量全体の回転方向を決定する。(5)画像特徴量を構成する。
それぞれの手順について説明する。
【００２２】
（１）画像を平滑化する。
平滑化の方法については、平滑化する位置の周辺の輝度情報を基に平均化する方法や、ガウシアンフィルタをかける方法等を用いる。
【００２３】
（２）画像上の輝度勾配強度と輝度勾配方向を求める。
先ず、図１（ａ）（ｂ）に示すように、横方向と縦方向のそれぞれのＳｏｂｅｌフィルタを画像にかけ、横方向と縦方向それぞれの微分画像を求める。横方向微分画像のある点の値をＩｘ、また、縦方向微分画像のある点の値をＩｙとすると、ある点における輝度勾配強度Ｍと輝度勾配方向θはそれぞれ次のように求められる。
【００２４】
【数１】
0006044180.tif 000002
【００２５】
（３）画像特徴量の位置とサイズを特定する。
予め画像特徴量のサイズの範囲（最小サイズと最大サイズ）、および、画像特徴量のサイズを調査する刻み幅（サイズ刻み幅）を設定しておく。
画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。
【００２６】
ここで、輝度勾配強度の密度は、図２（ａ）（ｂ）に示すように、注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで計算する。例えば、図２（ａ）左部に示すように、画像上に対象物である模様「あ」が有るために、同右部に示すように、サイズに対する輝度勾配強度密度のグラフにピークが存在する。一方、図２（ｂ）左部に示すように、画像上に模様が無いため、同右部に示すように、勾配強度密度のグラフにピークが存在しない。
【００２７】
本発明では、輝度勾配強度の密度を高速に計算するためインテグラルイメージを利用することができる。
インテグラルイメージは、矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工したデータである。
本発明では輝度勾配強度についてインテグラルイメージを作成しておき、注目点の正方形範囲における輝度勾配強度の総計の計算はインテグラルイメージを用いて行う。
【００２８】
（４）画像特徴量全体の回転方向を決定する。
図３左上部に示すように、画像特徴量の位置を中心とし画像特徴量のサイズを幅とする正方形範囲を設定し、図３右上部に示すように、その正方形範囲内における輝度勾配方向のヒストグラムを作成する。こうして作成した輝度勾配方向ヒストグラムで最も累積数が高い方向を、図３左下部に左斜め上向き方向の矢印で示すように、画像特徴量全体の回転方向として決定する。このヒストグラムの作成には先の手順（２）で求めておいた輝度勾配方向θのデータを用いる。尚、図３右上部は、輝度勾配方向に関する累積数であるヒストグラムを折れ線グラフで表したものである。
【００２９】
（５）画像特徴量を構成する。
図４左上部に示すように、画像特徴量の位置を中心とし、図中矢印で示す画像全体の回転方向（左斜め上向き方向）に平行な画像特徴量のサイズを幅とする正方形範囲を設定する。この正方形範囲をさらに４×４分割して升目状の小領域を設定する。
【００３０】
図４右上部に示すように、この小領域毎に輝度勾配方向ヒストグラムを作成する。更に、図４下部に示すように、小領域毎の輝度勾配方向ヒストグラムを順番に並べた輝度勾配方向累計データを作成する。尚、図４右上部、下部は、図３右上部と同様に、輝度勾配方向に関する累積数であるヒストグラムを折れ線グラフで表したものである。
この輝度勾配方向累計データと、先に求めておいた画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量として構成する。
【００３１】
この輝度勾配方向累計データは高次元ベクトルとして表現される。小領域毎の輝度勾配方向ヒストグラムを作るための方向の分割数はパラメータで予め設定しておく。
尚、高次元ベクトルとして表現される輝度勾配方向累計データを省略し、画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量として構成することもできるものとし、更には、画像特徴量の位置・サイズと輝度勾配方向を整理して画像特徴量として構成することもできるものとする。
【実施例１】
【００３２】
本発明の第１の実施例に係る画像特徴量抽出装置を図６に示す。図６に示すように、本実施例の画像特徴量抽出装置は、画像入力部１０、画像平滑化部２０、輝度勾配強度・輝度勾配方向計算部３０、インテグラルイメージ作成部４０、画像特徴量の位置・サイズ特定部５０、画像特徴量全体の回転方向決定部６０、画像特徴量構成部７０、処理設定部８０、データ出力部９０、記憶部１００から構成する。
【００３３】
画像入力部１０では、画像データを入力し記憶部１００へ保管する。
画像平滑化部２０では、画像入力部１０より入力された入力画像を平滑化した画像を作成する。
【００３４】
輝度勾配強度・輝度勾配方向計算部３０では、前述した［数１］に基づいて、画像平滑化部２０により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像Ｉｘ，Ｉｙを求め、それぞれの微分画像Ｉｘ，Ｉｙを用いて画像上の各点における輝度勾配強度Ｍと輝度勾配方向θを求める。
【００３５】
インテグラルイメージ作成部４０では、輝度勾配強度に関するインテグラルイメージを作成する。詳しくは、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する。
【００３６】
画像特徴量の位置・サイズ特定部５０では、インテグラルイメージ作成部４０で作成したインテグラルイメージを利用し、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する。即ち、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。
但し、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで計算する。本実施例では、この輝度勾配強度の密度を高速に計算するため、インテグラルイメージ作成部４０で求めたインテグラルイメージを利用するが、輝度勾配強度・輝度勾配方向計算部３０により求められた輝度勾配強度Ｍに基づいても良い。
【００３７】
画像特徴量全体の回転方向決定部６０では、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置を中心とした近傍の輝度勾配方向θを調べ、最も多い輝度勾配方向θを画像特徴量全体の回転方向として決定する。即ち、画像特徴量の位置を中心とし画像特徴量のサイズを幅とする正方形範囲を設定し、その正方形範囲内における輝度勾配方向θのヒストグラムを作成し、作成した輝度勾配方向ヒストグラムで最も累積数が高い方向を画像特徴量全体の回転方向として決定する。輝度勾配方向θは、輝度勾配強度・輝度勾配方向計算部３０で求められたものを用いる。
【００３８】
画像特徴量構成部７０では、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置を中心とし、画像特徴量全体の回転方向決定部６０で求めた画像全体の回転方向に平行な画像特徴量のサイズを幅とする正方形範囲を設定し、この正方形範囲をさらに４×４分割した小領域を設定し、この小領域毎に輝度勾配方向ヒストグラムを作成し、さらに小領域毎の輝度勾配方向ヒストグラムを順番に並べた輝度勾配方向累計データを作成し、この輝度勾配方向累計データを高次元ベクトルとして表現し、この高次元ベクトルと画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量を構成する。なお、画像特徴量構成部７０は、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置・サイズ、画像特徴量全体の回転方向決定部６０で求めた画像特徴量全体の回転方向を整理して画像特徴量を構成しても良い。
【００３９】
処理設定部８０では、画像特徴量のサイズの範囲、サイズ刻み幅、輝度勾配方向ヒストグラムを作るための方向の分割数等の処理パラメータを設定する。
データ出力部９０では、画像特徴量データの外部への出力を行う。
記憶部１００では、各種データの保管を行う。
【００４０】
本実施例に係る画像特徴量抽出のフローチャートを図５に示す。
図５に示すように、先ず、画像入力部１０により、画像データを入力し（ステップＳ１）、画像平滑化部２０により、入力画像を平滑化した画像を作成する（ステップＳ２）。
次に、輝度勾配強度・輝度勾配方向計算部３０により、平滑化した入力画像上の各点における輝度勾配強度Ｍと輝度勾配方向θを求める（ステップＳ３）。
【００４１】
その後、画像特徴量の位置・サイズ特定部５０により、輝度勾配強度Ｍに基づき、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する（ステップＳ４）。なお、インテグラルイメージ作成部４０で求めたインテグラルイメージを利用しても良い。
引き続き、画像特徴量全体の回転方向決定部６０により、画像特徴量の位置を中心とした近傍の輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する（ステップＳ５）。
【００４２】
更に、画像特徴量構成部７０により、画像特徴量の位置を中心とし、画像全体の回転方向に平行な画像特徴量のサイズを幅とする正方形範囲を設定し、この正方形範囲における輝度勾配方向を高次元ベクトルとして表現し、この高次元ベクトルと画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量を構成する（ステップＳ６）。
【００４３】
本装置の効果としては、画像処理により高速に対象物検出のための画像特徴量を抽出することができる。
この効果は本発明の画像特徴量抽出の手順「（３）画像特徴量の位置とサイズを特定する」において、輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定することにより実現している。
【００４４】
例えば、複数サイズのエッジ検出フィルタを用意して画像特徴量の位置とサイズを特定する方法と比較してみる。比較を分かり易くするため、画像上のある１点の検査について、３×３ピクセルから１５１×１５１ピクセルまでの大きさで上下左右に１ピクセルずつの間隔で処理範囲を変化させた場合の、エッジ検出フィルタと輝度勾配強度の密度を求める計算を比較する。
エッジ検出フィルタの場合、画像上のある１点について検査するために、５６３０７５回のかけ算・５６３００１回の足し算・７４回の割り算が必要となる。
【００４５】
本発明で単に輝度勾配強度の密度を求める工夫を用いた場合、画像上のある１点について検査するためには、かけ算の部分が省けるため、５６３００１回の足し算・７４回の割り算で良い。
さらに本発明でインテグラルイメージを利用した場合、画像上のある１点について検査するために、７４回の足し算・１４８回の引き算・７４回の割り算で求めることができる。
これらの計算をＶＧＡサイズの画像上の各点について検査した場合、同じ計算を３１万回繰り返すこととなる。
【００４６】
つまり、本発明では大幅な計算量の削減となり高速化が可能である。また、複数サイズのエッジ検出フィルタを用いる場合、エッジ検出フィルタの結果を保持する中間データが必要となる。
先の例では画像と同じ大きさの７４枚分のエッジ検出結果を一時保存するという大きな中間データの記憶容量が必要となる。これに対して本発明では、エッジ検出結果のような大きな中間データを一時保存しておく必要がない。
【実施例２】
【００４７】
本発明の第２の実施例は、実施例１の考え方に回転方向の変化への強化を追加し、様々な回転変化が有る場合でも、安定して高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置を提供するものである。
自動搬送車等の移動体にカメラを搭載した場合、検出対象が壁や柱または人物等のように立っているものであれば、カメラから見た対象物の回転変化は小さい。
しかしながら、地面や床または天井等に設置されている対象物は全周囲から見る可能性があり、この場合大きな回転変化が発生する。
実施例１では対象物上の画像特徴量の位置とサイズを特定するため、画像上の注目点を中心としたサイズに応じた正方形範囲を基に輝度勾配強度密度を計算した。正方形範囲は対象物が大きく回転した場合、対象物を囲む範囲が異なるため、求めた輝度勾配強度密度が異なる。これは、対象物を４５度ずつ傾けた方向で顕著である。
【００４８】
そこで、本実施例では実施例１の座標軸に平行な正方形範囲に加え、座標軸に対して４５度傾いたインテグラルイメージと正方形範囲を作成し、両方の結果を統合して輝度勾配強度密度を求めることで、対象物の回転変化に対してより均一な輝度勾配強度密度を求める（以降、４５度傾いたインテグラルイメージを「４５度インテグラルイメージ」と、また、４５度傾いた正方形範囲を「４５度正方形範囲」と呼ぶ）。
この模式図を図７に示す。図７に示すように、本実施例は、段落［００２５］〜［００２７］に記載した手順「（３）画像特徴量の位置とサイズを特定する。」を、以下の通り、正方形範囲と４５度正方形範囲を統合した方法に置き換えるものである。
【００４９】
予め画像特徴量のサイズの範囲（最小サイズと最大サイズ）、および、画像特徴量のサイズを調査する刻み幅（サイズ刻み幅）を設定しておく。
画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。
ここで、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲と４５度正方形範囲のそれぞれにおける輝度勾配強度の総計をそれぞれの範囲の面積で割り、２つ正方形範囲から算出した輝度勾配強度の密度の平均を求めることで計算する。
【００５０】
輝度勾配強度の密度を高速に計算するためインテグラルイメージおよび４５度インテグラルイメージを利用することは実施例１と同様である。
本実施例による画像特徴量抽出の処理の流れは実施例１と同様であるため、そのフローチャートも図５に示す実施例１と同様である。
【００５１】
本発明の第２の実施例に係る画像特徴量抽出装置を図８に示す。
図８に示すように、本実施例に係る画像特徴量抽出装置は、画像入力部１０、画像平滑化部２０、輝度勾配強度・輝度勾配方向計算部３０、インテグラルイメージ作成部４０、４５度インテグラルイメージ作成部４５、画像特徴量の位置・サイズ特定部５１、画像特徴量全体の回転方向決定部６０、画像特徴量構成部７０、処理設定部８０、データ出力部９０及び記憶部１００から構成する。
【００５２】
本実施例に係る画像特徴量抽出装置は、基本的には実施例１と同様であり、更に、４５度正方形範囲による輝度勾配密度の計算を追加するため、輝度勾配強度に関する４５度インテグラルイメージを作成する、４５度インテグラルイメージ作成部４５を追加したものである。
即ち、インテグラルイメージ作成部４０は、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、座標軸に対して平行な矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するのに対して、インテグラルイメージ作成部４５は、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、座標軸に対して４５度傾いた矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する。
【００５３】
更に、画像特徴量の位置・サイズ特定部５１では入力データとして４５度インテグラルイメージを追加し、内部の処理として正方形範囲と４５度正方形範囲の結果を統合して輝度勾配強度密度を求める方法を用いる。
即ち、画像特徴量の位置・サイズ特定部５１では、インテグラルイメージ作成部４０で作成したインテグラルイメージ及び４５度インテグラルイメージ作成部４５で作成した４５度インテグラルイメージの双方を利用し、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する。
【００５４】
但し、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲と４５度正方形範囲のそれぞれにおける輝度勾配強度の総計をそれぞれの範囲の面積で割り、算出した２つの輝度勾配強度の密度の平均値を求めることで計算する。
その他の構成については、前述した実施例１と同様であり、同一の構成については同一符号を付して説明を省略する。
本実施例の効果としては、実施例１の効果に加え、対象物の見え方が大きく回転した場合でも、安定して高速に対象物検出のための画像特徴量を抽出することができる。
【産業上の利用可能性】
【００５５】
本発明は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置として広く産業上利用可能なものである。
【符号の説明】
【００５６】
１０  画像入力部
２０  画像平滑化部
３０  輝度勾配強度・輝度勾配方向計算部
４０  インテグラルイメージ作成部
４５  ４５度インテグラルイメージ作成部
５０，５１  画像特徴量の位置・サイズ特定部
６０  画像特徴量全体の回転方向決定部
７０  画像特徴量構成部
８０  処理設定部
９０  データ出力部
１００  記憶部
【図１】
0006044180.tif 000003
【図２】
0006044180.tif 000004
【図３】
0006044180.tif 000005
【図４】
0006044180.tif 000006
【図５】
0006044180.tif 000007
【図６】
0006044180.tif 000008
【図７】
0006044180.tif 000009
【図８】
0006044180.tif 000010