(57)【特許請求の範囲】
【請求項１】
フレーム毎の画像データが入力される画像データ入力部と、
入力された前記画像データの特徴量を算出する特徴量算出部と、
前記画像データをその特徴量に基づいて正規化する正規化処理部と、
所定の大きさの認識領域を画像データ内で画素を間引いて走査するための走査パターンを複数記録した走査パターン記録部と、
前後するフレームに対して異なる前記走査パターンを設定する走査パターン設定部と、
フレーム毎の正規化した画像データを前記認識領域毎に、前記走査パターン設定部がそのフレームに設定した前記走査パターンを用いて走査する走査部と、
前記走査部が走査した認識領域内の画像データと認識対象のモデルデータとの照合を行ってその照合結果を出力する照合部と、
を有することを特徴とする画像認識装置。
【請求項２】
フレーム毎の画像データが入力される画像データ入力部と、
画像データの特徴量に対応付けた複数の種類の正規化パターンを予め記録している正規化パターン記録部と、
入力された前記画像データの特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量に対応する正規化パターンを前記正規化パターン記録部から選択する正規化パターン選択部と、
前記正規化パターン選択部が選択した正規化パターンを用いて前記画像データを正規化する正規化処理部と、
所定の大きさの認識領域を画像データ内で画素を間引いて走査するための走査パターンを複数記録した走査パターン記録部と、
前後するフレームに対して異なる前記走査パターンを設定する走査パターン設定部と、
フレーム毎の正規化した画像データを前記認識領域毎に、前記走査パターン設定部がそのフレームに設定した走査パターンを用いて走査する走査部と、
前記走査部が走査した認識領域内の画像データと認識対象のモデルデータとの照合を行ってその照合結果を出力する照合部と、
を有することを特徴とする画像認識装置。
【請求項３】
フレーム毎の画像データが入力される画像データ入力部と、
所定の大きさの認識領域を画像データ内で画素を間引いて走査するための走査パターンを複数記録した走査パターン記録部と、
前後するフレームに対して異なる前記走査パターンを設定する走査パターン設定部と、
フレーム毎の画像データを前記認識領域毎に、そのフレームに設定した走査パターンを用いて走査する走査部と、
前記認識領域の画像データの特徴量を算出する特徴量算出部と、
画像データの特徴量に対応付けた複数の種類の正規化パターンを予め記録している正規化パターン記録部と、
前記特徴量算出部が算出した特徴量に対応する正規化パターンを前記正規化パターン記録部から選択する正規化パターン選択部と、
前記正規化パターン選択部が選択した正規化パターンを用いて前記認識領域の画像データを正規化する正規化処理部と、
前記走査部が走査した後、前記正規化処理部が正規化した認識領域内の画像データと認識対象のモデルデータとの照合を行い、照合結果を出力する照合部と、
を有することを特徴とする画像認識装置。
【請求項４】
前記画像データ入力部に入力された画像データの画素値を累計した積分画像データを算出する積分画像データ算出部を有し、
前記特徴量算出部は前記積分画像データを用いて、前記認識領域の画像データの特徴量を算出することを特徴とした請求項３に記載の画像認識装置。
【請求項５】
前記特徴量は画素値の平均または分散であることを特徴とした請求項１乃至請求項４のいずれかに記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象物の存在を検出するための認識処理を行う画像認識装置に関するものである。
【背景技術】
【０００２】
従来の画像認識装置においては、画像データ内の画素を間引くことにより認識処理の高速化を行う際に、認識対象の大きさに応じて画素の間引き幅を設定し、設定された間引き幅で認識領域内の画像を走査していた（例えば特許文献１参照）。
【０００３】
また、従来の画像認識装置においては、検出精度に対する輝度変化への耐性を強めるために画像全体あるいは認識領域に輝度の階調補正等の正規化処理を行っていたが、正規化処理を行うパラメータを求めるために画像全体あるいは認識領域内における画素値等の特徴量を算出し、この算出した特徴量に応じた補正テーブルを生成し、正規化処理を行っていた。
【０００４】
【特許文献１】特開２０００−９９７２４号公報（第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の画像認識装置では、間引き幅が一度設定されるとそのまま固定されるために、間引き幅内に認識対象が存在する場合には認識対象を発見できない場合が生じるといった問題があった。
【０００６】
また、従来の画像認識装置では、画像全体あるいは認識領域内の画像の画素値を正規化処理するためのアルゴリズムが固定されており、また、画素が多くなると演算量も無視できないといった問題があった。
【課題を解決するための手段】
【０００７】
本発明の画像認識装置は上述のような課題を解決するためになされたものであり、フレーム毎の画像データが入力される画像データ入力部と、入力された前記画像データの特徴量を算出する特徴量算出部と、画像データをその特徴量に基づいて正規化する正規化処理部と、所定の大きさの認識領域を画像データ内で画素を間引いて走査するための走査パターンを複数記録した走査パターン記録部と、前後するフレームに対して異なる走査パターンを設定する走査パターン設定部と、フレーム毎の正規化した画像データを認識領域毎に、走査パターン設定部がそのフレームに設定した走査パターンを用いて走査する走査部と、走査部が走査した認識領域内の画像データと認識対象のモデルデータとの照合を行ってその照合結果を出力する照合部と、を有することを特徴とするものである。
【発明の効果】
【０００８】
この発明は、認識領域を画像データ内で画素を間引いて走査する際の走査順および間引き幅を指定する走査パターンを複数記録している走査パターン記録部を有し、前後するフレームで異なる種類の走査パターンに基づいて認識領域を画像データ内で走査することにより、１フレームあたりの認識処理に要する演算量を軽減することが可能であり、かつ、各走査パターンで間引いた画素を別の走査パターンで補うことができるので、認識精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明を実施するための実施の形態１における画像認識装置の構成図である。図１において、図示しない撮像装置からの映像信号をディジタル化することで入力部１へ入力された画像データは特徴量算出部２および正規化処理部４へ転送される。特徴量算出部２は、１フレーム毎にこの画像データの全画素の平均値や分散等の特徴量を算出し、正規化パターン選択部３へと送信する。正規化パターン記録部８には複数の種類の正規化パターンのルックアップテーブルが記録されており、正規化パターン選択部３は正規化パターン記録部８に記録されているルックアップテーブルを参照し、特徴量算出部２が算出した特徴量に対応する正規化パターンを選択してメモリ（図示せず）に展開する。正規化処理部４はこのメモリ内に展開された正規化パターンを用いて、画像データを正規化する。走査パターン設定部６はフレーム毎に走査パターン記録部９内の走査パターンを設定する。走査部５は、走査パターン設定部６が設定した走査パターンに基づいて走査部５において認識領域を走査する。照合部７は走査部５で走査した認識領域内の画像データと認識対象のモデルデータとの照合を行い、照合結果を出力する。
【００１０】
次に、このように構成された画像認識装置の動作について図２を用いて説明する。図２はこの実施の形態１における画像認識装置の動作を示すフロー図である。まず、入力部１へはフレーム毎に画像データが入力される（ｓｔ１０１）。入力部１へ入力されたフレームの画像データは特徴量算出部２および正規化処理部４へ転送される（ｓｔ１０２）。特徴量算出部２は転送された画像データの特徴量をフレーム毎に算出する（ｓｔ１０３）。ここでは、特徴量として画像データ内の全画素値の平均値を算出する場合について説明するが、特徴量は画素値の分散、ヒストグラム、最小値、最大値等であっても良い。また、ここでは画像データの各画素値は０〜２５５の８ビットで表現されるものとする。さらにまた、特徴量としての画素の平均値はＩＮＴ型で定義されるものとし、小数点以下は丸め込まれ０〜２５５の整数値をとるものとする。
【００１１】
正規化パターン選択部３は、特徴量算出部２が算出した特徴量に対応する正規化パターンを正規化パターン記録部８に記録されているルックアップテーブルを参照して選択し、メモリに展開する（ｓｔ１０４）。図３に正規化パターン記録部８に記録されている特徴量を画素の平均値としたときのルックアップテーブルを示す。図３において、ルックアップテーブル１００には、０〜２５５の特徴量に対応して複数の種類の正規化パターンが記録されている。各正規化パターンは数種類の関数を組み合わせることで構成することが可能であり、例えば１次関数、２次関数、三角関数、指数関数などを組み合わせて、予め特徴量に応じたパターンが構成されている。例えば、特徴量算出部２が算出した特徴量が０の場合は、正規化パターン１０１が、２５２の場合は正規化パターン１０２が、２５５の場合は正規化パターン１０３がそれぞれ選択され、メモリに展開される。正規化パターン１０１、１０２、１０３において、横軸は正規化処理前の画素値、縦軸は正規化処理後の画素値を示している。
【００１２】
また、特徴量として画素の分散値を用いた場合には、上記の平均値の場合と同様に、各分散値に対応した正規化パターンを持つルックアップテーブルを作成しておけばよい。
【００１３】
次に、正規化処理部４は正規化パターン選択部３が選択し、メモリに展開した正規化パターンを用いて画像データの画素値を変換することにより正規化処理を行う（ｓｔ１０５）。このように、予め画像データの特徴量に応じて画素値を変換した結果である正規化パターンをルックアップテーブルとして正規化パターン記録部８に記録しておくことにより、正規化処理を行う際に演算処理を行う必要がなくなる。また、正規化パターン選択部３は特徴量に応じて正規化パターンを選択するので、撮影時の照明変化に柔軟に対応することが可能である。
【００１４】
次に、走査パターン設定部６は走査パターン記録部９に記録されている通りに走査パターンを設定する（ｓｔ１０６）。走査部５は走査パターン設定部６が設定した走査パターンに基づいて認識領域を走査する（ｓｔ１０７）。
【００１５】
ここで、認識領域の走査の手法について説明する。走査パターン記録部９には、図４に示すように、使用走査パターン数、走査パターン順序、走査パターンが記録されている。走査パターン数は使用する走査パターンの数を示し、走査パターン順序は使用する走査パターンの順番を示している。また、走査パターンはパターンＩＤ、座標数、座標テーブルから構成されている。パターンＩＤはこの走査パターンを特定するためのＩＤを示すものであり、座標数は１フレームの画像データに適用する認識領域の数を示すものである。また、座標テーブルは画像データ内のｘ座標、ｙ座標を表す座標値を座標数の数だけ含むものであり、各座標値は画像データ内の認識領域の位置を示すものである。
【００１６】
走査部５は、正規化処理された画像データに対して、走査パターン順序で指定されたパターンＩＤを持つ走査パターンを用いて認識領域を走査する。ここでは、説明の都合上、使用走査パターン数が３で、検出パターン順序が１，２，３の順であり、各フレームの画像データの大きさが横８×縦１０の８０画素で、認識領域の大きさが横２×縦２の４画素である場合について説明するが、これらは適当な値に設定することが可能である。
【００１７】
走査部５は、先頭の検出パターン順序が１であるので、最初に入力されたフレームの画像データに対しては、パターンＩＤが１である走査パターン２１に基づいて認識領域の走査を行う。また、次に入力されたフレームの画像データに対しては、パターンＩＤが２である走査パターン２２に、さらにその次に入力されたフレームの画像データに対してはパターンＩＤが３である走査パターン２３に基づいて認識領域の走査を行う。このように、走査パターン順序に指定された順序で各走査パターンに基づいて認識領域の走査を行う。
【００１８】
図５は、走査パターン２１に基づいて認識領域の走査をするときの走査順を示す図である。図５の各ブロックは画像データ内の画素を示すものである。数字が付された画素は、座標テーブル内の座標値によって指定されていることを示している。また、数字の順序は座標テーブル内の座標値の順序に対応している。すなわち、走査パターンデータ２１内の座標テーブルの最初の座標値（ｘ１−１，ｙ１−１）は、１を付した画素の画像データ内における座標であり、次の座標値（ｘ１−２，ｙ１−２）は２を付した画素の画像データ内における座標である。今、走査パターン２１の座標数は２０であるので画像データ内の画素には１から２０までの数字を付してある。
【００１９】
次に、走査部５は座標テーブルに記録された座標値の順番で認識領域の走査を行う。このとき、各座標値は認識領域の左上端の座標を示すものである。最初に図５における１の位置を認識領域の左上端とする斜線で示す位置に認識領域が設定される。次に、２の位置を認識領域の左上端とする位置に認識領域が設定される。座標数の回数、ここでは２０回これらの動作を繰り返し、認識領域の走査を行う。
【００２０】
そして、次フレームの画像データに対しては、走査部５は走査パターン２２に基づいて同様の動作を繰り返し、認識領域の走査を行う。図６に走査パターン２２に基づいて認識領域を走査するときの走査順を示す。図６から明らかなように、走査パターン２２は座標数が１６であり、座標テーブル内の各座標値（ｘ２−１，ｙ２−１）〜（ｘ２−１６，ｙ２−１６）は走査パターン２１の座標テーブル内の座標値（ｘ１−１，ｙ１−１）〜（ｘ１−１６，ｙ１−１６）を１画素ずつ下方へずらしたものとなっている。
【００２１】
このように、連続したフレームに対して異なる走査パターンに基づいて認識領域の走査を行うことにより、各走査パターンで間引いた画素を別の走査パターンで補うことができ、認識精度を向上させることが可能となる。
【００２２】
また、例えば図７に示すように画像データの中心から螺旋状に認識領域を走査するような走査パターンを走査パターン記録部９に記録させておけば、認識対象が画像の中心に存在する可能性が高い場合に有効な認識領域の走査順を与えることが可能である。このように、ユーザが目的に応じて認識領域の走査順を設定することが可能となる。
【００２３】
また、ここでは走査パターン順序が予め設定してある場合について説明したが、これらの順序は特に決められていなくても良い。すなわち、走査パターン記録部９に記録されている走査パターンをランダムに選択するような構成にしても良い。
【００２４】
次に、照合部７は、走査部５が走査する認識領域内の画像データと認識対象のモデルデータとの照合を行う（ｓｔ１０８）。この照合の手法は、例えば画像相関を求める手法や、以下の手法がある。
【００２５】
例えば、物体の特徴を学習したデータをレクタングルフューチャ（Rectangle Feature：Rf）と呼ぶ特徴量として抽出する。物体の特徴は、Rectangle Featureを組み合わせたクラシファー（Classifier）と呼ばれる判別関数を用いて表現する。具体的には、（数１）に示すように、各Rectangle Featureの値（Rf(i)）が閾値（th）を超えたか否かに応じて重み（pv又はnv）を与える。次に、（数２）に示すような全てのRectangle Featureの重みの総和（Cls）を定義し、（数３）に示すように、この総和がある閾値（th２）を超えた場合にこれを認識対象（object）、超えない場合は、非認識対象（nonobject）と判断する。この判断結果を、照合結果として出力する（ｓｔ１０９）。
【００２６】
【数１】
0004670664.tif 000002
【００２７】
【数２】
0004670664.tif 000003
【００２８】
【数３】
0004670664.tif 000004
【００２９】
本実施の形態１の画像認識装置においては、入力される画像データの各画素値が０〜２５５の８ビットで表現されるグレースケールの画像について説明したが、各画素値がＲ、Ｇ、Ｂがそれぞれ８ビットの合計２４ビットで表現されるフルカラー等の画像であっても良い。この場合、ｓｔ１０３で画像データの特徴量として画素値の平均値を求める場合、各色毎の画素値の平均値を求め、ｓｔ１０４で正規化パターンを選択する際には、各色の特徴量に応じて異なる種類の正規化パターンを選択することにより、同様の効果を奏する。
【００３０】
また、正規化パターン記録部８に記録されているルックアップテーブルの正規化パターンは全ての特徴量ごとに異なる正規化パターンであっても良いし、特徴量の範囲によって同じ正規化パターンであっても良い。このように、ある程度の特徴量の範囲で同じ正規化パターンを使用することにより、正規化パターン記録部８のメモリ容量を削減することが可能となる。
【００３１】
実施の形態２．
図８は、この発明を実施するための実施の形態２における画像認識装置の構成図であり、図１に対応する部分に同一番号を付したものである。図８において、入力部１に入力された画像データは走査部５および積分画像データ算出部１０へと転送される。走査パターン設定部６はフレーム毎に走査パターン記録部９内の走査パターンを設定し、走査部５は設定された走査パターンに基づき、認識領域を走査する。また、積分画像データ算出部１０はフレーム毎の画像データの積分画像データを算出する。特徴量算出部２はこの積分画像データを用いて、認識領域内の画像データの特徴量を算出する。正規化パターン選択部３は正規化パターン記録部８に記録されているルックアップテーブルを参照し、特徴量算出部２が算出した特徴量に対応する正規化パターンを選択してメモリ（図には表示せず）に展開する。正規化処理部４はこのメモリ内に展開された正規化パターンを用いて、認識領域内の画像データを正規化する。照合部７は、この正規化された画像データと認識対象のモデルデータとの照合を行い、照合結果を出力する。
【００３２】
次にこのように構成された画像認識装置の動作について図９を用いて説明する。図９は本実施の形態２における画像認識装置の動作を示すフロー図である。まず、入力部１へフレーム毎の画像データが入力される（ｓｔ２０１）。入力部１へ入力された画像データは走査部５および積分画像データ算出部１０へ転送される（ｓｔ２０２）。走査パターン設定部６はｓｔ１０６（図２参照、以下同じ）と同様に走査パターン記録部９に記録されている走査パターンに基づいて走査パターンを設定する（ｓｔ２０３）。また、ｓｔ１０７と同様に走査部５は設定された走査パターンに基づいて認識領域を走査する（ｓｔ２０４）。
【００３３】
一方、積分画像データ算出部１０は入力部１から転送された画像データの積分画像データを算出する（ｓｔ２０５）。ここで、積分画像データとは画像データに対して、水平垂直方向に画素値の累計を求めた画像データである。元の画像データの画素値をＩ（ｘ，ｙ）とした時、積分画像データＩ’（ｘ，ｙ）は（数４）で示される。
【００３４】
【数４】
0004670664.tif 000005
【００３５】
例えば、元の画像データが図１０に示すような画素値を有する画像データである場合、この画像データの積分画像データは図１１に示すものになる。
【００３６】
次に、特徴量算出部２は積分画像データを用いて、認識領域内の画像データの特徴量を算出する（ｓｔ２０６）。ここで、特徴量を画素値の平均とした場合、認識領域内の画素値の和を算出する必要がある。今、認識部５が認識する認識領域が図１２に示すように斜線を付した領域に設定されているものとし、Ａ，Ｂ，Ｃ，Ｄの画像データ内の座標がそれぞれ、（ｘＡ，ｙＡ），（ｘＢ，ｙＢ），（ｘＣ，ｙＣ），（ｘｄ，ｙｄ）であるとする。すると、認識領域内の画素値の和Ｓは（数５）によって求めることができる。
【００３７】
【数５】
0004670664.tif 000006
このように、積分画像データを用いることにより、任意の矩形領域の画素値の和を求めることが容易となり、特徴量算出部２における演算量を減少させることが可能となる。
【００３８】
次に、ｓｔ１０４と同様に正規化パターン選択部３は特徴量算出部２が算出した特徴量に対応する正規化パターンを正規化パターン記録部８に記録されているルックアップテーブルを参照して選択し、メモリに展開する（ｓｔ２０７）。正規化処理部４は、認識領域内の画像データに対してｓｔ１０５と同様の操作で正規化処理を行う（ｓｔ２０８）。その後、照合部７はｓｔ１０８、ｓｔ１０９と同様の手順で、モデルデータとの照合を行い（ｓｔ２０９）、照合結果を出力する（ｓｔ２１０）。
【００３９】
本実施の形態２における画像認識装置においては、認識領域の単位で画像データの正規化処理を行うために、局所的な照明変化への耐性が強くなり、認識精度を向上させることができるという効果を奏する。
【００４０】
また、本実施の形態では特徴量として画像データの画素値の平均値を用いた場合について説明したが、特徴量としては画素値の分散であっても良い。この場合、ｓｔ２０５で積分画像データを求めるとともに、画像データの各画素値を２乗した上で水平垂直方向に画素値の累計を求めた２乗積分画像データを求め、積分画像データおよび２乗積分画像データを使用して、認識領域内の画素値の分散値ｖを算出すればよい。分散値ｖは（数６）により算出することが可能である。
【００４１】
【数６】
0004670664.tif 000007
（数６）において、
ＳＳ：認識領域内の２乗積分画像データの和
Ｓ：認識領域内の積分画像データの和
ｎ：認識領域内の画素の総数
である。
【００４２】
このように、特徴量として画素値の分散値を使用する場合であっても、特徴量算出部２での演算量を軽減することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】この発明の実施の形態１における画像認識装置を示す構成図である。
【図２】この発明の実施の形態１における画像認識装置の動作を示すフロー図である。
【図３】正規化パターン記録部のルックアップテーブルを示す図である。
【図４】走査パターン記録部の走査パターンを示す図である。
【図５】認識領域の走査順を示す図である。
【図６】認識領域の走査順を示す図である。
【図７】認識領域の走査順を示す図である。
【図８】この発明の実施の形態２における画像認識装置を示す構成図である。
【図９】この発明の実施の形態２における画像認識装置の動作を示すフロー図である。
【図１０】画像データの画素値を示す図である。
【図１１】積分画像データを示す図である。
【図１２】画像データに認識領域を設定した状態を示す図である。
【符号の説明】
【００４４】
１  入力部、２  特徴量算出部、３  正規化パターン選択部、４  正規化処理部、５  走査部、６  走査パターン設定部、７  照合部、８  正規化パターン記録部、９  走査パターン記録部、１０  積分画像データ算出部
【図１】
0004670664.tif 000008
【図２】
0004670664.tif 000009
【図３】
0004670664.tif 000010
【図４】
0004670664.tif 000011
【図５】
0004670664.tif 000012
【図６】
0004670664.tif 000013
【図７】
0004670664.tif 000014
【図８】
0004670664.tif 000015
【図９】
0004670664.tif 000016
【図１０】
0004670664.tif 000017
【図１１】
0004670664.tif 000018
【図１２】
0004670664.tif 000019