(57)【要約】【課題】パターン認識による歩行者の認識精度を高めること。【解決手段】歩行者認識装置１は、カメラ１７と、カメラにより取得した画像を処理する処理装置２０とを含み、処理装置は、カメラにより取得した画像に基づいて拡大又は縮小によりサイズの異なる少なくとも２枚以上の認識用画像を生成し、該生成した認識用画像それぞれに対してパターンマッチングによるパターン認識を実行することにより歩行者を検出することを特徴とする。【選択図】図２
2013161189.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラにより取得した画像を処理する処理装置とを含み、
前記処理装置は、前記カメラにより取得した画像に基づいて拡大又は縮小によりサイズの異なる少なくとも２枚以上の認識用画像を生成し、該生成した認識用画像それぞれに対してパターンマッチングによるパターン認識を実行することにより歩行者を検出することを特徴とする、歩行者認識装置。
【請求項２】
前記処理装置は、前記生成した認識用画像それぞれに対してパターン認識処理を実行した結果得られる所定領域内の各スコアに関連する各値であって、パターンマッチングの照合度合いを表す各スコアに関連する各値が、所定閾値を越えた場合に、前記所定領域内に歩行者の像が存在すると判断する、請求項１に記載の歩行者認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者認識装置に関する。
【背景技術】
【０００２】
従来から、赤外線カメラから取得した赤外画像を縮小したＮ枚の縮小画像を生成し、赤外画像においてエッジ最短距離の極大値をもつ画素（骨格画素）のそれぞれに対し、その骨格画素に関する推定人物サイズ値（各骨格画素に対しその骨格画素を人物の例えば頭部の中心部であると仮定した場合における人物の大きさ）、または、エッジ最短距離（エッジを構成する画素との最短距離）に基づいて、オリジナルの赤外画像、または、縮小画像のいずれかを選択し、選択した画像データに対してマッチングを行い、人物有無判定を実行する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８６７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般的なパターンマッチングによるパターン認識処理では、画像２次元平面の特徴量のみでパターン認識処理を行うため、例えば木々の中の一部分が特徴量レベルでは歩行者同等になるときがあり、歩行者を誤検出する虞がある。
【０００５】
そこで、本発明は、パターン認識による歩行者の認識精度を高めることができる歩行者認識装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一局面によれば、カメラと、
前記カメラにより取得した画像を処理する処理装置とを含み、
前記処理装置は、前記カメラにより取得した画像に基づいて拡大又は縮小によりサイズの異なる少なくとも２枚以上の認識用画像を生成し、該生成した認識用画像それぞれに対してパターンマッチングによるパターン認識を実行することにより歩行者を検出することを特徴とする、歩行者認識装置が提供される。
【発明の効果】
【０００７】
本発明によれば、パターン認識による歩行者の認識精度を高めることができる歩行者認識装置が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例による歩行者認識装置１の要部構成を示した図である。
【図２】本実施例のＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。
【図３】歩行者が撮像された画像に基づいて生成された各縮小画像に対してパターン認識処理を実行して得られたスコア出力結果を示す図である。
【図４】非歩行者（本例では木）が撮像された画像に基づいて生成された各縮小画像に対してパターン認識処理を実行して得られたスコア出力結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１０】
図１は、本発明の一実施例による歩行者認識装置１の要部構成を示した図である。歩行者認識装置１は、撮像装置１０と、ＥＣＵ（Electric  Control  Unit）２０とを備える。ＥＣＵは、中央処理演算装置（ＣＰＵ）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。
【００１１】
撮像装置１０は、撮像素子１１やレンズ１５を備えるカメラ１７を含む。また、撮像装置１０は、カメラＣＰＵ１３、画像出力部１４等を有する。撮像素子１１は、例えば、ＣＣＤ（Charge  Coupled  Device）で構成されている。カメラＣＰＵ１３は、ＥＣＵ２０からの制御信号に基づいてカメラ側の露出等の制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１による撮像画像を画像信号としてＥＣＵ２０に送信する。なお、撮像素子は１個に限らず、それ以上の数を有してもよい。
【００１２】
ＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ２２、画像処理ＬＳＩ２４、各処理部を監督するＳＶ−ＣＰＵ２３等を有する。
【００１３】
撮像装置１０の画像出力部１４から出力された画像信号は、ＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。
【００１４】
画像信号を受けた画像入力部２１は、画像信号の画像データを幾何変換ＬＳＩ２２に送る。幾何変換ＬＳＩ２２は、キャリブレーションデータを用いてカメラ１７の撮像画像から、撮像素子１１やレンズ１５等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換ＬＳＩ２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look  Up  Table）に基づき入力画像を変換する。
【００１５】
画像処理ＬＳＩ２４は、幾何変換ＬＳＩ２２からの幾何変換された画像データに基づいて画像認識処理を行う。画像処理プログラムや処理すべき画像はメモリ２６に記録され、画像処理ＬＳＩ２４は、それらを読み込んで画像認識処理を行う。画像認識処理は、歩行者認識処理を含む。歩行者認識処理の詳細は、後述する。
【００１６】
ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵである。画像処理ＬＳＩ２４が兼ねても可である。ＳＶ−ＣＰＵ２３は、画像処理ＬＳＩ２４の処理画像に基づいて算出されたカメラ制御値（例えば、露出調整のパラメータであるシャッタスピード情報）を撮像装置１０内のカメラＣＰＵ１３に送信・指示する。
【００１７】
このような撮像装置１０やＥＣＵ２０を車両に搭載することによって、車両周辺に存在しうる歩行者の画像認識情報を利用する制御に使用することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果（歩行者認識結果）を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、運転者に歩行者への注意を促すための警報システムを制御するＥＣＵ、衝突回避・衝突軽減システムを制御するＥＣＵ、ブレーキＥＣＵ等である。
【００１８】
図２は、本実施例のＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。図２に示す処理ルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行されてもよい。
【００１９】
ステップ２００では、カメラ１７により取得した画像を縮小したＮ枚の縮小画像（認識用画像）を生成する。Ｎは、好ましくは２以上であり、本例では２０である。各縮小画像は、カメラ１７により取得した画像データ（原画像データ）から、例えば、縦横のサイズに関し、縮小率９０％刻みで順次縮小した画像データでよい。即ち、一番大きい縮小画像は、原画像データを１０％だけ縮小した画像であり、２番目に大きい縮小画像は、一番大きい縮小画像を１０％縮小した画像であり、３番目に大きい縮小画像は、２番大きい縮小画像を１０％縮小した画像といった具合である。尚、Ｎ枚の縮小画像のうちの１枚は、カメラ１７により取得した画像（原画像）であってもよい。この場合、原画像は、原画像を１００％の縮尺率で縮小した縮小画像と解釈されればよい。
【００２０】
ステップ２０２では、上記ステップ２００で生成した各縮小画像に対してそれぞれパターンマッチングによるパターン認識を実行する。パターンマッチングに用いるモデルは、各縮小画像に対して同一のモデル（従って同一のサイズのモデル）が使用されてよく、認識にあたっては縮小画像の左上から右下にかけて１ピクセル刻みで画像走査（ラスタ走査）が実行されてもよい。これによりモデルと各縮小画像との照合度合いを表すスコアが出力される。尚、パターンマッチングに用いるモデル（マスタパターン）は、歩行者の頭部のパターンや、歩行者の頭部及び上半身のパターン、歩行者の体全体のパターン等のような、歩行者の特徴量を表す任意のパターンであってよい。また、本ステップ２０２で使用されるパターンマッチングの手法は任意であってよい。例えば、パターンマッチングは、マスタパターンを用いた残差マッチング、正規化相関法等や、幾何マッチングやベクトル相関を利用したものであってもよい。例えば、残差マッチングでは、画像処理ＬＳＩ２４は、メモリ２６に記録されたマスタパターンを読み出し、マスタパターンをターゲットパターン（カメラ１７により取得した画像）に対し位置を上下左右に移動させながら、重ね合わせの残差が最小になる点を求める。この場合、残差に反比例する値がスコアとして出力されてよい。
【００２１】
また、パターンマッチングの手法は、学習系であればよい。学習は、例えば次のようにして実行されてもよい。歩行者が映った画像から歩行者の部分を切り出した画素集合を、多数の画像から用意すると共に、歩行者で無い部分の画素集合についても多数用意する。この際、歩行者は、好ましくは、近傍領域にいる歩行者から遠方領域にいる歩行者まで多様な歩行者が対象となる。歩行者の部分を切り出した画素集合を、歩行者に係るデータとして与えると共に、歩行者で無い部分の画素集合を、非歩行者に係るデータとして与え、これらを教師データとして学習を行わせる。この際、歩行者の部分を切り出した画素集合は、それぞれ略同一のサイズとなるようにサイズを調整してから教師データとして与えられる。
【００２２】
ステップ２０４では、上記ステップ２０２で得られる各縮小画像に係るスコア分布を集計する。例えば、２０枚の縮小画像において所定領域内の一定値以上となるスコア値の累計を算出する。一定値は、照合度合いが比較的高いことを表す値（歩行者である可能性が高いことを表す値）であり、試験等により適合されてもよい。所定領域は、歩行者に対応する大きさの領域であり、縮小画像内で最もスコア値が高い点（最もスコア値が高くなるモデル位置でのモデルの中心点）を重心とする領域であってよい。また、所定領域は、各縮小画像において共通の位置に設定されてよい。この際、各縮小画像に係る所定領域は、対応する縮小画像のサイズ（縮尺率）に応じてサイズが可変されてもよい。
【００２３】
本ステップにおいて、所定領域内にモデルの中心点があるときに、当該モデルの位置でのスコアが一定値以上であれば、そのスコアは、累積される。所定領域内には、スコアが一定値以上となるモデルの位置（中心点）は複数存在しうる。この場合、各中心位置に係る各スコアが累積される。従って、所定領域内に、スコアが一定値以上となるモデルの中心点が複数存在するほど、スコアの累計値は大きくなる傾向となる。
【００２４】
また、本ステップにおいて、複数の縮小画像に係るスコアの累計値が算出される。即ち、各縮小画像に係るスコアの累計値が算出され、それぞれの縮小画像に係るスコアの累計値が累積される。従って、スコアが一定値以上となる縮小画像の数が多いほど、スコアの累計値は大きくなる傾向となる。
【００２５】
ステップ２０６では、認識確定処理を実行する。具体的には、２０枚の縮小画像からのスコアの累計値（上記ステップ２０４で算出した累計値）が所定の閾値を越えたか否かを判定する。２０枚の縮小画像からの累計値が所定の閾値を越えた場合には、上記ステップ２０４の所定領域が歩行者の領域であると（又は上記ステップ２０４の所定領域内に歩行者に係る像が存在すると）判断（確定）する。他方、２０枚の縮小画像からのスコアの累計値が所定の閾値を越えない場合には、上記ステップ２０４の所定領域が歩行者の領域でないと（又は上記ステップ２０４の所定領域内に歩行者が存在しないと）判断する。
【００２６】
図３は、歩行者が撮像された画像に基づいて生成された各縮小画像に対してパターン認識処理（図２のステップ２０２の処理）を実行して得られたスコア出力結果を可視化して示す。図４は、非歩行者（本例では木）が撮像された画像に基づいて生成された各縮小画像に対してパターン認識処理（図２のステップ２０２の処理）を実行して得られたスコア出力結果を可視化して示す。
【００２７】
図３及び図４において、（Ａ）は、縮小率の異なる４枚の縮小画像を示し、（Ｂ）は、各縮小画像に対応したスコア出力結果を示す。４枚の縮小画像は、２０枚の全縮小画像の一部であり、サイズの大きさの順番で連続する４枚の縮小画像である。また、図３及び図４において、スコア出力結果に関して、画像上に、スコア値が一定値以上となったときのモデルの中心点を示すと共に、当該中心点を拡大して右側に示している。図示の例では、各中心点の輝度は、対応するスコア値を表し、図示の例では、スコア値が高いほど高輝度となる態様（白となる態様）でグレースケールにより示されている。
【００２８】
歩行者が存在する場合、図３（Ｂ）に示すように、４枚の縮小画像のいずれにおいても同一の位置（上記ステップ２０４の所定領域内に）に白い点が出現している。つまり、４枚の縮小画像のそれぞれにおいてスコアが一定値以上（歩行者らしさを示す値）となるモデルの中心点が、一定数以上あったことを意味している。
【００２９】
他方、非歩行者の場合、図４（Ｂ）に示すように、上から２番目と３番目の縮小画像（４枚の縮小画像のうち縮小率が２番目に小さい縮小画像と３番目に小さい縮小画像）には、白い点が同一の位置に（上記ステップ２０４の所定領域内に）出現している。他方、一番上の縮小画像（４枚の縮小画像のうち縮小率が一番小さい縮小画像）と一番下の縮小画像（４枚の縮小画像のうち縮小率が一番大きい縮小画像）においては白い点は同位置に（上記ステップ２０４の所定領域内に）出現していない。つまり、４枚の縮小画像のうちの２枚においては、スコアが一定値未満（歩行者らしさを表していない値）であったことを意味している。
【００３０】
このように、ある１枚の縮小画像（図４（Ｂ）における上から２番目の縮小画像）では、歩行者が存在する場合と、歩行者が存在しない場合とで、スコアが大きく異ならないが、複数の縮小画像では、歩行者が存在する場合と、歩行者が存在しない場合とで、スコアの累計に実質的な相違が生じる。本実施例では、この点に着目し、図２のステップ２０６の所定の閾値を適切に設定することで、歩行者と非歩行者とを精度良く切り分けることを可能とする。即ち、図４に示す例では、図２のステップ２０６の所定の閾値は、図３に示す歩行者の場合に得られる累計値（本例では、４枚の縮小画像からの累計値）よりも小さいが、図４に示す非歩行者の場合に得られる累計値（本例では、４枚の縮小画像のうちの２枚の縮小画像からの累計値）よりも小さくならないように、設定される。尚、所定の閾値は、縮小画像の数（各縮小率）、所定領域の大きさ、所定の閾値は、カメラ１７の性能やマスタパターン等に依存し、試験等により適合されてもよい。
【００３１】
以上のように、図２に示す処理によれば、縮小率の異なる複数の縮小画像のそれぞれに対してパターン認識を行うことにより、歩行者を精度良く検出することができる。例えば、図４（Ｂ）に示すように、上から２番目の縮小画像だけを使用した場合には、非歩行者（本例の場合、木）を歩行者であると誤検出する可能性がある。即ち、非歩行者であってもその一部（例えば木々の中の一部分）が特徴量レベルでは歩行者同等になる場合があり、かかる場合には、歩行者を誤検出する虞がある。これに対して、図２に示す処理によれば、他の縮小画像（図４に示す例では、４枚の縮小画像のうち縮小率が一番小さい縮小画像や縮小率が一番大きい縮小画像）に対してもパターン認識を行うので、非歩行者（本例の場合、木）を歩行者であると誤検出する可能性を低減することができる。
【００３２】
以上説明した本実施例の歩行者認識装置１によれば、とりわけ、以下のような優れた効果が奏される。
【００３３】
本実施例によれば、上述の如く、歩行者の場合には非歩行者の場合に比べて画像の大きさ（縮尺度合い）が変動してもスコア値の変動が小さい傾向にあることに着目し、かかる傾向を利用することで、歩行者を精度良く検出することができる。具体的には、縮小率の異なる複数の縮小画像のそれぞれに対してパターン認識を行うことにより、歩行者と非歩行者とを精度良く判別し、歩行者の認識精度を高めることができる。
【００３４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００３５】
例えば、上述した実施例では、縮小率の異なる複数の縮小画像のそれぞれに対してパターン認識を行っているが、原画像を拡大した拡大画像に対してパターン認識を行ってもよい。例えば、拡大率の異なる複数の拡大画像のそれぞれに対してパターン認識を行ってもよい。或いは、これらを組み合わせてもよい。即ち、１つ以上の縮小画像と１つ以上の拡大画像のそれぞれに対してパターン認識を行うことで、歩行者を検出することとしてもよい。また、原画像に対してパターン認識を行ってもよい。即ち、原画像と、１つ以上の縮小画像と、１つ以上の拡大画像との任意の組み合わせからなる複数の画像のそれぞれに対してパターン認識を行うことで、歩行者を検出することとしてもよい。
【００３６】
また、上述した実施例では、スコアの累計値を所定閾値と比較して歩行者か否かの判定を行っているが、スコアの累計値以外のパラメータ（スコアに関連する他のパラメータ）を使用してもよい。例えば、図２に示す例では、２０枚の縮小画像のそれぞれの所定領域におけるスコアの平均値や最大値が、対応する所定の閾値を越える場合に、上記ステップ２０４の所定領域が歩行者の領域であると（又は所定領域内に歩行者に係る像が存在すると）判断してもよい。また、図２に示す例では、２０枚の縮小画像のうちの所定数以上の縮小画像において、所定領域内に一定値以上のスコアとなるモデルの中心位置が存在する場合に、上記ステップ２０４の所定領域が歩行者の領域であると（又は所定領域内に歩行者に係る像が存在すると）判断してもよい。また、２０枚の縮小画像のうち、サイズの大きさ順に連続する所定数以上の縮小画像において、所定領域内に一定値以上のスコアとなるモデルの中心位置が存在する場合に、上記ステップ２０４の所定領域が歩行者の領域であると（又は所定領域内に歩行者に係る像が存在すると）判断してもよい。これらの条件は、上記ステップ２０４での判定条件（スコアの累計値が所定の閾値を超えること）に加えて又はそれに代えて、単独で又は任意の組み合わせ（アンド条件又はオア条件）で利用されてもよい。
【００３７】
また、図１には、特定のハードウェア構成を備える歩行者認識装置１が開示されているが、歩行者認識装置１のハードウェア構成は任意であってよい。また、図１に示すハードウェア構成において、カメラＣＰＵ１３及びＥＣＵ２０の機能分担も任意であり、一方の機能の一部又は全部が他方により実現されてもよい。
【符号の説明】
【００３８】
１    歩行者認識装置
１０    撮像装置
１１    撮像素子
１３    カメラＣＰＵ
１４    画像出力部
１５    レンズ
１７    カメラ
２０    ＥＣＵ
２１    画像入力部
２２    幾何変換ＬＳＩ
２３    ＳＶ−ＣＰＵ
２４    画像処理ＬＳＩ
２５，２６    メモリ
２８    ＥＥＰＲＯＭ
【図１】
2013161189.tif 000003
【図２】
2013161189.tif 000004
【図３】
2013161189.tif 000005
【図４】
2013161189.tif 000006