(57)【要約】（要約）（課題）本発明は、輝度の影響を受けずにかつ計算量が少なく画像データ内の被写体を検出する画像データ認識方法を提供することを課題とする。（解決手段）本発明は、上記の問題を解決する画像データ内の被写体を検出する方法を提供するために以下の構成を有する。まず、第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該第二の画素を中心とする第二の領域とを定める。次に、第一の領域と第二の領域とから算出した類似値を第二の画素に対応付ける。次に、複数の第二の画素に対応付けられた最大の類似値を第一の画素に対応付ける。次に第一の画素に対応付けられた類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する。（選択図）図１
2008065707.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内の被写体を検出する画像データ認識方法であって、
第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定め、
該第一の領域と該それぞれの第二の領域とから算出した類似値を該それぞれの第二の画素に対応付け、
該複数の第二の画素に対応付けられた該類似値の内の該第一の領域の特徴を示す類似値を該第一の画素に対応付け、
該第一の領域の特徴を示す類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する
ことを特徴とする画像データ認識方法。
【請求項２】
該画像データの撮影対象領域である三次元空間での手前となる領域は大きく、三次元空間での奥となる領域は小さくすることを特徴とする請求項１記載の画像データ認識方法。
【請求項３】
該被写体の特徴として定めた形状は、車両の形状を定める条件であることを特長とする請求項１記載の画像データ認識方法。
【請求項４】
検出範囲の両側に大きい類似値が分布し、かつ、該検出範囲の両側の類似値に対象性があり、かつ、検出範囲の下側には小さい類似値が分布する座標を前記車両のフロントの最下部の座標とすることを特長とする請求項３記載の画像データ認識方法。
【請求項５】
該車両は、該車両の前記類似値の分布の対象性から前記画像データ内の横方向の該車両の中心位置を求め、前記車両の分布の形状と前記車両の形状を定める条件から縦軸方向の位置を特定することを特長とする請求項３記載の画像データ認識方法。
【請求項６】
前記比較する対象の範囲を第一の画素を中心にして車両が存在し得る範囲とすることを特長とする請求項１記載の画像データ認識方法。
【請求項７】
横断歩道の繰り返しパターンを削除した後で類似値の分布を計算することを特長とする請求項１記載の画像データ認識方法。
【請求項８】
画像データ内の被写体を検出する画像データ認識装置であって、
第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める手段と、
該第一の領域と該それぞれの第二の領域とから算出した類似値を該それぞれの第二の画素に対応付ける手段と、
該複数の第二の画素に対応付けられた該類似値の内の該第一の領域の特徴を示す類似値を該第一の画素に対応付ける手段と、
該第一の領域の特徴を示す類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する手段と
を有することを特徴とする画像データ認識装置。
【請求項９】
画像データ内の被写体を検出する画像データ認識プログラムであって、
コンピュータを、
第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める手段、
該第一の領域と該それぞれの第二の領域とから算出した類似値を該それぞれの第二の画素に対応付ける手段、
該複数の第二の画素に対応付けられた該類似値の内の該第一の領域の特徴を示す類似値を該第一の画素に対応付ける手段、
該第一の領域の特徴を示す類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する手段、
として機能させることを特徴とする画像データ認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ認識に関する。特に、画像データ内の被写体を検出する画像データ認識方法に関する。
【背景技術】
【０００２】
交通に関するシステムにおいて、固定されたカメラにより取得した画像データおよび移動体に搭載したカメラにより取得した画像データから車両や歩行者を検出する技術がある。車両や歩行者を検出する技術は、例えば、交差点の画像データを取得し、交差点内の車両を検出し、検出された車両や歩行者の存在を走行中の車両に提示することに利用される。車両や歩行者の存在を走行中の車両に提示することにより、車両の運転者は交差点内の状況を未然に知ることができる。【０００３】
画像データ内の検出の対象となる車両を抽出する方式は、背景差分方式、エッジ検出方式等がある。背景差分方式は、対象物が無い背景の画像データを予め取得しておき、抽出の対象となる画像データと比較することにより、画像データ内の対象物を抽出する方式である。エッジ検出方式は、画像データ内のエッジを検出し、予め格納されたエッジデータによる雛型データと検出したエッジデータとを比較し、対象の車両を特定する方式である。【０００４】
背景差分方式は、車両の影等を含む領域を検出することとなるため、画像データ内の車両のみの位置を正確に検出することができない問題があった（特許文献１）。また、エッジ検出方式も影を検出する。また、エッジ検出された部分の形状データと予め所持する物体の形状のデータベースに格納された形状データとの比較を行って物体を特定するため、検出処理に時間を要する問題があった（特許文献２）。
【特許文献１】特開２００５−１９０１４２号公報
【特許文献２】特開２０００−１４８９７７号公報
【発明の開示】
【０００５】
（発明が解決しようとする課題）
本発明は、輝度の影響を受けずにかつ計算量が少なく画像データ内の被写体を検出する画像データ認識方法を提供することを課題とする。
（課題を解決するための手段）
本発明は、上記の問題を解決する画像データ内の被写体を検出する方法を提供するために以下の構成を有する。まず、第一の画素と該第一の画素を中心とする第一の領域と前記第一の画素と比較の対象とする複数の第二の画素と該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める。次に第一の領域とそれぞれの第二の領域とから算出した類似値をそれぞれの第二の画素に対応付ける。次に複数の第二の画素に対応付けられた類似値の内の第一の領域の特徴を示す類似値を第一の画素に対応付ける。次に第一の領域の特徴を示す類似値の分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する。
【０００６】
また、画像データの撮影対象領域である三次元空間での手前となる領域は大きく、三次元空間での奥となる領域を小さくする。この構成により演算量を減少させることが可能となる。
【０００７】
また、被写体の特徴として定めた形状は、車両の形状を定める条件であることを特長とする。
【０００８】
また、検出範囲の両側に大きい類似値が分布し、かつ、両側の類似値に対象性があり、かつ、検出範囲の下には小さい類似値が分布する座標を前記車両のフロントの最下部の座標とすることを特長とする。
【０００９】
また、車両は、車両の類似値の分布の対象性から画像データ内の横方向の車両の中心位置を求め、車両の分布の形状と車両の形状を定める条件から縦軸方向の位置を特定することを特長とする。
（発明の効果）
本発明によれば、画像データ内の画素毎に画素を中心とする領域毎の類似値を検出し、類似値の分布形状が予め定める条件に合致する画像データ内の領域を検出の対象とする。したがって、輝度の影響を受けずにかつ計算量が少なく画像データ内の被写体を検出する事が可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は本実施例の画像処理装置１の構成図である。
【図２】図２は本実施例のカメラ２が撮影する画像データである。
【図３】図３は画像データ１０内に存在する車両１６の縦方向１３の座標と車両１６の幅とを車両１６の種類毎に関連付けたデータベース２０の構成例である。
【図４】図４は取得した画像データ１０から類似値３８を検出する概念図である。
【図５】図５は類似値３８の算出方法のフローチャートである。
【図６】図６は横断歩道４１の例である。
【図７】図７は路上マーク削除部５が実行する画像データ１０から横断歩道４１領域を除外する処理のフローチャートである。
【図８】図８は元の画像データ１０の車両１６部分の画像（Ａ）と分布図５０の車両１６部分の画像（Ｂ）とを示す図である。
【図９】図９はパターン特徴量計算部６が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。
【図１０】図１０は分布図５０と車両１６の対象性との関係を示す図である。
【図１１】図１１は、対象性特徴量計算部７が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。
【図１２】図１２は、本実施例による車両の検出例である。
【図１３】図１３は、本実施例の画像処理装置１のハードウェア構成例である。
【符号の説明】
【００１１】
１  画像処理装置
２  カメラ
３  画像メモリ
４  自己相関差計算部
５  路上マーク削除部
６  パターン特徴量計算部
７  対象性特徴量計算部
８  車両位置判定部
１０  画像データ
１１  画素
１２  消失点
１３  縦方向
１４  横方向
１５  車道
１６  車両
１７  最も手前における車道と路側帯との境界を示す点
２０  データベース
２２  軽自動車
２３  普通車
２４  大型車
３１  探索範囲
３２  演算領域
３３  演算対象画素
３５  比較対象画素
３４  比較領域
３８  類似値
３９  差分
４１  横断歩道
４２  縞模様
４３  演算の対象とする座標点
４４  所定量Ｌだけ横方向１４に移動した座標
４５  所定量（−Ｌ／２）だけ横方向１４に移動した座標
４６  所定量（Ｌ／２）だけ横方向１４に移動した座標
４７  消失点１２を向く線分に沿うエッジ
４８  水平方向のエッジ
５０  分布図
５１  車両１６の左右に位置する画素群
５２  車両１６の左右の側面の外側に位置する画素群
５３  車両１６の前方に位置する画素群
５４  画素
５５  検出対象画素
５６  Ｅｌｅｆｔ
５７  Ｅｒｉｇｈｔ
５８  Ｅｓｉｄｅ
５９  Ｅｂｏｔｔｏｍ
６０  車両の特徴の大きさを示す値
６１  演算中央座標
１０１  ＣＰＵ
１０３  メモリ
１０４  出力部
１０５  バス
【発明を実施するための最良の形態】
【００１２】
本実施例は、交差点の固定カメラの画像データから車両を取得する動作について説明する。【００１３】
図１は本実施例の画像処理装置１の構成図である。本発明の画像処理装置１は、カメラ２、画像メモリ３、自己相関差計算部４、路上マーク削除部５、パターン特徴量計算部６、対象性特徴量計算部７、車両位置判定部８から構成される。【００１４】
カメラ２で撮像した交差点の画像データは画像メモリ３に格納される。自己相関差計算部４は、画像メモリ３に格納された画像データから類似値の差分の分布図を作成する。自己相関差計算部４は、画素毎に類似値の差分を求め、類似値の差分による分布図を作成する。路上マーク削除部５は、画像メモリ３に格納された画像データに写る路上マークの領域を削除する。以上から画像処理装置１は、元の画像データから類似値の差分を算出し、路上マークを除去した分布図を得る。次にパターン特徴量計算部６は、自己相関差計算部４で作成した類似値の差分の分布図から車両のパターンを検出する。パターン特徴量計算部６は車両のパターンから車両の最前部あるいは最後部を示す画像データ内の縦方向の座標を取得する。パターン特徴量計算部６は車両パターンを検出する際、路上マーク削除部５で削除した領域情報も加味する。対象性特徴量計算部７は、自己相関差計算部４で作成した類似値の差分の分布図から車両の対象性を演算する。対象性特徴量計算部７は対象性から画像データ内の車両が存在する中心線を取得する。車両位置判定部８は、パターン特徴量計算部６と対象性特徴量計算部７とから特定される画像内の車両の横方向の位置を特定する。また、車両位置判定部８は、車両の位置から定まる車幅を取得し、取得した車幅と画像データ内の縦方向の位置からデータベースを検索して車種を特定する。【００１５】
次に画像処理装置１がカメラ２で取得する画像データについて説明する。図２は本実施例のカメラ２が撮影する画像データ１０である。画像データ１０は画像メモリ３にディジタル形式で格納される。画像データ１０は画素１１の集合によって構成される。画素１１とは画像データ１０を構成する最小単位である。以降の説明において画像データ１０の縦方向とは縦方向１３の方向を示し、横方向とは横方向１４の方向を示す。また、縦座標とは画像データ１０内の縦方向１３の位置を特定する座標を示し、横座標とは画像データ１０内の横方向１４の位置を特定する座標を示す。消失点１２は、二次元に投影された画像データ１０を元の三次元空間で見た場合に最も奥にある座標である。【００１６】
上方から見下ろす場所にカメラ２を設置する場合の画像データ１０の消失点１２は、一般的に、画像データ１０内の縦方向１３の上方の位置に配置する。画像データ１０内の上方の位置に消失点１２を配置することは、画像データ１０内の車道１５が写る領域を多くすることを可能とする。したがって画像処理装置１は車道１５の縦方向１３を消失点１２が画像データ１０内で下方の位置にある場合と比較して多くの縦座標によって分解することが可能となる。縦方向１３をより多く分解することが可能となると、画像処理装置１は車道１５上の車両１６の位置を正確に取得することができる。一方、車両１６にカメラ２を搭載する場合は、一般的に、カメラ２は地面に対して水平方向を撮影するように配置される。カメラ２が車両１５に取付けられる場合は、カメラ２は車両１５のフロント部分等の低い位置に取付けられる。したがって、カメラ２が下方に向けられたアングルの場合、カメラ２は前方を走行する車両１５の最高部を撮影することができなくなる。【００１７】
車道１５の幅は画像データ１０内の縦方向１３の下方の位置で取得すべき車道１６の幅となるようにする。このとき、最も手前における車道１６と路側帯との境界を示す点１７が画像データ１０の最下部となる。画像データ１０内の下方の位置で車道１５の幅が最大となるように配置することによりカメラ２は画像データ１０内の手前において車両１６の幅を大きく写すことが可能となる。車両１６の幅を大きく写すことにより画像処理装置１は車両１６の幅より多くの画素で分解することができ、画像処理装置１は車両１６の幅の情報を正確に取得することができる。なお、消失点１２、車道１５の幅についてのカメラ２のアングルは、道路条件、取得すべき対象に応じて変更することが可能である。【００１８】
次に画像処理装置１が有する車両１６を検出するためのデータについて説明する。画像処理装置１は画像データ１０内の消失点１２の座標情報を有する。また、画像処理装置１は最も手前における車道１５と路側帯との境界を示す点１７の座標を有する。車道１５と路側帯との境界を示す点１７の座標は道路の両側の２点となる。また、画像処理装置１は消失点１２の座標と車道１５と路側帯との境界を示す点１７の座標とを結ぶ直線から車道１５と路側帯との境界の直線を得る。また、画像処理装置１は画像データ１０内に存在する車両１６の縦方向１３の座標と車両１６の幅とを車両１６の種類毎に関連付けたデータベース２０を有する。【００１９】
図３は、画像データ１０内に存在する車両１６の縦方向１３の座標値２１と車両１６の幅とを車両１６の種類毎に関連付けたデータベース２０の構成例である。例えば、縦方向１３の座標値２１が４８０個の画素１１で構成される画像データ１０は、縦方向１３の４８０個の座標値２１に応じた車両１６の幅情報を有する。車両１６の横幅は軽自動車２２、普通車２３、大型車２４に応じてほぼ決まる。例えば普通車２３の一般的な車両の幅は１７００ｍｍである。画像処理装置１は画像データ１０内の車両１６の縦方向１３の座標値２１の位置に対応する横方向１４の車両１６の幅の画素数を予め求めることができる。本実施例のデータベース２０は、車両１６の幅の情報として縦方向１３の座標値２１の位置に応じた軽自動車２２、普通車２３、大型車２４等の横方向１４の車両１６の幅となる画素数とを関係づけて記憶する。【００２０】
図２で説明すると、画像データ１０内の車道１５内の車両１６を示す四角形の底辺の長さが車両１６の幅となる画素数である。車両１６の幅の画素数は四角形が検出される縦方向１３の座標に応じて変化する。【００２１】
次に画像処理装置１の自己相関差計算部４が行う類似値の差分の分布図の作成処理について説明する。自己相関差計算部４は、画像メモリ３に格納された画像データ１０の各画素１１に対応付けられる類似値３８の差分３９を算出する。類似値３８は、画像データ１０内に設定した第一の領域と第二の領域とを比較した時の領域全体として近似する程度を数値化したものである。【００２２】
図４は、取得した画像データ１０から自己相関差計算部４が類似値３８を検出する概念図である。【００２３】
演算対象画素３３（第一の画素）は、演算の現在の対象となる画像データ１０内の類似値３８を求める画素１１である。演算対象画素３３は画像データ１０内の全ての画素１１が対象となる。なお、画像データ１０内において車両１６が存在し得ない領域に位置する画素１１は、類似値３８の演算を省略することも可能である。例えば、自己相関差計算部４は路側帯を超え、車両１６が明らかに存在しないと想定される範囲にある画素１１については演算を省略することが可能である。自己相関差計算部４が演算を省略することが可能な領域は予め設定される。自己相関差計算部４は演算を省略することが可能な領域以外の画素１１の全てについて類似値３８を算出する。車両１６が明らかに存在しないと想定される範囲にある画素について自己相関差計算部４が演算を省略する構成により、画像処理装置１が行う演算量が減少するため、画像処理装置１は演算結果を得るまでの時間を短縮することが可能となる。【００２４】
比較対象画素３５（第二の画素）は、演算対象画素３３に対する画像データ１０内の類似値３８を求める演算の現在の対象となる画素１１である。【００２５】
演算領域３２（第一の領域）は、演算対象画素３３を中心とした類似値３８を求める演算の現在の比較の対象となる領域である。比較領域３４（第二の領域）は、比較対象画素３５を中心とした演算領域３２との比較の対象となる領域である。【００２６】
探索範囲３１は、演算対象画素３３に対して比較対象画素３５を設定する範囲である。探索範囲３１は演算対象画素３３と比較対象画素３５との間で画像データ１０内の座標間の距離が大きい場合、類似値３８を算出する必要がないため設定される。座標間の距離が大きく離れている場合、演算領域３２と比較領域３４とは一台の車両１６を対象としていないと考えられるためである。一方、全く異なる対象物との間で類似値３８を算出することは画像データ１０内の車両１６の誤検出の原因となるためである。例えば、探索範囲３１は演算対象画素３３を中心として車両１６が存在し得る範囲とする。【００２７】
比較対象画素３５は探索範囲内３１の全ての画素１１を対象となる。なお、探索範囲３１と画像データ１０上において車両１６が存在し得ない領域とが重複する場合は、自己相関差計算部４は重複する範囲にある比較対象画素３５の類似値３８を算出する演算を省略することも可能である。重複する範囲にある比較対象画素３５との類似値３８を算出する演算を省略する構成にすると画像処理装置１が行う演算量が減少するため、画像処理装置１は演算結果を得るまでの時間が短縮することが可能となる。【００２８】
次に、自己相関差計算部４が行う類似値３８の算出方法について説明する。図５は類似値３８の算出方法のフローチャートである。自己相関差計算部４は画像データ１０内の演算対象画素３３毎に以下の手順で類似値３８を算出するための演算を行う。自己相関差計算部４は演算対象画素３３の座標（ｘ，ｙ）を特定する（Ｓ０１）。図４の演算対象画素３３の座標を（ｘ，ｙ）とする。”ｘ”は画像データ１０内の演算対象画素３３の横方向１４の座標の値である。”ｙ”は画像データ１０内の演算対象画素３３の縦方向１３の座標の値である。演算対象画素３３の座標（ｘ，ｙ）の周囲の領域が演算領域３２となる。また、演算領域３２内の各画素１１を（ｘ＋ｉ，ｙ＋ｊ）とする。”ｉ”は演算対象画素３３の座標（ｘ，ｙ）の周囲の領域内の画素１１の横方向１４の座標を特定する変数である。”ｊ”は演算対象画素３３の座標（ｘ，ｙ）の周囲の領域内の画素１１の縦方向１３の座標を特定する変数である。【００２９】
自己相関差計算部４は探索範囲３１を特定する（Ｓ０２）。探索範囲３１は予め設定された大きさの値であり、演算対象画素３３の座標（ｘ，ｙ）を中心に設定される。【００３０】
自己相関差計算部４は探索範囲３１の中の比較対象画素３５の座標（ｘ＋ｕ，ｙ＋ｖ）を特定する（Ｓ０３）。”ｕ”は探索範囲３１内の横方向１４の座標を特定するための変数である。”ｖ”は探索範囲３１内の縦方向１３の座標を特定するための変数である。比較対象画素３５の周囲の領域が比較領域３４となる。また比較領域３４内の各画素を（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）とする。”ｉ”は比較対象画素（ｘ＋ｕ，ｙ＋ｖ）の周囲の領域内の画素１１の横方向１４の座標を特定するための変数である。”ｊ”は比較対象画素（ｘ＋ｕ，ｙ＋ｖ）の周囲の領域内の画素１１の縦方向１３の座標を特定するための変数である。【００３１】
次に自己相関差計算部４は演算領域３２と比較領域３４との間で類似値３８を算出する。類似値３８を算出する演算は、演算対象画素３３の周囲の領域内の各画素１１の座標を示す（ｘ＋ｉ，ｙ＋ｊ）の”ｉ”、”ｊ”と比較対象画素３５の周囲の領域内の各画素１１の座標を示す（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）の”ｉ”、”ｊ”の値を変化させてそれぞれの座標に対応する画素毎に比較することにより行う（Ｓ０４）。【００３２】
例えば、自己相関差計算部４は以下の方法により演算領域３２と比較領域３４との間の類似値３８を算出する。１．演算領域３２の画素の輝度と比較領域３４の画素の輝度との差分の絶対値の総和から算出する方法ＳＡＤ（Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、２．演算領域３２の画素の輝度と比較領域３４の画素の輝度と差分の二乗の総和から算出する方法ＳＳＤ（Ｓｕｍ  Ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ）、および３．正規化により算出する方法ＮＣＯＲ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｏｒｒｅｌａｔｉｏｎ）によって算出する。以上の方法によって自己相関差計算部４は演算領域３２と比較領域３４との間の各画素間の輝度の差分を求め、輝度の差分の総和から比較領域３４全体としての類似度３８を算出する。【００３３】
自己相関差計算部４は、ＳＡＤにより類似値３８を算出する場合は以下の演算を行う。演算領域３２内の各座標（ｘ＋ｉ，ｙ＋ｊ）の画素１１の輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）を取得する。次に、比較領域３４内の座標（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）の画素１１の輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）を取得する。次に、輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）と輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）とで輝度の差の絶対値を演算する。演算領域３２内の全ての画素１１と比較領域３４の全ての画素１１との間でそれぞれ演算した輝度の差の絶対値の総和を算出する。自己相関差計算部４は算出した値を比較対象画素３５に対応する類似値３８とする。輝度の差分の絶対値の総和を算出する演算式は式（１）となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００３４】
【数１】
2008065707.tif 000003
【００３５】
自己相関差計算部４は、ＳＳＤにより類似値３８を算出する場合は以下の演算を行う。【００３６】
自己相関差計算部４は輝度Ｐ１（ｘ＋ｉ，ｙ＋ｊ）と輝度Ｐ２（ｘ＋ｕ＋ｉ，ｙ＋ｖ＋ｊ）との間においての輝度の差分の２乗を演算する。自己相関差計算部４は演算領域３２の全ての画素と比較領域３４の全ての画素との間でそれぞれ演算した輝度の差分の２乗の総和を算出する。自己相関差計算部４は算出した値を比較対象画素３５に対応する類似値３８とする。輝度の差の２乗の総和を算出する演算式は式（２）となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００３７】
【数２】
2008065707.tif 000004
【００３８】
自己相関差計算部４は、ＮＣＯＲにより類似値３８を算出する場合は式（３）の演算を行う。”ｔ”は現在取得した画像であることを示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００３９】
【数３】
2008065707.tif 000005
【００４０】
自己相関差計算部４は、比較領域３４と演算領域３２との間の全ての画素について輝度の差分を算出するまで処理を繰り返す（Ｓ０５：ｎｏ）。自己相関差計算部４は輝度の差分の総和を算出すると（Ｓ０５：ｙｅｓ）、類似値３８（第一の領域と第二の領域とから算出した類似値）として比較対象画素３５に対応づけて格納する（Ｓ０６）。【００４１】
自己相関差計算部４は、探索範囲３１内の全ての比較対象画素３５と演算対象画素３３との間の類似値３８を算出するまで処理を繰り返す（Ｓ０７：ｎｏ）。自己相関差計算部４は探索範囲３１内の全ての比較対象画素３５について類似値３８の算出をした場合は（Ｓ０７：ｙｅｓ）、演算対象画素３３に探索範囲３１内の各比較対象画素３５が有する類似値３８の差分３９中で特徴を示す類似値３８の差分３９（第一の領域の特徴を示す類似値）を対応付ける（Ｓ０８）。特徴を示す類似値３８の差分３９とは、演算領域３２の画像が角を含む場合に大きな値となり、演算領域３２の画像が直線、及び、アスファルト面のような変化が少ない場合に少ない値となる。Ｓ０８で対応付けられた類似値３８の差分３９は後述する車両検出処理に使用される。【００４２】
ここで、Ｓ０８において自己相関差計算部４が演算対象画素３３に対応付ける類似値３８の差分３９の検出方法について説明する。自己相関差計算部４は演算対象画素３３に対応付ける類似値３８の差分３９を以下の手順で演算する。【００４３】
自己相関差計算部４が探索範囲３１内で演算する比較対象画素３５には演算対象画素３３自身も含まれる。演算対象画素３３自身の間で算出された類似値３８は探索範囲３１内の比較対象画素３５に対応する類似値３８の中で最も類似することを示す値となる。したがって、演算対象画素３３自身との間で算出した類似値３８は除く必要がある。【００４４】
ＳＡＤおよびＳＳＤによって算出した場合は、演算対象画素３３自身との間は同一であり、最も類似することを示す類似値３８は”０”となる。ＳＡＤ、ＳＳＤによって算出した場合でかつ演算対象画素３３自身が比較対象画素３５に含まれる場合は、自己相関差計算部４は探索範囲３１中の第二位の類似値３８を有する比較対象画素３５を検出する。例えば、自己相関差計算部４は演算対象画素３３自身との間の類似値３８を除く処理をし、探索範囲３１内の各比較対象画素３５に対応して格納された類似値３８の中で最小値となる類似値３８を取得する。自己相関差計算部４は取得した値を演算対象画素３３に対応付ける類似値３８の差分３９とする。ＳＡＤから求める演算を式（４）に示す。ＳＳＤから求める演算を式（５）に示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００４５】
【数４】
2008065707.tif 000006
【００４６】
【数５】
2008065707.tif 000007
【００４７】
ＮＣＯＲの場合は、演算対象画素３３自身との間は同一であり、類似値３８は”１”となる。ＮＣＯＲの場合でかつ演算対象画素３３自身が比較対象画素３５に含まれる場合は、自己相関差計算部４は探索範囲３１中の第二位の類似値３８を有する比較対象画素３５を検出する。例えば、演算対象画素３３自身との間の類似値３８を除く処理をし、探索範囲３１内の各比較対象画素３５に対応して格納された類似値３８の中で最大値となる類似値３８を取得する。その後、自己相関差計算部４は”１”から第二位の類似値３８を引いた値を演算対象画素３３に対応付ける類似値３８の差分３９とする。ＮＣＯＲから求める演算を式（６）に示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００４８】
【数６】
2008065707.tif 000008
【００４９】
次に第二位の類似値３８の差分３９の特徴を説明する。自己相関差計算部４が算出した類似値３８の差分３９は演算領域３２に角がある場合に大きくなる特徴がある。車両１６は正面から見ると多くの角を有する。例えば、車両１６に取付けられたフロントガラスの両側の枠部分、車両１６のフェンダーミラー部分、車両１６の正面のフロントグリル部分、車両１６の正面のナンバープレート部分等である。これらの車両１６の部分は角として画像データ１０に写っており、算出される類似値３８は他の角以外が写る領域の類似値３８と比較して大きい値となる。類似値３８が大きくなるのは、演算領域３２と比較領域３４とが同一形状の角を有する場合が少ないこと、演算領域３２と比較領域３４との間で輝度が異なる画素数が多いためである。【００５０】
一方、演算領域３２に角がない場合、自己相関差計算部４が算出した類似値３８の差分３９は小さくなる特徴がある。角がない場合とは、例えば、車両１６の屋根部分のような直線のエッジ部分を領域とする場合や、アスファルトのような領域内が同系色で構成される場合である。【００５１】
自己相関差計算部４は、以上の手順による演算対象画素３３に対する類似値３８の差分３９を取得する演算処理を画像データ１０内の全ての画素１１を演算対象画素３３として行う（Ｓ０９）。自己相関差計算部４は、画像データ１０内の全ての演算対象画素３３に類似値３８の差分３９が対応付けられていない場合（Ｓ０９：ｎｏ）、演算対象画素３３を画像データ１０内の次の画素１１に移動して同様に類似値３８の差分３９を算出する。一方、自己相関差計算部４は、画像データ１０内の全ての演算対象画素３３に類似値３８の差分３９が対応付けられた場合（Ｓ０９：ｙｅｓ）、画像データ１０内の各演算対象画素３３に対応付けられた類似値３８の差分３９による分布図５０を作成する（Ｓ１０）。【００５２】
ここで画像データ１０内の路上マークについて説明する。分布図５０は類似値３８の差分３９によって構成される。分布図５０の類似値３８の差分３９の値が大きい画素１１は、画像データ１０内の角が写る領域に多く分布する。しかし、類似値３８の差分３９は路上マークの角が写る領域でも値が大きくなる。したがって、このような路上マークは誤検出の原因となる。そこで画像メモリ３に格納された画像データ１０から背景の余分な部分の削除を行う。背景の余分な部分とは例えば路上マークである。路上マークとは、横断歩道、道路の中央線、歩道との境界を示す線である。本実施例では、画像データ１０内の横断歩道に関する情報を削除する処理を行う。また、本実施例では横断歩道が画像データ１０内において横方向１４と平行に描かれているものとする。また、路上マークの削除の処理は画像データ１０を取得する度に行う。事前に路上マークの領域を削除する処理の場合、路上マーク上に車両１６がある場合も路上マークの領域を削除することとなり、路上マーク上の車両１６を検出できない場合があるためである。【００５３】
図６は横断歩道４１の例である。図６（Ａ）、（Ｂ）および（Ｃ）の横断歩道４１は車道１５上に白色で縞模様４２が描かれた領域である。路上マーク削除部５は画像データ１０から横断歩道４１の領域を以下の手順によって検出する。路上マーク削除部５が検出した横断歩道４１の領域は車両１６の検出の処理時に演算から除外する。図７は路上マーク削除部５が実行する画像データ１０から横断歩道４１領域を除外する処理のフローチャートである。【００５４】
まず、路上マーク削除部５は画像データ１０内で消失点１２を向く線分に沿うエッジ４７を消去する（Ｓ２１）。次に、路上マーク削除部５は画像データ１０内に周期的に存在する横方向１４のエッジ４８を消去する（Ｓ２２）。横断歩道４１の縞模様４２は画像データ１０内の横方向１４に存在するためである。次に、路上マーク削除部５は横断歩道４１に合致する横方向１４の周期長の繰り返しパターンを検出する（Ｓ２３）。横断歩道４１の縞模様４２の幅４９は規定されている。したがって、路上マーク削除部５は画像データ１０内の縦方向１３の座標に応じた横方向１４の縞模様４２の幅４９を事前に記憶しておくことができる。【００５５】
Ａｐ（ｘ，ｙ）は、現在の演算の対象とする座標４３（ｘ，ｙ）の輝度Ｐ３（ｘ、ｙ）と現在の演算の対象とする座標４３（ｘ，ｙ）から所定量Ｌだけ横方向１４に移動した座標４４（ｘ＋Ｌ，ｙ）の輝度Ｐ４（ｘ＋Ｌ、ｙ）との間の輝度の平均値である。所定量Ｌは、画像データ１０内の縦方向１３の座標”ｙ”に応じた横断歩道４１の縞模様４２の横方向１４の幅である。Ａｐ（ｘ，ｙ）はＰ３とＰ４の輝度の平均値であるため横断歩道の白色部分の時に大きくなる。路上マーク削除部５はＡｐを式（７）から求める。【００５６】
【数７】
2008065707.tif 000009
【００５７】
Ａｍ（ｘ，ｙ）は、現在の演算の対象とする座標４３（ｘ，ｙ）に対して所定量（−Ｌ／２）だけ横方向１４に移動した座標４５（ｘ−Ｌ／２，ｙ）の輝度Ｐ５（ｘ−Ｌ／２、ｙ）と現在の演算の対象とする座標４３（ｘ，ｙ）に対して所定量（Ｌ／２）だけ横方向１４に移動した座標４６（ｘ＋Ｌ／２，ｙ）の輝度Ｐ６（ｘ＋Ｌ／２、ｙ）との間の輝度の平均値である。輝度の平均値は横断歩道の白色部分の時に大きくなる。路上マーク削除部５はＡｍを式（８）から求める。【００５８】
【数８】
2008065707.tif 000010
【００５９】
ＡｐとＡｍとの関係は、Ｐ５およびＰ６がＰ３およびＰ４に対して”Ｌ／２”だけ横方向１４ずらした座標のため輝度が反転する関係となる。輝度が反転する関係とは、Ｐ３，Ｐ４が横断歩道４１の縞模様４２の白く塗られた部分に位置する場合、Ｐ５，Ｐ６は横断歩道４１の縞模様４２のアスファルト部分に位置する関係である。すなわち、Ａｐ（ｘ、ｙ）が極大値の時にＡｍ（ｘ、ｙ）は極小値となり、Ａｐ（ｘ、ｙ）が極小値の時にＡｍ（ｘ、ｙ）は極大値となる関係である。【００６０】
Ｃｐ（ｘ、ｙ）は、輝度Ｐ３（ｘ、ｙ）と輝度Ｐ４（ｘ＋Ｌ、ｙ）との差分絶対値である。したがって、Ｐ３とＰ４とが同じ状態の時に小さい値となる。例えば、横断歩道４１の縞模様４２の白く塗られた部分にＰ３，Ｐ４がそれぞれ位置する場合、あるいは横断歩道４１の縞模様４２のアスファルト部分にＰ３，Ｐ４がそれぞれ位置する場合である。路上マーク削除部５はＣｐを式（９）から求める。【００６１】
【数９】
2008065707.tif 000011
【００６２】
Ｃｍ（ｘ、ｙ）は、輝度Ｐ５（ｘ−Ｌ／２，ｙ）と輝度Ｐ６（ｘ＋Ｌ／２，ｙ）との差分絶対値である。したがって、Ｐ５とＰ６とが同じ状態の時に小さい値となる。例えば、横断歩道４１の縞模様４２の白く塗られた部分にＰ５，Ｐ６がそれぞれ位置する場合である、あるいは横断歩道の縞模様４２のアスファルト部分にＰ５，Ｐ６がそれぞれ位置する場合である。路上マーク削除部５はＣｍを式（１０）から求める。【００６３】
【数１０】
2008065707.tif 000012
【００６４】
以上の算出したＡｐ、Ａｍ、Ｃｐ、Ｃｍに基づき、路上マーク削除部５は横断歩道４１の特徴点Ｅｃｗを式（１１）から算出する。【００６５】
【数１１】
2008065707.tif 000013
【００６６】
ＥｃｗはＡｐとＡｍが反転する関係にあるときに大きい値となる。また、Ｅｃｗは差分絶対値ＣｐおよびＣｍが小さい場合に大きい値となる。したがって、横断歩道４１の領域では高い特徴点を示すこととなる。【００６７】
路上マーク削除部５は算出したＥｃｗの値を対応する画素１１に対応付ける（Ｓ２４）。路上マーク削除部５は以上の演算を画像データ１０内の画素１１毎に行う（Ｓ２５）。路上マーク削除部５は横断歩道４１であると判断した領域について車両１６を特定する処理から除外する（Ｓ２６）。具体的には、路上マーク削除部５が横断歩道４１として検出した画素を自己相関差計算部４が作成した分布図５０内の画素とを対応付けて、以降の車両１６検出処理の対象外とする。なお、自己相関差計算部４は路上マーク削除部５によって横断歩道４１が除去された後の画像データ１０によって分布図５０を作成することも可能である。横断歩道４１の領域を除外することにより、画像処理装置１は車両１６を特定する処理において車両１６の誤検出を低減することができる。路上マーク削除部５は図６（Ｂ）の元の画像データ１０に対して、図６（Ｃ）の削除すべき横断歩道４１の領域を取得する。【００６８】
次に、画像処理装置１は演算領域３２の特徴を示す類似値の分布の状態に応じて定まる形状が予め車両（被写体）の特徴として定めた形状に合致する領域を画像データ内の車両の部分として検出する。画像処理装置１は自己相関差計算部４及び路上マーク削除部５によって作成された分布図５０から車両１６を検出する。【００６９】
まず、車両１６と類似値３８の差分３９（特徴を示す類似値）との関係について説明する。画像処理装置１は、車両１６の左右対象の形状を利用して分布図５０内の車両を検出する。図８は、元の画像データ１０の車両１６部分の画像（Ａ）と分布図５０の車両１６部分の画像（Ｂ）とを示す。本実施例で設置されたカメラ２は車両１６を正面あるいは背面から撮影することとなる。車両１６の正面または背面は左右対象の形状である。【００７０】
車両１６の左右に位置する画素群５１の類似値３８の差分３９は大きくなる。車両１６の左右の側面には角となる部分が多いためである。車両１６のフロント部分に位置する画素群の類似値３８の差分３９は大きくなる。車両１６のフロント部分も角となる部分が多いためである。なお、フロント部分も車両１６の中心から左右対称となる。車両１６の左右の側面の外側に位置する画素群５２の類似値３８の差分３９は小さくなる。車両１６の外側はアスファルトであるため類似値３８の差分３９は小さくなるためである。車両１６のフロント部分の更に手前、すなわち車両１６の前方に位置する画素群５３に対応する類似値３８の差分３９は小さくなる。車両１６の外側はアスファルトであるため類似値３８は小さくなるためである。車両１６のフロント部分に位置する画素群の類似値は小さい値が分布する。なお、手前方向に向く車両１６のフロント部分の前方は、二次元の画像データ１０では車両１６よりも下の縦方向１３の座標となる。【００７１】
以上の車両１６の左右に位置する画素群５１、車両１６の左右の側面の外側に位置する画素群５２および車両１６の前方に位置する画素群５３の分布図５０内の状態に基づき、予め車両の特徴となるパターンを定義する。本実施例での車両１６の特徴となるパターンは以下の条件によって定義する。
・条件１．車両１６の左右に類似値３８の差分３９が大きい画素群５１が分布する。
・条件２．車両１６の両側面の更に外側となる領域に類似値３８の差分３９が小さい画素群５２が分布する。
・条件３．車両１６の下側には類似値３８の差分３９が小さい画素群５３が分布する。【００７２】
画像処理装置１のパターン特徴量計算部６は以上の条件を満たす領域を分布図５０から検出する。【００７３】
図９はパターン特徴量計算部６が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。パターン特徴量計算部６は図８の分布図５０の各画素５４について以下の計算を行う。まず、パターン特徴量計算部６は分布図５０の中の現在の演算の対象となる画素５４を検出対象画素５５として設定する（Ｓ３１）。パターン特徴量計算部６は検出対象画素５５を基準位置として特徴量を算出する（Ｓ３２）。具体的には、パターン特徴量計算部６は類似値３８の差分３９の分布の状態を下記の式（１２）乃至式（１６）の結果から取得する。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００７４】
【数１２】
2008065707.tif 000014
【００７５】
【数１３】
2008065707.tif 000015
【００７６】
式（１２）によって求められるＥｌｅｆｔ５６は検出対象画素５５を基準の座標として”ｋ１”，”ｌ１”で定められる領域内の画素５４の類似値３８の差分３９の総和である。式（１３）によって求められるＥｒｉｇｈｔ５７は検出対象画素５５を基準位置として”ｋ２”，”ｌ２”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｌｅｆｔ５６、Ｅｒｉｇｈｔ５７は車両１６の中央から左右の側面部分までの範囲に対応する。車両１６の側面部分およびフロント部分は角部分が多く類似値３８の差分３９が大きい値が多く分布する。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００７７】
【数１４】
2008065707.tif 000016
【００７８】
【数１５】
2008065707.tif 000017
【００７９】
式（１４）によって求められるＥｓｉｄｅ５８は検出対象画素５５を基準位置として分布図５０の左側の”ｋ３”，”ｌ３”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｓｉｄｅ５８は車両１６の側面よりも更に外側に対応する。車両１６の側面よりも更に外側となる領域はアスファルトであり類似値３８の差分３９が小さい値が多く分布する。【００８０】
式（１５）によって求められるＥｂｏｔｔｏｍ５９は検出対象画素５５を基準位置として分布図５０の下側の”ｋ４”，”ｌ４”で定められる領域内の画素５４の類似値３８の差分３９の総和である。Ｅｂｏｔｔｏｍ５９は車両１６の下側となる。検出対象画素５５の基準位置が車両１６のフロント部分の下端である場合、Ｅｂｏｔｔｏｍ５９の領域は道路となる。したがって、Ｅｂｏｔｔｏｍ５９の値は小さくなる。【００８１】
パターン特徴量計算部６は以上の各式（１２）乃至式（１５）により算出した値を下記の式（１６）に代入して、検出対象画素５５に対応する車両１６の特徴の大きさを示す値６０Ｅ（ｘ，ｙ）を得る。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００８２】
【数１６】
2008065707.tif 000018
【００８３】
Ｅ（ｘ、ｙ）は、Ｅｌｅｆｔ５６、Ｅｒｉｇｈｔ５７の値が大きい場合に大きくなる。
また、検出対象画素５５が車両１６の中央であった場合、Ｅｌｅｆｔ５６とＥｒｉｇｈｔ５７とは左右対称に位置することとなる。したがって、Ｅｌｅｆｔ５６の値とＥｒｉｇｈｔ５７の値は近い値となる。Ｅ（ｘ、ｙ）はＥｌｅｆｔ５６、Ｅｒｉｇｈｔ５７の左右のバランスがある場合に小さくなる。Ｅ（ｘ、ｙ）はＥｓｉｄｅ５８の値が小さい場合に小さくなる。Ｅ（ｘ、ｙ）はＥｂｏｔｔｏｍ５９の値が小さい場合に小さくなる。なお、Ｃｓｉｄｅ、Ｃｂｏｔｔｏｍの値は、カメラ２が撮影する道路の状態等に応じて設計者が設定する値である。パターン特徴量計算部６は算出したＥ（ｘ、ｙ）を検出対象画素５５に対応付ける（Ｓ３３）。【００８４】
パターン特徴量計算部６は以上の処理を分布図５０内の全画素５４について演算する（Ｓ３４）。パターン特徴量計算部６は、演算結果によって、分布図５０内で車両１６が存在すると考えられる領域の縦方向１３の座標、および横方向１４の座標を取得することができる。【００８５】
パターン特徴量計算部６による車両１６の検出の演算は自己相関差計算部４が元の画像データ１０について演算対象画素３３を基準とした類似値３８の差分３９を取得し、類似値３８の差分３９によって分布図５０を作成するため、画像データ１０に写る影等の影響は低減している。【００８６】
一方、画像処理装置１の対象性特徴量計算部７は分布図５０から車両１６の左右の中心座標を求める演算を行う。図１０は分布図５０と車両１６の対象性との関係を示す図である。車両１６の形状は左右対象である。したがって、類似値３８の差分３９は車両１６の中心から左右に対象に分布する。そこで、対象性特徴量計算部７は車両１６の左右対称性を利用した車両１６の位置の特定を行う。対象性の評価は以下の手順により行う。【００８７】
図１１は、対象性特徴量計算部７が実行する分布図１０から車両１６が存在する領域を検出する処理のフローチャートである。【００８８】
対象性特徴量計算部７は現在の演算の対象となる座標として図１０の演算中央座標６１（ｘ，ｙ）を設定する（Ｓ４１）。次に対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）の特徴量を算出する（Ｓ４２）。具体的には、対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）の横方向１４の座標”ｘ”を中心として正の横方向１４に離れた座標６３”＋ｉ”および負の横方向１４に離れた座標６２”−ｉ”だけ離れた座標のそれぞれの輝度を取得する。”ｉ”は対象性を算出すべき範囲で適宜定められる。例えば、”ｉ”の範囲は画像データ１０内の縦方向１３の座標に対応する車両１６の幅の半分の大きさに設定される。対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）から正の横方向１４に離れた座標６３を”ｘ＋ｉ，ｙ”とし、座標６３”ｘ＋ｉ，ｙ”の輝度をＰ７（ｘ＋ｉ，ｙ）とする。対象性特徴量計算部７は演算中央座標６１（ｘ，ｙ）から負の横方向１４に離れた座標６２を”ｘ−ｉ，ｙ”とし、座標６２”ｘ−ｉ，ｙ”の輝度をＰ８（ｘ−ｉ，ｙ）とする。【００８９】
対象性特徴量計算部７は現在の輝度Ｐ７と輝度Ｐ８との合計値を式（１７）のＳ（ｉ）によって算出する。【００９０】
【数１７】
2008065707.tif 000019
【００９１】
Ｓ（ｉ）は輝度Ｐ７および輝度Ｐ８のそれぞれの輝度が大きい場合に大きな値となる。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。対象性特徴量計算部７は現在の輝度Ｐ７と輝度Ｐ８との差分値を式（１８）のＤ（ｉ）によって算出する。【００９２】
【数１８】
2008065707.tif 000020
【００９３】
Ｄ（ｉ）は輝度Ｐ７および輝度Ｐ８が近い値の場合に小さい値となる。したがって、Ｄ（ｉ）は輝度Ｐ７および輝度Ｐ８のバランスを示す。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００９４】
対象性特徴量計算部７は車両の中央を通る線を式（１９）のＥｓｙｍ（ｘ，ｙ）によって算出する。【００９５】
【数１９】
2008065707.tif 000021
【００９６】
Ｅｓｙｍ（ｘ，ｙ）は演算中央座標６１（ｘ，ｙ）から”ｉ”を所定の範囲で変化させた時のＳ（ｉ）の絶対値の総和からＤ（ｉ）の絶対値の総和を引いた値である。したがって、Eｓｙｍ（ｘ，ｙ）は演算の対象となる領域内の左右の輝度が等しくかつ左右の輝度が大きい場合に大きな値となる。対象性特徴量計算部７はＳ３２で算出したEｓｙｍ（ｘ，ｙ）を演算中央座標６１に対応付ける（Ｓ４３）。【００９７】
以上の演算を対象性特徴量計算部７が分布図５０内の全ての画素５４について行う（Ｓ４４）ことにより、分布図５０内の車両１６の中央を通る線を検出することが可能となる。【００９８】
また、対象性特徴量計算部７は以下の式により車両１６の重心Ｒｓｙｍ（ｘ、ｙ）を求める式（２０）により車両１６の中央を通る線を検出することも可能である。なお、”ｔ”は現在取得した画像データ１０が対象であることを示す。【００９９】
【数２０】
2008065707.tif 000022
【０１００】
次に、車両位置判定部８が行う処理について説明する。【０１０１】
車両位置判定部８は、パターン特徴量計算部６による車両１６のパターンの認識処理から分布図５０内の車両１６が存在する縦方向１３の座標および横方向１４の座標を得る。縦方向１３の座標は、画像データ１０内で車両１６が手前方向に向いている場合、車両１６のフロントの下端となる。また、車両位置判定部８は、対象性特徴量計算部７による車両１６の左右の中心を通る線を求める処理から分布図５０内の車両１６の中央となる横方向１４の座標を得る。車両位置判定部８はパターン特徴量計算部６による演算結果と対象性特徴量計算部７による演算結果を重ねあわせ、画像データ１０内において車両１６が存在する基準となる座標を取得する。車両位置判定部８は取得した基準となる座標から画像データ１０あるいは分布図５０の輝度のピークを検出して車両１６のフロント部分の幅を示す画素数を取得する。【０１０２】
車両１６の基準となる縦方向１３の座標およびピーク検出によって取得した車両１６のフロント部分の幅の画素数からデータベース２０の合致する車種を検出する。以上により、画像処理装置１は画像データ１０内の車両１６の位置を検出し、及び、車両１６の車種を特定することが可能となる。【０１０３】
図１２は、本実施例による車両の検出例である。【０１０４】
元の画像データ（Ａ）はカメラ２が撮影した画像である。
車両部分（Ｂ）は、元の画像データ（Ａ）の車両部分を抜き出した領域である。
本実施例による検出（Ｃ）は、本実施例の処理によって検出した場合の検出範囲である。
背景差分による検出（Ｄ）は、従来技術である背景差分方式によって検出した場合の検出範囲である。エッジ検出（Ｅ）は、従来技術であるエッジ検出方式によって検出した場合の検出範囲である。背景差分方式およびエッジ検出方式、では影部分の影響を受けるため車両のみの範囲を検出することができない。【０１０５】
図１３は、本実施例の画像処理装置１のハードウェア構成例である。画像処理装置１は、ＣＰＵ１０１、カメラ２、メモリ１０３、出力部１０４および、バス１０５からなる。ＣＰＵ１０１、カメラ２、メモリ１０３、および、出力部１０４はバス１０５により接続され各部間でデータの授受を行う。ＣＰＵ１０１は、メモリ１０３に格納されている画像処理プログラム１００をワークエリアに読出して実行する中央処理装置である。画像処理プログラム１００は、画像処理装置１のＣＰＵ１０１を自己相関差計算部４、路上マーク削除部５、パターン特徴量計算部６、対象性特徴量計算部７及び車両位置判定部８として機能させる。【０１０６】
メモリ１０３は、画像処理装置１の種々の情報を記憶する。例えば、ＲＡＭ、ハードディスク装置等である。メモリ１０３は、ＣＰＵ１０１が演算を行う際のワークエリアともなる。また、データベース２０に格納された情報も記憶する。【０１０７】
出力部１０４は、画像データ１０内で検出した車両１６の位置及び特定した車種の情報を出力するためのインターフェースである。例えば、出力先は他の車両が有する無線端末である。他の車両は、画像データ１０内に車両１６が存在する旨の情報を受信する。無線通信の場合のインターフェースは無線端末との間の無線プロトコル（例えばＩＥＥＥ８０２．１１に定められた手続き）で通信を行う。【０１０８】
本実施例は車両１６の検出のための基本的な特徴量として画素１１間の類似値３８の差分３９を使用する。類似値３８の差分３９による特徴量は曲線および角部分の値が大きくなる。また、車両の正面あるいは背面が左右対称であることを利用する。したがって、類似値３８の差分３９による特徴量は車両１６の正面あるいは背面を検出する場合に有効である。一方、類似値３８の差分３９による特徴量は直線的な部分や曲率の少ない部分での反応は小さくなる。したがって、類似値３８の差分３９による特徴量は影などの直線の部分や単純な形状になりやすい部分に対しては反応が小さくなる。その結果、類似値３８の差分３９による特徴量は影による誤検出や路面反射による誤検出を減少させることができる。【０１０９】
また、画像データ１０を一定時間の間隔で取得するシステムに本実施例を応用する場合、複数の画像データ１０間において車両１６が存在する位置の差分を取得することにより車両１６の移動速度を計算することも可能である。【０１１０】
なお、本実施例は、画素１１を基準として演算の処理を行ったが、画像データ１０内の複数の画素１１を一つのまとまりをした領域を演算の単位とすることも可能である。すなわち、ディジタル画像データ１０の画素数を減少させるようなサイズの変更をした場合、複数の画素１１が寄せ集められ一つの画素となるサイズの縮小がなされる。一方、ディジタル画像データ１０の画素数を増加させるようなサイズの変更をした場合、周囲の画素１１との関係から補間した画素１１を新たな画素１１とするサイズの拡大がなされる。したがって、複数の画素１１を一つのまとまりとした領域とみなした検出を行うことは画像データ１０のサイズ変更をした後、画素１１毎に検出処理を行うことと実質同一である。【０１１１】
更に、本実施例では、自己相関差計算部４が設定する演算領域３２、比較領域３４、及び探索範囲３１はいずれも画像データ１０内で均一として説明した。しかし、画像データ１０内で三次元空間として見た場合に手前となる領域あるいは奥となる領域に応じて探索範囲３１、演算領域３２、および、比較領域３４の範囲を変更することも可能である。例えば、三次元空間として見た場合に奥となる領域については、探索範囲３１、演算領域３２、および、比較領域３４の範囲を小さくする。一方、三次元空間として見た場合に手前となる領域については、探索範囲３１、演算領域３２、および、比較領域３４の範囲を大きくする。範囲を変更することにより、自己相関差計算部４が実行する演算量を削減することができる。また範囲を変更することにより、各座標位置に応じた精度の検出を行うことができる。具体的には、演算対象画素３３の画像データ１０内の縦方向１３の座標値に応じて探索範囲３１、演算領域３２、および、比較領域３４の範囲を変化させるためのデータを予め設けておくことにより可能である。【０１１２】
また、本実施例は画像データ１０の輝度によって類似値を算出する方法について説明した。本実施例は輝度だけでなく、明度、色相、彩度の組合せによって類似値を算出することができる。
【産業上の利用可能性】
【０１１３】
本発明は、画像データ内の車両の位置の検出を少ない演算で可能とすることにより、画像データ内の車両の状態を通知するシステムに利用することができる。
【図１】
2008065707.tif 000023
【図２】
2008065707.tif 000024
【図３】
2008065707.tif 000025
【図４】
2008065707.tif 000026
【図５】
2008065707.tif 000027
【図６】
2008065707.tif 000028
【図７】
2008065707.tif 000029
【図８】
2008065707.tif 000030
【図９】
2008065707.tif 000031
【図１０】
2008065707.tif 000032
【図１１】
2008065707.tif 000033
【図１２】
2008065707.tif 000034
【図１３】
2008065707.tif 000035
【手続補正書】
【提出日】平成20年6月30日(2008.6.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データ内の被写体を検出する画像データ認識方法であって、
前記画像データ内所定の領域内の任意の位置の画素である第一の画素と、該第一の画素を中心とする第一の領域と、前記第一の画素と比較の対象とする画素であって前記画像データの中で前記第一の画素を含む領域である探索範囲の中の任意の位置の画素である複数の第二の画素と、該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定め、
該第一の領域と該それぞれの第二の領域とを比較することにより算出した類似値を該それぞれの第二の画素に対応付け、
前記第一の画素と前記第二の画素とが同一の画素でない場合に、該複数の第二の画素に対応づけられた該類似値の内の前記探索範囲の中で最も類似することを示す類似値を選択し該類似値を該第一の画素に対応付け、
前記所定の領域内の全ての画素をそれぞれ前記第一の画素として求めた前記第一の画素に対応付けた値を前記第一の画素の位置にマッピングすることで分布を求め、
前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する
ことを特徴とする画像データ認識方法。
【請求項２】
該画像データの撮影対象領域である三次元空間での手前となる領域は大きく、三次元空間での奥となる領域は小さくすることを特徴とする請求項１記載の画像データ認識方法。
【請求項３】
該被写体の特徴として定めた形状は、車両の形状を定める条件であることを特徴とする請求項１記載の画像データ認識方法。
【請求項４】
検出範囲の両側に大きい類似値が分布し、かつ、該検出範囲の両側の類似値に対象性があり、かつ、検出範囲の下側には小さい類似値が分布する座標を前記車両のフロントの最下部の座標とすることを特徴とする請求項３記載の画像データ認識方法。
【請求項５】
該車両は、該車両の前記類似値の分布の対象性から前記画像データ内の横方向の該車両の中心位置を求め、前記車両の分布の形状と前記車両の形状を定める条件から縦軸方向の位置を特定することを特徴とする請求項３記載の画像データ認識方法。
【請求項６】
前記比較する対象の範囲を第一の画素を中心にして車両が存在し得る範囲とすることを特徴とする請求項１記載の画像データ認識方法。
【請求項７】
横断歩道の繰り返しパターンを削除した後で類似値の分布を計算することを特徴とする請求項１記載の画像データ認識方法。
【請求項８】
画像データ内の被写体を検出する画像データ認識装置であって、
前記画像データ内所定の領域内の任意の位置の画素である第一の画素と、該第一の画素を中心とする第一の領域と、前記第一の画素と比較の対象とする画素であって前記画像データの中で前記第一の画素を含む領域である探索範囲の中の任意の位置の画素である複数の第二の画素と、該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める手段と、
該第一の領域と該それぞれの第二の領域とを比較することにより算出した類似値を該それぞれの第二の画素に対応付ける手段と、
前記第一の画素と前記第二の画素とが同一の画素でない場合に、該複数の第二の画素に対応づけられた該類似値の内の前記探索範囲の中で最も類似することを示す類似値を選択し該類似値を該第一の画素に対応付ける手段と、
前記所定の領域内の全ての画素をそれぞれ前記第一の画素として求めた前記第一の画素に対応付けた値を前記第一の画素の位置にマッピングすることで分布を求め、前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する手段と
を有することを特徴とする画像データ認識装置。
【請求項９】
画像データ内の被写体を検出する画像データ認識プログラムであって、コンピュータを、
前記画像データ内所定の領域内の任意の位置の画素である第一の画素と、該第一の画素を中心とする第一の領域と、前記第一の画素と比較の対象とする画素であって前記画像データの中で前記第一の画素を含む領域である探索範囲の中の任意の位置の画素である複数の第二の画素と、該複数の第二の画素をそれぞれ中心とする複数の第二の領域とを定める手段、
該第一の領域と該それぞれの第二の領域とを比較することにより算出した類似値を該それぞれの第二の画素に対応付ける手段、
前記第一の画素と前記第二の画素とが同一の画素でない場合に、該複数の第二の画素に対応づけられた該類似値の内の前記探索範囲の中で最も類似することを示す類似値を選択し該類似値を該第一の画素に対応付ける手段、
前記所定の領域内の全ての画素をそれぞれ前記第一の画素として求めた前記第一の画素に対応付けた値を前記第一の画素の位置にマッピングすることで分布を求め、前記分布の状態に応じて定まる形状が予め被写体の特徴として定めた形状に合致する領域を画像データ内の被写体の部分として検出する手段、
として機能させることを特徴とする画像データ認識プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上方から見下ろす場所にカメラ２を設置する場合の画像データ１０の消失点１２は、一般的に、画像データ１０内の縦方向１３の上方の位置に配置する。画像データ１０内の上方の位置に消失点１２を配置することは、画像データ１０内の車道１５が写る領域を多くすることを可能とする。したがって画像処理装置１は車道１５の縦方向１３を消失点１２が画像データ１０内で下方の位置にある場合と比較して多くの縦座標によって分解することが可能となる。縦方向１３をより多く分解することが可能となると、画像処理装置１は車道１５上の車両１６の位置を正確に取得することができる。一方、車両１６にカメラ２を搭載する場合は、一般的に、カメラ２は地面に対して水平方向を撮影するように配置される。カメラ２が車両１６に取付けられる場合は、カメラ２は車両１６のフロント部分等の低い位置に取付けられる。したがって、カメラ２が下方に向けられたアングルの場合、カメラ２は前方を走行する車両１６の最高部を撮影することができなくなる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
車道１５の幅は画像データ１０内の縦方向１３の下方の位置で取得すべき車道１５の幅となるようにする。このとき、最も手前における車道１５と路側帯との境界を示す点１７が画像データ１０の最下部となる。画像データ１０内の下方の位置で車道１５の幅が最大となるように配置することによりカメラ２は画像データ１０内の手前において車両１６の幅を大きく写すことが可能となる。車両１６の幅を大きく写すことにより画像処理装置１は車両１６の幅より多くの画素で分解することができ、画像処理装置１は車両１６の幅の情報を正確に取得することができる。なお、消失点１２、車道１５の幅についてのカメラ２のアングルは、道路条件、取得すべき対象に応じて変更することが可能である。
【国際調査報告】
2008065707.tif 000036
2008065707.tif 000037
2008065707.tif 000038
2008065707.tif 000039