(57)【要約】【課題】認識対象画像から順次抽出した候補画像データと予め登録された１又は複数の辞書データとを比較することで、認識対象画像内に辞書データと同一のパターンが含まれるか否かを識別する際に、認識対象画像から抽出される抽出データ数を減少させることにより、画像処理時間を短縮することを可能にする。【解決手段】認識対象画像２０から候補画像データ２４を抽出する際に、直前の抽出基準点２１の座標と、既に行われている直前の候補画像データ２２と辞書データとの比較結果に基づいて、候補画像データ２４を抽出するための抽出基準点２３の座標を決定する。【選択図】  図３
2007257212.tif 000002
【特許請求の範囲】
【請求項１】
認識対象画像から順次抽出した候補画像と予め登録された１又は複数のサンプル画像とを比較することで、認識対象画像内にサンプル画像が含まれるか否かを識別する画像認識装置であり、
１又は複数のサンプル画像を記憶する辞書データ記憶部と、
認識対象画像から所定のサイズの候補画像を抽出する候補画像抽出部と、
抽出された候補画像と、辞書データ記憶部に記憶された１又は複数のサンプル画像とを比較するデータ比較部と、
認識対象画像内の各領域から候補画像を抽出すると共にその候補画像とサンプル画像とを比較するために、候補画像抽出部と画像比較部を繰り返し実行させる繰り返し実行部と、を有しており、
候補画像抽出部が抽出する候補画像の抽出位置及び／又はサイズは、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果と、直前に抽出した候補画像の抽出位置及び／又はサイズから決定されていることを特徴とする画像認識装置。
【請求項２】
候補画像抽出部は、候補画像の抽出位置を所定の方向に走査することで候補画像を順次抽出するものであり、
候補画像抽出部が抽出する候補画像の抽出位置は、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果に応じて、直前に抽出した候補画像の抽出位置からの距離が変えられていることを特徴とする請求項１の画像認識装置。
【請求項３】
候補画像抽出部は、認識対象画像内に設定された抽出基準点から順にサイズを変えながら候補画像を抽出するものであり、
候補画像抽出部が抽出する候補画像は、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果に応じて、直前に抽出した候補画像に対するサイズ変化率が変えられていることを特徴とする請求項１の画像認識装置。
【請求項４】
データ比較部が行った比較結果に基づいて認識対象画像内の比較不要領域をマッピングするマッピング部をさらに有しており、
候補画像抽出部が抽出する候補画像の抽出位置及び／又はサイズは、マッピング部で得られたマップを利用して決定されていることを特徴とする請求項１の画像認識装置。
【請求項５】
認識対象画像から候補画像を抽出する工程と、その抽出した候補画像と予め登録された１又は複数のサンプル画像とを比較する工程とを有し、抽出工程と比較工程を繰り返し実行することにより、認識対象画像内にサンプル画像が含まれるか否かを識別する画像認識方法であり、
抽出工程では、既に抽出した１又は複数の候補画像に対して行った比較結果と、直前に抽出した候補画像の抽出位置及び／又はサイズから、認識対象画像から候補画像を抽出する抽出位置及び／又はサイズを決定していることを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関する。詳しくは、認識対象画像から順次抽出した候補画像と予め登録された１又は複数のサンプル画像とを比較することで、認識対象画像内にサンプル画像が含まれるか否かを識別する画像認識装置に関する。
【背景技術】
【０００２】
カメラ等で撮影された画像中に特定の物体が存在するか否かを識別する画像認識装置が知られている。この種の画像認識装置では、通常、識別対象となる特定物体のサンプル画像が予め辞書データとして記憶される。カメラ等によって画像（すなわち、認識対象となる画像）が撮影されると、その認識対象画像から所定サイズの候補画像が抽出される。抽出された候補画像は、予め記憶されている辞書データと比較され、候補画像と辞書データとの類似度が算出される。算出された類似度が高いと候補画像が辞書データであると識別され、算出された類似度が低いと候補画像が辞書データでないと識別される。上述した候補画像の抽出と、抽出した候補画像と辞書データとの比較は、認識対象画像内の全ての領域に対して行われる。これによって、認識対象画像内に特定物体が含まれるか否かが識別される。
なお、この種の画像認識装置の従来技術としては、例えば、特許文献１の技術が知られている。
【０００３】
【特許文献１】特開平５−２８３２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この種の画像認識装置では、認識対象画像から所定サイズ（所定の画素数）の候補画像が順次抽出され、抽出された候補画像と辞書データとを比較することにより、特定物体の有無を識別している。したがって、識別精度を上げるためには候補画像を細かく抽出する必要があるが、候補画像を細かく抽出すると処理時間が長くなる。一方、処理時間を短くするためには候補画像を粗く抽出しなければならないが、候補画像を粗く抽出すると識別精度が低下してしまう。従来技術では、処理時間より識別精度が優先され、認識対象画像の全域から細かく候補画像が抽出されるようになっていた。
しかしながら、近年、この種の画像認識装置を、画像認識を高速に行うことが必要な分野への利用が検討されている。例えば、自動車等に画像認識装置を搭載し、カメラによって撮影された進行方向前方の画像から白線や歩行者等を検出することで、運転者の運転支援に利用されることが提案されている。画像認識を高速に行うためには処理時間を短くしなければならないが、従来の技術では、処理時間を短くしようとすると候補画像を粗く抽出しなければならず、識別精度が低下するという問題がある。
【０００５】
本発明は、上述した事情を鑑みてなされたものであり、その目的は、認識対象画像中に特定の物体があるか否かを識別する際に、認識対象画像から抽出される抽出データ数を減少させることにより処理時間を短縮しつつ、識別精度を低下させない技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明では、認識対象画像から候補画像を抽出する際に、候補画像を抽出する粗さを場所によって変えることで、処理時間を短縮しつつ識別精度の維持を図る。すなわち、認識対象画像の中には、辞書データと大きく異なる部分と、辞書データとある程度類似している部分あるいは特定物体の存在が明確な部分が混在している。従来の技術では、認識対象画像の全領域に対して同一精度で比較を行う。このため、識別精度を上げようとすると、比較が不要な部分に対しても詳細な比較が行われ、処理時間が長くなる。そこで、本発明では、辞書データと異なる部分については粗く候補画像を抽出する一方で、辞書データと類似する部分については細かく候補画像を抽出する。これによって、処理時間を短縮しつつ識別精度を高く保つようにしている。
【０００７】
本発明の画像認識装置は、認識対象画像から順次抽出した候補画像と予め登録された１又は複数のサンプル画像とを比較することで、認識対象画像内にサンプル画像が含まれるか否かを識別する。この画像認識装置は、１又は複数のサンプル画像を記憶する辞書データ記憶部と、認識対象画像から所定のサイズの候補画像を抽出する候補画像抽出部と、抽出された候補画像と、辞書データ記憶部に記憶された１又は複数のサンプル画像とを比較するデータ比較部と、認識対象画像内の各領域から候補画像を抽出すると共にその候補画像とサンプル画像とを比較するために、候補画像抽出部と画像比較部を繰り返し実行させる繰り返し実行部と、を有している。そして、候補画像抽出部が抽出する候補画像の抽出位置及び／又はサイズは、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果と、直前に抽出した候補画像の抽出位置及び／又はサイズから決定されていることを特徴とする。
この画像認識装置では、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果と、直前に抽出した候補画像の抽出位置及び／又はサイズから、次に抽出する候補画像の抽出位置及び／又はサイズが決定される。すなわち、既に行った比較結果からサンプル画像（辞書データ）とある程度類似すると判断される領域については、候補画像が細かく抽出されるように候補画像の抽出位置及び／又はサイズが決定される。一方、既に行った比較結果からサンプル画像（辞書データ）と大きく異なると判断される領域については、候補画像が粗く抽出されるように候補画像の抽出位置及び／又はサイズが決定される。これによって、抽出画像の数を少なくでき、処理時間を短縮することができる。また、サンプル画像と類似する領域については細かく候補画像が抽出されるため、識別精度を高く維持することができる。
【０００８】
本発明の一態様に係る画像認識装置では、候補画像抽出部は、候補画像の抽出位置を所定の方向に走査することで候補画像を順次抽出することができる。この場合、候補画像抽出部が抽出する候補画像は、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果に応じて、直前に抽出した候補画像の抽出位置からの距離が変えられることが好ましい。
この画像認識装置では、候補画像の抽出位置を所定の方向（例えば、ｘ方向又はｙ方向）に走査することで候補画像を順次抽出するため、認識対象画像から漏れなく候補画像を抽出することができる。また、既に抽出した候補画像に対して行った比較結果に応じて、直前に抽出した候補画像から次に抽出する候補画像までの移動距離が変わるため、候補画像を抽出する細かさを簡易に変えることができる。
なお、直前に抽出した候補画像から次に抽出する候補画像までの移動距離は、候補画像の走査方向の画素数より小さく設定されることが好ましい。これによって、認識対象画像から候補画像が抽出されない領域を無くすことができる。
【０００９】
本発明の他の態様に係る画像認識装置では、候補画像抽出部は、認識対象画像内に設定された抽出基準点から順にサイズを変えながら候補画像を抽出することができる。この場合、候補画像抽出部が抽出する候補画像は、既に抽出した１又は複数の候補画像に対してデータ比較部が行った比較結果に応じて、直前に抽出した候補画像に対するサイズ変化率が変えられることが好ましい。
この画像認識装置では、認識対象画像内に設定された抽出基準点から順にサイズを変えながら候補画像を抽出するため、認識対象画像内に特定物体が異なるサイズで含まれる場合でも精度よく特定物体を検出することができる。また、既に抽出した候補画像に対して行った比較結果に応じて、直前に抽出した候補画像に対する次に抽出する候補画像のサイズ変化率を変えることで、候補画像を抽出する細かさを簡易に変えることができる。
なお、上述した候補画像の抽出位置を走査することによる候補画像の抽出と、同一抽出位置で異なるサイズの候補画像の抽出とを、併せて行うようにしてもよい。この場合は、候補画像の抽出位置を走査方向に変更すると、その変更した位置でサイズを変えながら候補画像を抽出することができる。このような場合は、（１）候補画像の抽出位置を走査方向に移動する際は、既に行った比較結果に応じて直前の抽出位置からの移動距離を変化させ、（２）候補画像のサイズを変更する際は、既に行った比較結果に応じてサイズ変化率を変えることが好ましい。
【００１０】
さらに、本発明の他の態様に係る画像認識装置では、データ比較部が行った比較結果に基づいて認識対象画像内の比較不要領域をマッピングするマッピング部をさらに有することができる。そして、候補画像抽出部が抽出する候補画像の抽出位置及び／又はサイズは、マッピング部で得られたマップを利用して決定されていることが好ましい。
この画像認識装置では、データ比較部が行った比較結果に基づいて比較不要領域をマッピングしたマップを利用するため、認識対象画像から漏れなく候補画像を抽出しつつ、抽出する候補画像数を少なくすることができる。これによって、処理時間の短縮を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１１】
下記の実施例に記載の技術の主要な特徴について列記する。
（形態１）  ＣＣＤカメラにより取得された画像データ（ｎ１×ｍ１画素）は２値表現化される。２値表現化された画像データは、通信回線を介して画像認識装置に入力される。
（形態２）  画像認識装置は、特定物を撮影することで取得したサンプル画像（ｎ２×ｍ２画素（ただしｎ２＜ｎ１，ｍ２＜ｍ１））を辞書データとして記憶する辞書データ格納メモリを有する。辞書データも２値表現化されている。辞書データ格納メモリには複数の辞書データが記憶されている。
（形態３）  画像認識装置は、認識対象画像に設定された抽出基準点から所定の画素数（ｎ３×ｍ３（ただしｎ３＜ｎ１，ｍ３＜ｍ１））の候補画像を抽出する。候補画像と辞書データは同一サイズとされている。画像認識装置は、抽出基準点を所定の方向（ｘ方向又はｙ方向）に移動させながら候補画像を抽出する。抽出基準点の移動距離Δｄは、直前の候補画像の比較結果に応じて決定されている。
（形態４）  画像認識装置は、同一の抽出基準点から異なるサイズ（ｎ３ｉ×ｍ３ｉ（ｉ＝１，２，・・））の候補画像を抽出する。画像認識装置は、ある抽出基準点に関して候補画像と辞書データとを比較すると、その比較結果に応じて当該抽出基準点から次に抽出する候補画像のサイズを決定する。
（形態５）  画像認識装置は、候補画像の画素数と辞書データの画素数が同一でない場合は、候補画像の画素数（ｎ３×ｍ３）に応じて辞書データ（ｎ２×ｍ２画素）を拡大・縮小し、候補画像の画素数と辞書データの画素数を一致させる。次いで、候補画像の各画素と対応する辞書データの各画素の差から、候補画像と辞書データの類似度を算出する。
【実施例】
【００１２】
（第１実施例）  本発明を具現化した第１実施例の画像認識装置について、図１を参照して説明する。図１は、本実施例の画像認識装置１０の構成を示すブロック図である。
画像認識装置１０は、認識対象となる画像を撮影するカメラユニット１１と、撮影された画像内に特定物が含まれているか否かを識別する画像認識ユニット２９と、画像認識結果を表示するディスプレイ３１と、各ユニット１１，２９，３１間でデータ通信を行うための通信ユニット３０によって構成されている。
【００１３】
カメラユニット１１は、自動車の車体前端に設置され、自動車の車体前方を撮影する。カメラユニット１１はＣＣＤカメラを備えている。ＣＣＤカメラで撮影された画像は、図２に示すように、ｘ方向にａ＋１画素、ｙ方向にｂ＋１画素の（ａ＋１）×（ｂ＋１）個のデータによって構成されている。ＣＣＤカメラで得られた画像データは、所定の閾値を基準として２値表現化され、２値で表現されている。ここで、２値表現化された画像データは、２進数で表現され、８ビット等で構成することができる。
カメラユニット１１は、所定の周期でＣＣＤカメラにより画像を撮影し、その撮影した画像データを２値表現化し、２値表現化した画像データを通信ユニット３０を介して画像認識ユニット２９に送信する。なお、画像データを送信する際は、公知の画像圧縮方法（例えば、ランレングス法）によって圧縮したデータを送信することができる。圧縮したデータを送信することで、データ送信時間を短縮することができる。
【００１４】
画像認識ユニット２９は、画像データ格納メモリ１２と、辞書データ格納メモリ１６と、カメラユニット１１から入力（送信）された画像データを認識処理するデータ処理部２８と、データ処理部２８による認識処理結果を記憶する比較結果格納メモリ１８と、によって構成されている。
画像データ格納メモリ１２は、カメラユニット１１から送信された画像データ［（ａ＋１）×（ｂ＋１）画素）］を一時的に格納するメモリである。画像データ格納メモリ１２に格納された画像データは、データ処理部２８によって読み取られる。データ処理部２８によって画像データが読取られると、画像データ格納メモリ１２がリセットされる。
【００１５】
辞書データ格納メモリ１６は辞書データを格納するメモリである。辞書データは、識別すべき特定物体（例えば、歩行者）を撮影した画像データ（サンプル画像データ）である。辞書データは、図６に示すように、ｘ方向にａｎ画素、ｙ方向にｂｎ画素のａｎ×ｂｍ個のデータによって構成されている。辞書データのサイズは、カメラユニット１１で取得される画像データ［（ａ＋１）×（ｂ＋１）］より小さくされている。すなわち、（ａ＋１）＞ａｎ，（ｂ＋１）＞ｂｍとなっている。辞書データも、カメラユニット１１から送信される画像データと同様に２値表現化されている。
【００１６】
データ処理部２８は、候補画像データ抽出部１４と、比較処理部１５と、抽出基準点の座標計算部１７によって構成されている。なお、データ処理部２８は、汎用プロセッサと、この汎用プロセッサに各種データ処理を実行させるプログラムによって実現することができ、あるいは、ＡＳＩＣ（Application  Specific  Integrated  Circuit）を用いることができる。データ処理部２８にＡＳＩＣを用いると、より高速に処理することが可能となる。
【００１７】
候補画像データ抽出部１４は、画像データ格納メモリ１２から読取った画像データ（以下、認識対象画像データともいう）から候補画像データを抽出し、抽出した候補画像データを比較処理部１５に出力する。図６に示すように、候補画像データは、辞書データと同一サイズの画像データとされている。すなわち、候補画像データは、ｘ方向にａｎ画素、ｙ方向にｂｍ画素のａｎ×ｂｍ個のデータによって構成されている。
候補画像データの抽出は、認識対象画像データ内に設定される抽出基準点に基づいて行われる。すなわち、本実施例では、抽出基準点として候補画像データの左上角の座標値（ｘ１，ｙ１）が与えられる。抽出基準点（ｘ１，ｙ１）が与えられると、その抽出基準点からｘ方向にａｎ個、ｙ方向にｂｍ個の範囲のデータが候補画像データとして抽出される。なお、抽出基準点の初期値は（０，０）とされており、その後の抽出基準点は座標計算部１７によって計算される。
【００１８】
比較処理部１５は、候補画像データ抽出部１４より入力された候補画像データと、辞書データ格納メモリ１６に格納されている辞書データとを比較し、両者の類似度Fを計算する。既に説明したように、候補画像データと辞書データは、共にｘ方向にａｎ画素、ｙ方向にｂｍ画素のａｎ×ｂｍ個のデータによって構成されている（図６参照）。したがって、候補画像と辞書データの類似度Fは、対応する各画素のデータ値の差を用いて算出される（すなわち、次式）。
【００１９】
【数１】
2007257212.tif 000003
【００２０】
上記の式より明らかなように、Ｆの値が小さくなるほど候補画像データと辞書データは類似しており、Ｆの値が大きくなればなるほど候補画像データと辞書データは類似していないこととなる。Ｆの値が所定の閾値Ｃｃｐ１より小さいと、候補画像データには識別対象となる特定物体が含まれていると識別される（図７参照）。
なお、上述した候補画像データと辞書データとの類似度Fの算出（特定物体が含まれるか否かの識別を含む）は、辞書データ毎に行われる。したがって、辞書データ格納メモリ１６に辞書データがｎ個格納されている場合は、類似度Fの算出がｎ回行われる。算出された類似度Fは、座標計算部１７及び比較結果格納メモリ１８に出力される。
【００２１】
座標計算部１７は、比較処理部１５より入力された類似度Fと、その類似度Fが算出された候補画像（すなわち、直前に比較処理された候補画像）の抽出基準点の座標値から、次に抽出する候補画像の抽出基準点の座標値を算出する。算出された抽出基準点の座標値は候補画像データ抽出部１４に入力される。候補画像データ抽出部１４は、座標計算部１７から入力された抽出基準点の座標値に基づいて候補画像データを抽出し、抽出された候補画像データは比較処理部１５によって辞書データと比較される。したがって、座標計算部１７が抽出基準点の座標値を候補画像データ抽出部１４に入力することで、候補画像データの抽出と辞書データとの比較が繰返される。したがって、本実施例においては、座標計算部１７が、請求項でいう「繰り返し実行部」に相当する。
座標計算部１７が抽出基準点の座標値を算出する手順について説明する。既に説明したように、認識対象画像データ２０は、ｘ方向にａ＋１画素、ｙ方向にｂ＋１画素の（ａ＋１）×（ｂ＋１）個のデータによって構成されている（図２参照）。なお、図２では、認識対象画像データ２０の左上角の画素の座標値を（０，０）とし、右下角の座標値を（ａ，ｂ）で表している。
本実施例では、抽出基準点の初期値は（０，０）とされ、まずは、ｘ軸方向に抽出基準点を移動させながら候補画像データを順次抽出する（すなわち、抽出基準点をｘ軸方向に走査しながら候補画像データを順次抽出する）。抽出される候補画像データの右端の画素が座標値（ａ，０）を超えるまで抽出基準点をｘ軸方向に走査すると、次は、抽出基準点のｘ座標を０に戻すと共にｙ座標に１加算する（すなわち、抽出基準点を（０，１）とする）。以下、ｙ軸方向にシフトした抽出基準点からｘ軸方向へ走査しながら候補画像を順次抽出する。以下、抽出基準点のｘ軸方向の走査が終了する毎にｙ座標を１加算してゆくことで、認識対象画像データの全域から候補画像データを抽出する。
また、抽出基準点をｘ軸方向に移動させる際には、直前に抽出された候補画像データに対して比較処理部１５で算出された類似度Ｆに応じて、直前の抽出基準点から次の抽出基準点までの移動距離（移動画素数）Δｄを算出する。
具体的には、直前に抽出された候補画像データに対して算出された類似度Ｆが所定の閾値Ｃｃｐ２より小さい場合（図７参照）には、直前に抽出された候補画像データが辞書データとある程度類似しており、その近辺は詳細に検出すべき領域であると判定し、移動距離Δｄを＋１画素とする。例えば、直前の抽出基準点が（ｘ，ｙ）である場合、次の抽出基準点は（ｘ＋１，ｙ）となる。
一方、直前に抽出された候補画像データに対して算出された類似度Ｆが所定の閾値Ｃｃｐ２より大きい場合（図７参照）には、直前に抽出された候補画像データが辞書データと類似しておらず、その近辺は詳細に検出する必要がない領域であると判定し、移動距離Δｄを＋２画素とする。例えば、直前の抽出基準点が（ｘ，ｙ）である場合、次の抽出基準点は（ｘ＋２，ｙ）となる。なお、抽出基準点の移動距離Δｄは、最大でも候補画像データのｘ軸方向の画素数以下とすることが好ましい。移動距離Δｄを候補画像データのｘ軸方向の画素数以下とすることで、候補画像データとして抽出されない領域が出てしまうことを防止することができる。
【００２２】
図４は座標計算部１７が抽出基準点を算出する手順を示すフローチャートである。図４のフローチャートに示すように、座標計算部１７には、まず、比較処理部１５より類似度Ｆが入力される（ステップＳ１）。次に、座標計算部１７は、入力された類似度Ｆから抽出基準点の移動量Δｄを決定する（ステップＳ２）。具体的には、算出された類似度Ｆが閾値Ｃｃｐ２以上の場合（すなわち、辞書データに対する走査データの類似度が低い場合）には、抽出基準点の移動画素数ΔｄをΔｄ＝＋２とする。算出された類似度Ｆが閾値Ｃｃｐ２未満の場合（すなわち、辞書データに対する走査データの類似度が高い場合）には、抽出基準点の移動画素数ΔｄをΔｄ＝＋１とする。
次に、直前の抽出基準点の座標（ｘ１，ｙ１）が入力され（ステップＳ３）、その入力された座標（ｘ１，ｙ１）と、ステップＳ２で算出された抽出基準点の移動画素数Δｄから、次の抽出基準点の座標値（ｘ２，ｙ２）を算出する（ステップＳ４）。すなわち、次の抽出基準点（ｘ２，ｙ２）は、ｘ２＝ｘ１＋Δｄ、ｙ２＝ｙ１となる。
次に、座標計算部１７は、ステップＳ４で算出された抽出基準点に基づく候補画像が、認識対象画像内にあるか否かを判定する（ステップＳ５）。すなわち、抽出基準点に基づく候補画像の右端の座標値が認識対象画像の右端の座標値を越えるか否かを判定する。
算出された抽出基準点に基づく候補画像が認識対象画像内にある場合（ステップＳ５でＹＥＳ）には、ステップＳ６をスキップしてステップＳ７に進み、ステップＳ４で算出された抽出基準点の座標を候補画像データ抽出部１４に出力する(ステップＳ７)。一方、算出された抽出基準点に基づく候補画像が認識対象画像内にない（ステップＳ５でＮＯ）場合には、抽出基準点のｘ座標を「０」にリセットすると共にｙ座標の値を＋１とすることで新たな抽出基準点の座標を算出し（ステップＳ６）、その算出した抽出基準点の座標を候補画像データ抽出部１４に出力する（ステップＳ７）。
なお、ステップＳ６によって、抽出基準点のｙ座標の値を＋１ずつ加算してゆくと、候補画像データが認識対象画像のｙ軸方向にはみ出し、認識対象画像から候補画像データが抽出できなくなる（すなわち、認識対象画像データの全ての領域から候補画像データが抽出される）。この場合には、座標計算部１７は、候補画像データ抽出部１４への抽出基準点の出力を停止し、画像認識処理を終了させる。
【００２３】
比較結果格納メモリ１８は、比較処理部１５で行われた比較結果が格納される。認識対象画像データの全ての領域から候補画像データが抽出され、抽出された全ての候補画像データに対して辞書データと比較されると、その全ての比較結果が通信ユニット３０を介してディスプレイ３１に出力される。ディスプレイ３１には、カメラユニット１１で撮影された画像と比較格納メモリ１８に格納された比較結果とが併せて表示される。これによって、運転者に前方にいる歩行者等の存在が報知される。
【００２４】
次に、画像認識装置１０の画像処理方法について図５を参照して説明する。
まず、カメラユニット１１により車体前方を撮影する（ステップＳ１１）。カメラユニット１１により撮影された画像データは、通信ユニット３０を介して画像処理ユニット２９に入力され、画像データ格納メモリ１２に記憶される。
次に、座標計算部１７により抽出基準点の座標が算出される（ステップＳ１２）。座標計算部１７による抽出基準点の座標を計算する手順については既に説明している［図４参照（但し最初は（０，０）となる）］。次に、座標計算部１７はステップＳ１２で算出された抽出基準点の座標から候補画像データを抽出することができるか否かを判定する（ステップＳ１３）。すなわち、抽出基準点のｙ座標が最大値となっており、その抽出基準点に基づいては候補画像データを抽出できない状態となっているか否かを判定する。候補画像データを抽出できない場合（ステップＳ１３でＹＥＳ）は、認識対象画像から全ての候補画像データを抽出しているため、ステップＳ１７に進んで、画像認識結果をディスプレイ３１に出力する。一方、候補画像データを抽出できる場合（ステップＳ１３でＮＯ）は、候補画像データ抽出部１４は、ステップＳ１１で入力された認識対象画像データから、ステップＳ１２で決定された抽出基準点に基づいて候補画像データを抽出する（ステップＳ１４）。比較処理部１５は、抽出された候補画像データと辞書データを比較して類似度Fを算出し、候補画像データと辞書データが一致するか否かを識別する（ステップＳ１５）。比較処理部１５で識別が行われると、その識別結果を座標計算部１７及び比較結果格納メモリ１８に出力し（ステップＳ１６）、ステップＳ１２に戻る。これによって、認識対象画像の全ての領域から候補画像データが抽出されるまで、座標計算部１７により抽出基準点の座標計算及び画像データ抽出部１４により候補画像データの抽出が繰り返され、抽出された候補画像データと辞書データの比較が行われることとなる。
【００２５】
上述した画像認識装置１０による画像処理の具体例を図３を参照して説明する。図３は抽出基準点２１として（ｘ１，ｙ１）＝（０，１）が入力された以降の処理を模式的に示している。
図３に示すように、座標計算部１７から抽出基準点２１として（０，１）が入力されると、候補画像データ抽出部１４は、入力された抽出基準点２１を基準として、認識対象画像データ２０から所定の画素数の候補画像データ２２を抽出する（工程Ｋ１）。図３に示す例では、候補画像データ２２はｘ軸方向に２画素、ｙ軸方向に５画素の２×５画素の画像データとなっている。また、図より明らかなように、工程Ｋ１で抽出された候補画像データ２２には歩行者は含まれていない。
候補画像データ２２が抽出されると、比較処理部１５は、抽出した候補画像データ２２と辞書データ格納メモリ１６内に格納されている辞書データとを比較し、候補画像データ２２内に特定物体が存在するか否かについて識別する（工程Ｋ２）。識別結果は座標計算部１７に入力され、座標計算部１７は次の抽出基準点２３の座標を算出する（工程Ｋ３）。この際、工程Ｋ１で抽出された候補画像データ２２には歩行者は含まれておらず、候補画像データ２２と辞書データは大きく異なる。このため、座標計算部１７により算出された抽出基準点の移動距離Δｄは、Δｄ＝２となる。したがって、算出された抽出基準点２３の座標（ｘ２，ｙ２）は、（ｘ２，ｙ２）＝（ｘ１＋２，ｙ１）＝（２，１）となる。
算出された抽出基準点２３は候補画像データ抽出部１４に入力され、候補画像データ抽出部１４は入力された抽出基準点２３に基づいて候補画像データ２４を抽出する（工程Ｋ４）。図より明らかなように、工程Ｋ４で抽出された候補画像データ２４には歩行者が半分程度含まれている。
工程Ｋ４で抽出された候補画像データ２４は辞書データと比較され（工程Ｋ５）、その比較結果が座標計算部１７に入力される。候補画像データ２４には歩行者が半分程度含まれているため、工程Ｋ５により算出された類似度Fは閾値Ｃｃｐ２より小さくなる（候補画像データ２４と辞書データがある程度類似している）。このため、座標計算部１７で算出される抽出基準点の移動距離Δｄは、Δｄ＝１となる。したがって、抽出工程Ｋ７で抽出される候補画像データ２６の抽出基準点２５の座標（ｘ３，ｙ３）は、（ｘ３，ｙ３）＝（ｘ２＋１，ｙ２）＝（３，１）となる。図より明らかなように、候補画像データ２６には歩行者が完全に含まれており、比較処理部１５は、候補画像データ２６と辞書データが一致すると判断することができる。
上述の説明から明らかなように、直前の候補画像データと辞書データが類似しない場合は、抽出基準点の移動量を大きくしても問題がなく、抽出基準点の移動量を大きくすることで、抽出する候補画像データの数を減らすことができる。また、直前の候補画像データと辞書データがある程度類似する場合には、抽出基準点の移動量を小さくすることで、歩行者が含まれた候補画像が抽出されて歩行者がいることが識別されるため、画像認識精度を高く維持することができる。
【００２６】
上記の画像認識装置１０によると、抽出した候補画像データと辞書データとの類似度に応じて、次に抽出される候補画像データの抽出基準点の移動量が変化する。これによって、類似度が高い領域は詳細な検出ができる一方で類似度が低い領域は大まかに検出することとなり、画像認識精度を低下させることなく、画像認識処理時間を短縮することができる。
【００２７】
なお、上述の第１実施例において、抽出基準点の移動画素数Δｄを決定する場合、閾値を２種類（本実施例ではＣｃｐ２の１種類のみ）以上設定し、移動画素数Δｄを３種類以上設定することができる。
例えば、閾値をＣｃｐ３とＣｃｐ２と設定した場合、
（１）類似度Fが閾値Ｃｃｐ３以上の場合、移動画素数Δｄ＝＋３
（２）類似度Fが閾値Ｃｃｐ２以上Ｃｃｐ３未満の場合、移動画素数Δｄ＝＋２
（３）類似度Fが閾値Ｃｃｐ２未満の場合、移動画素数Δｄ＝＋１
としても、同様の効果が得られる。このように閾値を２種類以上設定し、移動画素数を３種類以上設定することで、識別精度を低下させることなく、より高速で処理することが可能となる。
また、画像認識装置１０では、抽出基準点の移動方向は図８（a）に示すようにｘ軸方向であった。しかし、図８（ｂ）に示されるように抽出基準点の移動方向をｙ軸方向に変更してもよい。抽出基準点の移動方向をｙ軸方向に変更すると、直前の抽出基準点（ｘ１，ｙ１）から次の抽出基準点（ｘ２，ｙ２）を算出する場合、ｘ２＝ｘ１、ｙ２＝ｙ１＋Δｄとなる。
また、抽出基準点の移動を抽出された候補画像データの領域内にすることで、認識対象画像の全領域をくまなく走査することができ、認識精度を低下させることなく、処理時間を短縮することができる。
【００２８】
また、上述の第１実施例では、１の抽出基準点から抽出する候補画像データは１のサイズ（画素数）の候補画像データのみであった。しかしながら、同一の抽出基準点から異なるサイズ（画素数）の候補画像データを抽出するようにしてもよい。
例えば、図１２に示すように、認識対象画像６０内に設定された抽出基準点６６に基づいて異なるサイズの候補画像データ６１，６２，６３，６４，６５を抽出するようにしてもよい。この場合、サイズが小さい候補画像データ６１から順に抽出して辞書データと比較し、特定物の有無を識別することが好ましい。なお、比較する辞書データは、抽出する候補画像データのサイズ毎に、そのサイズに対応したサイズの辞書データを予め格納しておけばよい。あるいは、候補画像データに対応したサイズに辞書データを拡大又は縮小してもよい。
このような場合、最初に比較処理部１５で比較する候補画像データ６１の識別結果に基づいて、次に抽出する候補画像データのサイズを決定することが好ましい。例えば、候補画像データ６１が辞書データとある程度類似していると識別された場合は、候補画像データ６１の周辺を詳細に検討するため、次に抽出する候補画像データは、ｘ軸方向、ｙ軸方向にそれぞれ１画素ずつ画素数を増やした候補画像データ６２とする。一方、候補画像データ６１が辞書データと類似していないと識別された場合、次に抽出する候補データは、ｘ軸方向、ｙ軸方向、共に２画素ずつ画素数を増やした候補画像データ６３とする。
候補画像のサイズを変更して辞書データと比較する場合、抽出基準点を変化させることなく候補画像データのサイズを順に大きくし、候補画像データのサイズが認識対象画像６０の全領域となるまで辞書データと比較するようにしてもよい。あるいは、図１１（ｆ）に示すように、同一抽出基準点６６から所定のサイズまで候補画像データを抽出すると、抽出基準点６６をｘ軸方向に移動し、次の抽出基準点６７で同様の候補画像の抽出を行ってもよい。
なお、候補画像データのサイズ変化率は必要な処理時間や認識精度によって適宜決定することができる。
このように、直前の候補画像データの識別結果によって、次に抽出する候補画像データの画素数を変化させることにより、類似度が高い領域は詳細な検出ができる一方で類似度が低い領域は大まかに検出することとなり、画像認識精度を低下させることなく、画像認識処理時間を短縮することができる。
【００２９】
（第２実施例）  本発明を具現化した第２実施例の画像認識装置１００について、図９を参照して説明する。図９は画像認識装置１００の構成を示すブロック図である。
画像認識装置１００は、認識対象となる画像を撮影するカメラユニット１０１と、撮影された画像内に特定物が含まれているか否かを識別する画像認識ユニット１１９と、画像認識結果を表示するディスプレイ１２１と、各ユニット１０１，１１９，１２１間でデータ通信を行うための通信ユニット１２０によって構成されている。
カメラユニット１０１は、第１実施例のカメラユニット１１と同様に構成することができ、カメラユニット１０１が撮影した画像を、通信ユニット１２０を介して画像認識ユニット１１９に送信する方法は、前述した第１実施例のカメラユニット１１が撮影した画像を、通信ユニット３０を介して画像認識ユニット２９に送信する方法と同一のため、ここではその説明を省略する。
【００３０】
画像認識ユニット１１９は、画像データ格納メモリ１０２と、辞書データ格納メモリ１０６と、カメラユニット１０１から入力（送信）された画像データを認識処理するデータ処理部１１８と、データ処理部１１８による認識処理結果を記憶する比較結果格納メモリ１０９と、によって構成されている。画像データ格納メモリ１０２、辞書データ格納メモリ１０６は、前述した第１実施例の画像データ格納メモリ１２、辞書データ格納メモリ１６と同一構成であるため、ここではその説明を省略する。
【００３１】
データ処理部１１８は、候補画像データ抽出部１０４と、比較処理部１０５と、マッピング部１０７と、マップ保存メモリ１０８と、抽出基準点の座標を計算する座標計算部１１１によって構成されている。なお、データ処理部１１８は、汎用プロセッサと、この汎用プロセッサに各種データ処理を実行させるプログラムによって実現することができ、あるいは、ＡＳＩＣ（Application  Specific  Integrated  Circuit）を用いることができる。データ処理部１１８にＡＳＩＣを用いると、より高速に処理することが可能となる。
なお、候補画像データ抽出部１０４、比較処理部１０５は、前述した第１実施例の候補画像データ抽出部１４、比較処理部１５と同一に構成することができるため、ここではその詳細な説明を省略する。なお、比較処理部１０５で算出された類似度Fはマッピング部１０７及び比較結果格納部１０９に出力される。
【００３２】
マッピング部１０７は、比較処理部１０５より入力された類似度Fから、認識対象画像内の比較不要領域をマッピングする。マッピング部１０７でマッピングされたマップはマップ格納メモリ１０８に格納される。マップ格納メモリ１０８に格納されるマップ１１０と、マッピング部１０７が認識対象画像内に比較不要領域をマッピングする手順について説明する。
マップ格納メモリ１０８には、図１０に示すマップ１１０が格納されている。マップ１１０は、認識対象画像データの画素数に応じて分割され、各画素の座標値に対応したマップが設定されている。本実施例では、認識対象画像データ２０の画素数に応じて（a＋１）×（ｂ＋１）個に分割されている（図２参照）。各マップには、対応する画素が「探索済み・物体あり」の状態を示す「０」と、「探索済み・物体なし」を示す「１」と、「未探索・抽出候補」を示す「２」のいずれかが格納される。図１０（a）に示すように、マッピングされていない初期状態では、全ての座標値に対応するマップに「未探索・抽出候補」を示す「２」が入力されている。
【００３３】
既に説明したように、候補画像データ抽出部１０４は、認識対象画像データ内に設定された抽出基準点（ｘ１，ｙ１）に基づいて候補画像データを抽出する。候補画像データ抽出部１０４で抽出された候補画像データは、比較処理部１０５において、辞書データと比較され、算出された類似度Ｆと、所定の閾値Ｃｃｐ２との大小関係により、候補画像データ内の特定物体の有無が認識される。
マッピング部１０７では、比較処理部１０５から入力された類似度Fに応じて、直前に抽出された候補画像データの近辺領域を詳細に抽出すべきか否かを判定し、判定された領域に対応した抽出基準点座標のマップに判定結果を入力する。
具体的には、類似度Fが閾値Ｃｃｐ２より小さい（候補画像データが辞書データとある程度類似している）場合は、当該抽出基準点（ｘ１，ｙ１）に対応するマップには、「探索済み・物体あり」を示す「０」を入力する。マッピング部１０７は、抽出基準点（ｘ１，ｙ１）のマップに「０」を入力すると、その近辺も詳細に抽出すべき領域であると判定し、判定された抽出基準点（ｘ１，ｙ１）の近辺の抽出基準点（ｘ１＋１，ｙ１）及び（ｘ１，ｙ１＋１）に対応するマップには、「未探索・抽出候補」を示す「２」を入力する（図１０（ｃ））。
一方、類似度Fが閾値Ｃｃｐ２より大きい（候補画像データが辞書データと類似していない）場合、当該抽出基準点（ｘ１，ｙ１）のマップには、「探索済み・物体なし」を示す「１」を入力する。また、その近辺は詳細に抽出する必要がないと判定され、抽出基準点（ｘ１，ｙ１）の近辺の抽出基準点（ｘ１＋１，ｙ１）及び（ｘ１，ｙ１＋１）に対応するマップには、「探索済み・物体なし」を示す「１」が入力される（図１０（ｂ））。
【００３４】
マッピング部１０７で更新されたマップ１１０は、マップ格納メモリ１０８に格納される。座標計算部１１１は、マップ格納メモリ１０８に格納されたマップ１１０に基づいて抽出基準点を決定する。例えば、抽出基準点をｘ軸方向に走査しながら候補画像データを抽出する場合、直前の抽出基準点が（ｘ１，ｙ１）であると、通常、次の抽出基準点は（ｘ１＋１，ｙ１）となる。そこで、（ｘ１＋１，ｙ１）に対応するマップに格納されているデータを読取り、次の抽出基準点の座標を決定する。例えば、（ｘ１＋１，ｙ１）に対応するマップに「１」が入力されているときは、（ｘ１＋１，ｙ１）を抽出基準点とすることなく、次の抽出基準点に移動する。すなわち、抽出基準点（ｘ１＋１，ｙ１）のマップに「１」が入力されているときは、抽出基準点（ｘ１＋１，ｙ１）をスキップして、次の抽出基準点である（ｘ１＋２，ｙ１）を抽出基準点として選択する。
【００３５】
次に、画像認識装置１００の画像処理方法について図１１を参照して説明する。
まず、カメラユニット１０１により車体前方を撮影する（ステップS１０１）。カメラユニット１０１により撮影された画像データは通信ユニット１２０を介して画像認識ユニット１１９に入力され、画像データ格納メモリ１０２に記憶される。
次に、マップ格納部１０８は格納されているマップを更新する（ステップS１０２）。但し、画像データが入力された最初の処理では全てのマップに「２」を入力する。次に、座標計算部１１１は、マップ格納メモリ１０８に格納されているマップを読み込む（ステップS１０３）。そして、座標計算部１１１は直前の抽出基準点の座標から抽出基準点の座標を仮設定する（ステップS１０４）。すなわち、直前の抽出基準点が（ｘ１，ｙ１）である場合は、次の抽出基準点として（ｘ１＋１，ｙ１）を仮設定する。
次に、座標計算部１１１は、ステップS１０４で設定された抽出基準点の座標から候補画像データを抽出することができるか否かを判定する（ステップS１０５）。すなわち、抽出基準点のｙ座標が最大値となっており、その抽出基準点に基づいては候補画像データを抽出できない状態となっているか否かを判定する。候補画像データを抽出できない場合（ステップS１０５でYES）は、認識対象画像から全ての候補画像データを抽出しているため、ステップS１１０に進んで、画像認識結果をディスプレイ１２１に出力する。一方、候補画像データを抽出できる場合（ステップS１０５でNO）は、ステップS１０６に進む。
ステップS１０６では、座標計算部１１１は、ステップＳ１０３で読み込んだマップを検索して、ステップS１０４で設定された抽出基準点の座標が候補画像データを抽出する必要があるか否かを判定する。すなわち、仮設定された抽出基準点に対応するマップに、「１」（探索済み・物体なし）又は「２」（未探索・抽出候補）のどちらが入力されているかを判定する。ステップＳ１０４で仮設定された抽出基準点のマップが「２」、つまり、候補画像データを抽出する必要がある場合（ステップS１０６でYES）は、ステップS１０７に進む。設定された抽出基準点座標のマップが「１」、つまり、候補画像データを抽出する必要がない場合（ステップS１０６でNO）は、ステップS１０４に戻り、新たな抽出基準点が仮設定される。
ステップＳ１０７に進むと、候補画像データ抽出部１０４は、ステップS１０４で設定された抽出基準点に基づいて候補画像データを抽出する。比較処理部１０５は、抽出画像データと辞書データを比較して類似度Fを算出し、候補画像データと辞書データが一致するか否かを識別する（ステップS１０８）。比較処理部で識別が行われると、その識別結果をマッピング部１０７及び比較処理部１０９に出力し（ステップS１０９）、ステップS１０２に戻る。これによって、認識対象画像の全ての領域から候補画像データが抽出されるまで、座標計算部１１１による抽出基準点の座標計算と候補画像データ抽出部１０４による候補画像データの抽出が繰り返され、抽出された候補画像データと辞書データの比較が行われることとなる。
【００３６】
なお、上述した第２実施例において、比較不要領域をマッピングしたマップに比較結果を入力する際、候補画像データと辞書データを比較した比較結果を入力する領域（影響範囲）を広げることもできる。つまり、１つの候補画像データの識別結果から、抽出する要否が判定される領域を広げることができる。
上述の第２実施例では、抽出基準点（ｘ１，ｙ１）に基づく候補画像データの識別結果の影響範囲は（ｘ１＋１，ｙ１）、（ｘ１，ｙ１＋１）であったが、例えば、影響範囲を（ｘ１，ｙ１＋２）、（ｘ１＋１，ｙ１＋１）、（ｘ１，ｙ１＋２）まで広げてもよい。この場合、候補画像データの比較結果によって、影響範囲を変えることが好ましい。例えば、閾値をＣｃｐ３とＣｃｐ２の２種類設定し、（ｘ１，ｙ１）に基づく候補画像データの辞書データに対する類似度をFとすると、マッピング部１０７では、
（１）類似度Fが閾値Ｃｃｐ３以上の場合、（ｘ１，ｙ１）、（ｘ１＋１，ｙ１）、（ｘ１，ｙ１＋１）、（ｘ１，ｙ１＋２）、（ｘ１＋１，ｙ１＋１）、（ｘ１，ｙ１＋２）に「１」（探索済み・物体なし）を入力する。
（２）類似度Fが閾値Ｃｃｐ２以上Ｃｃｐ３未満の場合、（ｘ１，ｙ１）、（ｘ１＋１，ｙ１）、（ｘ１，ｙ１＋１）に「１」（探索済み・物体なし）を入力する。
（３）類似度Fが閾値Ｃｃｐ２未満の場合、（ｘ１，ｙ１）に「０」（探索済み・物体なし）を入力する。これにより、類似度に応じて「１」（探索済み・物体なし）を入力する範囲が広げられ、候補画像データの抽出数を効率的に減らすことができる。
【００３７】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上の例示した具体例を様々に変形、変更したものが含まれる。
例えば、第１実施例の画像認識装置では、閾値の数は、認識精度や処理時間等により、適宜決定することができる。
また、第２実施例の画像認識装置では、マップの保存はメモリで実施しているが、レジスタ等データを保存できるものに置き換えることができる。
また、本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は、複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００３８】
【図１】第１実施例の構成を示すブロック図。
【図２】本実施例における認識対象画像内の座標値を示す図。
【図３】第１実施例の画像抽出方法を説明する図。
【図４】第１実施例の抽出基準点座標の算出方法を示すフローチャート。
【図５】第１実施例の画像処理方法を示すフローチャート。
【図６】本実施例の候補画像データと辞書データを説明する図。
【図７】本実施例の類似度Fと閾値の関係を示す図。
【図８】第１実施例の抽出基準点の移動を示す図。
【図９】第２実施例の構成を示すブロック図。
【図１０】第２実施例の候補マップを説明する図。
【図１１】第２実施例の画像処理方法を示すフローチャート。
【図１２】第１実施例の候補画像データサイズの変化を説明する図。
【符号の説明】
【００３９】
１０：第一の実施例の画像認識装置
１７：抽出基準点の座標計算部
２８：データ処理部
２９：画像認識ユニット
１００：第二の実施例の画像認識装置
１０７：マッピング処理部
１１０：マップ
１０８：マップ保存メモリ
１１８：データ処理部
１１９：画像認識ユニット
【図１】
2007257212.tif 000004
【図２】
2007257212.tif 000005
【図３】
2007257212.tif 000006
【図４】
2007257212.tif 000007
【図５】
2007257212.tif 000008
【図６】
2007257212.tif 000009
【図７】
2007257212.tif 000010
【図８】
2007257212.tif 000011
【図９】
2007257212.tif 000012
【図１０】
2007257212.tif 000013
【図１１】
2007257212.tif 000014
【図１２】
2007257212.tif 000015