(57)【要約】【課題】円検出の精度が高く、処理の負担を軽減することができる画像検出装置を提供すること。【解決手段】画像検出装置１００Ａは、検出対象画像を入力する画像入力部１１０と、検出対象画像を所定角度回転させた回転画像を生成する画像回転部１３０と、回転画像に含まれるエッジを検出するエッジ検出部１４０と、エッジ検出部１４０によって検出されたエッジに対してハフ変換を用いて円検出を行う円検出部１５０と、円形状として検出されたエッジに囲まれた認識候補画像を抽出する認識画像候補抽出部１６０と、抽出された認識候補画像を逆方向に回転させる画像逆回転部１７０と、逆回転後の認識候補画像について道路標識の認識を行う標識認識部１８０とを備えている。【選択図】図２
2020086925.tif 000002
【特許請求の範囲】
【請求項１】
検出対象画像を入力する画像入力手段と、
前記検出対象画像を所定角度回転させた回転画像を生成する画像回転手段と、
前記回転画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジ検出手段によって検出されたエッジに対してハフ変換を用いて円検出を行う円検出手段と、
を備えることを特徴とする画像検出装置。
【請求項２】
前記円検出手段によって円形状として検出されたエッジに囲まれた部分画像を認識候補画像として認識を行う標識認識手段をさらに備えることを特徴とする請求項１に記載の画像検出装置。
【請求項３】
前記標識認識手段は、前記画像回転手段によって回転させた方向と反対方向に前記所定角度、前記認識候補画像を回転させた画像を用いて前記部分画像の認識を行うことを特徴とする請求項２に記載の画像検出装置。
【請求項４】
前記標識認識手段は、前記認識候補画像に対応する道路標識の認識を行うことを特徴とする請求項２または３に記載の画像検出装置。
【請求項５】
前記画像入力手段は、車両に搭載されたカメラによって撮像された車両前方の撮像画像を前記検出対象画像として取り込むことを特徴とする請求項２〜４のいずれか一項に記載の画像検出装置。
【請求項６】
前記画像回転手段によって前記検出対象画像を回転させる前記所定角度は、９０°の整数倍以外の角度であることを特徴とする請求項１〜５のいずれか一項に記載の画像検出装置。
【請求項７】
前記画像回転手段によって前記検出対象画像を回転させる前記所定角度は、４５°であることを特徴とする請求項６に記載の画像検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標識等の円形の画像を検出する画像検出装置に関する。
【背景技術】
【０００２】
従来から、ハフ変換を用いて円形の道路標識を認識するようにした画像検出装置が知られている（例えば、特許文献１参照。）。この画像検出装置では、色の類似度や画素のエッジ強度に基づいて検出対象領域を抽出し、この抽出した検出対象領域に含まれる各画素についてエッジ方向およびエッジ強度を求め、さらに、このエッジ方向を８分割したそれぞれについてハフ変換を行うことにより、円形の道路標識の誤検出を低減している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０１１２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に開示された画像検出装置では、１つの道路標識に対応する円形の画像を検出するために、多くの前処理や複数回の各分割領域に対応する複数のハフ変換が必要になって、円検出の処理が複雑になるという問題があった。
【０００５】
一方、このような複雑な処理を行うことなくハフ変換を行うことも考えられるが、その場合には、水平方向および垂直方向のエッジを有する四角形形状の窓などの多くの構造物を誤って円形として誤検出することになり、その後で行われる標識認識処理の負担が非常に重くなって実用的ではない。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、円検出の精度が高く、処理の負担を軽減することができる画像検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の画像検出装置は、検出対象画像を入力する画像入力手段と、検出対象画像を所定角度回転させた回転画像を生成する画像回転手段と、回転画像に含まれるエッジを検出するエッジ検出手段と、エッジ検出手段によって検出されたエッジに対してハフ変換を用いて円検出を行う円検出手段とを備えている。
【０００８】
検出対象画像に、水平方向および垂直方向のエッジを有する四角形形状の窓などの多くの構造物が含まれている場合であっても、これらの構造物が回転によって斜め方向に傾斜するため、水平方向および垂直方向のエッジの出現数が減少し、これらのエッジがあることにより四角形形状を誤って円形状として検出することを回避して円検出の精度を高めることができる。
【０００９】
また、上述した円検出手段によって円形状として検出されたエッジに囲まれた部分画像を認識候補画像として認識を行う標識認識手段をさらに備えることが望ましい。円形状の誤検出が少なくなることにより、認識対象となる認識候補画像の数が減少するため、検出対象画像全体に対する認識処理の負担を軽減することが可能となる。
【００１０】
また、上述した標識認識手段は、画像回転手段によって回転させた方向と反対方向に所定角度、認識候補画像を回転させた画像を用いて部分画像の認識を行うことが望ましい。円検出のための回転操作を元に戻すことにより、従来から行われている認識手法をそのまま適用することが可能となる。
【００１１】
また、上述した標識認識手段は、認識候補画像に対応する道路標識の認識を行うことが望ましい。これにより、円形の道路標識の認識を行う際の円検出精度の向上および認識処理の負担軽減が可能となる。
【００１２】
また、上述した画像入力手段は、車両に搭載されたカメラによって撮像された車両前方の撮像画像を検出対象画像として取り込むことが望ましい。道路標識が含まれる撮像画像には、看板や建物やその窓などの四角形部分が多く含まれており、これらの四角形部分を誤って円形状として検出することがなくなるため、車両前方を撮像してその撮像画像に含まれる道路標識を認識するまでの処理負担を大幅に軽減することが可能となる。
【００１３】
また、上述した画像回転手段によって検出対象画像を回転させる所定角度は、９０°の整数倍以外の角度であることが望ましい。特に、上述した画像回転手段によって検出対象画像を回転させる所定角度は、４５°であることが望ましい。このように水平方向および垂直方向のエッジの向きを斜め方向に変換することで、窓や看板などの形状を誤って円形状として検出することを確実に回避することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態の車載装置の全体構成を示す図である。
【図２】画像検出プログラムを実行することで動作する画像検出装置としての車載装置の機能ブロックの構成図である。
【図３】本実施形態のハフ変換における投票で用いられる投票カーネルの一例を示す図である。
【図４】本実施形態の画像検出装置の動作手順を示す流れ図である。
【発明を実施するための形態】
【００１５】
以下、本発明の画像検出装置を適用した一実施形態の車載装置について、図面を参照しながら説明する。
【００１６】
図１は、一実施形態の車載装置の全体構成を示す図である。図１に示すように、本実施形態の車載装置１００は、ナビゲーション処理部１０、操作部２０、入力処理部２２、表示処理部３０、表示装置３２、デジタル−アナログ変換器（Ｄ／Ａ）４０、スピーカ４２、ＣＰＵ５０、メモリ６０、入出力インタフェース部（Ｉ／Ｏ  ＩＦ）８０を備えている。この車載装置１００は、例えば車両に搭載されたヘッドユニットであり、ナビゲーション装置等として動作するとともに、車両前方に存在する道路標識を検出してその内容を認識する画像検出装置としての機能を備えている。
【００１７】
ナビゲーション処理部１０は、メモリ６０に記憶されている地図データを用いて車載装置１００が搭載された車両の走行を案内するナビゲーション動作を行う。このナビゲーション動作には、ＧＰＳ装置１２を用いた自車位置検出や、自車位置周辺の地図表示、目的地までの走行経路を計算する経路探索、計算した走行経路に沿って目的地までの走行を案内する経路誘導などの各動作が含まれる。また、本実施形態では、車両前方の道路標識が検出されてその内容が認識されると、地図画像等にこの道路標識が重ねて表示される。
なお、ナビゲーション動作に必要な地図データは、メモリ６０に格納されているものとしたが、ハードディスク装置などその他の記憶装置に格納したり、外部の地図配信サーバ（図示せず）などから無線通信によって取得するようにしてもよい。
【００１８】
操作部２０は、車載装置１００に対する利用者による操作を受け付けるためのものであり、表示装置３２の周囲に配置された各種の操作キー、操作スイッチ、操作つまみ等を含んで構成されている。また、表示装置３２に各種の操作画面や入力画面が表示された時点で、これらの操作画面や入力画面の一部を利用者が指などで直接指し示すことにより、操作画面や入力画面の表示項目を選択することができるようになっており、このような操作画面や入力画面を用いた操作を可能とするために、指し示された指などの位置を検出するタッチパネルが操作部２０の一部として備わっている。なお、タッチパネルを用いる代わりに、リモートコントロールユニット等を用いて操作画面や入力画面の一部を利用者の指示に応じて選択するようにしてもよい。入力処理部２２は、操作部２０を監視しており、利用者による操作内容を決定する。
【００１９】
表示処理部３０は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置３２にこれらの画面を表示するとともに、ナビゲーション処理部１０によって作成した地図画面や交差点案内画面等を表示する映像信号を出力して表示装置３２にこれらの画面を表示する。表示装置３２は、運転席と助手席の中央前方に設置されており、例えば液晶表示装置（ＬＣＤ）を用いて構成されている。
【００２０】
デジタル−アナログ変換器４０は、ナビゲーション処理部１０によって生成される案内音声等をアナログの音声信号に変換してスピーカ４２から出力する。なお、実際には、デジタル−アナログ変換器４０とスピーカ４２の間には信号を増幅する増幅器が接続されているが、図１ではこの増幅器は省略されている。
【００２１】
ＣＰＵ５０は、メモリ６０に格納された所定のプログラムを実行することにより、車載装置１００の全体を制御するとともに、画像検出装置としての各種の動作を行う。画像検出装置の動作については後述する。
【００２２】
メモリ６０は、ＣＰＵ５０の動作プログラムを格納するとともに、ＣＰＵ５０の動作に必要な各種データを格納する作業領域として用いられる。ＣＰＵ５０によって実行される動作プログラムには、車載装置１００が画像検出装置として動作するための画像検出プログラムが含まれている。メモリ６０は、例えば、ＲＯＭやＲＡＭ等の半導体メモリによって構成されており、これら以外にハードディスク装置などを含むようにしてもよい。
【００２３】
入出力インタフェース部８０は、各種の入出力機器との間で信号（データ）の入出力処理を行う。
【００２４】
カメラ８２は、車両前方の所定範囲を撮像するためのものであり、車両の所定位置に設定されている。なお、車両の外部（車体の外側）に設置する場合の他、車室内に設置するようにしてもよい。また、カメラ８２は、１台に限定されず、複数台であってもよい。
【００２５】
図２は、画像検出プログラムを実行することで動作する画像検出装置１００Ａとしての車載装置１００の機能ブロックの構成図である。図２に示すように、画像検出装置１００Ａは、画像入力部１１０、画像格納部１２０、画像回転部１３０、エッジ検出部１４０、円検出部１５０、認識画像候補抽出部１６０、画像逆回転部１７０、標識認識部１８０を含んで構成されている。
【００２６】
画像入力部１１０は、カメラ８２によって撮像された車両前方の撮像画像を取り込むことにより、検出対象画像を入力する。
【００２７】
画像格納部１２０は、画像入力部１１０によって入力された検出対象画像を格納する。この画像格納部１２０は、例えばメモリ６０の一部を用いて構成されている。
【００２８】
画像回転部１３０は、画像格納部１２０に格納された検出対象画像を読み出して、この検出対象画像を所定角度回転させた回転画像を生成する。この回転操作では、撮像された画像全体としての検出対象画像が回転の対象となる。また、回転させる角度（所定角度）は、９０°の整数倍以外の角度であって、最も望ましくは４５°に設定される。
【００２９】
エッジ検出部１４０は、画像回転部１３０によって生成された回転画像に含まれるエッジを検出する。
【００３０】
円検出部１５０は、エッジ検出部１４０によって検出されたエッジに対してハフ変換を用いて円検出を行う。この円検出は、基本的な考え方は広く知られている高速円ハフ変換（一般化ハフ変換）と同じであって、検出対象となるエッジを検出候補として抽出した後、エッジの接線に垂直な線分を算出し、指定半径の点に投票を行い、投票結果から円中心を算出する。この投票結果に基づいて、エッジの形状が円形状か否かを判定することができる。
【００３１】
図３は、本実施形態のハフ変換における投票で用いられる投票カーネルの一例を示す図である。図３には、サイズが３×３で、中心が「２」、それ以外の「１」となる投票カーネルが示されている。このような投票カーネルは、処理の高速化の点では望ましいが、四角形も円形状と同様に検出してしまう欠点がある。本実施形態（本発明）では、画像回転部１３０によって検出対象画像を回転させることで、この欠点の影響が改善されている。
【００３２】
認識画像候補抽出部１６０は、画像回転部１３０によって生成された回転画像の中から、円検出部１５０によって円形状として検出されたエッジに囲まれた部分画像を、道路標識の認識を行う対象としての認識候補画像として抽出する。回転画像の中に円形状の部分が複数含まれる場合には、それぞれに対応する認識候補画像が抽出される。
【００３３】
画像逆回転部１７０は、認識画像候補抽出部１６０によって抽出された各認識候補画像を、画像回転部１３０によって検出対象画像を所定角度回転させた方向と反対方向に、同じ所定角度だけ逆回転させる。
【００３４】
標識認識部１８０は、画像逆回転部１７０によって逆回転させた後の各認識候補画像について道路標識の認識を行う。この認識は、既存の手法を用いて（例えば、ＳＶＭ（Support Vector Machine）によって）行われる。
【００３５】
上述した画像入力部１１０が画像入力手段に、画像回転部１３０が画像回転手段に、エッジ検出部１４０がエッジ検出手段に、円検出部１５０が円検出手段に、認識画像候補抽出部１６０、画像逆回転部１７０、標識認識部１８０が標識認識手段にそれぞれ対応する。
【００３６】
本実施形態の車載装置１００および画像検出装置１００Ａはこのような構成を有しており、次に、その動作を説明する。
【００３７】
図４は、本実施形態の画像検出装置１００Ａの動作手順を示す流れ図である。まず、画像入力部１１０は、カメラ８２によって撮像された車両前方の撮像画像を取り込むことにより、検出対象画像の入力を行う（ステップ１００）。入力された検出対象画像は、画像格納部１２０に格納される。
【００３８】
次に、画像回転部１３０は、取り込まれて画像格納部１２０に格納された検出対象画像を読み出して、その全体を所定角度回転させて、回転画像を生成する（ステップ１０２）。また、エッジ検出部１４０は、画像回転部１３０によって生成された回転画像に対してエッジ検出を行う（ステップ１０４）。
【００３９】
次に、円検出部１５０は、回転画像内に円検出の対象となるエッジ（検出候補）が存在するか否かを判定する（ステップ１０６）。存在しない場合には否定判断が行われ、道路標識の認識に関する一連の動作が終了する。また、１つ以上の検出候補が存在する場合には、ステップ１０６の判定において肯定判断が行われる。この場合には、円検出部１５０は、１つの検出候補を選択し（ステップ１０８）、この検出候補のエッジに対してハフ変換を用いて円検出を行い（ステップ１１０）、この検出候補のエッジが円形状か否かを判定する（ステップ１１２）。円形状でない場合には否定判断が行われ、ステップ１０６に戻って、円検出が未処理の検出候補について同様の動作が繰り返される。
【００４０】
また、選択した検出候補のエッジが円形状である場合には、ステップ１１２の判定において肯定判断が行われる。次に、認識画像候補抽出部１６０は、回転画像の中から、ステップ１１０、１１２において円形状として検出されたエッジに囲まれた部分画像を認識候補画像として抽出する（ステップ１１４）。また、画像逆回転部１７０は、この抽出された認識候補画像を、ステップ１０２において回転させ分だけ逆方向に回転させる（ステップ１１６）。
【００４１】
次に、標識認識部１８０は、逆回転後の認識候補画像について道路標識の認識を行い（ステップ１１８）、該当する道路標識があるか否かを判定する（ステップ１２０）。該当する道路標識がない場合には否定判断が行われ、ステップ１０６に戻って、円検出が未処理の検出候補について同様の動作が繰り返される。
【００４２】
また、該当する道路標識が存在する場合には、ステップ１２０の判定において肯定判断が行われる。この場合には、この道路標識が認識結果として出力される（ステップ１２２）。その後、ステップ１０６に戻って、円検出が未処理の検出候補について同様の動作が繰り返される。
【００４３】
このように、本実施形態の画像検出装置１００Ａでは、検出対象画像に、水平方向および垂直方向のエッジを有する四角形形状の窓などの多くの構造物が含まれている場合であっても、これらの構造物が回転によって斜め方向に傾斜するため、水平方向および垂直方向のエッジの出現数が減少し、これらのエッジがあることにより四角形形状を誤って円形状として検出することを回避して円検出の精度を高めることができる。また、円形状の誤検出が少なくなることにより、認識対象となる認識候補画像の数が減少するため、検出対象画像全体に対する認識処理の負担を軽減することが可能となる。
【００４４】
また、認識動作の前に、円検出のために行った回転操作を元に戻すことにより、従来から行われている認識手法をそのまま適用することが可能となる。
【００４５】
また、認識対象を円形の道路標識とすることにより、道路標識の認識を行う際の円検出精度の向上および認識処理の負担軽減が可能となる。
【００４６】
また、車両に搭載されたカメラ８２によって撮像された車両前方の撮像画像を検出対象画像として取り込んでいる。この場合に、道路標識が含まれる撮像画像には、看板や建物やその窓などの四角形部分が多く含まれているが、これらの四角形部分を誤って円形状として検出することがなくなるため、車両前方を撮像してその撮像画像に含まれる道路標識を認識するまでの処理負担を大幅に軽減することが可能となる。
【００４７】
また、円検出のために検出最小画像を回転させる角度を、９０°の整数倍以外の角度、特に望ましくは４５°とすることにより、水平方向および垂直方向のエッジの向きを斜め方向に変換することで、窓や看板などの形状を誤って円形状として検出することを確実に回避することが可能となる。
【００４８】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、認識画像候補抽出部１６０によって抽出した部分画像を画像逆回転部１７０によって逆回転させた後、標識認識部１８０によって道路標識の認識を行うようにしたが、画像逆回転部１７０による逆回転操作（図４のステップ１１６）を省略するようにしてもよい。この場合には、標識認識部１８０による道路標識の認識に使う照合データを予め所定角度（画像回転部１３０による画像回転と同じ角度）回転させておいてこの認識処理を行うようにすればよい。このようにして部分画像（認識候補画像）に対する逆回転操作を省略することにより、認識処理の負担をさらに軽減することが可能となる。
【００４９】
また、上述した実施形態では、車両に搭載されたカメラ８２で撮像した画像に含まれる円形状のエッジを車載装置１００としての画像検出装置１００Ａで検出する場合について説明したが、すでに保存されている画像あるいはネットワークを介して読み込んだ画像に含まれる円形の道路標識のエッジをパーソナルコンピュータなどで検出する場合についても本発明を適用することができる。
【００５０】
また、認識対象は、道路標識に限定されず、形状が円形であれば道路標識以外を認識対象とする場合にも本発明を適用することができる。
【産業上の利用可能性】
【００５１】
上述したように、本発明によれば、検出対象画像に、水平方向および垂直方向のエッジを有する四角形形状の窓などの多くの構造物が含まれている場合であっても、これらの構造物が回転によって斜め方向に傾斜するため、水平方向および垂直方向のエッジの出現数が減少し、これらのエッジがあることにより四角形形状を誤って円形状として検出することを回避して円検出の精度を高めることができる。
【符号の説明】
【００５２】
５０  ＣＰＵ
６０  メモリ
８２  カメラ
１００  車載装置
１００Ａ  画像検出装置
１１０  画像入力部
１２０  画像格納部
１３０  画像回転部
１４０  エッジ検出部
１５０  円検出部
１６０  認識画像候補抽出部
１７０  画像逆回転部
１８０  標識認識部
【図１】
2020086925.tif 000003
【図２】
2020086925.tif 000004
【図３】
2020086925.tif 000005
【図４】
2020086925.tif 000006