(57)【要約】【課題】物体の検出精度を向上する技術を提供する。【解決手段】取得部５０は、画像を取得する。算出部５２は、取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出する。設定部５４は、取得した画像を複数の部分画像に分割し、算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定する。検出部５６は、設定した部分画像毎のしきい値と、算出したエッジ強度とを比較することによって、エッジ点を検出する。補正部５８は、検出したエッジ点によって形成された物体を拡大する。【選択図】図２
2017068426.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得部と、
前記取得部において取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出する算出部と、
前記取得部において取得した画像を複数の部分画像に分割し、前記算出部において算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定する設定部と、
前記設定部において設定した部分画像毎のしきい値と、前記算出部において算出したエッジ強度とを比較することによって、エッジ点を検出する検出部と、
前記検出部において検出したエッジ点によって形成された物体を拡大する補正部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記補正部において物体を拡大させるサイズは、部分画像のサイズよりも小さいことを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記算出部において算出したエッジ強度であって、かつ複数の画像のそれぞれに対して算出したエッジ強度を画素毎に重ね合わせることによって、エッジ強度の度数分布を画素毎に導出する導出部とをさらに備え、
前記検出部は、前記導出部において導出した画素毎の度数分布をもとに、エッジ点を検出し、検出したエッジ点を前記補正部に出力することを特徴とする請求項１または２に記載の物体検出装置。
【請求項４】
画像を取得するステップと、
取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出するステップと、
取得した画像を複数の部分画像に分割し、算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定するステップと、
設定した部分画像毎のしきい値と、算出したエッジ強度とを比較することによって、エッジ点を検出するステップと、
検出したエッジ点によって形成された物体を拡大するステップと、
を備えることを特徴とする物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出技術に関し、特に画像から物体を検出する物体検出方法およびそれを利用した物体検出装置に関する。
【背景技術】
【０００２】
車両周辺を撮像した画像を二値化処理することによって、衝突のおそれがある物体が検出される。しかしながら、低コントラストの物体が検出できなかったり、ノイズとなる不要なエッジが検出されたりする場合がある。これを抑制するために、画像を複数の所定画像部分に分け、エッジ強度の度数分布に応じたしきい値を所定画像部分毎に設定することによって、エッジ点が検出される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２５９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を所定画像部分に分けた場合、ノイズの影響が低減されるが、物体の輪郭部分の検出精度が低下する場合がある。一方、検出した物体の情報を自動操舵に使用する場合、衝突を避けるために、物体の輪郭部分の正確な検出が望まれる。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、物体の検出精度を向上する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の物体検出装置は、画像を取得する取得部と、取得部において取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出する算出部と、取得部において取得した画像を複数の部分画像に分割し、算出部において算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定する設定部と、設定部において設定した部分画像毎のしきい値と、算出部において算出したエッジ強度とを比較することによって、エッジ点を検出する検出部と、検出部において検出したエッジ点によって形成された物体を拡大する補正部と、を備える。
【０００７】
本発明の別の態様は、物体検出方法である。この方法は、画像を取得するステップと、取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出するステップと、取得した画像を複数の部分画像に分割し、算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定するステップと、設定した部分画像毎のしきい値と、算出したエッジ強度とを比較することによって、エッジ点を検出するステップと、検出したエッジ点によって形成された物体を拡大するステップと、を備える。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、物体の検出精度を向上できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例に係る車両であって、かつ物体検出装置を搭載した車両を示す図である。
【図２】図１の物体検出装置の構成を示す図である。
【図３】図３（ａ）−（ｃ）は、図２の物体検出装置の処理の概要を示す図である。
【図４】図２の導出部の処理の概要を示す図である。
【図５】図２の物体検出装置による検出手順を示すフローチャートである。
【図６】図２の物体検出装置による別の検出手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の実施例を具体的に説明する前に、実施例の概要を説明する。実施例は、車両に搭載され、かつ撮像部において撮像した画像から物体を検出する物体検出装置に関する。物体検出装置は、画像からエッジ点を検出する際にノイズの影響を提供するために、画像を複数の部分画像に分割し、分割画像毎にしきい値を設定する。しかしながら、部分画像が大きくなると物体の輪郭部分が検出されにくくなる。一方、部分画像を小さくすると処理量が増加する。処理量の増加を抑制しながら、物体の輪郭部分の検出精度を向上するために、本実施例では次の処理を実行する。物体検出装置は、分割画像毎にエッジ点を検出する。検出されたエッジ点によって物体が形成されているが、検出された物体は、実際の物体よりも小さくなる傾向である。そのため、物体検出装置は、検出された物体を予め定めたサイズだけ拡大する。
【００１２】
図１は、本発明の実施例に係る車両１００であって、かつ物体検出装置２０を搭載した車両１００を示す。これは、車両１００を側方から見た図であり、車両１００の左側が前方に相当し、車両１００の右側が後方に相当する。車両１００の前方部分、例えば、バンパー、グリル等には、撮像部１０が設置される。撮像部１０は、画像を撮像する。画像の撮像には公知の技術が使用されればよいので、ここでは説明を省略する。撮像部１０は、撮像した画像を物体検出装置２０に出力する。物体検出装置２０は、撮像部１０において撮像した画像から、車両１００の前方に存在する物体の存在および距離を検出する。ここで、物体とは、障害物、歩行者等である。
【００１３】
図２は、物体検出装置２０の構成を示す。物体検出装置２０は、取得部５０、算出部５２、設定部５４、検出部５６、補正部５８、出力部６０、記憶部６２、導出部６４を含む。物体検出装置２０は、撮像部１０、自動運転制御装置３０に接続される。
【００１４】
取得部５０は、前述の撮像部１０からの画像を取得する。画像は、複数の画素で構成されており、各画素は画素値を有する。このような画像では、車両１００の前方が撮像される。また、撮像部１０は、複数の画像を順次撮像するので、取得部５０は、これらを順次取得する。取得部５０は、取得した複数の画像を算出部５２に順次出力する。
【００１５】
算出部５２は、取得部５０から複数の画像を順次入力する。算出部５２は、各画像に対して、画素の画素値をもとに当該画素のエッジ強度を算出する。このエッジ強度の算出は画素毎になされる。ここで、エッジ強度の算出には、例えば、ソーベルフィルタ等のエッジ抽出フィルタが使用される。エッジ抽出フィルタには公知の技術が使用されればよいので、ここでは説明を省略する。算出部５２の処理の結果、各画素が画素値によって示されていた画像が、各画素がエッジ強度によって示される画像（以下、これもまた「画像」という）に変換される。算出部５２は、画像を設定部５４、検出部５６、記憶部６２に出力する。
【００１６】
検出部５６は、算出部５２から画像を入力する。画像においてエッジ点が検出されていない場合、検出部５６は、画像を構成する各画素のエッジ強度と、予め保持しているしきい値とを比較する。いずれかの画素のエッジ強度がしきい値以上である場合、検出部５６は、エッジ点の検出を認定する。図３（ａ）−（ｃ）は、物体検出装置２０の処理の概要を示す。図３（ａ）は、検出部５６においてエッジ点２００が検出された画像を示す。図３（ｂ）−（ｃ）は後述し、図２に戻る。検出部５６は、エッジ点２００を検出した場合、設定部５４に動作の開始を指示する。
【００１７】
設定部５４は、算出部５２から画像を入力する。設定部５４は、検出部５６からの指示を受けつけると、しきい値を設定するための処理を開始する。ここでは、図３（ｂ）を使用しながら、設定部５４の処理を説明する。設定部５４は、画像を複数の部分画像２０４に分割する。具体的に説明すると、図３（ｂ）では、第１−１部分画像２０４ａａ、第１−２部分画像２０４ａｂ、第１−３部分画像２０４ａｃ、第１−４部分画像２０４ａｄ、第１−５部分画像２０４ａｅ、第１−６部分画像２０４ａｆ、第１−７部分画像２０４ａｇ、第２−１部分画像２０４ｂａ、第３−１部分画像２０４ｃａ、第４−１部分画像２０４ｄａ、第５−１部分画像２０４ｅａ、第６−１部分画像２０４ｆａ、第７−１部分画像２０４ｇａ、第８−１部分画像２０４ｈａ、第９−１部分画像２０４ｉａ、第９−７部分画像２０４ｉｇが示される。これらは部分画像２０４と総称されるので、設定部５４は、縦７個、横９個の「６３」の部分画像２０４に画像を分割する。図２に戻る。
【００１８】
各部分画像２０４は、矩形状を有し、複数の画素、例えば「７×７」の画素によって構成される。設定部５４は、各部分画像２０４におけるエッジ強度の度数分布を導出する。度数分布の導出には公知の技術が使用されればよいので、ここでは説明を省略する。設定部５４は、１つの部分画像２０４の度数分布において、最大のエッジ強度から小さくなる方向に順番にエッジ強度を数えていき、Ｘ番目のエッジ強度をしきい値として設定する。このような処理は、部分画像２０４毎になされるので、算出部５２は、部分画像２０４毎のしきい値を設定する。算出部５２は、部分画像２０４毎のしきい値を検出部５６に出力する。
【００１９】
検出部５６は、検出部５６から、部分画像２０４毎のしきい値を入力する。また、検出部５６は、算出部５２から画像を入力する。検出部５６は、画像を構成する画素がどの部分画像２０４に含まれるかを対応づける。対応づけの後、検出部５６は、部分画像２０４におけるしきい値と、当該部分画像２０４に含まれる各画素のエッジ強度とを比較する。エッジ強度がしきい値よりも大きい場合、設定部５４は、エッジ強度に対応した画素においてエッジ点２００を検出する。検出部５６は、部分画像２０４が変わるとしきい値を変えながら、同様の処理を実行する。
【００２０】
図３（ｂ）は、検出部５６での処理結果も示す。前述のごとく、エッジ点２００が示される。検出部５６は、検出したエッジ点２００を囲むように検出領域２０２を設定する。検出領域２０２は、画像から検出したエッジ点２００によって形成された物体であるといえる。なお、検出領域２０２と比較するために、実際の物体２０６を点線によって示す。図示のごとく、物体２０６の輪郭部分はエッジ点２００として検出されないので、検出領域２０２は、物体２０６よりも小さくなる。図２に戻る。検出部５６は、検出領域２０２の検出結果を補正部５８に出力する。
【００２１】
補正部５８は、検出部５６から、検出領域２０２の検出結果を入力する。ここでは、補正部５８の処理を説明するために図３（ｃ）を使用する。図３（ｃ）でも、図３（ｂ）と同様に検出領域２０２、部分画像２０４が示される。補正部５８は、検出領域２０２の外周に拡大領域２０８を追加する。これは、エッジ点２００を拡大することに相当する。ここで、補正部５８において検出領域２０２を拡大させるサイズ、つまり拡大領域２０８のサイズは、部分画像２０４のサイズよりも小さくされる。例えば、１つの部分画像２０４が「７×７」画素である場合、部分画像２０４によって拡大させるサイズは「３」画素である。補正部５８は、拡大領域２０８を、画像から検出した物体として出力部６０に出力する。
【００２２】
これまでは、検出部５６において検出領域２０２が生成される場合、つまり物体が検出される場合の処理を説明した。以下では、検出部５６において物体が検出されない場合の処理を説明する。記憶部６２は、算出部５２から複数の画像を入力する。記憶部６２は、複数の画像を記憶する。
【００２３】
導出部６４は、記憶部６２に記憶した複数の画像のそれぞれにおけるエッジ強度を画素毎に重ね合わせる。図４は、導出部６４の処理の概要を示す。図示のごとく、画像２１０と総称される第１画像２１０ａ、第２画像２１０ｂ、第３画像２１０ｃが示される。ここでは、導出部６４において重ね合せの対象となる画像２１０の数を「３」としているが、これに限定されない。また、図４には、エッジ強度２１２が示される。本来、エッジ強度は、すべての画素に対応して算出されているが、ここでは、説明を明瞭にするために、ある程度大きな値を有したエッジ強度をエッジ強度２１２として示す。このようなエッジ強度２１２は、第２画像２１０ｂ、第３画像２１０ｃにも含まれる（図示せず）。図２に戻る。
【００２４】
導出部６４は、画素毎にエッジ強度を複数の画像にわたって重ね合わせることによって、エッジ強度の度数分布を画素毎に導出する。前述のごとく、度数分布の導出には公知の技術が使用されればよい。導出部６４は、度数分布における統計値を画素毎に導出する。統計値は、例えば、平均値、中央値である。また、統計値は、最大のエッジ強度から数えてＹ番目の値であってもよい。導出部６４は、画素毎の統計値を検出部５６に出力する。
【００２５】
検出部５６は、導出部６４から、画素毎の統計値を入力する。また、検出部５６は、予めしきい値を保持する。このしきい値は、これまでのしきい値と異なった値であってもよい。検出部５６は、統計値としきい値との比較を画素毎に実行する。統計値がしきい値よりも大きい場合、設定部５４は、統計値に対応した画素においてエッジ点２００を検出する。これに続く処理はこれまでと同様であり、検出部５６は、検出したエッジ点２００を囲むように検出領域２０２を設定し、検出領域２０２の検出結果を補正部５８に出力する。さらに、補正部５８もこれまでと同様に、検出領域２０２を拡大することによって、拡大領域２０８を生成する。また、補正部５８は、拡大領域２０８を、画像から検出した物体として出力部６０に出力する。
【００２６】
出力部６０は、画像から検出した物体に関する情報を補正部５８から入力して、これを自動運転制御装置３０に出力する。画像から検出した物体に関する情報では、物体のサイズ、物体との距離、物体の方向が示される。なお、物体との距離、物体の方向は、公知の技術によって特定されている。
【００２７】
自動運転制御装置３０は、車両１００における自動操舵モードを制御する。例えば、自動運転制御装置３０は、各種センサでの検出結果、地図情報をもとに、車両１００の走行予定を生成する。また、自動運転制御装置３０は、生成した走行予定にしたがって走行するように、エンジン、ブレーキ、ハンドル等を制御する。また、自動運転制御装置３０は、出力部６０から、物体に関する情報を入力し、物体を回避するように走行予定を生成する。これらの処理には公知の技術が使用されればよいので、ここでは説明を省略する。なお、出力部６０からの物体に関する情報は、自動操舵ではなく、運転支援に利用されてもよい。
【００２８】
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２９】
以上の構成による物体検出装置２０の動作を説明する。図５は、物体検出装置２０による検出手順を示すフローチャートである。取得部５０は、画像を取得する（Ｓ１０）。算出部５２は、エッジ強度を算出する（Ｓ１２）。検出部５６がエッジ点２００を検出しなければ（Ｓ１４のＮ）、ステップ１２に戻る。検出部５６がエッジ点２００を検出すれば（Ｓ１４のＹ）、設定部５４は、部分画像２０４毎のしきい値を設定する（Ｓ１６）。検出部５６がエッジ点２００を検出した場合（Ｓ１８のＹ）、補正部５８は、物体を拡大する（Ｓ２０）。一方、検出部５６がエッジ点２００を検出しない場合（Ｓ１８のＮ）、ステップ２０はスキップされる。
【００３０】
図６は、物体検出装置２０による別の検出手順を示すフローチャートである。導出部６４は、エッジ強度を重ね合わせる（Ｓ５０）。導出部６４は、度数分布を導出する（Ｓ５２）。検出部５６がエッジ点２００を検出した場合（Ｓ５４のＹ）、補正部５８は、物体を拡大する（Ｓ５６）。一方、検出部５６がエッジ点２００を検出しない場合（Ｓ５４のＮ）、ステップ５６はスキップされる。
【００３１】
本実施例によれば、部分画像毎のしきい値をもとにエッジ点を検出するので、ノイズの影響を低減できる。また、部分画像毎のしきい値をもとにエッジ点を検出する場合であっても、検出したエッジ点によって形成された物体を拡大するので、物体の輪郭部分を復元できる。また、物体の輪郭部分が復元されるので、物体の検出精度を向上できる。また、部分画像のサイズよりも小さい範囲で拡大させるので、エッジ点の検出結果を大きく変更することを回避できる。また、エッジ点の検出結果を大きく変更することが回避されるので、物体の検出精度の低下を抑制できる。また、画素毎の度数分布をもとに、エッジ点を検出するので、小さい物体あるいは細い物体であっても検出を可能にできる。また、小さい物体あるいは細い物体の検出が可能になるので、物体の検出精度を向上できる。
【００３２】
以上、本発明について、実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３３】
本発明の一態様の概要は、次の通りである。本発明のある態様の物体検出装置は、画像を取得する取得部と、取得部において取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出する算出部と、取得部において取得した画像を複数の部分画像に分割し、算出部において算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定する設定部と、設定部において設定した部分画像毎のしきい値と、算出部において算出したエッジ強度とを比較することによって、エッジ点を検出する検出部と、検出部において検出したエッジ点によって形成された物体を拡大する補正部と、を備える。
【００３４】
この態様によると、検出したエッジ点によって形成された物体を拡大するので、物体の検出精度を向上できる。
【００３５】
補正部において物体を拡大させるサイズは、部分画像のサイズよりも小さい。この場合、部分画像のサイズよりも小さい範囲で拡大させるので、エッジ点の検出結果を大きく変更することを回避できる。
【００３６】
算出部において算出したエッジ強度であって、かつ複数の画像のそれぞれに対して算出したエッジ強度を画素毎に重ね合わせることによって、エッジ強度の度数分布を画素毎に導出する導出部とをさらに備えてもよい。検出部は、導出部において導出した画素毎の度数分布をもとに、エッジ点を検出し、検出したエッジ点を補正部に出力してもよい。この場合、画素毎の度数分布をもとに、エッジ点を検出するので、小さい物体であっても検出を可能にできる。
【００３７】
本発明の別の態様は、物体検出方法である。この方法は、画像を取得するステップと、取得した画像を構成する各画素の画素値をもとに、各画素のエッジ強度を算出するステップと、取得した画像を複数の部分画像に分割し、算出したエッジ強度の度数分布を部分画像毎に導出することによって、部分画像毎のしきい値を設定するステップと、設定した部分画像毎のしきい値と、算出したエッジ強度とを比較することによって、エッジ点を検出するステップと、検出したエッジ点によって形成された物体を拡大するステップと、を備える。
【符号の説明】
【００３８】
１０  撮像部、  ２０  物体検出装置、  ３０  自動運転制御装置、  ５０  取得部、  ５２  算出部、  ５４  設定部、  ５６  検出部、  ５８  補正部、  ６０  出力部、  ６２  記憶部、  ６４  導出部、  １００  車両。
【図１】
2017068426.tif 000003
【図２】
2017068426.tif 000004
【図３】
2017068426.tif 000005
【図４】
2017068426.tif 000006
【図５】
2017068426.tif 000007
【図６】
2017068426.tif 000008