(57)【要約】【課題】撮像画像における対象物の中心点の位置座標の特定の精度を向上させることができる対象物認識装置を提供する。【解決手段】カメラの撮像画像と対象物の地図上の位置情報及び外形情報を含む対象物情報とから撮像画像に含まれる対象物を認識する対象物認識装置１００であって、車両の地図上の位置と対象物の地図上の位置情報とから撮像画像における対象物の中心点の位置座標を演算し、設定時間後における対象物の中心点の予測座標を演算し、位置座標と予測座標とに基づいて撮像画像における対象物の中心点軌跡を演算し、対象物の輪郭線を認識するための輪郭線探索範囲を中心点軌跡に沿って撮像画像上に設定し、撮像画像における輪郭線探索範囲内の画像認識処理を行うことにより対象物の輪郭線を認識し、対象物の輪郭線と対象物の中心点軌跡とに基づいて撮像画像における対象物の中心点の位置座標を特定する。【選択図】図２
2020060891.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラの撮像画像と道路に対して設けられた対象物の地図上の位置情報及び外形情報を含む対象物情報とに基づいて、前記撮像画像に含まれる前記対象物を認識する対象物認識装置であって、
前記車両の地図上の位置を認識する車両位置認識部と、
前記車両の地図上の位置と前記対象物の地図上の位置情報とに基づいて、前記撮像画像における前記対象物の中心点の位置座標を演算する位置座標演算部と、
前記車両の地図上の位置と前記対象物の地図上の位置情報とに基づいて、設定時間後における前記対象物の中心点の予測座標を演算する予測座標演算部と、
前記位置座標と前記予測座標とに基づいて、前記撮像画像における前記対象物の中心点軌跡を演算する中心点軌跡演算部と、
前記中心点軌跡と前記対象物の外形情報とに基づいて、前記対象物の輪郭線を認識するための輪郭線探索範囲を前記中心点軌跡に沿って前記撮像画像上に設定する輪郭線探索範囲設定部と、
前記撮像画像における前記輪郭線探索範囲内の画像認識処理を行うことにより、前記撮像画像における前記対象物の輪郭線を認識する輪郭線認識部と、
前記撮像画像における前記対象物の輪郭線と前記対象物の中心点軌跡とに基づいて、前記撮像画像における前記対象物の中心点の位置座標を特定する中心点特定部と、
を備える、対象物認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された対象物認識装置に関する。
【背景技術】
【０００２】
従来、対象物認識装置に関する技術文献として、特開２０１７−１３０１５５号公報が知られている。この公報には、車両のカメラにより撮像された車両の周囲の撮像画像から物体を認識する物体認識装置であって、撮像画像から物体の形状が存在する探索範囲（対象範囲）を抽出し、探索範囲に対して選択的に物体の認識処理を実行する装置が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１３０１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した従来の装置において探索範囲が狭すぎると、物体の一部が探索範囲から外れて物体を適切に認識できない場合がある。また、探索範囲が広すぎると物体の認識の処理に時間が掛かり処理負荷も増加する。このため、認識処理の対象となる探索範囲を適切に設定することが求められている。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の一態様は、車両に搭載されたカメラの撮像画像と道路に対して設けられた対象物の地図上の位置情報及び外形情報を含む対象物情報とに基づいて、撮像画像に含まれる対象物を認識する対象物認識装置であって、車両の地図上の位置を認識する車両位置認識部と、車両の地図上の位置と対象物の地図上の位置情報とに基づいて、撮像画像における対象物の中心点の位置座標を演算する位置座標演算部と、車両の地図上の位置と対象物の地図上の位置情報とに基づいて、設定時間後における対象物の中心点の予測座標を演算する予測座標演算部と、位置座標と予測座標とに基づいて、撮像画像における対象物の中心点軌跡を演算する中心点軌跡演算部と、中心点軌跡と対象物の外形情報とに基づいて、対象物の輪郭線を認識するための輪郭線探索範囲を中心点軌跡に沿って撮像画像上に設定する輪郭線探索範囲設定部と、撮像画像における輪郭線探索範囲内の画像認識処理を行うことにより、撮像画像における対象物の輪郭線を認識する輪郭線認識部と、撮像画像における対象物の輪郭線と対象物の中心点軌跡とに基づいて、撮像画像における対象物の中心点の位置座標を特定する中心点特定部と、を備える。
【発明の効果】
【０００６】
本発明の一態様に係る対象物認識装置によれば、撮像画像における対象物の輪郭線探索範囲を適切に設定して対象物の中心点の位置座標の特定の精度を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る対象物認識装置を示すブロック図である。
【図２】（ａ）車両の位置の変化を説明するための平面図である。（ｂ）カメラの撮像画像における道路標識の位置座標及び予測座標を説明するための図である。
【図３】輪郭線探索範囲を示す図である。
【図４】円形状の道路標識の輪郭線の認識を説明するための図である。
【図５】中心点探索範囲を説明するための図である。
【図６】対象物の中心点の位置座標特定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照して説明する。
【０００９】
図１は、一実施形態に係る対象物認識装置を示すブロック図である。図１に示す対象物認識装置１００は、乗用車などの車両に搭載され、車両のカメラの撮像画像から撮像画像における対象物の中心点の位置座標を特定する。対象物とは、車両の走行する道路に対して設けられ、画像認識の対象となる物体である。対象物には、道路標識、看板、信号機などが含まれる。
【００１０】
［対象物認識装置の構成］
図１に示されるように、対象物認識装置１００は、装置を統括的に管理するＥＣＵ[Electronic Control Unit]１０を備えている。ＥＣＵ１０は、ＣＰＵ[Central  Processing  Unit]、ＲＯＭ[Read  Only  Memory]、ＲＡＭ[Random  Access  Memory]、ＣＡＮ［Controller  Area  Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。
【００１１】
ＥＣＵ１０は、ＧＰＳ受信部１、カメラ２、内部センサ３、地図データベース４、及び対象物データベース５と接続されている。
【００１２】
ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信することにより、車両の位置（例えば車両の緯度及び経度）を測定する。ＧＰＳ受信部１は、測定した車両の位置情報をＥＣＵ１０へ送信する。
【００１３】
カメラ２は、車両の外部状況を撮像する撮像機器である。カメラ２は、車両のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラ２は、車両の外部状況に関する撮像情報をＥＣＵ１０へ送信する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。
【００１４】
内部センサ３は、車両の走行状態を検出する検出機器である。内部センサ３は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、車両の速度を検出する検出器である。車速センサとしては、例えば、車両の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報（車輪速情報）をＥＣＵ１０に送信する。 
【００１５】
加速度センサは、車両の加速度を検出する検出器である。加速度センサは、例えば、車両の前後方向の加速度を検出する前後加速度センサと、車両の横加速度を検出する横加速度センサとを含んでいる。加速度センサは、例えば、車両の加速度情報をＥＣＵ１０に送信する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した車両のヨーレート情報をＥＣＵ１０へ送信する。
【００１６】
地図データベース４は、地図情報を記憶するデータベースである。地図データベース４は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］などの記憶装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報、及び構造物の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報も含まれている。なお、地図データベース４は、車両と通信可能なサーバに形成されていてもよい。
【００１７】
対象物データベース５は、画像認識の対象となる対象物に関する対象物情報を記憶している。対象物データベース５も例えば車両に搭載された記憶装置内に形成されている。対象物情報には、対象物の地図上の位置情報と対象物の外形情報とが少なくとも含まれる。対象物の地図上の位置情報には、対象物の中心を基準とした位置が含まれている。外形情報には、対象物の形状（円形状であるか矩形状であるか）に関する情報が含まれる。外形情報には、対象物の大きさに関する情報が含まれる。或いは、外形情報には、大きさに関する情報に代えて、道路標識、看板、信号機などの対象物の種別情報が含まれていてもよい。外形情報には、対象物の大きさの情報と種別情報の両方が含まれていてもよい。
【００１８】
なお、対象物の外形情報には、道路標識の表示面の情報（形状、大きさの情報）が含まれていればよく、道路標識の支持棒部分を含む必要はない。対象物データベース５は、地図データベース４と一体であってもよく、車両と通信可能なサーバに形成されていてもよい。
【００１９】
次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、車両位置認識部１１、位置座標演算部１２、予測座標演算部１３、中心点軌跡演算部１４、輪郭線探索範囲設定部１５、輪郭線認識部１６、及び中心点特定部１７を有している。なお、以下に説明するＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。
【００２０】
車両位置認識部１１は、ＧＰＳ受信部１の位置情報及び地図データベース４の地図情報に基づいて、車両の地図上の位置を認識する。また、車両位置認識部１１は、地図データベース４の地図情報に含まれた電柱等の固定障害物の位置情報及びカメラ２の検出結果を利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により車両の位置を認識してもよい。車両位置認識部１１は、その他、周知の手法により車両の地図上の位置を認識してもよい。
【００２１】
位置座標演算部１２は、車両位置認識部１１の認識した車両の地図上の位置と、対象物データベース５に記憶された対象物情報（対象物の地図上の位置情報）とに基づいて、撮像画像における対象物の中心点の位置座標を演算する。対象物の中心点の位置座標とは、撮像画像に映った対象物の画像において中心となる点の位置座標である。
【００２２】
位置座標演算部１２は、車両の地図上の位置から、現在の車両の位置におけるカメラ２の撮像範囲を演算する。車両におけるカメラ２の撮像範囲は予め決められた範囲である。位置座標演算部１２は、車両の地図上の位置の変化から車両の向きを認識できる。なお、位置座標演算部１２は、内部センサ３の検出結果（ヨーレートセンサの検出したヨーレートなど）を用いて車両の向きを認識してもよい。
【００２３】
位置座標演算部１２は、車両の地図上の位置及び対象物の地図上の位置情報から車両に対する対象物の地図上の相対位置を認識することができる。位置座標演算部１２は、車両の現在の位置におけるカメラ２の撮像範囲と車両に対する対象物の地図上の相対位置に基づいて、撮像画像における対象物の中心点の位置座標を演算する。
【００２４】
また、位置座標演算部１２は、撮像画像における対象物の中心点の位置座標と対象物データベース５に記憶された対象物の外形情報（大きさも含む）とに基づいて、撮像画像における対象物の位置（撮像画像において対象物が占める画像範囲の位置）を演算する。
【００２５】
位置座標演算部１２は、演算した対象物の中心点の位置座標及び撮像画像における対象物の位置を記憶する。すなわち、位置座標演算部１２は、過去の撮像画像における中心点の位置情報及び対象物の位置を記憶する。位置座標演算部１２は、対象物データベース５に一時的に記憶させてもよく、その他の記憶装置に記憶させてもよい。
【００２６】
予測座標演算部１３は、車両の地図上の位置と対象物の地図上の位置情報とに基づいて、設定時間後における対象物の中心点の予測座標を演算する。設定時間は、予め設定された時間であり、例えば１秒後とすることができる。設定時間は、カメラ２の撮像間隔を用いて一定回数撮像された後の時間としてもよい。対象物の中心点の予測座標とは、設定時間後の車両の位置から撮像された撮像画像における対象物の中心点の位置座標である。
【００２７】
予測座標演算部１３は、例えば車両の地図上の位置の変化から設定時間後における車両の地図上の位置（予測位置）を演算する。予測座標演算部１３は、予測位置の演算に車両の車速を利用してもよい。
【００２８】
予測座標演算部１３は、車両におけるカメラ２の撮像範囲は予め決まっていることから設定時間後における車両の地図上の位置におけるカメラ２の撮像範囲を演算する。予測座標演算部１３は、設定時間後の車両の地図上の位置及び対象物の地図上の位置情報から、設定時間後の車両に対する対象物の地図上の相対位置を認識する。予測座標演算部１３は、設定時間後におけるカメラ２の撮像範囲と設定時間後の車両の地図上の位置に対する対象物の地図上の相対位置とに基づいて、設定時間後のカメラ２の撮像画像における対象物の中心点の予測座標を演算する。
【００２９】
また、予測座標演算部１３は、設定時間後のカメラ２の撮像画像における対象物の中心点の予測座標と対象物データベース５に記憶された対象物の外形情報とに基づいて、設定時間後の撮像画像における対象物の予測位置（撮像画像において対象物が占める画像範囲の予測位置）を演算する。
【００３０】
ここで、図２（ａ）は、車両の位置の変化を説明するための平面図である。図２（ａ）において、現在の車両の地図上の位置をＭＡ、設定時間前の車両の地図上の位置をＭＰ、設定時間後の車両の地図上の位置をＭＦとして示す。また、対象物としての道路標識Ｄを示す。道路標識Ｄは、車両の走行道路の脇に設けられた円形の表示面を有する道路標識である。
【００３１】
図２（ｂ）は、カメラ２の撮像画像における道路標識Ｄの位置座標及び予測座標を説明するための図である。図２（ｂ）に示す撮像画像Ｇは、カメラ２によって車両の前方を撮像した画像である。図２（ｂ）において撮像画像Ｇの縦軸をｖ、横軸をｕとして示す。また、図２（ｂ）に、撮像画像Ｇにおける現在の道路標識Ｄの中心点をｐａ、設定時間前の道路標識Ｄの中心点をｐｐ、設定時間後の道路標識Ｄの中心点をｐｆ、現在の道路標識Ｄの位置をＤＡ、設定時間前の道路標識Ｄの位置をＤＰ、設定時間後の道路標識Ｄの位置をＤＦとして示す。
【００３２】
なお、車両と道路標識Ｄとの距離が近いほど撮像画像Ｇにおいて道路標識Ｄが占める範囲は大きくなることから、設定時間前の道路標識Ｄの位置ＤＰ、現在の道路標識Ｄの位置ＤＡ、設定時間後の道路標識Ｄの予測位置ＤＦの順に撮像画像Ｇにおいて占める範囲は大きくなっている。
【００３３】
また、図２（ｂ）に道路標識Ｄの探索範囲Ｗと道路標識Ｄの中心点軌跡Ｃとを示す。探索範囲Ｗは、周知の手法により設定することができる。探索範囲Ｗは、撮像画像Ｇにおける現在の道路標識Ｄの位置ＤＡに基づいて設定されてもよく、中心点軌跡Ｃに基づいて設定されてもよい。中心点軌跡Ｃについて詳しくは後述する。なお、必ずしも探索範囲Ｗを設定する必要はない。
【００３４】
現在の道路標識Ｄの位置ＤＡは、図２（ａ）における現在の車両の地図上の位置ＭＡから撮像した場合における撮像画像Ｇ上の道路標識Ｄの位置である。位置座標演算部１２は、現在の車両の地図上の位置ＭＡ及び道路標識Ｄの地図上の位置情報から、撮像画像Ｇにおける現在の道路標識Ｄの中心点の位置座標ｐａを求める。現在の道路標識Ｄの中心点の位置座標ｐａは、例えば（ｕａ,ｖａ）と表わすことができる。
【００３５】
位置座標演算部１２は、撮像画像Ｇにおける現在の道路標識Ｄの中心点の位置座標ｐａと、対象物データベース５に記憶された道路標識Ｄの外形情報（大きさも含む）から、撮像画像Ｇにおける現在の道路標識Ｄの位置ＤＡを演算することができる。すなわち、現在の道路標識Ｄの位置ＤＡは、撮像画像Ｇに対する画像認識処理によって抽出された位置ではなく、現在の車両の地図上の位置ＭＡと道路標識Ｄの地図上の位置情報から求められた位置（推定位置）である。図２（ｂ）では、一例として撮像画像Ｇにおける道路標識Ｄの画像が位置ＤＡの範囲に含まれている。
【００３６】
設定時間前の道路標識Ｄの位置ＤＰは、図２（ａ）における設定時間前の車両の地図上の位置ＭＰから撮像した場合における撮像画像Ｇ上の道路標識Ｄの位置である。位置座標演算部１２は、過去に記憶させた設定時間前の撮像画像における道路標識Ｄの中心点の位置座標を現在の撮像画像Ｇに投影することで、現在の撮像画像Ｇにおける設定時間前の道路標識Ｄの中心点の位置座標ｐｐを演算する。設定時間前の道路標識Ｄの中心点の位置座標ｐｐは、例えば（ｕｐ,ｖｐ）と表わすことができる。
【００３７】
同様に、位置座標演算部１２は、過去に記憶させた設定時間前の撮像画像における道路標識Ｄの位置を現在の撮像画像Ｇに投影することで、現在の撮像画像Ｇにおける設定時間前の道路標識Ｄの位置ＤＰを演算する。なお、設定時間前の撮像画像と現在の撮像画像Ｇとの対応関係については、車両の地図上の位置の変化などから周知の技術を用いて演算することができる。
【００３８】
設定時間後の道路標識Ｄの予測位置ＤＦは、図２（ａ）における設定時間後の車両の地図上の位置ＭＦから撮像した場合における撮像画像Ｇ上の道路標識Ｄの予測位置である。予測座標演算部１３は、設定時間後におけるカメラ２の撮像範囲と設定時間後の車両の地図上の位置ＭＦに対する道路標識Ｄの地図上の相対位置に基づいて、設定時間後の撮像画像における道路標識Ｄの中心点の予測座標を演算する。
【００３９】
予測座標演算部１３は、設定時間後の撮像画像における道路標識Ｄの中心点の予測座標を現在の撮像画像Ｇに投影することで、現在の撮像画像Ｇにおける設定時間後の道路標識Ｄの中心点の予測座標ｐｆを演算する。道路標識Ｄの中心点の予測座標ｐｆは、例えば（ｕｆ，ｖｆ）と表わすことができる。
【００４０】
また、予測座標演算部１３は、設定時間後の撮像画像における道路標識Ｄの中心点の予測座標ｐｆと道路標識Ｄの外形情報とに基づいて、設定時間後の撮像画像における道路標識Ｄの予測位置を演算する。予測座標演算部１３は、設定時間後の撮像画像における道路標識Ｄの予測位置を現在の撮像画像Ｇに投影することで、現在の撮像画像Ｇにおける設定時間後の道路標識Ｄの予測位置ＤＦを演算する。この場合、図２（ｂ）に示すように、予測位置ＤＦの一部が撮像画像Ｇからはみ出すことがある。
【００４１】
中心点軌跡演算部１４は、撮像画像における対象物の中心点の位置座標と設定時間後の撮像画像における対象物の中心点の予測座標とに基づいて、撮像画像における対象物の中心点軌跡を演算する。対象物の中心点軌跡とは、位置座標演算部１２の演算した対象物の中心点の位置座標と、予測座標演算部１３の演算した対象物の中心点の予測座標とを結ぶ直線の軌跡である。
【００４２】
図２（ｂ）に示す状況において、中心点軌跡演算部１４は、撮像画像Ｇにおける現在の道路標識Ｄの中心点の位置座標と、撮像画像Ｇにおける設定時間前の道路標識Ｄの中心点の位置座標と、撮像画像Ｇにおける設定時間後の道路標識Ｄの予測座標とに基づいて、撮像画像Ｇにおける道路標識Ｄの中心点軌跡を演算する。
【００４３】
中心点軌跡演算部１４は、例えば現在の道路標識Ｄの中心点の位置座標ｐａと設定時間前の道路標識Ｄの中心点の位置座標ｐｐと設定時間後の道路標識Ｄの予測座標ｐｆとを通る直線又は線分として、中心点軌跡Ｃを演算する。中心点軌跡演算部１４は、三点との距離が最も小さくなる直線を中心点軌跡Ｃとして演算してもよい。なお、必ずしも設定時間前の道路標識Ｄの中心点の位置座標ｐｐを用いる必要はない。
【００４４】
輪郭線探索範囲設定部１５は、中心点軌跡演算部１４の演算した中心点軌跡と対象物データベース５に記憶された対象物の外形情報とに基づいて、輪郭線探索範囲を撮像画像上に設定する。輪郭線探索範囲とは、対象物の輪郭線を認識するための探索範囲である。輪郭線探索範囲設定部１５は、例えば中心点軌跡に沿って、対象物の外形情報（対象物の大きさ）と撮像画像における遠近関係（車両と対象物との距離に起因する撮像画像における対象物の大きさの変化）を考慮した範囲として輪郭線探索範囲を設定する。
【００４５】
また、輪郭線探索範囲設定部１５は、位置座標演算部１２の演算した対象物の位置と、予測座標演算部１３の演算した対象物の予測位置とを含むように、中心点軌跡に沿って輪郭線探索範囲を設定してもよい。輪郭線探索範囲は、撮像画像において車両に近いほど幅が広がる範囲として設定することができる。
【００４６】
図３は、輪郭線探索範囲を示す図である。図３は、図２（ｂ）における探索範囲Ｗの拡大図である。図３に、輪郭線探索範囲Ｂ、輪郭線探索範囲Ｂの上側境界線ｂ１、輪郭線探索範囲Ｂの下側境界線ｂ２を示す。輪郭線探索範囲設定部１５は、中心点軌跡Ｃに沿って道路標識Ｄの大きさ及び撮像画像Ｇにおける遠近関係を考慮して輪郭線探索範囲Ｂを設定する。
【００４７】
また、輪郭線探索範囲設定部１５は、現在の道路標識Ｄの位置ＤＡと設定時間前の道路標識Ｄの位置ＤＰと設定時間後の道路標識Ｄの予測位置ＤＦとを含み中心点軌跡Ｃに沿う範囲として輪郭線探索範囲Ｂを設定してもよい。輪郭線探索範囲Ｂは、撮像画像Ｇの端に位置するほど上下幅が拡大する範囲（上側境界線ｂ１と下側境界線ｂ２との間隔が広くなる範囲）とすることができる。輪郭線探索範囲Ｂは、必ずしも実際に撮像画像Ｇに映っている道路標識Ｄを含む範囲である必要はない。
【００４８】
輪郭線認識部１６は、撮像画像における輪郭線探索範囲内の画像認識処理を行うことにより、撮像画像における対象物の輪郭線を認識する。輪郭線認識部１６は、対象物の外形情報に基づいて対象物の外形を認識し、対象物の外形に応じて画像認識処理の手法を変更する。
【００４９】
輪郭線認識部１６は、例えば対象物の外形が矩形状である場合、エッジ検出、ハフ変換などにより輪郭線探索範囲に含まれる直線を抽出する。輪郭線認識部１６は、抽出した直線に対してパターンマッチングなどの画像認識処理を行うことで対象物の輪郭線（例えば矩形状の枠線）を認識する。対象物が菱形の場合も同様である。対象物が矩形状の場合には、例えば撮像画像に対して水平又は垂直な直線を抽出し、対象物が矩形状の場合には撮像画像上で４５°、１３５°の傾きを有する直線を抽出することで適切に対象物の輪郭線を認識することができる。
【００５０】
輪郭線認識部１６は、例えば対象物の外形が円形状である場合、直線抽出を用いることができないことから、エッジ検出及びパターンマッチングなどの画像認識処理によって対象物の輪郭線を認識する。
【００５１】
図４は、円形状の道路標識の輪郭線の認識及び中心点の特定を説明するための示す図である。図４は、図３に示す輪郭線探索範囲Ｂ内の画像に対して輝度差を用いたエッジ検出処理を行った状況を表わしている。図４に示す直線状の中心点投票用範囲ｆ１〜ｆ４については後述する。
【００５２】
図４に示すように、エッジ検出により道路標識Ｄだけではなく木々などの背景も含めて検出される。輪郭線認識部１６は、エッジ検出後に、円形状の輪郭線のパターンマッチングなどの画像認識処理を行うことにより円形状の道路標識Ｄの輪郭線を認識する。長円形状の信号機の場合も同様にして輪郭線を認識することができる。
【００５３】
なお、輪郭線認識部１６は、後述する中心点特定部１７によって特定された対象物の中心点の位置座標を用いて輪郭線を修正してもよい。輪郭線認識部１６は、例えば円形状の対象物である場合、中心点の位置座標を中心とした円形の輪郭線として修正することができる。輪郭線認識部１６は、矩形状の対象物である場合、中心点を挟んで等距離で対向する直線の組み合わせとなるように輪郭線を修正してもよい。
【００５４】
中心点特定部１７は、輪郭線認識部１６の認識した対象物の輪郭線と中心点軌跡演算部１４の演算した対象物の中心点軌跡とに基づいて、撮像画像における対象物の中心点の位置座標を特定する。中心点特定部１７の特定する対象物の中心点の位置座標とは、位置座標演算部１２により車両の地図上の位置から演算（推測）された対象物の中心点の位置座標ではなく、撮像画像に映っている対象物に対する画像認識処理によって特定される位置座標である。中心点特定部１７は、対象物の外形に応じて中心点の特定の手法を変更する。
【００５５】
具体的に、中心点特定部１７は、対象物の中心点軌跡に沿って中心点探索範囲を撮像画像上に設定する。中心点探索範囲とは、対象物の中心点を探索するための範囲である。ここで、図５は、中心点探索範囲を説明するための図である。図５に、中心点探索範囲ＣＡを示す。
【００５６】
図５に示すように、中心点特定部１７は、例えば撮像画像上で中心点軌跡Ｃを中心として一定の幅を有する帯状の範囲として中心点探索範囲ＣＡを設定する。中心点探索範囲ＣＡは、輪郭線探索範囲より幅の狭い範囲である。中心点特定部１７は、輪郭線認識部１６の認識した道路標識Ｄの輪郭線に基づいて、道路標識Ｄの輪郭線の上端及び下端（撮像画像の縦軸ｖにおける上端及び下端）の間に収まるように、中心点探索範囲ＣＡを設定してもよい。
【００５７】
中心点特定部１７は、対象物の輪郭線を利用して、中心点探索範囲内を探索することで、対象物の中心点の位置座標を特定する。中心点特定部１７は、対象物の外形が矩形状である場合、矩形の輪郭線の中心であって中心点探索範囲内の位置を対象物の中心点の位置座標として特定する。
【００５８】
中心点特定部１７は、対象物の外形が円形状である場合、輝度勾配を利用した投票処理によって対象物の中心点の位置座標を特定する。中心点特定部１７は、対象物の外形が円形状である場合には、輝度勾配方向が輪郭線の法線方向になることから、法線方向に延ばした直線を用いて投票を行うことで中心点を特定する。
【００５９】
具体的に、中心点特定部１７は、図４に示す状況において、例えば以下の式（１）〜（４）によって輪郭線探索範囲Ｂ内の輝度勾配強度及び輝度勾配方向を演算する。
(数１)
Ｉｕ（ｕ，ｖ）＝Ｉ（ｕ＋１，ｖ）−Ｉ（ｕ−１，ｖ）…（１）
Ｉｖ（ｕ，ｖ）＝Ｉ（ｕ，ｖ＋１）−Ｉ（ｕ，ｖ−１）…（２）
ｍ＝√｛（Ｉｕ（ｕ，ｖ））２＋（Ｉｖ（ｕ，ｖ））２｝…（３）
θ＝ｔａｎ−１｛Ｉｖ（ｕ，ｖ）／Ｉｕ（ｕ，ｖ）｝…（４）
ここで、Ｉ（ｕ、ｖ）は画像座標（ｕ、ｖ）における輝度である。Ｉｕは横軸ｕの方向に隣接する画素間の輝度差である。Ｉｖは縦軸ｖの方向に隣接する画素間の輝度差である。ｍは輝度勾配強度である。θは輝度勾配方向（単位：ｒａｄ）である。
【００６０】
中心点特定部１７は、輪郭線探索範囲Ｂ内の輝度勾配強度ｍ及び輝度勾配方向θを演算することにより、直線状の中心点投票用範囲ｆ１〜ｆ４を設定する。中心点特定部１７は、図５に示す中心点探索範囲ＣＡ内で図４に示す中心点投票用範囲ｆ１〜ｆ４が最も重なる点（最も投票数が多い点）を中心点として、対象物の中心点の位置座標を特定する。長円形状の信号機の場合も同様にして中心点の位置座標を特定することができる。なお、中心点特定部１７は、輪郭線探索範囲Ｂ内ではなく、中心点探索範囲ＣＡ内の輝度勾配強度ｍ及び輝度勾配方向θのみを演算する態様であってもよい。
【００６１】
［対象物認識装置の位置座標特定処理］
次に、本実施形態に係る対象物認識装置１００における対象物の中心点の位置座標特定処理について図６を参照して説明する。図６は、対象物の中心点の位置座標特定処理の一例を示すフローチャートである。
【００６２】
図６に示すように、対象物認識装置１００のＥＣＵ１０は、Ｓ１０として、位置座標演算部１２により撮像画像における対象物の中心点の位置座標を演算する。位置座標演算部１２は、車両の地図上の位置と対象物情報（対象物の地図上の位置情報）とに基づいて、撮像画像における対象物の中心点の位置座標を演算する。
【００６３】
Ｓ１４において、ＥＣＵ１０は、予測座標演算部１３により設定時間後における対象物の中心点の予測座標を演算する。予測座標演算部１３は、車両の地図上の位置と対象物の地図上の位置情報とに基づいて、設定時間後における対象物の中心点の予測座標を演算する。
【００６４】
Ｓ１４において、ＥＣＵ１０は、中心点軌跡演算部１４により対象物の中心点軌跡を演算する。中心点軌跡演算部１４は、撮像画像における対象物の中心点の位置座標と設定時間後の撮像画像における対象物の中心点の予測座標とに基づいて、撮像画像における対象物の中心点軌跡を演算する。
【００６５】
Ｓ１６において、ＥＣＵ１０は、輪郭線探索範囲設定部１５により輪郭線探索範囲を設定する。輪郭線探索範囲設定部１５は、対象物の中心点軌跡と対象物の外形情報とに基づいて、輪郭線探索範囲を撮像画像上に設定する。
【００６６】
Ｓ１８において、ＥＣＵ１０は、輪郭線認識部１６により対象物の輪郭線を認識する。輪郭線認識部１６は、撮像画像における輪郭線探索範囲内の画像認識処理を行うことにより、撮像画像における対象物の輪郭線を認識する。
【００６７】
Ｓ２０において、ＥＣＵ１０は、中心点特定部１７により撮像画像における対象物の中心点の位置座標を特定する。中心点特定部１７は、対象物の輪郭線と対象物の中心点軌跡とに基づいて、撮像画像における対象物の中心点の位置座標を特定する。中心点特定部１７は、中心点探索範囲を用いることで、対象物の中心点の位置座標を誤って特定することを抑制する。
【００６８】
［対象物認識装置の作用効果］
以上説明した本実施形態に係る対象物認識装置１００によれば、車両の地図上の位置と対象物の地図上の位置情報とから、車両のカメラの撮像画像における対象物の中心点軌跡を演算し、中心点軌跡と対象物の外形情報とに基づいて、対象物の輪郭線を認識するための輪郭線探索範囲を中心点軌跡に沿って撮像画像上に設定するので、中心点軌跡及び対象物の外形情報を考慮しない場合と比べて輪郭線探索範囲を適切に設定することができる。また、対象物認識装置１００によれば、輪郭線と対象物の中心点軌跡とに基づいて撮像画像における対象物の中心点の位置座標を特定するので、中心点軌跡を考慮せずに対象物の中心点の位置座標を特定する場合と比べて、対象物の中心点の位置座標の特定の精度を向上させることができる。
【００６９】
また、対象物認識装置１００では、中心点探索範囲を設定することにより、中心点探索範囲を設定しない場合と比べて、中心点の位置座標を誤って特定することを抑制することができる。中心点探索範囲を用いた中心点の位置座標の特定は、特に輪郭線の認識精度を高めることが容易ではない対象物の外形が円形状である場合に有用である。対象物の外形が矩形状である場合にも中心点探索範囲を用いることで、中心点の位置座標の特定の精度向上を図ることができる。
【００７０】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００７１】
上記の実施形態では、車両の前方を撮像するカメラ２の撮像画像を用いて説明したが、カメラ２は車両の後方を撮像してもよく、車両の側方を撮像してもよい。この場合においても車両の地図上の位置及び対象物の地図上の位置情報から撮像画像における対象物の中心点を演算することができ、本発明を適用可能である。撮像画像上において車両に近いほど対象物が大きく映ることになる。
【００７２】
対象物は、道路の脇に設けられた道路標識などに限定されず、道路の上方に設けられた看板や信号機にも適用できる。道路の上方に設けられた看板などに対しても、車両の地図上の位置及び対象物の地図上の位置情報から撮像画像における対象物の中心点を演算することができる。
【００７３】
対象物認識装置１００は、必ずしも中心点特定部１７において中心点探索範囲を設定する必要はない。中心点特定部１７は、対象物の輪郭線から中心点の位置座標を求める態様であってもよい。対象物の外形が円形状である場合には、円形の輪郭線の中心を対象物の中心点とすることも可能である。対象物の外形が矩形状である場合には、矩形の輪郭線の中心（縦軸方向で対向する直線の輪郭線の中間線と横軸方向でに対向する直線の輪郭線の中間線の交点）を対象物の中心点とすることも可能である。
【００７４】
位置座標演算部１２は必ずしも過去の対象物の中心点の位置座標を記憶させる必要はない。この場合には、中心点軌跡演算部１４は、中心点軌跡の演算において設定時間前の対象物の中心点の位置座標を用いる必要はない。
【符号の説明】
【００７５】
１…ＧＰＳ受信部、２…カメラ、３…内部センサ、４…地図データベース、５…対象物データベース、１０…ＥＣＵ、１１…車両位置認識部，１２…位置座標演算部、１３…予測座標演算部、１４…中心点軌跡演算部、１５…輪郭線探索範囲設定部、１６…輪郭線認識部、１７…中心点特定部、１００…対象物認識装置。
【図１】
2020060891.tif 000003
【図２】
2020060891.tif 000004
【図３】
2020060891.tif 000005
【図４】
2020060891.tif 000006
【図５】
2020060891.tif 000007
【図６】
2020060891.tif 000008