(57)【要約】【課題】遮蔽領域の誤判定を抑制する。【解決手段】遮蔽判定装置１は、異なるタイミングで撮像装置３により撮像された複数の画像を取得する画像取得部１１と、車両２の位置及び撮像装置３の撮像方向を取得する車両情報取得部１３と、物体の位置及び外観情報を記憶する地図データベース７と、車両２の位置及び撮像装置３の撮像方向と地図データベース７に記憶された物体の位置とに基づいて、撮像地点における撮像装置３の画角内の物体を推定する物体推定部１４と、地図データベース７に記憶された外観情報に基づいて、物体推定部１４により推定された撮像装置３の画角内の物体が予め定められた除外物体であるか否かを判定する除外判定部１５と、除外判定部１５により除外物体であると判定された領域を除いた複数の画像の画素値に基づいて、撮像装置３が遮蔽状態であるか否かを判定する状態判定部１２と、を備える。【選択図】図１
2018107582.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置が遮蔽状態であるか否かを判定する遮蔽判定装置であって、
異なるタイミングで前記撮像装置により撮像された複数の画像を取得する画像取得部と、
前記車両の位置及び前記撮像装置の撮像方向を取得する車両情報取得部と、
物体の位置及び外観情報を記憶する地図データベースと、
前記車両の位置及び前記撮像装置の撮像方向と前記地図データベースに記憶された前記物体の位置とに基づいて、撮像地点における前記撮像装置の画角内の前記物体を推定する物体推定部と、
前記地図データベースに記憶された前記外観情報に基づいて、前記物体推定部により推定された前記撮像装置の画角内の前記物体が予め定められた除外物体であるか否かを判定する除外判定部と、
前記除外判定部により前記除外物体であると判定された領域を除いた前記複数の画像の画素値に基づいて、前記撮像装置が遮蔽状態であるか否かを判定する状態判定部と、
を備える遮蔽判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、遮蔽判定装置に関する。
【背景技術】
【０００２】
特許文献１には、車両に搭載されたカメラによって異なるタイミングで撮像して得られた複数の撮像画像を用いて、汚れが付着する等のようにカメラが遮蔽されていることを検知する装置が記載されている。この装置は、第１の所定種類の画素値の時間変化量が所定量以下になると共に、第２の所定種類の画素値の分布が平坦となる領域を、遮蔽されている部分として判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０６１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、無地の壁や路面標識の無い道路などは、画像上において、第１の所定種類の画素値の時間変化量が所定量以下になると共に、第２の所定種類の画素値の分布が平坦となる。このため、特許文献１記載の装置は、無地の壁や路面標識の無い道路などを遮蔽されている部分として誤判定するおそれがある。本技術分野では、遮蔽領域の誤判定を抑制することができる遮蔽判定装置が望まれている。
【課題を解決するための手段】
【０００５】
本開示に係る遮蔽判定装置は、車両に搭載された撮像装置が遮蔽状態であるか否かを判定する遮蔽判定装置であって、異なるタイミングで撮像装置により撮像された複数の画像を取得する画像取得部と、車両の位置及び撮像装置の撮像方向を取得する車両情報取得部と、物体の位置及び外観情報を記憶する地図データベースと、車両の位置及び撮像装置の撮像方向と地図データベースに記憶された物体の位置とに基づいて、撮像地点における撮像装置の画角内の物体を推定する物体推定部と、地図データベースに記憶された外観情報に基づいて、物体推定部により推定された撮像装置の画角内の物体が予め定められた除外物体であるか否かを判定する除外判定部と、除外判定部により除外物体であると判定された領域を除いた複数の画像の画素値に基づいて、撮像装置が遮蔽状態であるか否かを判定する状態判定部と、を備える。
【発明の効果】
【０００６】
本開示によれば、遮蔽領域の誤判定を抑制することができる。
【図面の簡単な説明】
【０００７】
【図１】遮蔽判定装置１を備える車両２の機能ブロック図である。
【図２】遮蔽判定装置１の遮蔽判定処理のフローチャートである。
【図３】遮蔽判定処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
【０００９】
本実施形態に係る遮蔽判定装置は、車両に搭載された撮像装置が遮蔽状態であるか否かを判定する装置である。遮蔽状態とは、本来撮像されるべき被写体が異物などによって遮蔽されている状態をいう。撮像装置が遮蔽状態となる具体的な一例としては、レンズに水滴や塵などが付着した場合、又は、フロントガラスに水滴や鳥の糞などが付着した場合などである。以下では、遮蔽判定装置が車載される例を開示するが、これに限定されるものではない。
【００１０】
［構成］
図１は、遮蔽判定装置１を備える車両２の機能ブロック図である。車両２は、撮像装置３、測位装置４、内部センサ５、ＥＣＵ（Electronic Control Unit）６、及び、地図データベース７を備える。
【００１１】
撮像装置３は、車両２の周囲を撮像する機器である。撮像装置３の一例としては、ステレオカメラ、単眼カメラなどである。撮像装置３は、時系列で連続するフレーム画像を取得する。
【００１２】
測位装置４は、車両２の位置を取得する機器である。車両２の位置は、例えば緯度及び経度などの位置情報で表現される。測位装置４の一例としては、ＧＰＳ（Global Positioning System）受信機、ＧＰＳ／ＩＭＵ（InertialMeasurement Unit）などである。
【００１３】
内部センサ５は、車両２の走行状態を検出する検出機器である。車両２の走行状態とは、車両２の向きを含む。内部センサ５は、一例として、ヨーレートセンサである。なお、内部センサ５は、速度センサを含んでもよい。
【００１４】
ＥＣＵ６は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、ＣＡＮ（Controller  Area  Network）通信回路などを有する電子制御ユニットである。ＥＣＵ６は、ＣＡＮ通信回路を用いて通信するネットワークに接続され、車両２の構成要素と通信可能に接続されている。ＥＣＵ６の詳細については後述する。
【００１５】
地図データベース７は、物体の位置及び外観情報を記憶する。物体とは、センサにより認識可能な有体物であり、壁、ガードレールなどの立体物や路面などである。外観情報は、物体の外見の情報であり、路面標示の有無、エッジ、テクスチャなどである。地図データベース７は、一例として、地図に関する地図情報と、物体の位置及び外観情報とを関連付けて記憶する。
【００１６】
ＥＣＵ６は、撮像装置３、測位装置４、内部センサ５、及び、地図データベース７に接続されている。ＥＣＵ６は、機能的には、画像取得部１１、状態判定部１２、車両情報取得部１３、物体推定部１４及び除外判定部１５を備えている。
【００１７】
画像取得部１１は、異なるタイミングで撮像装置３により撮像された複数の画像を取得する。画像取得部１１は、一例として、連続する少なくとも２つのフレーム画像を取得する。
【００１８】
車両情報取得部１３は、車両２の位置及び撮像装置３の撮像方向を取得する。車両情報取得部１３は、測位装置４から出力された情報に基づいて車両２の位置を取得する。車両情報取得部１３は、内部センサ５の検出結果に基づいて車両２の向きを取得し、車両２の向きに基づいて撮像装置３の撮像方向を取得する。
【００１９】
物体推定部１４は、車両２の位置及び撮像装置３の撮像方向と地図データベース７に記憶された物体の位置とに基づいて、撮像地点における撮像装置３の画角内の物体を推定する。例えば、物体推定部１４は、地図上の車両２の位置を特定し、当該位置から撮像方向に向けた画像を地図データベース７に記憶された物体の位置に基づいて再現する。これにより、物体推定部１４は、撮像地点における撮像装置３の画角内の物体を推定する。
【００２０】
除外判定部１５は、地図データベース７に記憶された外観情報に基づいて、物体推定部１４により推定された撮像装置３の画角内の物体が予め定められた除外物体であるか否かを判定する。除外物体とは、後述する遮蔽状態の判定から除外する物体であり、予め定められた物体である。除外物体は、例えば、画素値の時間的変化が少なく、かつ、テクスチャ及びエッジが無いと推定される物体である。除外物体の一例としては、テクスチャ及びエッジの無い壁、路面標示の無い路面などである。
【００２１】
状態判定部１２は、除外判定部１５により除外物体であると判定された領域を除いた複数の画像の画素値に基づいて、撮像装置３が遮蔽状態であるか否かを判定する。この機能を実現すべく、状態判定部１２は、領域分割部１２１、エッジ抽出部１２２、対象領域決定部１２３、判定部１２４及び出力部１２５を備える。
【００２２】
領域分割部１２１は、撮像装置３により取得された画像を所定の大きさの領域に分割する。領域の大きさは任意である。領域分割部１２１は、一例として、画像を縦方向に１０分割し、横方向に６分割する。
【００２３】
対象領域決定部１２３は、領域分割部１２１により分割された領域から、除外判定部１５により除外物体であると判定された領域を除き、判定対象となる対象領域を決定する。
【００２４】
エッジ抽出部１２２は、領域分割の対象となった画像からエッジを抽出する。エッジ抽出部１２２は、全範囲のエッジを取得してもよいし、判定対象となる対象領域のエッジのみを抽出してもよい。
【００２５】
判定部１２４は、遮蔽状態であるか否かを判定する。判定部１２４は、対象領域ごとに、画素値及びエッジの時間変化量、画素値の分散、エッジの点数及び強度を、予め設定された閾値と比較し、閾値以下であれば遮蔽領域であると判定し、閾値以下でなければ遮蔽領域でないと判定する。そして、判定部１２４は、少なくとも１つの対象領域が遮蔽領域である場合には遮蔽状態であると判定し、全ての対象領域が遮蔽領域でない場合には遮蔽状態でないと判定する。
【００２６】
出力部１２５は、判定部１２４の判定結果を出力する。出力部１２５は、表示装置に判定結果を出力してもよいし、記憶部に出力して記憶させてもよい。出力された判定結果は、例えば、ドライバへの通知に利用されたり、地図データベース７を更新する際の付加情報として利用されたりする。
【００２７】
［遮蔽判定処理のフローチャート］
図２は、遮蔽判定装置１の遮蔽判定処理のフローチャートである。図３は、遮蔽判定処理を説明する図である。図２のフローチャートは、遮蔽判定装置１の動作指示を運転者から受け付けたタイミングで開始される。
【００２８】
図２に示されるように、遮蔽判定装置１の画像取得部１１は、画像取得処理（Ｓ１０）として、異なるタイミングで撮像装置３により撮像された複数の画像を取得する。次に、遮蔽判定装置１の車両情報取得部１３は、車両情報取得処理（Ｓ１２）として、車両２の位置及び撮像装置３の撮像方向を取得する。
【００２９】
次に、遮蔽判定装置１の物体推定部１４は、物体推定処理（Ｓ１４）として、車両２の位置及び撮像装置３の撮像方向と地図データベース７に記憶された物体の位置とに基づいて、撮像地点における撮像装置３の画角内の物体を推定する。図３の（Ａ）で示される例において、画像Ｇｎ（ｎは整数）は撮像装置３により撮像された画像である。図３の（Ａ）で示されるように、物体推定部１４は、地図データベース７に記憶された物体の位置に基づいて、撮像装置３の画角内に存在する物体として、路面３０、ガードレール３１及び壁３２を推定する。
【００３０】
続いて、遮蔽判定装置１の領域分割部１２１は、領域分割処理（Ｓ１６）として、撮像装置３により取得された画像を所定の大きさの領域に分割する。図３の（Ｂ）で示される例において、領域分割部１２１は、画像を６０個の領域Ｒに分割する。
【００３１】
続いて、遮蔽判定装置１の除外判定部１５は、除外物体判定処理（Ｓ１７）として、地図データベース７に記憶された外観情報に基づいて、物体推定部１４により推定された撮像装置３の画角内の物体が予め定められた除外物体であるか否かを判定する。除外判定部１５は、外観情報に基づいて路面３０には路面標示が無いと判定された場合、路面３０を除外物体であると判定する。除外判定部１５は、外観情報に基づいて壁３２にはテクスチャ及びエッジが無いと判定された場合、壁３２を除外物体であると判定する。
【００３２】
除外物体判定処理（Ｓ１７）において画角内に除外物体が存在すると判定された場合（Ｓ１７：Ｙｅｓ）、遮蔽判定装置１の対象領域決定部１２３は、領域選択処理（Ｓ１８）として、除外判定部１５により除外物体であると判定された領域を除いた残りの領域を対象領域として選択する。図３の（Ｃ）で示される例において、対象領域決定部１２３は、除外判定部１５により除外物体であると判定された除外領域ＲＢを除いた残りの領域を対象領域ＲＡとして選択する。
【００３３】
遮蔽判定装置１のエッジ抽出部１２２は、エッジ抽出処理（Ｓ２０）として、領域分割の対象となった画像からエッジを抽出する。遮蔽判定装置１の判定部１２４は、遮蔽判定処理（Ｓ２２）として、対象領域ＲＡごとに遮蔽領域であるか否かを判定し、全ての領域の判定結果を用いて、遮蔽状態を判定する。出力部１２５は、出力処理（Ｓ２４）として、判定部１２４の判定結果を出力する。以上で図２に示されるフローチャートが終了する。フローチャートは、次回の要求タイミングにおいて最初から実行される。
【００３４】
［実施形態に係る遮蔽判定装置１の効果］
従来装置であれば、無地の壁や路面標識の無い道路などを遮蔽されている部分として誤判定するおそれがある。これに対して、実施形態に係る遮蔽判定装置１によれば、誤判定の可能性のある物体が写された領域を、遮蔽状態の判定の対象から除外するため、遮蔽領域の誤判定を抑制することができる。これにより、実施形態に係る遮蔽判定装置１によれば、遮蔽領域の判定の精度を向上させることができる。
【００３５】
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００３６】
例えば、車両情報取得部１３は、測位装置４から出力された情報以外の情報を用いて車両２の位置を取得してもよい。例えば、車両情報取得部１３は、撮像装置３の撮像結果、地図データベース７、及び、内部センサ５（車速センサ）を用いて車両２の位置を取得してもよい。より具体的には、車両情報取得部１３は、地図データベース７と前フレーム画像との照合処理により前フレーム画像を撮像した位置を取得し、前フレーム画像の撮像時刻から後フレーム画像の撮像時刻までの時間と内部センサ５（車速センサ）の検出結果に基づいて、前フレーム画像から後フレーム画像までの間に車両２が移動した移動量を算出することにより、後フレーム画像の撮像位置を取得してもよい。
【００３７】
また、例えば、車両情報取得部１３は、撮像装置３の角度を検出するセンサを用いて、撮像方向を取得してもよいし、撮像装置３に備わるジャイロセンサなどにより撮像方向を取得してもよい。
【００３８】
また、地図データベース７は、車両２の外部に存在していてもよい。
【符号の説明】
【００３９】
１…遮蔽判定装置、２…車両、３…撮像装置、４…測位装置、５…内部センサ、６…ＥＣＵ、７…地図データベース、１１…画像取得部、１２…状態判定部、１３…車両情報取得部、１４…物体推定部、１５…除外判定部。
【図１】
2018107582.tif 000003
【図２】
2018107582.tif 000004
【図３】
2018107582.tif 000005