(57)【要約】【課題】付着物がある場合における認識対象物の認識精度を改善する。【解決手段】検出装置１０およびカメラ装置１１は、カメラ２０とコントローラ３１とを備える。カメラ２０は、移動体５０に取り付けられ移動体５０の周辺を撮像する。コントローラ３１は、カメラ２０からの撮像画像について、移動体５０の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき撮像画像の部分を検出画像として検出する第２処理を行う。コントローラは、第１処理の結果および第２処理の結果に基づいて信号を生成する。【選択図】図１
2018142756.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取り付けられ該移動体の周辺を撮像するカメラと、
前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき前記撮像画像の部分を検出画像として検出する第２処理を行い、前記第１処理の結果および前記第２処理の結果に基づいて信号を生成するコントローラと
を備えるカメラ装置。
【請求項２】
前記コントローラは、前記第１処理において、前記付着物が位置する前記撮像画像上の第１領域を検出し、前記第１領域と、前記撮像画像の第１領域以外の領域である第２領域とでは、異なる処理を実行する請求項１に記載のカメラ装置。
【請求項３】
前記コントローラは、前記第２処理において、前記撮像画像から前記検出画像を検出する複数のアルゴリズムを有し、前記第１領域と、前記第２領域とでは、互いに異なるアルゴリズムを用いて前記認識対象物の認識を行う請求項２に記載のカメラ装置。
【請求項４】
前記コントローラは、前記第２処理において、前記検出画像の前記認識対象物らしさを決定し、且つ、前記コントローラは、前記検出画像が前記認識対象物であるか否かを判定するために、前記認識対象物らしさに対する複数の判定基準を有し、前記第１領域に全部または一部が重複する前記検出画像と、前記第２領域のみに属する前記検出画像とでは、前記判定基準が互いに異なる請求項２に記載のカメラ装置。
【請求項５】
前記コントローラは、前記第１処理において検出した前記第１領域に基づいて前記撮像画像を変更し、該変更した撮像画像に対して前記第２処理を行う請求項２に記載のカメラ装置。
【請求項６】
前記コントローラは、前記第１領域の画像を、前記撮像画像から削除して前記第２処理を行う請求項５に記載のカメラ装置。
【請求項７】
前記コントローラは、前記検出画像を前記認識対象物であると判定した場合、前記信号を生成する請求項１から６の何れか一項に記載のカメラ装置。
【請求項８】
移動体に取り付けられ該移動体の周辺を撮像するカメラからの撮像画像を受信する入力部と、
前記入力部で受信した前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行い、前記第１処理の結果および前記第２処理の結果に基づいて信号を生成するコントローラと
を備える検出装置。
【請求項９】
移動体に取り付けられ該移動体の周辺を撮像するカメラと、
前記カメラからの撮像画像を受信する入力部、および、前記入力部で受信した前記カメラからの撮像画像について、前記移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行い、前記第１処理の結果および前記第２処理の結果に基づいて信号を生成するコントローラを含む検出装置と
を備える検出システム。
【請求項１０】
周辺を撮像するカメラ、および、前記カメラからの撮像画像について、外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行い、前記第１処理の結果および前記第２処理の結果に基づいて信号を生成するコントローラを含むカメラ装置を備える移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置、検出装置、検出システムおよび移動体に関するものである。
【背景技術】
【０００２】
カメラにより撮像した画像から、歩行者、車両等の認識対象物を検出して、警報を発することができる検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２１５４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両等の移動体に搭載される検出装置など、屋外でカメラ画像を用いて物体を検出する装置では、カメラのレンズに泥または雨滴などの付着物が付着することがある。カメラを移動体の内部に置いて、ウィンドウ越しに外部を撮像する場合も、カメラの視野内のウィンドウに泥または雨滴などの付着物が付着することがある。そのような場合、撮像した画像内に付着物が写り込むことによって、それら付着物の一部を、車両または歩行者等の認識対象物と誤認識してしまうことがある。
【０００５】
付着物を認識対象物と誤認識すると、使用者に対して不要な警報が頻繁に発生し煩わしさを感じさせうる。認識対象物が認識されず、使用者に対して必要な警報が提供されないと、警報装置としての機能を十分に発揮することができなくなりうる。
【０００６】
したがって、これらの点に着目してなされた本発明の目的は、付着物がある場合における認識対象物の認識精度を改善したカメラ装置、検出装置、検出システムおよび移動体を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の一実施形態に係るカメラ装置は、カメラとコントローラとを備える。カメラは、移動体に取り付けられ移動体の周辺を撮像する。コントローラは、カメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき撮像画像の部分を検出画像として検出する第２処理を行う。コントローラは、第１処理の結果および第２処理の結果に基づいて信号を生成する。
【０００８】
本開示の一実施形態に係る検出装置は、入力部とコントローラとを備える。入力部は、移動体に取り付けられ移動体の周辺を撮像するカメラからの撮像画像を受信する。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行う。コントローラは、第１処理の結果および第２処理の結果に基づいて信号を生成する。
【０００９】
本開示の一実施形態に係る検出システムは、カメラと検出装置とを備える。カメラは、移動体に取り付けられ移動体の周辺を撮像する。検出装置は、入力部とコントローラとを含む。入力部は、カメラからの撮像画像を受信する。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行う。コントローラは、第１処理の結果および第２処理の結果に基づいて信号を生成する。
【００１０】
本開示の一実施形態に係る移動体は、カメラ装置を備える。カメラ装置は、周辺を撮像するカメラおよびコントローラを含む。コントローラは、入力部で受信したカメラからの撮像画像について、移動体の外部に露出する透光部材に付着した付着物を認識する第１処理、および、認識対象物に係る形状または特徴に基づき検出画像を検出する第２処理を行う。コントローラは、第１処理の結果および第２処理の結果に基づいて信号を生成する。
【発明の効果】
【００１１】
本発明によれば、付着物がある場合における認識対象物の認識精度を改善することができる。
【図面の簡単な説明】
【００１２】
【図１】複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
【図２】図１の検出システムを備える車両を左側方から見た図である。
【図３】複数の実施形態の他の１つに係るカメラ装置の概略構成を示すブロック図である。
【図４】図１のコントローラの機能ブロック図の第１例である。
【図５】カメラにより撮像した第１画像の例を示す図である。
【図６】第１画像を変換して得られる第２画像の第１例を示す図である。
【図７】コントローラが実行する処理を示すフローチャートの第１例である。
【図８】図６の第２画像からの検出画像の検出を説明する図である。
【図９】第１画像を変換して得られる第２画像の第２例を示す図である。
【図１０】コントローラが実行する処理を示すフローチャートの第２例である。
【図１１】コントローラが実行する処理を示すフローチャートの第３例である。
【図１２】図１のコントローラの機能ブロック図の第２例である。
【図１３】コントローラの実行する処理を示すフローチャートの第４例である。
【図１４】図１のコントローラの機能ブロック図の第３例である。
【図１５】図１４の機能ブロック図の第３例による処理を説明する図である。
【図１６】コントローラの実行する処理を示すフローチャートの第５例である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１４】
図１を参照して、複数の実施形態の１つに係る検出システム１０について説明する。
【００１５】
検出システム１０は、カメラ２０と検出装置３０とを備える。カメラ２０と検出装置３０とは、例えばネットワーク１５を介して情報を送受信可能である。ネットワーク１５は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等を含んでよい。
【００１６】
検出システム１０は、図２に示すように、移動体５０内に搭載することができる。検出装置３０は、移動体５０内の警報装置４０および／またはＥＣＵ（Electronic Control Unit）４５等と、ネットワーク１５を介して情報の送受信を可能としうる。
【００１７】
警報装置４０は、運転者６０に対して警報を発する装置である。警報装置４０は、警告音を発するスピーカー、運転者６０の座席を振動させる振動発生装置を含みうる。警報装置４０は、移動体５０内のディスプレイ装置を兼用することができる。ＥＣＵ４５は、移動体５０の制御用のコンピュータである。移動体が車両の場合、ＥＣＵは、移動体５０のブレーキ制御用のＥＣＵ、エンジン制御用のＥＣＵ、および、ステアリング制御用のＥＣＵを含んでよい。
【００１８】
本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
【００１９】
カメラ２０は移動体５０に固定される。カメラ２０は移動体５０に対して着脱可能に固定されうる。カメラ２０は、移動体５０の外部領域を撮像可能である。カメラ２０の位置は、移動体５０の内部および外部において任意である。例えば、一実施形態において、カメラ２０は、図２に示すように移動体５０の後方に位置し、移動体５０の後方の外部領域を撮像できる。他の実施形態において、カメラ２０に代えて、移動体５０の内側にカメラ２０ａが設けられてもよい。例えば、一実施形態において、カメラ２０は、図２に示すように移動体５０のリアウィンドウに面し、移動体５０の後方の外部領域を撮像できる。検出装置３０の位置は、移動体５０内において任意である。警報装置４０は、警報を発する。運転者６０は、警報装置４０の発する警報を知覚しうる。例えば、警報装置４０がディスプレイ装置の場合、警報装置４０は、運転者６０によって視認可能に置かれる。例えば図２に示すように、警報装置４０は、移動体５０のダッシュボードの中に位置する。
【００２０】
カメラ２０について詳細に説明する。例えば、図１に示すように、カメラ２０は、撮像光学系２１と撮像素子２２と、制御部２３と、通信部２４とを備える。
【００２１】
撮像光学系２１は、被写体像を撮像素子２２の受光面上に結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。レンズは、広角レンズを採用しうる。レンズは、魚眼レンズを用いてよい。魚眼レンズは、例えば、水平画角が１８０°以上としうる。魚眼レンズは、例えば、水平画角が１８０°未満としうる。
【００２２】
撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。本願において、撮像画像は動画像としてよい。動画像は映像と言い換えることができる。
【００２３】
制御部２３は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２３は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
【００２４】
制御部２３は、カメラ２０全体の動作を制御する。制御部２３は、任意のフレームレートで、撮像素子２２に撮像画像を生成させてよい。当該フレームレートは、例えば、警報装置４０の一例であるディスプレイ装置が表示可能なフレームレートに略一致してよい。当該フレームレートは、例えば、警報装置４０の一例であるディスプレイ装置が表示可能なフレームレートより大きくしうる。当該フレームレートが表示可能なフレームレートより大きい場合、警報装置４０の一例であるディスプレイ装置は、一部のフレームを表示しうる。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部２３は、通信部２４を介して検出装置３０へ、撮像画像を出力する。例えば、制御部２３は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。カメラ２０から出力される当該複数の撮像画像を、第１画像ともいう。
【００２５】
通信部２４は、検出装置３０と通信可能な通信インタフェースを含む。通信部２４は、警報装置４０、ＥＣＵ４５および他の外部装置と通信可能な通信インタフェースを含んでよい。通信部２４は、ネットワーク１５を介して情報の送受信が可能であってよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ  ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ  ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ  ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
【００２６】
検出装置３０について詳細に説明する。検出装置３０は、コントローラ３１と、メモリ３２と、入力部３３と、出力部３４とを備える。
【００２７】
入力部３３は、カメラ２０からの撮像画像を受信する入力インタフェースである。出力部３４は、警報装置４０およびＥＣＵ４５へ信号を出力する出力インタフェースである。入力部３３および出力部３４は、カメラ２０の通信部２４と同様な通信インタフェースを備える１つの通信部であってよい。
【００２８】
コントローラ３１は、１つ以上のプロセッサを含む。コントローラ３１は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。コントローラ３１は、第１処理および第２処理を含む処理を実行できる。第１処理において、コントローラ３１は、カメラ２０からの撮像画像について、移動体５０の外部に露出する透光部材に付着した付着物を認識する。第２処理において、コントローラ３１は、認識対象物に係る形状または特徴に基づき撮像画像の部分を検出画像として検出する。コントローラ３１は、第１処理の結果および前記第２処理の結果に基づいて信号を生成する。なお、本願において、「認識対象物」は、検出装置３０、検出システム１０、または、後述するカメラ装置１１が、撮像画像の中から認識する対象となっている物体である。図面において、認識対象物は、単に「対象物」と記載する場合がある。
【００２９】
透光部材は、カメラ２０の撮像光学系２１が移動体５０の外部に露出しているとき、撮像光学系２１の最も被写体側のレンズとなりうる。投光部材は、カメラ２０が図２のカメラ２０ａで示すように、移動体５０の内部に設けられたとき、ウィンドウとなりうる。ウィンドウにはリアウィンドウ、フロントウィンドウ、サイドウィンドウを含みうる。このウィンドウは、ウィンドシールドといいうる。
【００３０】
付着物は、投光部材に付着してカメラ２０の撮像視野を少なくとも部分的に妨げる物体である。付着物は、個体、液体、およびそれらが混じり合ったものを含む。付着物は、光透過性を有してよく、光透過性を有さなくてよい。付着物は、降雨時の雨滴、降雪時の雪、地面からはねた泥水、木の葉、虫、ごみ等を含みうる。
【００３１】
認識対象物は、検出対象とする被写体物である。認識対象物には、歩行者、自動車、自転車、および、電柱のうち１つ以上を含みうる。検出画像は、撮像画像中から検出された認識対象物と判定されうる認識対象物の候補の画像である。撮像画像中で、認識対象物が、移動体５０の進行方向にある場合、コントローラ３１は、この認識対象物を障害物であると認識しうる。
【００３２】
信号は、出力部３４を介して警報装置４０に送出される警報信号を含む。警報装置４０は、検出装置３０から送出される警報信号を受けて、運転者６０に向けての警報を発することができる。警報装置４０が、ディスプレイ装置の場合、信号はカメラ２０の撮像画像を加工した画像信号であってよい。例えば、コントローラ３１は、撮像画像内に歩行者である認識対象物を検出したとき、その歩行者が障害物と認識される場合、警報装置４０に表示する歩行者の画像に運転者６０の注意を喚起するように加工を施しうる。例えば、コントローラ３１は、歩行者の画像に赤等の色を付すことができる。
【００３３】
警報信号は、ＥＣＵ４５に送信されてよい。例えば、ＥＣＵ４５がブレーキ制御用のＥＣＵの場合、ＥＣＵ４５は警告信号を受信すると、移動体５０を停止させ歩行者との衝突を避ける。例えば、ＥＣＵ４５が進路制御用のＥＣＵの場合、ＥＣＵ４５は警告信号を受信すると、移動体５０の進路を変更して歩行者との衝突を避ける。例えば、ＥＣＵ４５が音響制御用のＥＣＵの場合、ＥＣＵ４５は警告信号を受信すると、音を発し、運転者６０および当該歩行者の少なくとも一方に警告を発する。
【００３４】
メモリ３２は、一次メモリおよび二次メモリを含んでよい。メモリ３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。メモリ３２は、コントローラ３１の動作に必要な種々の情報およびプログラムを記憶する。例えば、メモリ３２は、カメラ２０より出力された撮像画像、第１処理および第２処理の結果を一時的に保存してよい。メモリ３２は、第１処理および第２処理に使用されるデータを格納してよい。例えば、メモリ３２は、後述するテンプレートマッチングに使用される歩行者、自動車、自転車等の認識対象物のテンプレート、機械学習により得られるアルゴリズム、認識対象物の検出用プログラム等を予め保存してよい。
【００３５】
図３に示すように、検出システム１０のカメラ２０と検出装置３０とを、カメラ装置１１として一体化することも可能である。カメラ装置１１は、撮像光学系２１ａおよび撮像素子２２ａを含むカメラ２０ａとコントローラ３１ａと、メモリ３２ａと、出力部３４ａとを備える。撮像光学系２１ａ、撮像素子２２ａ、コントローラ３１ａ、メモリ３２ａ、および、出力部３４ａは、それぞれ、図１の撮像光学系２１、撮像素子２２、コントローラ３１、メモリ３２および出力部３４と同様の機能を有する。検出システム１０は、カメラ２０と検出装置３０とに機能が分散されたカメラ装置とみなしうる。
【００３６】
図４の機能ブロック図を用いて、複数の実施形態の１つに係るコントローラ３１の動作についてさらに詳しく説明する。
【００３７】
複数の実施形態の１つにおいて、コントローラ３１は、座標変換部３５、検出部３６、認識部３７、判定部３８、信号生成部３９（以下、各部ともよぶ）を含む。各部の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各部が行える動作を、コントローラ３１は実行できる。コントローラ３１は、座標変換部３５、検出部３６、認識部３７、判定部３８、信号生成部３９を含む形態に限られず、座標変換部３５、検出部３６、認識部３７、判定部３８、信号生成部３９の１つ又は複数が省略されてよい。複数の実施形態のうちの１つにおいて、コントローラ３１は、各部の全ての動作を実行してよい。各部が行う動作は、コントローラ３１が行う動作として言い換えてよい。コントローラ３１が各部のいずれかを使役して行う処理は、コントローラ３１が自ら実行してよい。以下に、各部の動作を説明する。
【００３８】
座標変換部３５は、カメラ２０から入力された撮像画像の座標変換を行い、歪みを補正する。図１の撮像光学系２１に魚眼レンズを用いて撮像した画像である第１画像７０は、図５に示すように、周辺ほど歪みが大きい画像となる。第１画像７０の実効的な領域は、レンズの画角と、撮像素子の画素面積に対応して定まる。撮像素子の画素面積がレンズの画角に対して大きいと、第１画像７０の実効的な領域は、端部が弧状となる。図５において、付着物の画像７１ａ、７１ｂおよび歩行者である認識対象物の画像７２が表示されている。座標変換部３５は、撮像画像を、図６に例示するように歪みを補正した第２画像７５に座標変換する。第２画像７５には、付着物の画像７６ａ、７６ｂおよび歩行者である認識対象物の画像７７が表示されている。なお、図５および図６は、座標変換前後のイメージを示すものであって、正確に座標変換をしたものではない。また、図５、図６は、駐車場を表示するものであり、駐車スペースを示す白線が実線により図示されている。
【００３９】
座標変換部３５により座標変換を行うことにより、認識部３７において、第２画像７５上全体で同一のパターンを用いてマッチングを行うことが可能になる。パターンは、テンプレートマッチングのテンプレートのような領域的なパターンおよび特徴量のパターンを含む。コントローラ３１は、座標変換部３５を有さなくともよい。例えば、カメラ２０の制御部２３が画像の歪みを補正する場合、または、撮像光学系２１が魚眼レンズのような歪の大きいレンズを使用しない場合、コントローラ３１の座標変換部３５は不要となる。
【００４０】
検出部３６は、座標変換部３５から出力された第２画像７５に対して、第１処理を実行する。検出部３６は、第１処理において、撮像画像から種々の方法に基づいて付着物が付着した第１領域を検出しうる。第１領域は、図６において付着物の画像７６ａおよび７６ｂが表示される領域として示される。例えば、第１領域は、撮像画像上の付着物が付着した部分の近傍の座標も含めて設定してよい。例えば、第１領域は、付着物が付着した領域の周りの所定画素数の距離まで含んでよい。例えば、第１領域は、付着物ごとに付着物を凸包するように設定してよい。
【００４１】
第１領域を検出する第１の方法として、検出部３６は、撮像画像のうちぼけている領域を第１領域として検出しうる。付着物には、カメラ２０のピントが大きく外れているためである。より具体的には、検出部３６は、撮像画像を細かいブロックに分割し、フーリエ変換を行い、高周波数成分が低いブロックを第１領域として検出しうる。第２の方法としては、移動体５０が移動中であれば、検出部３６は、動き検出による方法を採用しうる。この方法では、検出部３６は、撮像画像を細かいブロックに分割し、各ブロックの動きベクトルの向きが類似している領域を統合し、背景画像に対して動きの少ない領域を第１領域と判定しうる。第３の方法として、検出部３６は、付着物の特徴量に基づく検出を行う。検出部３６は、予め機械学習により付着物の画像を学習した結果を第１領域の判定に用いてよい。第４の方法としては、検出部３６は、撮像画像の輝度値の低い領域を第１領域と判定することができる。検出部３６は、第１領域の検出のために、第１から第４の方法を組み合わせて用いてよい。また、検出部３６は、第１から第４の方法以外の種々の方法を採用することができる。
【００４２】
認識部３７は、座標変換部３５から出力された第２画像７５に対して、第２処理を実行する。認識部３７は、第２処理において、撮像画像に対し認識対象物の候補の画像である検出画像を検出する。認識部３７は、特定の認識対象物に対する検出画像の認識対象物らしさを決定するアルゴリズムを有することができる。認識対象物らしさは、検出画像が歩行者、自動車、自転車等の特定の認識対象物である確からしさを確率で示したものとすることができる。認識部３７が行う認識対象物の候補の検出と、当該認識対象物の候補の認識対象物らしさの出力を、認識対象物の認識とよぶ。
【００４３】
認識対象物の認識の方法は、公知の種々の方法を含むものとする。例えば、認識対象物の認識の方法は、物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法を含む。
【００４４】
物体の形状認識では、撮像画像から背景差分または動き検出等の方法により物体を抽出し、この物体の形状が目的とする物体の形状と一致するか否かを判断するものである。
【００４５】
テンプレートマッチングは、認識対象物のテンプレートを用意し撮像画像上でスライドさせ、撮像画像全体の中にテンプレートの画像との類似度が高い部分画像が存在するか探索するものである。類似度の計算は、ＳＳＤ（Sum of Squared Difference）またはＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等の指標を用いることができる。
【００４６】
特徴量を用いる方法は、画像からパターンを認識するのに有用な特徴を数値化した特徴量を抽出し、認識対象物の候補の検出に使用する。この方法では、Ｈａａｒ−ｌｉｋｅ特徴量、ＳＩＦＴ(Scale-Invariant Feature Transform)特徴量、ＳＵＲＦ（Speed Up Robust Features）特徴量、ＨＯＧ(Histograms of Oriented Gradients)特徴量、ＪＯＩＮＴ Ｈａａｒ−ｌｉｋｅ特徴量、Ｊｏｉｎｔ ＨＯＧ特徴量、Ｓｈａｐｅｌｅｔ特徴量、および、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）特徴量等を含む多くの種類の特徴量から選択した特徴量を使用しうる。この方法では、認識対象物の特徴量のパターンと撮像画像とのマッチングにより、撮像画像中の認識対象物の候補である検出画像の検出が行われる。この認識方法では、予め多数の学習用の画像から特徴量を算出し、その結果をコンピュータに学習させる。学習した結果に基づいて、識別器が認識対象物を認識する。使用される識別器には、ＳＶＭ（Support Vector Machine）、ＡｄａＢｏｏｓｔ、Ｒｅａｌ ＡｄａＢｏｏｓｔ等が含まれる。特徴量の設定値は、ディープラーニングによって人工知能が算出した値としうる。
【００４７】
何れの方法も、認識対象物らしさを数値化する。認識対象物らしさが閾値以上であれば認識対象物であると判断し、閾値以下であれば認識対象物ではないと判断することが可能になる。認識対象物らしさは、認識対象物である可能性を確率で表すことができる。
【００４８】
判定部３８は、検出部３６が第１処理により検出した第１領域と、認識部３７が第２処理により検出した検出画像の認識対象物らしさに基づいて、検出画像が認識対象物であるか否かを判定する。判定部３８は、第１領域と、第１領域以外の領域である第２領域とでは、認識対象物であることを判定するために異なる処理を実行してよい。
【００４９】
例えば、判定部３８は、検出画像が認識対象物であるか否かを判定するための認識対象物らしさに対する複数の判定基準を有する。判定部３８は、第１領域と第２領域とでは、判定基準を互いに異ならせることができる。判定基準は、判定部３８が検出画像を歩行者、自動車、自転車等の特定の認識対象物であると判定するための認識対象物らしさに対する閾値とすることができる。例えば、判定部３８は、第１領域では第２領域に比べて閾値を上げることにより、付着物を歩行者、自動車、自転車等の認識対象物と誤判定する可能性を低減することができる。また、例えば、判定部３８は、第１領域では第２領域に比べて閾値を下げることにより、歩行者、自動車、自転車等の認識対象物が、認識対象物であると判定されずに検知漏れとなる可能性を低減することができる。
【００５０】
例えば、判定部３８は、第２処理において検出した検出画像から、第１処理において検出された第１領域に少なくとも部分的に重複する検出画像の一部または全部を除外した結果に基づいて、認識対象物の判定を行ってよい。この場合、第１処理は、第２処理の後に実行されるか、第２処理と並行して実行される。コントローラ３１は、第２処理において検出した検出画像から、第１領域に全体が重複する検出画像を除外した結果に基づいて、認識対象物の判定および信号の生成をしてよい。
【００５１】
信号生成部３９は、認識対象物があると判定部３８が判定した場合、判定された認識対象物に関する警報を含む信号を生成する。信号生成部３９は、移動体５０の進行方向または予測進路内に認識対象物が位置すると判断した場合に、警報を生成してよい。警報を含む信号は、警報信号として出力部３４、ネットワーク１５を介して、警報装置４０および／またはＥＣＵ４５に伝達される。
【００５２】
次に、図４の機能ブロック図に従うコントローラ３１が実行する処理の第１例を図７のフローチャートを用いて説明する。
【００５３】
座標変換部３５は、カメラ２０から撮像画像である第１画像７０の入力を受けると（ステップＳ１０１）、第１画像７０を、歪みを補正した第２画像７５に座標変換する（ステップＳ１０２）。
【００５４】
図７において、上下の二重線に挟まれた処理は、並行処理を行うことを意味する。すなわち、第１例において、第１処理と第２処理とは並行に行われる。
【００５５】
検出部３６は、第２画像７５から付着物を認識する（ステップＳ１０３）。検出部３６は、付着物を認識した場合（ステップＳ１０４）、判定部３８に付着物が付着している第２画像７５上の第１領域の座標を引き渡す。判定部３８は、第１領域について判定基準の変更を行う（ステップＳ１０５）。図７のフローチャートの例では、ステップＳ１０３以前に第２画像全体に第２領域用の判定基準が与えられているものとし、ステップＳ１０５で第１領域の判定基準を変更している。図７のフローチャートは、ステップＳ１０３以前に第２画像全体に第２領域用の判定基準が与えられているものとせず、ステップＳ１０４の後に、付着物の有無に応じて、第１領域と第２領域とのそれぞれに異なる判定基準を設定するようにしてもよい。
【００５６】
判定基準の変更の例として、認識対象物らしさに基づいて認識対象物であることを判定する閾値を変更することができる。閾値は、検出する対象、周辺環境、閾値を変更する目的等に応じて種々の変更をすることができる。例えば、判定部３８は、第１領域の閾値を８０％とし、第２領域の閾値を６０％とすることができる。このようにすることによって、付着物が検出された第１領域における認識対象物の判定を厳しくし、付着物を認識対象物であると誤判定する可能性を低減できる。ステップＳ１０４において、付着物が検出されない場合、判定部３８は、全ての領域を付着物のない第２領域とする。
【００５７】
認識部３７は、ステップＳ１０３からＳ１０５に並行して、認識対象物の認識を行う（ステップＳ１０６）。認識対象物の認識は、第２画像からの認識対象物の候補画像である検出画像の検出と、特定の認識対象物らしさの算出を行うことを含む。
【００５８】
判定部３８は、ステップＳ１０４、Ｓ１０５で設定された判定基準に従って、判定処理を行う（ステップＳ１０７）。
【００５９】
ステップＳ１０７において、判定部３８により認識対象物があると判定された場合（ステップＳ１０８）、信号生成部３９は、警報装置４０および／またはＥＣＵ４５に送信される信号を生成する（ステップＳ１０９）。
【００６０】
例えば、ステップＳ１０６において、図６の第２画像７５である撮像画像について、認識部３７は、図８に示すように歩行者である認識対象物の候補の検出画像７８ａ、７８ｂを検出しうる。図８では、検出画像７８ａ、７８ｂを強調するため網掛けして示している。検出画像７８ｂは、付着物の画像７６ａの一部を歩行者と誤認識したものである。認識部３７は、検出画像７８ａ，７８ｂとともに、検出画像の認識対象物らしさを出力する。説明のため検出画像７８ａ、７８ｂの認識対象物らしさ（すなわち、歩行者らしさ）は、双方とも７０％とする。判定部３８が、第１領域の認識対象物らしさの閾値を８０％、第２領域の認識対象物らしさの閾値を６０％としている場合、第２領域に属する検出画像７８ａは歩行者であると判断されるが、第１領域に属する検出画像７８ｂは、歩行者であると判断されない。これにより、付着物の画像７６ａの一部を認識対象物であると誤判定する可能性が低減される。
【００６１】
図９は、第２画像７５の他の例を示す。図９において、第１領域７９ａ〜７９ｃは、付着物の画像が表示される領域と一致してよい。第１領域７９ａ〜７９ｃは、付着物の画像が表示される領域を包含してよい。図９では、付着物の画像を省略する。第２画像７５の第１領域７９ａ〜７９ｃ以外の領域は第２領域である。この例では、検出部３６により付着物が検出された第１領域７９ａに、歩行者である認識対象物の画像７７ａが重なっている。
【００６２】
認識部３７は、認識対象物の画像７７ａの第１領域７９ａと重ならない上部の領域の形状および特徴について評価して、検出画像７８ｃとして検出しうる。判定部３８は、第１領域７９ａ〜７９ｃでは認識対象物らしさの閾値を８０％とし、第２画像７５から第１領域７９ａ〜７９ｃを除いた第２領域では認識対象物らしさの閾値を６０％とする。判定部３８は、認識部３７からの検出画像７８ｃと認識対象物らしさに基づいて、第２領域の閾値６０％を用いて歩行者であると判定しうる。一方、第２画像７５上で認識対象物の画像７７ａの第１領域７９ａと重なる部分は、付着物に遮られるため認識部３７で検出されないか、または、閾値が高いため判定部３８で認識対象物と判定されない。しかし、第２領域において、撮像された認識対象物の画像７７ａの一部の検出画像７８ｃが、認識対象物であると判定されているので、信号生成部３９は警報装置４０および／またはＥＣＵ４５に送信する信号を生成することができる。
【００６３】
検出システム１０は、第２領域の認識対象物らしさに対する閾値を第１領域７９ａ〜７９ｃの認識対象物らしさに対する閾値よりも高くすることで、例えば付着物が雨等の場合に付着物のために像が歪む結果、誤認識を生じる可能性を低減することができる。反対に、認識対象物の存在を認識できない認識漏れが問題となる場合、検出システム１０は、第１領域７９ａ〜７９ｃの閾値を第２領域の閾値よりも低くしてよい。なお、図８中、車である認識対象物の画像７７ｂについては、第１領域７９ａ〜７９ｃと重なっていないので、第２領域の閾値を用いて認識対象物か否かの判定がなされる。また、検出画像全体が、第１領域７９ａ〜７９ｃに包含されるような場合は、検出画像全体について第１領域に設定された閾値が適用される。
【００６４】
このようにして、本開示の複数の実施形態の一つに係る検出システム１０によれば、カメラ２０のレンズ、または、カメラ２０が移動体５０の内部に位置する場合のウィンドウに、泥および／または雨滴などの付着物が付着した場合の認識対象物の認識精度を改善することができる。ここで、認識対象物の認識精度は、撮像画像から認識対象物の候補を検出し、検出した認識対象物の候補から正しい認識対象物を判定する精度を意味するものとする。
【００６５】
次に、図４の機能ブロック図に従うコントローラ３１が実行する処理の第２例を、図１０を用いて説明する。
【００６６】
図１０のステップＳ２０１〜Ｓ２０４、Ｓ２０６、Ｓ２０８、Ｓ２０９は、図７に示した第１例のステップＳ１０１〜Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１０９と同様であるので説明を省略する。ステップＳ２０５において、判定部３８は、検出部３６から第１領域の座標を引き渡されると、当該第１領域を判定除外領域とする。ステップＳ２０７において、判定部３８は、ステップＳ２０６で認識された検出画像について、全部または少なくとも一部が判定除外領域と重なっている場合、判定処理の対象から除外する。
【００６７】
例えば、図９において、認識対象物の画像７７ａは、第１領域７９ａと重なりを有するので、判定処理から除外される。一方、第１領域７９ａ〜７９ｃと重なりのない認識対象物の画像７７ｂは、検出対象物の候補として検出され判定処理をうける。コントローラ３１が実行する処理の第２例によれば、判定部３８は、付着物の輪郭等が歩行者または自動車等の認識対象物の輪郭形状に類似するために、付着物を認識対象物であると誤認識する可能性を低減することができる。また、判定部３８は、付着物と重なりのある画像を判定から除外するので、第１例よりも認識対象物以外の画像を認識対象物であると誤判断する可能性が低くなり、判定部３８が行う処理も単純となる。
【００６８】
判定部３８は、検出画像が判定除外領域と重なっている場合でも、重なりの大きさ、重なり方に応じて、判定処理の対象から除外するか否かを変えてよい。例えば、判定部３８は、検出画像の全体が判定除外領域に含まれる場合のみ、判定処理から除外してよい。また、例えば、判定部３８は、判定除外領域と重なっていない検出画像の第２画像７５上の面積が、所定の大きさ以上である場合に、判定処理から除外してよい。
【００６９】
次に、図４の機能ブロック図に従うコントローラ３１が実行する処理の第３例を、図１１を用いて説明する。第２例では付着物を認識する第１処理と、検出画像を認識する第２処理とを、並行に処理していた。第３例においては、第２処理を行った後に第１処理を順次に実行する。図１１において、ステップＳ３０１、Ｓ３０２は、図１０のステップＳ２０１、Ｓ２０２とそれぞれ同様の処理である。図１１において、ステップＳ３０３は、図１０のステップＳ２０６と同様の処理である。図１１において、ステップＳ３０４からＳ３０６は、図１０のステップＳ２０３〜Ｓ２０５とそれぞれ同様の処理である。図１１において、ステップＳ３０７〜Ｓ３０９は、図１０のステップＳ２０７〜Ｓ２０９とそれぞれ同様の処理である。
【００７０】
複数の実施形態の他の１つに係るコントローラ３１の動作について、図１２の機能ブロック図を用いて説明する。
【００７１】
図１２において、検出部３６は、付着物が付着している第２画像７５上の第１領域の座標を、認識部３７に引き渡す。認識部３７は、第２処理において、撮像画像から認識対象物の検出画像を検出する複数のアルゴリズムを有し、第１領域と記第２領域とでは、互いに異なるアルゴリズムを用いて検出画像の検出を行うことができる。
【００７２】
互いに異なるアルゴリズムを用いるとは、例えば、物体の形状認識、テンプレートマッチング、特徴量を用いた認識等の、物体認識の基本的なアルゴリズムを変更することを含む。例えば、図９の第２画像７５について、認識部３７は、第１領域７９ａ〜７９ｃに対しては、特徴量を用いたパターンマッチングを行い、第２領域についてはテンプレートマッチングにより検出画像の検出を行ってよい。
【００７３】
互いに異なるアルゴリズムを用いるとは、認識アルゴリズムで用いる一部の要素を異ならせることを含む。例えば、認識部３７は、テンプレートマッチングに用いるテンプレートを変更してよい。または、認識部３７は、特徴量を用いた認識における、機械学習で得られた学習結果を変更すること等を行いうる。また、認識部３７は、画像認識処理に用いる何れかのパラメータを変更することができる。
【００７４】
図１２の機能ブロック図に従うコントローラ３１が実行する処理の第４例を、図１３を用いて説明する。図１３において、ステップＳ４０１〜Ｓ４０３、Ｓ４０７〜４０９は図７のステップＳ１０１〜Ｓ１０３、Ｓ１０７〜Ｓ１０９と同様の処理であるので説明を省略する。図７のフローチャートとは異なり、各ステップＳ４０１〜Ｓ４０９は、並列処理を含まず順次処理される。ステップＳ４０４において、検出部３６は、付着物が付着している第２画像７５上の第１領域の座標を、認識部３７に引き渡す。ステップＳ４０５において、認識部３７は、撮像画像の全部または一部について認識対象物の認識を行うアルゴリズムを予め設定されたアルゴリズムから変更する。ステップＳ４０６において、認識部３７は、変更したアルゴリズムに基づいて認識対象物の候補の検出画像の検出を行う。
【００７５】
コントローラ３１が実行する処理の第４例によれば、認識部３７は、認識部３７が行う第２処理において、撮像画像から認識対象物の候補を検出する複数のアルゴリズムを有し、第１領域と、第２領域とでは、互いに異なるアルゴリズムを用いることができる。これによって、認識部３７は、撮像画像上で付着物と重なっているか否かに応じて、より認識精度の高いアルゴリズムを選択できる。
【００７６】
複数の実施形態のさらに他の１つに係るコントローラ３１の動作について、図１４の機能ブロック図を用いて説明する。
【００７７】
図１４に示すように、本開示の複数の実施形態の１つに係る検出システム１０のコントローラ３１は、座標変換部３５、検出部３６、認識部３７、判定部３８、信号生成部３９に加え、前処理部８０を含む。図１４において、検出部３６は、付着物が付着している第２画像７５上の第１領域の座標を、前処理部８０に引き渡す。前処理部８０は、座標変換部３５から出力された撮像画像の第２画像７５を変更する処理を行う。前処理部８０が、第２処理の前に第２画像７５に対して行う撮像画像の変更を、以下において前処理ともよぶ。前処理には、第２画像７５から第１領域を削除して空白に加工することを含む。撮像画像から第１領域を空白に加工することを、第１領域をマスクするともいう。
【００７８】
前処理部８０が行う前処理は、第１領域をマスクすることに限られない。例えば、前処理部８０は、第１領域の付着物の画像をぼかしてよい。このようにすることによって、認識部３７が付着物を認識対象物として認識され難いようにする。
【００７９】
図１５は、第１領域７９ａ〜７９ｃをマスクした第２画像７５の一例を示す。図１５において、マスクされた領域を破線で囲んで示す。第１領域７９ａ〜７９ｃは空白となっている。認識部３７は、第１領域７９ａ〜７９ｃの画素情報が削除された第２画像に対して認識対象物の認識を実行することができる。
【００８０】
図１４の機能ブロックに従うコントローラ３１が実行する処理の第５例を、図１６を用いて説明する。図１６において、ステップＳ５０１〜Ｓ５０３、Ｓ５０７〜５０９は図７のフローチャートのステップＳ１０１〜Ｓ１０３、Ｓ１０７〜Ｓ１０９と同様の処理であるので説明を省略する。図７のフローチャートとは異なり、各ステップＳ４０１〜Ｓ４０９は、並列処理を含まず順次処理される。ステップＳ５０４において、検出部３６は、付着物が付着している第２画像７５上の第１領域７９ａ〜７９ｃの座標を、前処理部８０に引き渡す。ステップＳ５０５において、前処理部８０は、第２画像７５の第１領域７９ａ〜７９ｃの検出箇所の画素情報を加工する。ステップＳ５０６において、認識部３７は、第１領域７９ａ〜７９ｃの画素情報が加工された第２画像７５に基づいて認識処理を実行する。
【００８１】
第５例によれば、検出システム１０は、認識部３７および判定部３８の処理を変えることなく、付着物が付着した第１領域の情報を検出画像の検出および判定から除外することができる。これによって、付着物を認識対象物であると誤認識する可能性が低くなる。また、撮像画像上で第１領域７９ａ〜７９ｃと重なっていない認識対象物の部分については、認識部３７および判定部３８により、認識対象物の一部として認識および判定の対象とされうる。
【００８２】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【符号の説明】
【００８３】
１０    検出システム
１１    カメラ装置
１５    ネットワーク
２０，２０ａ，２０ｂ    カメラ
２１，２１ａ    撮像光学系
２２，２２ａ    撮像素子
２３    制御部
２４    通信部
３０    検出装置
３１，３１ａ    コントローラ
３２，３２ａ    メモリ
３３    入力部
３４，３４ａ    出力部
３５    座標変換部
３６    第１検出部
３７    認識部
３８    判定部
３９    信号生成部
４０    警報装置
４５    ＥＣＵ
５０    移動体
６０    運転者
７０    第１画像
７１ａ，７１ｂ    付着物の画像
７２    認識対象物の画像
７５    第２画像
７６ａ，７６ｂ，７６ｃ    付着物の画像
７７，７７ａ，７７ｂ    認識対象物の画像
７８ａ，７８ｂ，７９    検出画像
７９ａ，７９ｂ，７９ｃ    第１領域
８０    前処理部
【図１】
2018142756.tif 000003
【図２】
2018142756.tif 000004
【図３】
2018142756.tif 000005
【図４】
2018142756.tif 000006
【図５】
2018142756.tif 000007
【図６】
2018142756.tif 000008
【図７】
2018142756.tif 000009
【図８】
2018142756.tif 000010
【図９】
2018142756.tif 000011
【図１０】
2018142756.tif 000012
【図１１】
2018142756.tif 000013
【図１２】
2018142756.tif 000014
【図１３】
2018142756.tif 000015
【図１４】
2018142756.tif 000016
【図１５】
2018142756.tif 000017
【図１６】
2018142756.tif 000018