(57)【要約】【課題】  ハードウェアの負担が少ない車両用移動体検知システムを提供する。【解決手段】  車両用移動体検知システム（１０）は、前方の移動体を検出する機能を実装した第１の撮像ユニット（１２）、後方または側方の移動体を検出する機能を実装した第２の撮像ユニット（１３）、前記第１および第２の撮像ユニットと相互通信可能なコントローラ（１１）を備え、前記第２の撮像ユニット（１２）は、視野の右側または左側に移動体が消失した場合に、同側のウインカが不操作であれば同側の追越しフラグを送信する機能を有し、前記コントローラ（１１）は、前記追越しフラグを受信した場合に、車両情報を参照して前記追越しフラグを前記第１の撮像ユニットに転送するか否かを判断する機能を有し、前記第１の撮像ユニットは、視野の右側または左側からの移動体の出現を検出した場合に、同側の追越しフラグがなければ同側の警報を発報し、同側の追越しフラグがあれば同側の警報の発報を禁止する機能を有する。【選択図】  図１
2019028768.tif 000002
【特許請求の範囲】
【請求項１】
前方の移動体を検出する機能を実装した第１の撮像ユニットと、
後方または側方の移動体を検出する機能を実装した第２の撮像ユニットと、
前記第１および第２の撮像ユニットと相互通信可能なコントローラと、を備え、
前記第２の撮像ユニットは、視野の右側または左側に移動体が消失した場合に、同側のウインカが不操作であれば同側の追越しフラグを送信する機能を有し、
前記コントローラは、前記追越しフラグを受信した場合に、車両情報を参照して前記追越しフラグを前記第１の撮像ユニットに転送するか否かを判断する機能を有し、
前記第１の撮像ユニットは、視野の右側または左側からの移動体の出現を検出した場合に、同側の追越しフラグがなければ同側の警報を発報し、同側の追越しフラグがあれば警報の発報を禁止する機能を有する、車両用移動体検知システム。
【請求項２】
前記第１および第２の撮像ユニットの前記移動体を検出する機能は、前記第１および第２の撮像ユニットに撮像された画像のオプティカルフローを抽出する手段として実装されている、請求項１記載の車両用移動体検知システム。
【請求項３】
前記第２の撮像ユニットは、前記移動体が消失した場合に、前記移動体のオプティカルフローから相対速度を推定し、前記コントローラに送信する機能をさらに有し、
前記コントローラは、前記相対速度に基づいて前記第１の撮像ユニットに前記移動体が出現する予測時間を算出し、前記予測時間を前記第１の撮像ユニットに転送する機能をさらに有する、請求項２記載の車両用移動体検知システム。
【請求項４】
前記コントローラは、前記第1または第２の撮像ユニットの何れかと一体に設けられているか、または、前記第1または第２の撮像ユニットの何れかの制御部にプログラムモジュールとして実装されている、請求項１〜３の何れか一項に記載の車両用移動体検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用移動体検知システムに関する。
【背景技術】
【０００２】
従来、運転支援を目的として、車両の前方や後方を監視するカメラやレーダーなどのセンサにより他車両や歩行者などの移動体を検知する種々のシステムが提案されてきた（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１４３９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなシステムでは、各センサの検出および認識結果は、統合処理部に集められ、計測〜認識〜判断の上位の処理における統合判断の過程でフィルタリングされる。そのため、統合処理部における判断が複雑になり、ハードウェアに高い処理能力が要求されるという課題があった。
【０００５】
本発明は、上記のような実状に鑑みてなされたものであって、その目的は、ハードウェアの負担が少ない車両用移動体検知システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明者らが鋭意検討した結果、センサレベルで検出情報を共有し、フィルタリングに利用することで、上位レベルの処理の負担が少ない／上位レベルの処理を必要としないシステムを構成できるという知見を得て本発明に想到した。
【０００７】
すなわち本発明に係る車両用移動体検知システムは、
前方の移動体を検出する機能を実装した第１の撮像ユニットと、
後方または側方の移動体を検出する機能を実装した第２の撮像ユニットと、
前記第１および第２の撮像ユニットと相互通信可能なコントローラと、を備え、
前記第２の撮像ユニットは、視野の右側または左側に移動体が消失した場合に、同側のウインカが不操作であれば同側の追越しフラグを送信する機能を有し、
前記コントローラは、前記追越しフラグを受信した場合に、車両情報を参照して前記追越しフラグを前記第１の撮像ユニットに転送するか否かを判断する機能を有し、
前記第１の撮像ユニットは、視野の右側または左側からの移動体の出現を検出した場合に、同側の追越しフラグがなければ同側の警報を発報し、同側の追越しフラグがあれば警報の発報を禁止する機能を有する。
【発明の効果】
【０００８】
本発明に係る車両用移動体検知システムでは、第１および第２の撮像ユニット間で相互の検出情報（フラグ）がコントローラを介して共有されることで、第１の撮像ユニットは、第２の撮像ユニットから転送された検出情報（追越しフラグ）をフィルタリングに利用でき、コントローラは、第１および第２の撮像ユニット間で相互の検出情報を送受信するのみであるため、ハードウェアの負担が少ないシステムを構築できる利点がある。
【図面の簡単な説明】
【０００９】
【図１】本発明第１実施形態に係る移動体検知システムを示すブロック図である。
【図２】本発明に係る移動体検知システムの基本概念を示す概略図である。
【図３】本発明に係る移動体検知システムにおけるフィルタリングの基本概念を示す概略図であり、（ａ）は仮想前方画像、（ｂ）は左側後方画像、（ｃ）は前方画像、（ｄ）は右側後方画像を示している。
【図４】本発明に係る移動体検知システムにおけるフィルタリングが適用される状況を示す図３に対応する道路平面図である。
【図５】後方カメラ内ルーチンを示すフローチャートである。
【図６】前方カメラ内ルーチンを示すフローチャートである。
【図７】コントローラ内ルーチンを示すフローチャートである。
【図８】本発明第２実施形態に係る移動体検知システムを示すブロック図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１において、本発明第１実施形態に係る車両用移動体検知システム１０は、車両前方を撮像する前方カメラ１２（第１の撮像ユニット）、車両後方を撮像する後方カメラ１３（第２の撮像ユニット）、および、前方カメラ１２および後方カメラ１３と相互通信可能なコントローラ１１から主に構成される。
【００１１】
前方カメラ１２および後方カメラ１３は、何れも光学系を通じて結像された視野画像を撮像するイメージセンサ（ＣＭＯＳやＣＣＤなどの撮像素子）と、該イメージセンサに得られた画像データを所定のフレームレートで映像信号としてコントローラ１１に出力する画像処理部とを備えるとともに、時系列の視野画像（視野映像）から移動体を検出する機能とその検出情報を送受信する通信機能を備えている。これらについては後述する。
【００１２】
コントローラ１１は、車載ネットワーク（ＣＡＮ）を通じて、車速、操舵角、ウインカスイッチ、シフトポジションセンサなどの車両情報１４を取得可能である。また、シリアル通信（ＵＡＲＴ）などを介して前方カメラ１２および後方カメラ１３と相互通信可能に接続されるとともに、前方カメラ１２および後方カメラ１３の映像信号ケーブルが接続されており、前方カメラ１２および後方カメラ１３の映像をナビゲーション装置などの表示装置１５に画面合成して表示したり、シフトポジションに応じて切替え表示したりする機能を備えている。
【００１３】
（移動体検出機能）
本実施形態に係る前方カメラ１２および後方カメラ１３は、移動体検出機能として、時系列の視野画像（視野映像）から特徴点のオプティカルフローを抽出する画像処理アルゴリズムを実装している。すなわち、先ず、各画像フレームの特徴点を抽出する。特徴点は、画像のエッジ（輪郭線、輝度境界）のコーナーとして抽出できる。次いで、前後する２つの画像フレーム間における対応する特徴点の移動軌跡を抽出すれば、同一または類似のベクトル成分を持つ特徴点群として移動体を検出できる。
【００１４】
この際、自車が前進走行中であれば、道路や固定構造物は、後方カメラ１３の画像では消失点に向かうオプティカルフローとして検出され、前方カメラ１２の画像では消失点から遠ざかるオプティカルフローとして検出されるので、それらと異なるベクトル成分を有し独立して認識されるオプティカルフローを抽出すれば、同一または類似のベクトル成分を持つ特徴点群として移動体を検出できる。
【００１５】
また、自車が停止中であれば、道路や固定構造物はオプティカルフローを有さないので、検出されるオプティカルフローは全て移動体を示すものとなる。何れの場合にもオプティカルフロー（ベクトル）は、移動体のフレーム毎の移動量を示しており、自車に対する相対速度に対応している。
【００１６】
ところで、上記の処理ではフレームレートでの処理完結を優先するため、オプティカルフローのみを抽出し、移動体が何であるか画像認識する機能は有していない。そのため、例えば、前方カメラの視野画像の端部から移動体が出現した時、自車の前方を横切る移動体なのか、自車を側方にて追越してゆく移動体なのか、直ちに区別できない。
【００１７】
例えば、図２（ａ）は、交差点などで停車中の前方カメラ１２の画像２０におけるオプティカルフローの抽出を模式的に示しており、画像２０の左側から道路前方を横断する歩行者３は移動速度が遅いため、画像２０でのオプティカルフロー３ｆにより移動体として検出することで対応可能である。しかし、右側方を追越して行く車両２′が画像２０の右端から出現した瞬間には、自車前方を右から左へ横切る移動体なのか、右側方を追越して遠ざかって行く移動体なのか、オプティカルフロー２ｆのみから直ちに区別できない。遠ざかって行く移動体であれば、警報の対象とする必要はない。
【００１８】
（後方カメラと前方カメラでの検出情報の共有とフィルタリング）
ここで、車両２が右側方を追越して行く車両である場合には、その直前に、図２（ｂ）に示すように後方カメラ１３の画像３０に映っている筈である。そこで、後方カメラ１３の画像３０において、向かって左側（自車進行方向右側）に消失するオプティカルフロー２ｒを検出した場合に、そのオプティカルフロー２ｒから移動体２の移動速度を推定し、それに基づいて、前方カメラ１２の視野画像２０内に移動体２が出現する時間を予測し、その時間に同側から出現するオプティカルフロー２ｆに関して警報の発報を禁止することで、不必要な発報を防止できる。
【００１９】
すなわち、後方カメラ１３の移動体検出情報を前方カメラ１２において共有し、前方カメラ１２の移動体検出におけるフィルタリングに利用することで、前方カメラ１２および後方カメラ１３の検出情報を統括する上位の処理を行う統合判断部を必要とせず、前方カメラ１２および後方カメラ１３のセンサレベルでのフィルタリングが可能となる。
【００２０】
このようなフィルタリング機能を実現するために、共有すべき検出情報を予め限定する拘束条件としては、上述したように、
ｉ）追越し車両が後方カメラ１３の視野画像３０から消失する方向は決まっているので、左右何れかの側に検出領域（３０Ｌ，３０Ｒ）を限定できること、
ｉｉ）歩行者や自転車と区別される移動速度を有していること、
ｉｉｉ）自車が同側に進路変更しないこと（同側のウインカが操作されていないこと）などが想定される。
【００２１】
図２および図３では、検出領域３０Ｌ，３０Ｒが概略的に示されているが、後方カメラ１３の視野画像３０の左右何れかの端部からのオプティカルフローの消失をもって検出情報（後述する追越しフラグ）が発報される、換言すれば、消失したフレームの直前のフレームにおけるオプティカルフローから推定された移動速度に基づいて前方カメラ１２における視野画像２０の同側における出現時間が計算されるので、実際に検出される領域は左右何れかの端部に隣接した狭い領域に過ぎない。
【００２２】
また、図３では、後方カメラ１３の視野画像（３０）を左右に分割して前方カメラ１２の視野画像２０の両側に左右各側後方視野画像３１，３２として表示している。図４は、図３に対応する道路状況を示しており、自車両１は、交差点４０に向かう道路の左側車線４１に停車しており、後方カメラ１３の視野１３ａ（視野画像３２）には、右側車線４２を通過しようとする他車４が映っているが、この位置ではまだ前方カメラ１２の視野１２ａには映らない。
【００２３】
このような状況において、図３（ｄ）に示すように、後方視野画像３２の左側（自車進行方向右側）に消失する所定速度以上のオプティカルフロー４ｒ（移動体４）を検出した場合であって、右折のウインカ操作が行われていない場合には、後方カメラ１３から追越しフラグが出され、図３（ｃ）に示す前方カメラ１２の視野画像２０の右側検出領域２０Ｒに関して発報禁止され、同領域２０Ｒに出現するオプティカルフロー４ｆは追越し車両４′と見做される。
【００２４】
また、図３（ｂ）に示すように、後方視野画像３１の右側（自車進行方向左側）に消失する所定速度未満のオプティカルフロー６ｒ（移動体６、自転車）が検出された場合は、左折のウインカ操作が行われていない限り、警報は発報されない。また、所定速度に満たないので追越しフラグの対象とはならない。
【００２５】
一方、図３（ｃ）に示すように、前方カメラ１２（視野画像２０）の左側に所定速度未満のオプティカルフロー３ｆ（移動体３、歩行者）を検出した場合、同側の追越しフラグは出ていないので、警報が発報される。
【００２６】
また、仮に、図３（ａ）に示すように、後方カメラ１３から右側検出領域２０Ｒに関連付けられた検出情報（追越しフラグ）が発報されていない状況で、前方カメラ１２の視野画像２２にオプティカルフロー５ｆが検出された場合は、右後側方以外、したがって前方右側からの移動体５と見做して警報が発報される。
【００２７】
以下、移動体検知システム１０を構成する後方カメラ１３、前方カメラ１２、および、コントローラ１１のそれぞれの動作ルーチンの実施例について、図５〜図７を参照しながら説明する。
【００２８】
（後方カメラ内ルーチン）
図５において、移動体検知システム１０の起動とともに後方カメラ１３による移動体サーチ（特徴点抽出〜オプティカルフロー抽出）が開始される（ステップ１００）。
【００２９】
先ず、後方カメラ１３に撮像される画像フレーム毎に特徴点の抽出、および、直前フレームに対する対応特徴点の移動、すなわち、オプティカルフローの抽出が行われ、自車の走行レーンの左側または右側の走行レーンにおける移動体（オプティカルフロー）の有無がチェックされる（ステップ１０１）。
【００３０】
道路や固定構造物と独立したオプティカルフローが検出されない場合、および、後方視野画像３０の中央にのみオプティカルフローが検出される場合は、移動体サーチが継続される。
【００３１】
自車の走行レーンの左側または右側の走行レーンに移動体（オプティカルフロー）が検出された場合には、コントローラ１１経由で車両情報が取得され（ステップ１０２／１０３）、対応する左側／右側のウインカが操作されている場合は、左後方／右後方の発報フラグが後方カメラ１３からコントローラ１１に送信される（ステップ１０６／１０７）。
【００３２】
対応する左側／右側のウインカが操作されていない場合に、視野画像における対応する左側／右側端部への移動体（オプティカルフロー）の消失が検出されると（ステップ１１１）、左／右追越しフラグ、および、消失直前の移動体の推定車速が、後方カメラ１３からコントローラ１１に送信される（ステップ１１２／１１３）。
【００３３】
（前方カメラ内ルーチン）
図６において、移動体検知システム１０の起動とともに前方カメラ１２による移動体サーチ（特徴点抽出〜オプティカルフロー抽出）が開始される（ステップ１２０）。
【００３４】
前方カメラ１２に撮像される画像フレーム毎に特徴点の抽出およびオプティカルフローの抽出が行われ、視野画像２０の左側または右側端部からの移動体（オプティカルフロー）の出現がチェックされる（ステップ１２１）。道路や固定構造物と独立したオプティカルフローが検出されない場合は移動体サーチが継続される。
【００３５】
視野画像２０の左側または右側端部からの移動体（オプティカルフロー）の出現が検出された場合には、対応する左側／右側の追越しフラグの有無、および、操舵角や車速などの車両情報がコントローラ１１経由で参照される（ステップ１２２／１２３）。
【００３６】
対応する左側／右側の追越しフラグが出ていない場合には（ステップ１２４／１２５）、対応する左側／右側から出現した移動体に対して、自車の車両状態が発報条件に合致しているか否かがチェックされる（ステップ１２６／１２７）。
【００３７】
合致する場合には左前／右前発報フラグがコントローラ１１に送信され（ステップ１２８／１２９）、合致しない場合は移動体サーチが継続される。
【００３８】
一方、ステップ１２４／１２５において、対応する左側／右側の追越しフラグが出されている場合には、前回ループで対応する左側／右側の追越しフラグが出されていたか否かがチェックされる（ステップ１３０／１３１）。
【００３９】
前回ループで対応する左側／右側の追越しフラグが出されていなかった場合は、発報禁止タイマがリセットされ（ステップ１３２／１３３）、発報禁止タイマのカウントが開始される。
【００４０】
前回ループで対応する左側／右側の追越しフラグが出され、発報禁止タイマのカウントが開始されている場合には、発報禁止タイマのカウントが継続される。
【００４１】
発報禁止タイマのカウントが完了すると（１３４）、再度、前方カメラによる移動体サーチが開始される。
【００４２】
（コントローラ内ルーチン）
図７において、移動体検知システム１０の起動とともにコントローラ１１による車両情報の監視が開始される（ステップ１４０）。
【００４３】
後方カメラ１３から左側／右側の追越しフラグおよび推定車速を受信した場合には（ステップ１４１）、対応する左側／右側の追越しフラグと推定車速に基づいて、前方カメラ１２の視野画像２０の対応する左側／右側に移動体（追越し車両）が出現すると予測される時間を計算する（ステップ１４２／１４３）。
【００４４】
次いで、左側／右側の追越しフラグと出現予測時間、操舵角や車速などの車両情報が前方カメラ１２に転送される（ステップ１４４／１４５）。
【００４５】
発報フラグを受信した場合には（ステップ１５０）、発報フラグの位置（左前方／左後方／右前方／右後方）に対応して警報が発報される（ステップ１５１）。
【００４６】
（第２実施形態）
上述した第１実施形態の移動体検知システム１０では、コントローラ１１が、シリアル通信（ＵＡＲＴ）を介して前方カメラ１２および後方カメラ１３と相互通信可能に接続される場合を示したが、第２実施形態の移動体検知システム１０′では、コントローラ１１は、ローカルエリアネットワーク（ＬＡＮ）を介して前方カメラ１２および後方カメラ１３と相互通信可能に接続されている。他の構成は第１実施形態と同様である。
【００４７】
この第２実施形態の移動体検知システム１０′では、後方カメラ１３から発信された左側または右側の追越しフラグがコントローラ１１と前方カメラ１２に同時に共有され、コントローラ１１で計算された出現予測時間や車両情報が前方カメラ１２に送信されるようにすることもできる。
【００４８】
また、何れの実施形態においても、追越しフラグが出されている場合における前方カメラ１２の発報禁止タイマのカウント／リセット（ステップ１３２〜１３４）をコントローラ１１において行うこともでき、また、後方カメラ１３における車両情報の取得（ステップ１０２／１０３）およびウインカ確認（ステップ１０４／１０５）をコントローラ１１において行うこともできる。これらの場合、前方カメラ１２および後方カメラ１３は専ら検出〜フラグ発報を行い、コントローラ１１側において警報の発報および追越しフラグによる発報禁止を行う。
【００４９】
上記各実施形態では、前方カメラ１２（第１の撮像ユニット）と後方カメラ１３（第２の撮像ユニット）を用いる場合を示したが、前方カメラ１２（第１の撮像ユニット）と左右の側方カメラ（第２の撮像ユニット）を用いてシステムを構成することもできる。
【００５０】
以上、本発明のいくつかの実施形態について述べたが、本発明は上記各実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。
【符号の説明】
【００５１】
１  自車両
２，４，５  他車両
３  歩行者
６  自転車
１０，１０′  移動体検知システム
１１  コントローラ
１２  前方カメラ（第１の撮像ユニット）
１３  後方カメラ（第２の撮像ユニット）
１４  車両情報
１５  表示装置
２０，２２  前方カメラ画像（視野画像）
３０，３１，３２  後方カメラ画像（視野画像）
【図１】
2019028768.tif 000003
【図２】
2019028768.tif 000004
【図３】
2019028768.tif 000005
【図４】
2019028768.tif 000006
【図５】
2019028768.tif 000007
【図６】
2019028768.tif 000008
【図７】
2019028768.tif 000009
【図８】
2019028768.tif 000010