(57)【要約】【課題】車両や主要な設備に新たにレーダ装置を設けることなく、迅速かつ精度よく衝突事故の発生を検出する。【解決手段】衝突判定サーバ２００は、移動体から衝突候補の動画像を受信する受信部と、受信した動画像を構成するフレーム画像から、当該フレーム画像内の特徴点を複数抽出する抽出部と、抽出した各特徴点を追跡することで、各特徴点の軌跡パターンを作成する作成部と、軌跡パターンを解析することで、衝突が発生したか否かを判定する判定部とを具備する。【選択図】図３
2020140457.tif 000002
【特許請求の範囲】
【請求項１】
移動体から衝突候補の動画像を受信する受信部と、
受信した前記動画像を構成するフレーム画像から、当該フレーム画像内の特徴点を複数抽出する抽出部と、
抽出した各特徴点を追跡することで、前記各特徴点の軌跡パターンを生成する生成部と、
前記軌跡パターンを解析することで、衝突が発生したか否かを判定する判定部と
を具備する衝突判定サーバ。
【請求項２】
前記判定部は、
衝突が発生したか否かを判断するための基準挙動パターンを備え、前記軌跡パターンと、前記基準挙動パターンとの比較結果に基づき、衝突が発生したか否かを判定する、請求項１に記載の衝突判定サーバ。
【請求項３】
前記判定部は、
前記各特徴点の移動加速度を算出し、算出した移動加速度が、設定された閾値以上である場合に、衝突が発生したと判定する、請求項１に記載の衝突判定サーバ。
【請求項４】
コンピュータを、
車両から衝突候補の動画像を受信する受信部と、
受信した前記動画像を構成するフレーム画像から、当該フレーム画像内の特徴点を複数抽出する抽出部と、
抽出した各特徴点を追跡することで、前記各特徴点の軌跡パターンを生成する生成部と、
前記軌跡パターンを解析することで、衝突が発生したか否かを判定する判定部として機能させるための衝突判定プログラム。
【請求項５】
請求項４に記載の衝突判定プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の衝突判定を精度よく行うための技術に関する。
【背景技術】
【０００２】
レーダによって前方障害物を検知し、自動車などの障害物に衝突するおそれがある場合にドライバへ回避操作を行うように警告する、あるいは障害物との衝突が避けきれない場合には、障害物との衝突による被害を軽減するために自動的にブレーキ制御を行う技術の開発が進められている。
また、レーダを用いることで、万が一衝突事故が起きたとしても、衝突事故発生時の状況を精度よく検知する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−５７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したレーダを用いて衝突事故を検知するためには、信号機や表示板、電信柱などにレーダセンサを設置するとともに、各車両にレーダ事故検出装置を設ける必要がある。このような機器を設置等するためには膨大なコストがかかり、実現するのは難しいという問題が指摘されていた。
【０００５】
本発明は、以上説明した事情を鑑みてなされたものであり、車両や主要な設備に新たにレーダ装置を設けることなく、迅速かつ精度よく衝突事故の発生を検出することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る衝突判定サーバは、移動体から衝突候補の動画像を受信する受信部と、受信した動画像を構成するフレーム画像から、当該フレーム画像内の特徴点を複数抽出する抽出部と、抽出した各特徴点を追跡することで、各特徴点の軌跡パターンを生成する生成部と、軌跡パターンを解析することで、衝突が発生したか否かを判定する判定部とを具備することを要旨とする。
【０００７】
本発明の他の形態に係る衝突判定プログラムは、コンピュータを、車両から衝突候補の動画像を受信する受信部と、受信した動画像を構成するフレーム画像から、当該フレーム画像内の特徴点を複数抽出する抽出部と、抽出した各特徴点を追跡することで、各特徴点の軌跡パターンを生成する生成部と、軌跡パターンを解析することで、衝突が発生したか否かを判定する判定部として機能させることを要旨とする。
【発明の効果】
【０００８】
本発明によれば、車両や主要な設備に新たにレーダ装置を設けることなく、迅速かつ精度よく衝突事故の発生を検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る情報制御システムの概略構成を示す図である。
【図２】本実施形態に係る車両の機能構成を示すブロック図である。
【図３】本実施形態に係るドライブレコーダ装置の機能構成を示すブロック図である。
【図４】本実施形態に係る衝突判定サーバの機能構成を示すブロック図である。
【図５】ある衝突候補の動画像と、衝突候補の動画像を解析した場合に得られる各特徴点の軌跡パターンを例示した図である。
【図６】衝突判定動作を示すフローチャートである。
【図７】変形例に係る衝突判定サーバの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、以下の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１１】
Ａ．本実施形態
Ａ−１．構成
図１は、本実施形態に係る情報制御システム１０００の概略構成を示す図である。図１に示す情報制御システム１０００は、ドライブレコーダ装置１５０が搭載された車両１００と、各車両１００のドライブレコーダ装置１５０からアップロード（送信）される衝突候補の動画像（後述）を解析し、解析結果に基づいて衝突判定等を行う衝突判定サーバ２００とを備えて構成される。
【００１２】
各車両１００、ドライブレコーダ装置１５０及び衝突判定サーバ２００は、それぞれ通信ネットワークＮを介して相互通信可能となっている。通信ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
【００１３】
[車両１００]
図２は、車両１００の機能構成を示すブロック図である。
車両１００は、自動車などであり、制御装置１１０、通信装置１２０、記憶装置１３０、入力装置１４０、ドライブレコーダ装置１５０を備えている。
【００１４】
制御装置１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを主要構成部品とするＭＣＵ（Micro Control Unit）などを備えており、ＲＯＭやＲＡＭに格納された各種プログラム等を実行することにより、車両１００の各部を統括的に制御する。
【００１５】
通信装置１２０は、様々な通信規格に準拠した通信インタフェースを備え、通信ネットワークＮを介して、衝突判定サーバ２００やユーザが所持する携帯端末（図示略）など外部機器との間でデータの授受を行う。
【００１６】
記憶装置１３０は、ハードディスクや半導体メモリ等の記録媒体及び記録媒体のドライブ装置を含んで構成される。記憶装置１３０には、制御装置１１０が車両１００を統括的に制御するにあたって必要なプログラムやデータなどが、更新可能に記憶される。
【００１７】
入力装置１４０は、操作キー、操作ボタン、タッチセンサなどの操作子やマイクロホンなどを備えて構成される。
【００１８】
ドライブレコーダ装置１５０は、制御装置１１０による制御のもと、衝突候補の動画像を生成し、衝突判定サーバ２００に送信する。
【００１９】
図３は、ドライブレコーダ装置１５０の構成を示す図である。
ドライブレコーダ装置１５０は、加速度センサー１１と、マイク１２と、通信部１３と、カメラ１４と、画像処理回路１５と、メモリ１６と、計時回路１７と、制御部１８と、メモリカード１９とを備えている。
【００２０】
加速度センサー１１は、車両１００に作用する衝撃を検出する衝撃センサー（いわゆるＧセンサー）であり、自車両１００に加わる衝撃の大きさを示す加速度を、重力加速度のＧを単位として検出する。加速度センサー１１によって検出される加速度は、例えば互いに直行する３軸、又は、２軸に応じた向きに大きさを持つ。加速度センサー１１は、このような加速度に対応した信号（加速度信号）を制御部１８に出力する。
【００２１】
マイク１２は、車両１００の周辺で発生している音を電気信号に変換し、信号処理回路（図示略）を介してサウンドデータとしてメモリ１６に記憶する。
【００２２】
通信部１３は、通信ネットワークＮを介して衝突判定サーバ２００やユーザが所持する携帯端末と通信を行う。
【００２３】
カメラ１４は、各種イメージセンサーによって構成され、車両１００の内部及び／又は外部の様子を撮影し、映像信号として画像処理回路１５に送る。本実施形態では、フロントガラスの上部付近であって、車両１００の前方の領域の画像が取得できる位置（例えばルームミラーとフロントガラスの間）にカメラ１４が配置される。なお、イメージセンサーは、限定ではなく例として、有効画素数が２００万画素以上、かつ最大フレームレートが２７．５ｆｐｓ以上であり、記録画面数が横２８８０×縦２８８０である８００万画素(４Ｋ相当)の高画質の録画が可能なセンサーを用いることができる。
【００２４】
画像処理回路１５は、カメラ１４から入力される映像信号に対してＡ／Ｄ変換、輝度補正、コントラスト補正等を行うことにより、所定形式（例えば、ＪＰＥＧ形式）の画像データを生成し、生成した画像データをメモリ１６に記憶する。
【００２５】
メモリ１６は、例えばＲＡＭ等であり、記憶領域のうちの一部はリングバッファとして利用される。画像処理回路１５において処理された一定期間分の画像データ、及び信号処理回路において処理された一定期間分のサウンドデータが、リングバッファ領域に常時記憶される。なお、リングバッファ領域のサイズは、例えば数十秒分の画像データ及びサウンドデータを記憶することが可能となっている。
【００２６】
計時回路１７は、現在時刻をあらわす計時データを発生して制御部１８へ出力する。計時回路１７は、例えば内蔵電池等を有しており、外部から電力供給を受けることなく正確な時刻を計時する。
【００２７】
制御部１８は、メモリ１６のリングバッファ領域に記憶された画像データ及びサウンドデータから動画像データを生成するとともに、メモリカード１９に記録する。さらに、制御部１８は、所定のイベントが発生したことを検知すると、計時回路１７を利用して当該時刻の前後の動画像データをメモリ１６から読み出し、当該時刻の前後の動画像データに、自身のドライブレコーダ装置１５０を識別する装置ＩＤや計時時刻をあらわす計時情報を付して、衝突判定サーバ２００に送信する。
【００２８】
ここで、「所定イベント」とは、加速度センサー１１によって所定値以上の加速度（例えば、０．４Ｇ）が、所定時間（例えば、１００ミリ秒）以上継続して検出されることをいい、以下では「衝突候補イベント」と呼ぶ。また、制御部１８が衝突候補イベントの発生を検知した場合に、衝突判定サーバ２００に送信する複数の動画像データを、「衝突候補の動画像」と呼ぶ。
【００２９】
[衝突判定サーバ２００]
図１に戻り、衝突判定サーバ２００は、例えば、演算処理能力の高いコンピュータによって構成され、各車両１００のドライブレコーダ装置１５０からアップロードされる衝突候補の動画像を蓄積・管理する機能、衝突候補の動画像を解析する機能、さらには、衝突候補の動画像の解析結果に基づいて、衝突判定を行う機能などを備えている。ここで、衝突判定サーバ２００を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。
【００３０】
図４は、衝突判定サーバ２００の機能構成を示すブロック図である。
衝突判定サーバ２００は、制御部２１０と、通信部２２０と、管理部２３０と、解析部２４０と、判定部２５０とを備えて構成される。
制御部２１０は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）やＲＯＭやＲＡＭなどの記憶手段を備えて構成され、ＲＯＭ等の記憶手段に格納されている各種プログラムを実行することで衝突判定サーバ２００の各部を中枢的に制御する。
【００３１】
通信部（受信部）２２０は、様々な通信規格に準拠した通信インタフェースを備え、通信ネットワークＮを介して、車両１００のドライブレコーダ装置１５０からアップロードされる衝突候補の動画像を受信する。なお、通信部２２０は、各車両１００等を含む外部機器との間で様々な情報の授受を行う。
【００３２】
管理部２３０は、各車両１００のドライブレコーダ装置１５０からアップロードされる衝突候補の動画像を、装置ＩＤに対応づけて動画像データベース（ＤＢ）に蓄積・管理する。
【００３３】
解析部（抽出部、生成部）２４０は、受信した衝突候補の動画像から、複数のフレーム画像を切り出し、フレーム画像ごとに、特徴点をＮ点抽出する（Ｎ≧２）。特徴点を抽出・検出する方法として、例えばコーナー検出法を利用することができるが、他の検出法を利用してもよい。解析部２４０は、初期フレーム（例えば、時系列画像フレーム中の初期のもの）においてＮ点の特徴点を抽出すると、後続のフレームにおいて対応点を探索することにより、Ｎ個の特徴点を追跡し、特徴点の軌跡パターンを生成する。
【００３４】
図５は、ある衝突候補の動画像ＭＰと、この衝突候補の動画像ＭＰを解析した場合に得られる各特徴点の軌跡パターンＴＰを例示した図である。
解析部２４０は、図５に示すような各特徴点の軌跡パターンＴＰを生成すると、これを判定部２５０に出力する。
【００３５】
判定部２５０は、解析部２４０から出力される各特徴点の軌跡パターンＴＰと、自身が保持する基準挙動パターンＳＰとを比較することで、衝突が発生したか否かを判定する。ここで、衝突候補の動画像ＭＰの中には、実際に衝突事故が発生した場合の動画像（衝突動画像）のほか、例えば急ブレーキをかけただけで衝突事故が発生していない場合の動画像（非衝突動画像）も含まれる。
【００３６】
本実施形態では、多数の衝突候補の動画像の中から、衝突動画像を迅速かつ的確に特定するために、実際の衝突動画像から得られた各特徴点の軌跡パターンを学習し、生成した基準挙動パターンＳＰを利用して衝突が発生したか否かを判定する。詳述すると、判定部２５０は、解析部２４０から出力される軌跡パターンＴＰと基準挙動パターンＳＰとの類似度を求め、求めた類似度が設定された閾値以上である場合に、衝突が発生していると判断する一方、求めた類似度が閾値を下回っている場合には、衝突が発生していないと判断する。
【００３７】
そして、判定部２５０は、衝突が発生しているか否かの判定結果を表示パネル（図示略）等に表示する。なお、判定部２５０は、衝突が発生していると判断した場合には、衝突動画像を表示パネルに表示するとともに、音声や文字、効果音などを利用して衝突動画像が検出された旨のメッセージを外部に報知してもよい。
【００３８】
以下、衝突判定サーバ２００による衝突判定動作について、詳細に説明する。
【００３９】
Ａ−２．動作
図６は、衝突判定サーバ２００による衝突判定動作を示すフローチャートである。
【００４０】
ステップＳ１において、衝突判定サーバ２００の通信部２２０は、通信ネットワークＮを介して車両１００のドライブレコーダ装置１５０からアップロードされる衝突候補の動画像を受信する。
【００４１】
ステップＳ２において、衝突判定サーバ２００の管理部２３０は、受信した衝突候補の動画像を、ドライブレコーダ装置１５０の装置ＩＤに対応づけて動画像ＤＢに登録する。
【００４２】
ステップＳ３において、衝突判定サーバ２００の解析部２４０は、衝突候補の動画像から、複数のフレーム画像を切り出し、フレーム画像ごとに、特徴点をＮ点抽出する。
【００４３】
ステップＳ４において、衝突判定サーバ２００の解析部２４０は、初期フレームにおいてＮ点の特徴点を抽出すると、フレームを進めながらＮ点の特徴点を追跡し、図５に示すような特徴点の軌跡パターンＴＰを生成し、判定部２５０に出力する。
【００４４】
ステップＳ５において、衝突判定サーバ２００の判定部２５０は、解析部２４０から出力される各特徴点の軌跡パターンＴＰと、自身が保持する基準挙動パターンＳＰとを比較することで、衝突が発生したか否かを判定する。
【００４５】
ステップＳ６において、衝突判定サーバ２００の判定部２５０は、判定結果を表示パネル等に表示し、処理を終了する。
【００４６】
以上説明したように、本実施形態によれば、衝突判定サーバ２００は、車両１００のドライブレコーダ装置１５０からアップロードされる衝突候補の動画像について、特徴点を抽出・追跡し、特徴点の軌跡パターンを解析することで、衝突判定を行う。このため、車両や主要な設備に新たにレーダ装置を設けずとも、迅速かつ精度よく衝突事故の発生を検知することが可能となる。
【００４７】
なお、本実施形態では、「衝突候補イベント」として、０．４Ｇ以上の加速度が１００ミリ秒以上継続して検出されることを例示したが、これに限る趣旨ではない。検出される加速度の値や継続時間などは、任意に設定・変更可能である。
【００４８】
Ｂ．変形例
上述した本実施形態では、衝突候補の動画像から抽出される特徴点の軌跡パターンと、基準パターンとの比較結果に基づき、衝突が発生したか否かを判定したが、これに限る趣旨ではない。例えば、追跡した特徴点の移動加速度に基づき、衝突が発生したか否かを判定してもよい。
【００４９】
図７は、変形例に係る衝突判定サーバ２００ａの機能構成を示すブロック図である。図５に示す衝突判定サーバ２００ａは、判定部２５０ａの機能が本実施形態と異なる。その他の構成は、図３に示す衝突判定サーバ２００と同様であるため、対応する部分には同一符号を付し、詳細な説明は割愛する。
【００５０】
判定部２５０ａは、解析部２４０から出力される各特徴点の移動量、速度に基づき、特徴点ごとの移動加速度を算出する。例えば、特定時間における特徴点の数がＮ個である場合、判定部２５０ａは、Ｎ個の移動加速度の中から、当該フレーム内の平均値（すなわち、平均移動加速度）から大きく外れたものをノイズと判断して除去する。そのうえで、判定部２５０ａは、ノイズ除去後の移動加速度が、設定されている閾値加速度Ａｔｈ以上であるか否かを判断する。判定部２５０ａは、ノイズ除去後の移動加速度が、閾値加速度Ａｔｈ以上である場合に、衝突が発生したと判断する一方、ノイズ除去後の移動加速度が、閾値加速度Ａｔｈ未満である場合には、衝突が発生していないと判断する。なお、この後の動作については、本実施形態と同様であるため、説明を割愛する。
【００５１】
Ｃ．その他
本発明は、上述した本実施形態及び変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態及び変形例はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。
【００５２】
また、本明細書において、「装置」や「部」とは、単に物理的構成を意味するものではなく、その「装置」や「部」が実行する処理をソフトウェアによって実現する場合も含む。また、１つの「装置」や「部」が実行する処理を２つ以上の物理的構成により実現されても、２つ以上の「装置」や「部」が実行する処理を１つの物理的手段により実現されてもよい。また、上述した本実施形態及び変形例では、車両１００として自動車を例示したが、自動二輪車や電車、船舶など、あらゆる移動体に適用可能である。
【００５３】
本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、衝突判定サーバ２００、２００ａを構成するコンピュータに、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【符号の説明】
【００５４】
１０００…情報制御システム、１００…車両、１１０…制御装置、１２０…通信装置、１３０…記憶装置、１４０…入力装置、１５０…ドライブレコーダ装置、１１…加速度センサー、１２…マイク、１３…通信部、１４…カメラ、１５…画像処理回路、１６…メモリ、１７…計時回路、１８…制御部、１９…メモリカード、２００，２００ａ…衝突判定サーバ、２１０…制御部、２２０…通信部、２３０…管理部、２４０…解析部、２５０，２５０ａ…判定部、ＳＰ…基準挙動パターン、Ａｔｈ…閾値加速度
【図１】
2020140457.tif 000003
【図２】
2020140457.tif 000004
【図３】
2020140457.tif 000005
【図４】
2020140457.tif 000006
【図５】
2020140457.tif 000007
【図６】
2020140457.tif 000008
【図７】
2020140457.tif 000009