(57)【要約】  【課題】画像認識の処理量を減少させて処理時間の短縮を図ることが可能な挙動データ解析システムを提供する。  【解決手段】運転者により運転される移動体２の移動情報を挙動データとして記録可能な挙動データ収集装置３と、挙動データ収集装置３により記録された挙動データを解析する挙動データ解析装置４とを備え、挙動データ解析装置４は、挙動データから算出した移動体２に生じたイベントの度合いから運転者の運転を評価し、その評価結果に基づいて挙動データの解析処理方法を変更する挙動データ解析システム１。【選択図】図１
2018022220.tif 000002
【特許請求の範囲】
【請求項１】
運転される移動体の移動情報を挙動データとして記録可能な挙動データ収集装置と、
前記挙動データ収集装置により記録された挙動データを解析する挙動データ解析装置とを備え、
前記挙動データ解析装置は、前記挙動データから算出した前記移動体に生じたイベントの度合いから前記移動体の運転を評価し、その評価結果に基づいて前記挙動データの解析処理方法を変更する挙動データ解析システム。
【請求項２】
請求項１記載の挙動データ解析システムにおいて、
前記挙動データ収集装置は撮像装置を有することを特徴とする挙動データ解析システム。
【請求項３】
請求項１または２記載の挙動データ解析システムにおいて、
前記イベントが急制動であり、前記挙動データ解析装置は所定時間内における前記急制動の回数に基づいて前記挙動データの解析処理方法を変更することを特徴とする挙動データ解析システム。
【請求項４】
請求項１または２記載の挙動データ解析システムにおいて、
前記イベントが急ハンドルであり、前記挙動データ解析装置は所定時間内における前記急制動の回数に基づいて前記挙動データの解析処理方法を変更することを特徴とする挙動データ解析システム。
【請求項５】
請求項３または４記載の挙動データ解析システムにおいて、
前記挙動データが前記移動体の位置データを含み、前記挙動データ解析装置は前記位置データに基づいて前記挙動データの解析処理方法を変更することを特徴とする挙動データ解析システム。
【請求項６】
運転される移動体の移動情報である挙動データから前記移動体に生じたイベントを算出し、算出した前記イベントの度合いから前記移動体の運転を評価し、その評価結果に基づいて前記挙動データの解析処理方法を変更する挙動データ解析装置。
【請求項７】
運転される移動体の移動情報を挙動データとして記録する第１の工程と、前記挙動データに基づいて前記移動体に生じたイベントの度合いより前記移動体の運転を評価する第２の工程と、前記評価が所定の閾値以上であるか否かを判定する第３の工程とを行い、前記評価が所定の閾値以上である場合には画像認識処理を行った後に画像データを含めて再度運転を評価する第４の工程を行う挙動データ解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、挙動データ解析システム、挙動データ解析装置、挙動データ解析方法に関する。
【背景技術】
【０００２】
ドライブレコーダ等の撮像装置を車両に搭載し、撮像装置より得られた加速度や位置情報、画像データ等を解析して運転の評価を行う挙動データ解析システムが知られている。
このような挙動データ解析システムの一つとして、運転評価の労力を低減して評価を継続的に行うため、画像認識により評価の基準対象を自動的に抽出し、抽出した部分のみを評価者に提示する挙動データ解析システムが提案されている（例えば「特許文献１」参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし従来の画像データを画像認識によって解析する挙動データ解析システムでは、画像認識の処理の負荷が大きすぎて、処理時間が極めて長くなってしまうという問題点がある。
本発明は、上述した問題点を解決し、画像認識の処理量を減少させて処理時間の短縮を図ることが可能な挙動データ解析システムの提供を目的とする。
【課題を解決するための手段】
【０００４】
本発明は、運転される移動体の移動情報を挙動データとして記録可能な挙動データ収集装置と、前記挙動データ収集装置により記録された挙動データを解析する挙動データ解析装置とを備え、前記挙動データ解析装置は、前記挙動データから算出した前記移動体に生じたイベントの度合いから前記移動体の運転を評価し、その評価結果に基づいて前記挙動データの解析処理方法を変更することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、画像認識の処理量を従来に比して減らすことができ、画像処理の負荷を低減することにより処理時間を短縮することができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態を適用した挙動データ解析システムのブロック図である。
【図２】本発明の一実施形態における挙動データ解析方法のフローチャートである。
【図３】本発明の一実施形態において解析される日本の信号機を示す概略図である。
【図４】本発明の一実施形態において解析される米国の信号機を示す概略図である。
【図５】本発明の一実施形態において解析される信号機の色を説明する概略図である。
【図６】本発明の一実施形態に用いられる標識検知部のブロック図である。
【図７】本発明の一実施形態における画像処理を説明するフローチャートである。
【図８】本発明の一実施形態における一時停止検知のブロック図である。
【図９】本発明の一実施形態における一時停止検知を説明する概略図である。
【図１０】本発明の一実施形態における一時停止検知を説明する概略図である。
【図１１】本発明の一実施形態における速度超過検知のブロック図である。
【図１２】本発明の一実施形態における速度超過検知を説明する概略図である。
【図１３】本発明の一実施形態における速度超過検知を説明する概略図である。
【図１４】本発明の第２及び第３の実施形態に用いられる挙動データ解析システムのブロック図である。
【図１５】本発明の第２の実施形態における挙動データ解析方法のフローチャートである。
【図１６】本発明の第３の実施形態における挙動データ解析方法のフローチャートである。
【発明を実施するための形態】
【０００７】
図１は、本発明の第１の実施形態を適用可能な挙動データ解析ステムのブロック図を示している。同図において挙動データ解析システム１は、移動体としての車両２に取り付けられ車両２からの画像を記録する挙動データ収集装置としての撮像装置３、周知の構成であるパーソナルコンピュータ（以下ＰＣとする）４、サーバ５を備えている。
撮像装置３には、撮像素子３ａ、ＧＰＳ３ｂ、加速度センサ３ｃ等のセンサ群が内蔵されており、各センサより挙動データとして画像情報、位置情報、加速度情報を取得可能であり、取得された各情報は記憶部３ｄに記憶される。撮像装置３は、ドライブレコーダのように画像を記録する機能を有していてもよい。
【０００８】
車両２からも、車両２の挙動に関する情報を取得することができる。車両２の挙動に関する情報としては、例えばアクセル開度、ブレーキのオンオフ及び強度、ステアリングの角度、ウインカのオンオフ等の情報が挙げられ、これ等の情報も挙動データとして記憶部３ｄに記憶される。記憶部３ｄにはＳＤカード等の記憶媒体６が接続可能であり、記憶部３ｄに記憶された各種データは記憶媒体６に記録することが可能である。
【０００９】
車両２の運転者は、走行を終えて車両２を降車する際に、撮像装置３から記憶部３ｄに接続された記憶媒体６を取り外し、車両２の外部に持ち出すことが可能である。記憶媒体６に記憶されたデータは、ＰＣ４に接続されたＳＤカードリーダ等の読取装置７を介してＰＣ４に取り込まれる。
挙動データ解析装置として機能するＰＣ４にはデータ解析用のソフトウェアが処理部４ａとして実装されており、処理部４ａは画像認識を含む各種処理を行って運転者による車両２の運転における危険度を分析する。処理された結果は記憶部４ｂに記憶され、所定のタイミングで出力部４ｃを介して分析結果がレポートとして出力される。
【００１０】
処理部４ａの具体的な処理動作を図２に示す。処理部４ａは、先ずＧＰＳ３ｂ、加速度センサ３ｃから送られた位置データ及び加速度データに基づいて運転の危険度を評価する（ＳＴ０１）。ここでの具体的な評価内容は、例えば前後方向の加速度を計測して所定の閾値を超えた場合に急制動と判断し、この急制動の回数を計測するといったことが挙げられる。同様に、左右方向の加速度を計測して急ハンドルの回数を計測することも可能である。
位置データを用いた評価では、移動距離から速度を算出して速度を出しすぎていないかを評価することや、一時停止標識のある交差点の位置情報を持った地図データベースと組み合わせることにより一時不停止の回数をカウントすること等が挙げられる。
【００１１】
上述の評価結果を数値化して、運転の危険度が閾値以上であるか否かを判断する（ＳＴ０２）。閾値以下であれば、運転は安全であったと判断して処理を終了する。閾値以上であればさらに詳細な評価が必要であると判断し、画像データに対して画像認識処理を行った後（ＳＴ０３）、加速度データ、位置データ、画像データに基づいて運転評価を行う（ＳＴ０４）。画像認識は、具体的には信号機認識、標識認識、車線認識、前方車両認識等である。画像認識の具体例について以下に説明する。
【００１２】
先ず、信号機の認識について説明する。信号機を認識する目的は、交通信号を検出して運転者に対する警告や運転の質評価を行うことにより安全運転を支援することである。例えば、信号機検出結果を用い、運転者の信号無視や急発進を検出することにより、運転者に警告を行うことができると共に運転の質評価を行うことができる。
【００１３】
図３は日本国内の信号機の例を、図４は米国内の信号機の例をそれぞれ示している。
図３及び図４に示すように、信号機の色及び形状は多様である。日本国内の信号機は、白熱光源のものとＬＥＤ光源のものとがあり、光源が異なるとその色合いも異なってくる。具体的には、色の鮮やかさ、画素の色分布、背景色の違いによる映り込み等が挙げられる。また、図３に示す日本国内の信号機の色と、図４に示す米国内の信号機の色とは互いに異なっている。信号機の検知を行う場合には、色情報の多様な変化に対応する必要がある。
【００１４】
また、日本国内と米国内とでは、信号機の形状も異なっている。図３に示した日本国内の信号機は基本的に外形が長円形であるが、図４に示した米国内の信号機は基本的に外形が四角形である。さらに、日本国内の信号機は横方向に各色が配置されているが、米国内の信号機は縦方向に各色が配置されている。大きさは日本国内の信号機よりも米国内の信号機の方が小さく、輝度は日本国内の信号機よりも米国内の信号機の方が明るい。
また、晴天と雨天、朝方と夕方等の変化により、信号機の色と形状が異なる。さらに、カメラの自動露光調整、自動色調整（ＡＷＢ）機能により信号機の結像が異なり、これにより色と形状が変化する。
上述のように、多様な信号機の色と形状が存在することにより、高精度な信号機認識は困難な課題であった。
【００１５】
信号機の検出方法として、信号機の色と形状特性を用いて信号機の認識処理を行う。図３（ａ）、（ｂ）、（ｃ）及び図４（ａ）、（ｂ）、（ｃ）に示すように赤、黄、青信号機の形状は円形であり、図３（ｄ）、（ｅ）、（ｆ）及び図４（ｄ）に示すように矢印信号の形状は矢印形状である。
ここで、信号機の全体形状を用いて信号を認識する方法も考えられるが、信号の形状は多様であると共に撮影の角度によっては形状が変化し、また距離に応じて大きさや解像度も変化する。このため、輝度画像のみでの信号形状の認識は困難であると共に、背景と重なると誤認識が増加するという問題点もある。
そのため、色と形状情報を用いて信号を認識する方法を採用する。信号の色情報を用いて信号画像の候補領域を抽出し、抽出した信号候補領域に対して形状認識を行う。
【００１６】
ここで、信号認識と候補領域抽出について説明する。
信号機の色を用いて撮像装置３により入力した画像の信号候補領域を抽出するが、信号機の画素と信号機以外の画素とを分離するときに異なる色交換によって分離性能が異なる。
先ず、車載カメラから入力した画像信号のＲＧＢ値をそのまま用いて信号画像とその他の画像とを分離する。次に、信号画像とその他の画像とのデータをｒｇｂ空間に変換し、信号画素とその他の画素との分離性能を調べる。ここで、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）の変換式を使用する。
さらに（Ｒ／Ｇ，Ｇ／Ｂ）の二次元色空間に変換し、信号画素とその他の画素とを分離し、最後にＲＧＢ画素をＹＵＶ色空間に変換し、信号画素とその他の画素との分離性能を調べた。ここで、ＲＧＢとＹＵＶとの変換は以下の式を用いる。
【００１７】
【数１】
2018022220.tif 000003
【００１８】
上述により、信号画素とその他の画素との分離が可能である。ここで、ＹＵＶ色空間を用い信号機候補領域を抽出する事例を説明する。
入力した信号の画像サンプルをＲＧＢ色空間からＹＵＶ色空間に変換し、日本国内の信号機に用いられている赤、黄、青信号のＵＶ空間の分布を図５に示す。図５において、縦軸はＶを、横軸はＵをそれぞれ示している。
図５から明らかなように、青信号と赤及び黄信号とはそれぞれの画素分布が分離しているが、赤信号と黄信号とはそれぞれの画素分布の一部が重なってしまう。
【００１９】
次に、信号機の画素抽出について説明する。図５に示すように、ＵＶ色空間では閾値処理により信号画素候補の抽出を行うため、事前に日本国内及び米国内の信号機画像サンプルを集め、各信号画素の色分布を調査して色範囲の閾値を決定しておく。ＵとＶのそれぞれの最小値と最大値とを設けることにより信号画素を抽出する。赤、黄、青のそれぞれのＵｍｉｎ、Ｕｍａｘ、Ｖｍｉｎ、Ｖｍａｘをそれぞれ設定し、また信号ではない画素と重ならないように閾値を決定する。ここでは、ＹＵＶ色空間の閾値処理で信号画素候補領域を抽出する。本形態では、ＵＶ色空間での信号画像抽出方法を示したが、他の色空間で信号画素を検知してもよい。
【００２０】
次に、画素膨張処理による信号候補領域抽出について説明する。上述したＵＶ色空間での閾値処理において、抽出した信号画素は不連続になる場合がある。そこで、信号画素の膨張処理により画素面積を拡張して信号画素を連続させる。本形態では、信号画素の１画素に対して縦横７画素膨張処理を行う。
次に、信号候補領域の面積閾値処理について説明する。赤色の看板や青色の看板等、信号機の色と同色の背景の物体は、信号候補領域として検知される。このため、信号画素の最小面積と最大面積とを閾値として設けることにより、広い面積の看板と小さな面積のからーノイズとを共に除去することができる。
【００２１】
次に、信号形状認識について説明する。上述した色情報を用いて信号の候補領域を抽出し、抽出した信号候補領域に対して信号機の形状認識を行う。これは、赤、黄、青信号の円形抽出と矢印信号の矢印認識とにより行われる。
【００２２】
先ず、信号の円形認識について説明する。赤、黄、青信号の形状認識は円形認識で行い、これはＨｏｕｇｈ変換（ハフ変換）により円抽出を行う。
次に、矢印信号の矢印認識について説明する。これは、青信号検知と同色で矢印信号の候補領域検知を行う。そして、検知した対象領域に対して矢印テンプレートマッチングにより矢印を検知して認識する。対象領域とテンプレート画像の画素差分平均値は、閾値よりも小さい場合に矢印信号が検知されると判断する。
【００２３】
次に、周辺情報による誤認識削減について説明する。
図３に示すように、日本国内の信号機では、赤信号が点灯するとき左側の青信号は暗く低輝度領域となる。同様に、黄信号が点灯するときは両側に低輝度領域が存在し、青信号が点灯するときは右側に低輝度領域が存在する。このような構成から、対象信号の周りに低輝度領域の画素平均値における閾値を設定し、対象領域の画素平均値が閾値を超えたい場合には誤認識として認識結果から削除する。
【００２４】
図４に示す米国内の信号機は縦方向に各色灯が配置されているため、赤信号が点灯するとき下側の青信号は暗く低輝度領域となる。黄信号が点灯するときは上下に低輝度領域が存在し、青信号が点灯するときは上側に低輝度領域が存在する。このような構成から、対象信号の周りに低輝度領域の画素平均値における閾値を設定し、対象領域の画素平均値が閾値を超えたい場合には誤認識として認識結果から削除する。
【００２５】
次に、撮像装置３の内部で行う車線検出のためのＰＣ４による白線検出アルゴリズムについて説明する。これは、車両２から左右方向にエッジを探索し、白線や道路端部等を検出するものであり、単純化するとエッジを検出してハフ変換により直線を検出する。
先ず、画面上の白線が存在する画面下端をＲＯＩ領域として設定する。次に、ノイズを減らすためボケ画像（画面中心から左右方向に１次ＩＩＲ−ＬＰＦをかけて画像をボケさせる）を作成する。そして、ボケ画像に対して車両中心線より左にある一定以上のスレッショルドを有する一つ目のエッジを探索し、探索された点の周辺における一定領域を道路端部または白線の候補点としてマークする。
【００２６】
次に、候補点から確率的ハフ変換により道路端部を検出する。なお、ハフ変換の投票数が一定以下の場合や長さが一定以下の場合には、直線が検出できなかったという判断を行う。また、画面左右の領域に分けて適切な角度範囲以外に見つけた直線をフィルタリングする。
次に、左右それぞれの領域について、見つかった道路端部の傾き及び切片を時間軸でＬＰＦ（１次ＩＩＲ−ＬＰＦ）をかける。また、過去のフレームの結果と比較し、大きくずれている場合には信頼度が低いと判断して除外する。そして、一定以上の数を連続したフレームで見つけていれば、信頼度が高いとして採用する。
【００２７】
次に、道路端部の先端に関して二次関数の係数を変化させ、曲率を持たせて投票を行って最も特徴点との合致スコアが高い曲げ方（係数）を採用する。なお、採用した曲率をｌとｒとでそれぞれ時間軸に対して１次ＩＩＲ−ＬＰＦをかけて平滑化を行う。
最後に、検出した道路下端の座標変動をチェックする。一定速度以上でかつ道路下端の座標が安定した状態より変動した場合には、車線変更と判定する。
【００２８】
次に、ＰＣ４による道路標識検知処理について説明する。図６において、撮像装置３は通常、車両２のフロントガラス内側等に装着されており、車両２の進行方向前方の画像を撮影する。画像入力部８は、撮像装置３で撮影された映像を画像処理可能なデジタル画像として取り込む。画像処理部９は、後述の認識処理を行うために必要な補正や変換、フィルタといった全面画像処理を行う。注目領域抽出部１０は、全面画像から認識対象である標識を探索する領域を設定する。
【００２９】
テンプレート画像保持部１１は、予め決定されたターゲットの標識画像群をテンプレート画像としてまとめて読み込むと共に保持する。マッチング処理部１２は、上述した注目領域画像からテンプレート画像を用いてマッチングを行う。マッチングの方式は、画素毎の輝度値比較や形状特徴を用いたマッチング等、様々な方式が考えられる。
道路標識判定部１３では、予め設定された基準値を用いてマッチング結果の評価を行い、得られた評価結果から道路標識の検知判定を行う。そして最後に結果出力部１４より判定結果である道路標識検知結果を出力する。出力先はシステムによって異なるが、例えば表示ディスプレイに検知結果を表示する等である。
【００３０】
図７を用いて検知処理動作を説明する。先ず、前処理としてテンプレート画像の読み込みを行う（ＳＴ１１）。これは、撮像装置３からの画像入力開始前の初期化処理の中で行い、以降は読み込まれた画像をテンプレート画像保持部１１に保持する。読み込むテンプレート画像は、検知対象の標識に応じた画像が対象となる。
次に、撮像装置３の撮影画像を画像入力部９に入力する。撮像装置３からは一定間隔（フレームレート）で画像が出力されるので、その都度入力処理を行う（ＳＴ１２）。入力した画像には、画像処理部９において歪み補正やフィルタ等の画像処理、グレースケール変換等の、後の認識処理に適した画像処理が行われる（ＳＴ１３）。
【００３１】
画像の視野範囲において、検知対象の標識が出現する領域が予め絞り込める場合は、注目領域（ＲＯＩ）として画像の抽出を行いグレー変換等の必要な画像処理を施す（ＳＴ１４）。次に、注目領域画像とテンプレート画像とのマッチング処理をマッチング処理部１２にて行う（ＳＴ１５）。使用するテンプレート画像はステップＳＴ１１でテンプレート画像保持部１１に保持している検知対象の標識画像全てを順にマッチングさせる。ここでいうマッチングとは、テンプレート画像と検査画像（ＲＯＩ）とのそれぞれの特徴を比較することである。本実施形態では、正規化相互相関を用いた場合で、以下の式により相関値を計算する（ＳＴ１６）。また、ここで使用するテンプレート画像は、標識部の全体が含まれる画像である。
【００３２】
【数２】
2018022220.tif 000004
【００３３】
マッチング結果は、最も高かった相関値が予め設定した基準値を超えたか否かで道路標識判定部１３が検知判定を行う（ＳＴ１７）。相関値を超えたテンプレート画像がなかった場合は検知なし、相関値を超えるテンプレート画像が一つあった場合にはそのテンプレート画像の標識を検知したことを結果出力部１４が出力する（ＳＴ１８）。基準値を超えるテンプレート画像が複数あった場合は、最大値のテンプレートを選択する等の処理を行う。判定後は次の画像検査に移るため、ステップＳＴ１２の処理に戻る。
上述した構成のうち、画像入力部８、画像処理部９、注目領域抽出部１０、テンプレート画像保持部１１、マッチング処理部１２、道路標識判定部１３、結果出力部１４により標識検知部１５が構成されている。
ＰＣ４は、上述した処理動作に基づく画像認識結果を用い、一時不停止の検出や車線変更の検出、赤信号無視の検出を行う。
【００３４】
次に、一時停止無視検出について説明する。図８は、一時停止無視検出の処理に用いられるブロック図を示している。この一時停止無視検出には、上述した標識検知部１５及び一時停止検知部１６が用いられる。一時停止検知部１６には、車両２から送られた速度データ及び入力画像時間情報が入力される。入力画像時間情報は、撮像装置３による画像入力時の時間データである。一時停止検知部１６は、速度データと入力画像時間情報とに基づいて一時停止無視のイベント検知を行う。
【００３５】
図９は一時停止標識検知後に車両２が停止した場合を示し、図１０は一時停止標識を無視して車両２が停止しなかった場合を示す。
車両停止をチェックする期間は、一時停止標識検知からパラメータの「停止探索時間」で設定された期間であり、この期間に車両速度がパラメータの「停止見なし速度」を下回った場合に停止したと判断する。同様に、停止探索時間内に停止見なし速度を下回らなかった場合に停止しなかったと判断し、一時停止検知部１６は一時停止無視のイベント検知フラグを出力する。
一時停止検知部１６から送られたイベント検知フラグは、標識検知部１５から送られた標識検知フラグと共にＰＣ４に入力される。各フラグを受け取ったＰＣ４は、車両２に一時停止無視があったか否かを判断する。
【００３６】
次に、赤信号無視について説明する。これは、赤信号を認識した結果を用いて赤信号無視イベントを検知する。撮像装置３によって赤信号が検知されたとき、車両２が一定の速度以上で赤信号道路領域を通過する場合に信号無視として検知する。このとき、車両２は赤信号に近付いて停止線を越えてしまうので、検知した信号領域のサイズは一定のサイズ閾値よりも大きい。
【００３７】
次に、車線変更検出について説明する。４０ｋｍ／ｈ以上の速度でかつ両方の白線が有効のとき（低速では細い道等ですれ違いを行うため斜線を跨ぐ走行をすることがあるために除外する）、下側端部に検出した白線のＸ座標の一つ前のフレームとの差分に関してＬＰＦ（ローパスフィルタ）をかけた後のスレッショルド以上のとき、車線変更を行ったと検出する。４０ｋｍ／ｈ以下または白線が無効の場合は車線安定を待つ。
上述の方式で車線変更を検出し、前回の車線変更からどのくらいの期間で再度車線変更を行ったかに応じて、例えばイベントフラグ値０：イベントなし（基本）、１：９秒以内に車線変更、２：６秒以内に車線変更、３：３秒以内に車線変更といった条件フラグを立てる。このフラグはサーバ５に転送され、これにより頻繁に車線変更を繰り返す危険運転を検出する。
【００３８】
次に、速度超過検出について説明する。図１１は、速度超過検出の処理に用いられるブロック図を示している。この一時停止無視検出には、上述した標識検知部１５及び速度超過検知部１７が用いられる。速度超過検知部１７には、車両２から送られた速度データ及び入力画像時間情報と、標識検知部１５から送られた標識検知フラグとが入力される。速度超過検知部１７は、速度データと入力画像時間情報とに基づいて一時停止無視のイベント検知を行う。
【００３９】
図１２は速度標識検知後に車両２が速度超過をしなかった場合を示し、図１３は速度標識検知後に車両２が速度超過をした場合を示す。
速度超過をチェックする期間は、制限速度標識検知からパラメータの「速度計測時間」で設定された期間であり、この期間に車両速度がパラメータの「制限速度」を上回った場合に速度超過があったと判断する。同様に、速度計測時間内に制限速度を上回らなかった場合に速度超過がなかったと判断する。速度超過検知部１７は、速度超過があったと判断した場合に速度超過ありのイベント検知フラグを出力する。
速度超過検知部１７から送られたイベント検知フラグは、標識検知部１５から送られた検知制限速度フラグと共にＰＣ４に入力される。各フラグを受け取ったＰＣ４は、車両２に速度超過があったか否かを判断する。
【００４０】
上述したように、本発明の第１の実施形態では、図２に示したように先ず加速度データ及び位置データによる運転評価を行い、その後、運転の危険度が閾値以上である場合に画像認識処理を行ってさらに運転評価を行っている。このように、運転評価を２段階に分けて行うことにより、処理負荷が高い画像認識を極力減らすことができ、画像認識の処理量を減少させて処理時間の短縮を図ることが可能な挙動データ解析システムを提供することができる。
【００４１】
第１の実施形態では、画像データ、位置データ、加速度データをＳＤカード等の記憶媒体６によってＰＣ４に転送していたが、図１４に示すように３ＧやＬＴＥ等の携帯用通信手段を用いて直接サーバ５に転送する場合も考えられる。この場合、サーバ５はＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、外部Ｉ／Ｏ等を備えた処理部５ａを備えており、挙動データ解析装置として機能する。この構成では、通信するデータ量に応じて通信料金が発生するため、通信するデータ量は極力減らす必要がある。以下、この構成における処理動作を第２の実施形態として図１５に示すフローチャートに基づいて説明する。
【００４２】
先ず、加速度データ及び位置データのリクエストをサーバ５側から撮像装置３側に向けて送信し（ＳＴ２１）、撮像装置３はそのリクエストに応じてサーバ５にデータを送信する（ＳＴ２２）。ここで、加速度データ及び位置データについてはデータ量が少ないため、常時送信していてもよい。その後、サーバ５側で加速度データ及び位置データの解析を行い運転危険度の評価を行う（ＳＴ２３）。危険度が閾値以下の場合には、安全運転であると判断して処理を終了する。
【００４３】
ステップＳＴ２３で危険度が閾値以上であった場合には、サーバ５側から撮像装置３側に画像データの送信リクエストを行い（ＳＴ２４）、撮像装置３はリクエストに応じて画像データをサーバ５に送信する（ＳＴ２５）。
加速度データ及び位置データを解析する際に、運転の評価のみではなく急制動、急ハンドル、スピードの出し過ぎ等の、後で画像認識を行うために使用したい危険な場面を予め抽出しておくことにより、画像データの送信リクエストに必要な総データ時間を指定することも可能である。これにより、特に必要な場面のみを抽出して画像データの容量を減らすことができる。このように、サーバ５側で受信した画像に対して画像認識処理を行い（ＳＴ２６）、加速度データ及び位置データによる運転評価を行う（ＳＴ２７）。
この構成により、画像認識の処理量を従来に比して減らすことができ、画像処理の負荷を低減することにより処理時間を短縮することができる。
【００４４】
第２の実施形態では、運転の危険度を評価して評価値が閾値以下の場合には画像認識処理を行わない構成としたが、評価値が低い（危険運転を行う）運転者の場合は全ての運転を画像認識処理し、評価値が高い（安全運転を行う）運転者の場合には急制動をかけた場合のみ画像認識処理を行う構成としてもよい。これは、過去に事故を起こしたことがある（危険運転を行った）運転者は急制動の回数が多いということが実験的に判明したことから、加速度センサ３ｃにより急制動を検出してその回数や行い方から画像処理方法を変更するものである。以下、この処理動作を第３の実施形態として説明する。
【００４５】
第３の実施形態における運転評価は、急制動の回数または急制動の仕方に基づいて行う、急制動は、事故寸前のヒヤリハット事例の際に生じ易く、一般的には事故率と相関している。すなわち急制動が多い運転者は危険運転の傾向があるといえる。そこで、本実施形態では所定時間または所定距離あたりの急制動回数（例えば１時間に何回急制動をかけたか）や走行距離または走行時間に対する急制動のタイミング（例えば０〜５０ｋｍ区間に比して５０〜１００ｋｍ区間で急制動回数が多いのは疲れにより集中力が落ちるタイプであることを示す）を用いて運転評価を行う。
急制動の検出は、速度センサにより速度の時間変化から加速度を調べる方法、ＧＰＳの位置情報の変化から加速度を調べる方法、加速度センサにより加速度を調べる方法等があるが、本実施形態では加速度センサ３ｃにより加速度を検出する場合を説明する。
【００４６】
第３の実施形態における処理動作を図１６に示すフローチャートに基づいて説明する。
先ず、サーバ５は撮像装置３によって収集された加速度データ、位置データ、画像データを取得する（ＳＴ３１）。各データには、記録時の時刻も記録されている。
次に、サーバ５は加速度データから０．３Ｇ（１Ｇ＝９．８ｍ／ｓ２とする）以上の加速度で減速した回数（急制動回数）を算出し（ＳＴ３２）、記録時刻から所定時間（例えば１時間）毎の急制動回数を算出する（ＳＴ３３）。なお、本実施形態では急制動を０．３Ｇ以上の加速度による減速としたが、この値は任意に設定可能である。
【００４７】
次に、算出した所定時間毎の急制動回数が予め設定された所定回数を超えているか否かが判断され（ＳＴ３４）、所定回数を超えている場合には記録されている全画像データを解析する（ＳＴ３５）。所定回数を超えていない場合には、記録されている画像データのうち急制動が記録された時刻周辺の画像データのみを解析する（ＳＴ３６）。
上述の構成により、第２の実施形態よりも細かな条件で運転者の危険度を判別することができ、多種多様な危険度に応じた解析用の画像データをその都度適切に処理することにより、運転者に応じた運転評価を短時間で行うことができる。
【００４８】
第３の実施形態において、急制動の発生率は地形によって左右される。例えば、土地が広く道路も広い地域では急制動は発生しにくく、市街地のような道路が狭く人が飛び出し易い地域では急制動が発生し易い。
そこで、予めサーバ５あるいは撮像装置３に記録されている地図データと取得した位置データとを用い、急制動が発生した地点を算出してその地点が急制動多発地域か否かを判定し、急制動多発地域であれば急制動の回数に予め定めた係数を乗じる構成としてもよい。例えば、市街地の１車線道路を走行している場合には急制動回数に係数０．５を乗じて計数し、市街地ではない２車線道路を走行している場合には急制動回数に計数１を乗じて計数して、最終的な急制動回数が所定値を超えたか否かにより処理方法を変更してもよい。この構成により、地域性により異なる急制動発生率を考慮した運転評価を行うことができる。
【００４９】
第３の実施形態において、位置情報を用いて図１６のステップＳＴ３４に示す所定回数を変更する構成としてもよい。例えば、１車線道路を走行している割合が８割を占めている場合には所定回数を下げ、２車線道路を走行している割合が８割を占めている場合には所定回数を上げる構成とする。これにより、より細かな運転条件に応じた運転評価を行うことができる。
【００５０】
また、撮像装置３として用いられるドライビングレコーダは長期記録を可能とするために上書きが可能であり、衝突や運転者が停止スイッチを押下することにより上書きが行われなくなる。そこで、ドライビングレコーダに記録された急制動回数が所定値よりも多い場合には画像データをサーバ５に送信し、急制動回数が所定値よりも少ない場合には画像データをサーバ５に送信することなく上書きする構成としてもよい。
さらに、急制動回数が多い場合には画像データをそのまま保存し、急制動回数が少ない場合には画像データを圧縮して保存する構成としてもよい。
【００５１】
第３の実施形態では、車両２に生じたイベントの度合いとして所定時間における急制動の回数を計測し、これに基づいて解析処理である運転評価方法を変更したが、車両２に生じたイベントとしては他のものを用いてもよい。イベントの度合いとしては、所定時間における急ハンドルの回数、所定時間における車線変更の回数等が挙げられる。
また、急制動の回数が所定値よりも多い場合には白線検知による白線無視の有無の解析や信号無視の有無の解析、一時停止無視の有無の解析を行い、急制動の回数が所定値よりも少ない場合には一時停止無視の有無の解析のみを行う構成としてもよい。これにより、解析の種類を異ならせて解析の必要が薄いデータは解析を除外することにより、処理の負荷を軽減することができる。
【００５２】
上述した第１ないし第３の各実施形態では、移動体である車両２を運転者が運転する際の挙動データ解析システム及び挙動データ解析装置及び挙動データ解析方法を説明したが、本発明が適用可能な範囲は運転者により運転される移動体には限定されない。本発明が適用可能な移動体は、例えば遠隔操作により運転される移動体、あるいは情報処理装置等により機械制御で運転される移動体、すなわち自動運転による移動体であってもよい。
【００５３】
以上、本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定しない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を例示したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。
【符号の説明】
【００５４】
１  挙動データ解析システム
２  移動体（車両）
３  挙動データ収集装置（撮像装置）
４  挙動データ解析装置（ＰＣ）
５  挙動データ解析装置（サーバ）
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２０１３−２０６０３１号公報
【図１】
2018022220.tif 000005
【図２】
2018022220.tif 000006
【図３】
2018022220.tif 000007
【図４】
2018022220.tif 000008
【図５】
2018022220.tif 000009
【図６】
2018022220.tif 000010
【図７】
2018022220.tif 000011
【図８】
2018022220.tif 000012
【図９】
2018022220.tif 000013
【図１０】
2018022220.tif 000014
【図１１】
2018022220.tif 000015
【図１２】
2018022220.tif 000016
【図１３】
2018022220.tif 000017
【図１４】
2018022220.tif 000018
【図１５】
2018022220.tif 000019
【図１６】
2018022220.tif 000020