(57)【要約】【課題】  音声情報を生じさせた事象を自動的に解析することができ、音声を生じさせた事象の種類に応じて記録情報を分類することのできる運転情報記録装置および運転情報処理プログラムを提供することである。【解決手段】  運転情報記録装置は、撮像部１２と、画像記憶部１３と、音声情報取得部１４と、音声解析部１６と、情報分類部１７と、分類結果記録部１８とを含んで構成される。撮像部１２は、車両に搭載され、予め定める角度範囲に位置する対象を撮像する。画像記憶部１３は、撮像部１２によって撮像された画像情報を記憶する。音声情報取得部１４は、車両に搭載され、周囲の音声情報を取得する。音声解析部１６は、音声情報に含まれる音量情報の時間的変化を解析する。情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類する。分類結果記録部１８は、情報分類部１７による分類結果を記録する。【選択図】      図１
2010287190.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、撮像対象を撮像する撮像部と、
前記撮像部によって撮像された画像情報を記憶する画像記憶部と、
前記車両に搭載され、少なくとも画像撮影時の周囲の音声情報を取得する音声情報取得部と、
前記音声情報を解析する音声解析部と、
前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する情報分類部とを含むことを特徴とする運転情報記録装置。
【請求項２】
前記音声解析部は、前記音声情報取得部が取得した音声情報を周波数で解析して複数の周波数帯域に分割し、
前記情報分類部は、前記複数の周波数帯域のうちの一部または全部における音声情報に含まれる音量情報の時間的変化の解析結果に基づいて画像情報を分類することを特徴とする請求項１に記載の運転情報記録装置。
【請求項３】
前記音声解析部は、前記音声情報取得部が取得した音声情報に含まれる、前記音量情報の時間的変化と予め設定された音声パターンとを比較して解析することを特徴とする請求項１または２に記載の運転情報記録装置。
【請求項４】
前記撮像部が撮像した画像情報を表示する表示部をさらに含み、
前記表示部は、
撮像部が撮像した画像情報の少なくとも一部を映像として表示し、
前記分類結果を前記映像とともに表示することを特徴とする請求項１〜３のいずれか１つに記載の運転情報記録装置。
【請求項５】
コンピュータを、
撮像対象を撮像する撮像部からの画像情報を記憶する画像記憶部、
少なくとも画像撮影時の周囲の音声情報を解析する音声解析部、および
前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する音声分類部として機能させることを特徴とする運転情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両およびその運転に関する情報を記録する運転情報記録装置および運転情報処理プログラムに関する。
【背景技術】
【０００２】
第１の従来技術として、加速度が閾値を超えた場合に、音声認識を行うことによって、事故音声が含まれているかどうかを判断する音声認識部を有するドライブレコーダが知られている（たとえば特許文献１参照）。
【０００３】
また第２の従来技術として、音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段とを具備する突発事象自動記録装置が知られる（たとえば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９９２０４号公報
【特許文献２】特開２００３−２０２２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
第１の従来技術では、事故音声に含まれる音声情報および所定周波数帯域の信号に含まれる音声情報が、どのような事象に基づく音声情報であるのかは、人間が判断しなければならないという問題点がある。
【０００６】
第２の従来技術では、音声情報に含まれる音声の大きさによって音声情報以外の、たとえば映像情報などの記録情報を分類することはできても、音声を生じさせた事象の種類に応じて記録情報を分類することができないという問題点がある。
【０００７】
本発明の目的は、音声情報を生じさせた事象を自動的に解析することができ、音声を生じさせた事象の種類に応じて記録情報を分類することのできる運転情報記録装置および運転情報処理プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明（１）に従えば、運転情報記録装置は、撮像部と、画像記憶部と、音声情報取得部と、音声解析部と、情報分類部とを含んで構成される。撮像部は、車両に搭載され、撮像対象を撮像する。画像記憶部は、撮像部によって撮像された画像情報を記憶する。音声情報取得部は、車両に搭載され、少なくとも画像撮影時周囲の音声情報を取得する。音声解析部は、音声情報を解析する。情報分類部は、音声解析部の解析結果に基づいて画像記憶部に記憶された画像情報を分類する。分類結果記録部は、情報分類部による分類結果を記録する。
【０００９】
また本発明（５）に従えば、運転情報処理プログラムは、コンピュータを、画像記憶部、音声解析部、および音声分類部として機能させる。画像記憶部は、撮像対象を撮像する撮像部からの画像情報を記憶する。音声解析部は、少なくとも画像撮影時の周囲の音声情報を解析する。音声分類部は、前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する。
【発明の効果】
【００１０】
本発明（１）によれば、音声解析部は、音声情報を解析し、情報分類部は、音声解析部の解析結果に基づいて画像記憶部に記憶された画像情報を分類する。これによって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。
【００１１】
また本発明（５）によれば、運転情報処理プログラムは、コンピュータを、画像記憶部、音声解析部、および音声分類部として機能させる。これによって、運転情報記録装置を、コンピュータによって実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る運転情報記録装置の構成を表すブロック図である。
【図２】本発明の第１実施形態における音声解析部が出力する典型的な解析結果の一例を表す図である。
【図３】本発明の第１実施形態において解析の対象となる一般的な音量情報の一例を表す図である。
【図４】本発明の第１実施形態において表示部から出力される表示の一例を表す図である。
【図５】本発明の第１実施形態における運転情報記録方法の各操作段階を表すフローチャートである。
【図６】本発明の第２実施形態における情報分類工程の各段階を表すフローチャートである。
【図７】本発明の第３実施形態における運転情報記録方法の各操作段階を表すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。以下の説明においては、各形態に先行する形態ですでに説明している事項に対応している部分には同一の参照符を付し、重複する説明を略す場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。またそれぞれの実施形態は、本発明に係る技術を具体化するために例示するものであり、本発明の技術的範囲を限定するものではない。本発明に係る技術内容は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることが可能である。以下の説明は、運転情報記録装置１０および運転情報記録方法についての説明をも含む。
【００１４】
（第１実施形態）
図１は、本発明の第１実施形態に係る運転情報記録装置１０の構成を表すブロック図である。第１実施形態に係る運転情報記録装置１０は、車両およびその運転に関する情報を記録する装置である。運転情報記録方法は、運転情報記録装置１０を用いて、車両およびその運転の情報を記録する方法である。
【００１５】
運転情報記録装置は、撮像部１２と、画像記憶部１３と、音声情報取得部１４と、音声解析部１６と、情報分類部１７と、分類結果記録部１８とを含んで構成される。撮像部１２は、車両に搭載され、予め定める角度範囲に位置する対象を撮像する。画像記憶部１３は、撮像部１２によって撮像された画像情報を記憶する。音声情報取得部１４は、車両に搭載され、周囲の音声情報を取得する。音声解析部１６は、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を解析する。情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類する。分類結果記録部１８は、情報分類部１７による分類結果を記録する。
【００１６】
第１実施形態において、撮像部１２は、カメラ１９を有し、カメラ１９は、電荷結合素子（Charge Coupled Device, 略称「ＣＣＤ」）を備える。このカメラ１９は、車両の前方方向を撮影するために、たとえばルームミラー裏のフロントガラスに、図示外のブラケットを介して取付けられる。カメラ１９は車両前方に向けて固定される。運転情報記録装置１０では、車両に２つまたは３つのカメラ１９を設けることが可能であり、具体的には車室内の２つめのカメラ１９を撮影用カメラ１９とし、３つめのカメラ１９を車両後方の撮影用カメラ１９とすることも可能である。運転情報記録装置１０には、これらのカメラ１９の稼動および停止を切換えるための撮影スイッチが設けられる場合もある。
【００１７】
ただし他の実施形態では、カメラ１９は、受像のための素子として、ＣＭＯＳ（complementary metal oxide semiconductor）を含んで実現されてもよい。またカメラが撮像する範囲は、前後左右のみならず、上下の向きを含む構成としてもよい。
【００１８】
撮像部１２によって撮像される予め定める角度範囲は、カメラ１９の取付けられる位置およびカメラ１９の姿勢によって設定され、カメラ１９を含む撮像部１２は、その角度範囲に位置する対象を撮像する。撮像の対象は、カメラ１９に対して固定された物体、カメラ１９に対して相対的に移動する物体およびカメラ１９に入射する光を含む。
【００１９】
第１実施形態において車両には、加速度検出部２１が設けられる。加速度検出部２１は、撮像部１２および音声情報取得部１４が搭載される車両の加速度を検出する。具体的には、加速度検出部２１は、加速度を検出するＧセンサ２２を含む。Ｇセンサ２２は、車両の前後方向および左右方向に作用する加速度、いわゆるＧセンサ出力値を検出可能である。このＧセンサ出力値は、ベクトルとして出力されるので、向きと大きさとの情報を含む。車両の運転席に着座した乗務員の正面方向およびその後方を前後方向とし、車両に着座した乗務員の左および右方向を左右方向とする。前後方向および左右方向に直交する方向を上下方向とする。加速度検出部２１は、左右方向の加速度を検出してＧセンサ出力値を出力するＧセンサ２２と、前後方向の加速度を検出してＧセンサ出力値を出力するＧセンサ２２とを有する。これによって、左右方向の加速度と前後方向の加速度とは、互いに独立して検出されて記録される。本実施形態において、自車両の加速度を加速度検出部２１によって検出し、加速度を表す信号として出力する工程を、「加速度検出工程」と称する。
【００２０】
情報分類部１７は、加速度検出部２１の検出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。情報分類部１７は、前述のように音声解析部１６の解析結果にも基づいて画像情報を分類するので、複数の要素に基づいた分類を行う。音声解析部１６および情報分類部１７は、コンピュータの中央演算処理装置（central processing unit, 略称「ＣＰＵ」）によって実現され、本実施形態では、１つのＣＰＵ２４によって実現される。コンピュータは、このＣＰＵと、画像記憶部１３を含み、本実施形態ではさらに分類結果記録部もコンピュータの一部に含まれて実現される。
【００２１】
図２は、本発明の第１実施形態における音声解析部１６が出力する典型的な解析結果の一例を表す図である。図２において横軸は時間変化を表し、縦軸は音量を表す。図２（ａ）は、突発音声の音声情報に含まれる音量情報を表し、図２（ｂ）は、継続音声の音声情報に含まれる音量情報を表す。図２（ｃ）は、複合音声の音声情報に含まれる音量情報を表す。音声解析部１６は、音声情報が取得した音声情報を、音量情報の時間的変化に基づいて、突発音声と、継続音声と、複合音声とに解析する。
【００２２】
突発音声は、たとえば衝突などの事象によって生じる音声であって、１秒以内に最大音量に達し、その後、速やかに減衰する。継続音声は、たとえばブレーキによってロックしたタイヤと路面とのスリップ音、叫び声などの人声、車両の警笛音、車体と固定構造物との摩擦音などであって、およそ一定の音量に達した後、数百マイクロ秒（microseconds, 略号「μｓ」）〜数秒程度継続する。複合音声は、継続音声の後に引き続いて突発音声が発生するもので、たとえばタイヤのスリップ音の後に引き続いて衝突音が発生する場合などに観測される。複合音声は、事故によって生じる音声として典型的なものである。
【００２３】
継続音声の音量が減衰した後、突発音声が発生する場合には、それぞれ継続音声および突発音声として認識されるのに対し、継続音声と突発音声とが引き続いて発生する場合には、継続音声および突発音声のいずれか一方として解析できない。この場合に、複合音声としてパターン認識することによって、事故によって生じる音声の典型的な音声を、パターン認識することができる。
【００２４】
図３は、本発明の第１実施形態において解析の対象となる一般的な音量情報の一例を表す図である。音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻ｔ１，ｔ２とを求める。最大音量時刻ｔｍは、音声情報が取得した音声情報の音量情報が最大値Ｖ１となった時刻である。設定音量到達時刻ｔ１，ｔ２は、最大音量時刻ｔｍの前後の時刻において、音声情報取得部１４が取得した音声情報の音量情報が、設定音量値Ｖ２となる時刻である。設定音量値Ｖ２は、最大値Ｖ１に零以上１以下の予め定める実数を乗じた値である。本実施形態において前記予め定める実数は、０．５に設定されるけれども、この予め定める実数は、外部からの入力によって定められ、可変とすることも可能である。また設定音量値Ｖ２は、最大値Ｖ１に対する相対的な値としてではなく、絶対的な値として設定することも可能である。
【００２５】
さらに音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。前記予め定める実数を、０．５に設定することによって、時間間隔Ｔｉは、最大値Ｖ１を示す音量情報のピークに関して半値幅となる。音量情報が、一定の時定数で減衰すると近似できる場合には、半値幅を求めることによって、数学的な解析が容易になる。
【００２６】
図３に示すような解析の対象となる時間的範囲は、常時新たな範囲に更新が繰返される。事故が起こった場合には、左右方向および前後方向に関するＧセンサ出力値は、ベクトル和として加速度検出部２１から出力される。Ｇセンサが、左右方向および前後方向におけるＧセンサ出力値を、互いに独立した値として個別に出力する場合には、各Ｇセンサ出力値のベクトル和は、各Ｇセンサ出力値に基づいて、ＣＰＵによる計算によって求める構成としてもよい。前記加速度検出工程は、各Ｇセンサ出力値に基づいて、各Ｇセンサ出力値のベクトル和を出力する処理をも含むものとする。
【００２７】
このＧセンサ出力値のベクトル和の大きさが予め定める値を超えたことを検出することによって、およそ２０秒間の時間的範囲の情報が記録として残される。記録として残される情報は、音量情報を含む音声情報、画像情報、車両に生じた加速度の時間的変化を表す情報などを含む。たとえば車両に生じた加速度が予め定める加速度の値を超えて最大値ＧＭＡＸとなった時刻から８秒後に画像情報および音声情報の取得を停止することによって、全体としては衝突よりも１２秒前の時刻から衝突よりも８秒後の時刻までの情報が記録される。Ｇセンサ出力値についての前記予め定める値としては、たとえば０．４×９．８＝３．９２メートル毎秒毎秒（略号「ｍ／ｓ２」）とする。
【００２８】
図３には、解析の対象となる音量情報を示し、音量情報の時間的変化を表す音量変化曲線２６とともに、最大値Ｖ１、最大音量時刻ｔｍ、設定音量値Ｖ２および設定音量到達時刻ｔ１，ｔ２を示している。解析の対象となる時間的範囲の音声情報において、音量情報を解析する処理は、最大値検出段階と、最大音量時刻検出段階と、設定音量決定段階と、設定音量到達時刻検出段階と、時間間隔算出段階とを含む。最大値検出段階では、解析の対象となる時間的範囲において、音量情報の最大値Ｖ１を検出する。最大音量時刻検出段階では、音量情報が最大値Ｖ１となった時刻として最大音量時刻ｔｍを検出する。設定音量算出段階では、最大値Ｖ１に予め定める実数、本実施形態では０．５を乗ずることによって、設定音量値Ｖ２を決定する。
【００２９】
設定音量到達時刻検出段階では、最大音量時刻ｔｍよりも前の時刻において、音量情報が、設定音量値Ｖ２となる設定音量到達時刻のうち、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１を検出する。また最大音量時刻ｔｍよりも後の時刻において、音量情報が、設定音量値Ｖ２となる設定音量到達時刻のうち、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２を検出する。時間間隔算出段階では、最大音量時刻ｔｍよりも前の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との間の時間間隔Ｔｉを求める。
【００３０】
このようにして求めた時間間隔Ｔｉが大きければ大きいほど、突発音声よりも継続音声に近いと判断することができ、時間間隔Ｔｉが小さければ小さいほど、継続音声よりも突発音声に近いと判断することができる。さらに、最大音量時刻ｔｍよりも後の変化が、一定の時定数で減衰すると近似できる場合には、減衰速度によって音量情報の減衰を数値化して分析することが可能となる。この場合に、最大音量時刻ｔｍよりも後の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２と、最大音量時刻ｔｍとの時間差を「ｔ１／２」と置き、時定数を「ｋ」と置くと、前記時間差ｔ１／２と時定数ｋとの間には、
ｋ＝ｔ１／２／ｌｎ２                                              …（１）
の関係が成立つ。ｌｎはネピアの数を底とする自然対数であり、ｌｎ２≒０．６９３である。このような定量的な解析は、音声情報を生じさせた事象についての解析を意味し、事故などの要因の特定などに利用することができる。
【００３１】
第１実施形態では、突発音声および継続音声のそれぞれに対して音量情報の閾値を設定し、閾値を超える音量情報が含まれる場合に、情報分類部１７が「事故」または「非常事態」として分類を行う。複合音声についても、複合音声として認識された音量情報の継続音声の時間的領域と、突発音声の時間的領域において、それぞれに閾値を設定し、閾値を超える音量情報が含まれる場合に、情報分類部１７が突発音声および継続音声の場合と同様の分類を行う。
【００３２】
画像記憶部１３は、半導体メモリ、ハードディスク、コンパクトフラッシュ（登録商標）カード、ＳＤ−ＲＡＭ（synchronous dynamic random access memory）、ＳＤ（secure digital）カードなどのいずれかを含む。また画像記憶部１３は、１種類の記憶媒体２７を含んで実現されてもよく、複数種類の記憶媒体２７を含んで実現されてもよい。音声情報取得部１４は、マイク２８を含んで構成され、さらにアンプを含んでもよく、さらにアナログ−デジタル変換を行うアナログ−デジタル部を含んで構成されてもよい。第１実施形態において周囲の音声情報とは、具体的にはマイク２８の周辺の音声情報であり、車両内および車外において生じる音声のうち、マイク２８に到達する音声情報を意味する。
【００３３】
分類結果記録部１８は、半導体メモリ、ハードディスク、コンパクトフラッシュ（登録商標）カード、ＳＤ−ＲＡＭ、ＳＤカードでもよく、さらにＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ（digital versatile disk）、ＢＤ（blu-ray disk）などの記録媒体３３のいずれかを含む。また分類結果記録部１８は、１種類の記録媒体３３を含んで実現されてもよく、複数種類の記録媒体３３を含んで実現されてもよい。
【００３４】
分類結果記録部１８は、画像記憶部１３に記憶される画像情報を、分類結果を表す情報とともに他の記録媒体３３にコピーまたは移動させてもよく、また予め分類結果を表す特定の領域を複数設定しておき、分類結果に応じて画像情報を、特定の領域にコピーまたは移動させる構成とすることもできる。またさらに画像記憶部１３に記憶される画像情報に、分類結果を追記するか、または予め定める記憶領域の情報を書き換えることによって、分類結果を記録してもよい。本実施形態において分類結果記録部１８は、分類結果記録部１８に含まれる記録媒体３３に、それぞれの画像情報と分類結果との関連性を記録する。
【００３５】
図４は、本発明の第１実施形態において表示部３４から出力される表示の一例を表す図である。運転情報記録装置１０は、表示部３４をさらに含んで構成される。撮像部１２は、予め定める角度範囲に位置する対象を予め定める時間内に複数回、撮像する。表示部３４は、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示する。また表示部３４は、分類結果を映像とともに表示する。表示部３４は、ディスプレイ３６と、表示制御部３８とを含み、表示制御部３８は、ディスプレイ３６に表示される表示内容を制御する。たとえば、撮像部１２は、１秒間に３０回の撮像を行い、１秒間に３０枚の画像情報を取得することによって、個々の画像情報にそれらの順序の情報を含むいわゆる映像としての情報を取得することもできる。また単位時間当たりに撮像を行う回数が、任意に設定される構成としてもよい。
【００３６】
第１実施形態では、音声情報取得部１４によって取得された音声情報に突発音声が含まれる場合には、突発音声が含まれている時刻と同じ時刻の画像情報を表示部３４に表示するときに、「衝突」という分類結果を画像情報とともに表示する。突発音声であっても、衝突による音声の時間変化とは異なる場合には、「衝突」とは表示せず、「突発音声」または単に「突発」と表示してもよい。
【００３７】
第１実施形態によれば、音声解析部１６は、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を解析する。情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類する。分類結果記録部１８は、情報分類部１７による分類結果を記録する。これによって、音声情報を、音量情報の時間的変化に基づいて解析することができる。したがって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。
【００３８】
また第１実施形態によれば、音声解析部１６は、音声情報が取得した音声情報を、音量情報の時間的変化に基づいて、突発音声と、継続音声と、複合音声とに解析する。これによって、事故が起こったときに生じる特有の音声として、衝突音などの突発音声と、タイヤのスリップ音および人声などの継続音声とを、事故が起こったときに特有の音声ではない他の音声と区別することができる。また路面と、ブレーキによってロックしたタイヤとがスリップするときに生じる継続音声に引き続いて、衝突による突発音声が生じるときなどの、複合音声を検出することができる。これによって、事故に特有な音声を、その他の音声に対して区別することができる。したがって、事故に特有な音声に基づいて、画像情報を分類することができる。
【００３９】
また第１実施形態によれば、情報分類部１７は、加速度検出部２１の検出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。加速度検出部２１は、撮像部１２および音声情報取得部１４が搭載される車両の加速度を検出する。これによって、音量情報の時間的変化と車両の加速度とに基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。
【００４０】
また第１実施形態によれば、運転情報記録装置１０は、表示部３４をさらに含んで構成される。撮像部１２は、予め定める角度範囲に位置する対象を予め定める時間内に複数回、撮像する。表示部３４は、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示する。また表示部３４は、分類結果を映像とともに表示する。これによって、音量情報の時間的変化に基づいた解析結果を参照しながら、画像情報の画像を確認することができる。したがって、画像の確認とともに、音声情報を生じさせた事象についての情報を確認することができる。したがって、表示部３４によって表示された画像を視認によって確認するときに、事故原因の把握を容易にすることができる。
【００４１】
さらに第１実施形態によれば、音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻とを求める。音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音声情報の時間的変化を、値によって表すことができるので、音声を生じさせた事象の時間的変化を、値として表すことができる。したがって、音声情報の時間的変化を突発音声と継続音声と複合音声とに分類する場合に比べて、音声情報の時間的変化を高い精度で分類することができる。これによって、音声を生じさせた事象の時間的変化の把握を容易にすることができる。
【００４２】
さらに第１実施形態によれば、前記予め定める実数は、０．５に設定される。これによって、時間的変化を伴う音量情報の半値幅を求めることができる。これによって、音量情報が一定の時定数で減衰すると近似できる音声情報に対して、音声情報に対する数学的な解析を行うことができる。したがって、半値幅を求めない場合に比べて、音声情報に対する数学的な解析を容易にすることができ、計算速度を短縮することができる。
【００４３】
運転情報記録方法では、運転情報記録装置１０を用いる。運転情報記録方法は、撮像工程と、画像記憶工程と、音声情報取得工程と、音量解析工程と、情報分類工程と、分類結果記録工程とを含んで構成される。撮像工程では、予め定める角度範囲に位置する対象を、撮像部１２によって撮像する。画像記憶工程では、撮像部１２によって撮像された画像情報を、画像記憶部１３によって記憶する。音声情報取得工程では、音声情報取得部１４によって、周囲の音声情報を取得する。音量解析工程では、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を、音声解析部１６によって解析する。情報分類工程では、音声解析部１６の解析結果に基づいて、画像記憶部１３に記憶された画像情報を情報分類部１７によって分類する。分類結果記録工程では、情報分類部１７による分類結果を、分類結果記録部１８によって記録する。
【００４４】
第１実施形態において運転情報記録方法は、さらに表示工程を含み、表示工程では、画像記憶工程で記憶した画像情報と分類結果記録工程で記録した分類結果とを表示部３４によって表示する。画像情報については、撮像工程で撮像した枚数の画像を表示するけれども、個々の画像情報については、少なくとも各画像情報の一部を表示すればよい。たとえば各画像情報の一部が、分類結果を表示することによって視認不可能となる場合も許容される。
【００４５】
図５は、本発明の第１実施形態の運転情報記録方法における各操作段階を表すフローチャートである。第１実施形態では、まずコンピュータ、撮像部１２、音声情報取得部１４、加速度検出部２２、のスイッチの態様がオン状態となり、その後、本処理が開始される。表示部３４が含まれる場合には、表示部３４のスイッチの態様もオン状態となる。コンピュータがオン状態となると、図示外のＲＯＭに記録される運転情報処理プログラムがＣＰＵ２４に読み込まれる。
【００４６】
本処理開始後、ステップａ１の取得操作段階に移行し、撮像工程と、音声情報取得工程とを行う。本実施形態の音声情報取得工程では、取得した音声情報の記憶も行う。また本実施形態の取得操作段階では、加速度検出器による加速度検出工程も行う。次にステップａ２の記憶解析操作段階に移行し、画像記憶工程と、音量解析工程とを行う。次にステップａ３の情報分類操作段階に移行し、情報分類工程を行う。情報分類工程では、加速度検出工程における検出結果にも基づいて、画像情報の分類を行う。次にステップａ４の記録操作段階に移行し、分類結果記録工程を行う。その後、本処理は終了する。
【００４７】
したがって、撮像工程で撮像された単一の画像情報に対して、画像記憶工程は、撮像工程の後に行われ、情報分類工程は、少なくとも撮像工程の後に行われ、分類結果記録工程は、情報分類工程の後に行われる。音声情報取得工程で取得された特定の音声情報の音量情報に対して、音量解析工程は、音声情報取得工程の後に行われ、情報分類工程は、少なくとも撮像工程の後に行われ、分類結果記録工程は、情報分類工程の後に行われる。本処理のうち、記憶解析操作段階、情報分類操作段階、記憶操作段階は、運転情報処理プログラムがＣＰＵ２４によって実行され、運転情報記録装置１０のＣＰＵ２４を除く各構成部品がＣＰＵ２４によって制御されることによって行われる。
【００４８】
第１実施形態によれば、音量解析工程では、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を、音声解析部１６によって解析する。情報分類工程では、音声解析部１６の解析結果に基づいて、画像記憶部１３に記憶された画像情報を情報分類部１７によって分類する。分類結果記録工程では、情報分類部１７による分類結果を、分類結果記録部１８によって記録する。これによって、音声情報を、音量情報の時間的変化に基づいて解析することができる。したがって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。
【００４９】
また第１実施形態によれば、情報分類部工程では、加速度検出工程の検出結果に基づいて、画像記憶部１３に記憶された画像情報の分類を行う。加速度検出工程では、加速度検出部２１によって自車両の加速度を検出する。これによって、音量情報の時間的変化と車両の加速度との両方に基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。
【００５０】
（第２実施形態）
第２実施形態に係る運転情報記録装置１０は、第１実施形態に係る運転情報記録装置１０に類似しており、以下、第１実施形態に対する第２実施形態の相違点を中心に説明する。第２実施形態において音声解析部１６は、音声情報取得部１４が取得した音声情報を周波数で解析して複数の周波数帯域に分割する。情報分類部１７は、複数の周波数帯域のうちの一部または全部における音量情報の時間的変化の解析結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。
【００５１】
音声解析部１６は、その一部としてアナログ−デジタル変換部とＺ変換部とを含む。アナログ−デジタル変換部は、マイク２８を介して取得した音声情報をアナログ−デジタル変換する。Ｚ変換部は、アナログ−デジタル変換部によって変換された後のデジタル信号を、Ｚ変換する。これによって、得られた音声情報を周波数で解析することができる。他の実施形態においてはＺ変換を行う代わりにフーリエ変換を行ってもよい。音声解析部１６は、音声情報を周波数で解析した後、さらに複数の周波数帯域に分割し、音量情報に対する解析を、各周波数帯域において実行する。
【００５２】
各周波数帯域は、本実施形態では１００Ｈｚの周波数の幅を有する帯域としたけれども、これを入力によって可変とすることも可能である。各周波数帯域を大きくすれば大きくするほど、音声解析部１６による計算速度は上昇するけれども、各周波数帯域を小さくすれば小さくするほど、音声情報を詳細に分類することができる。
【００５３】
たとえば車両の警笛音、ブレーキによってロックしたタイヤのスリップ音、携帯電話の着信音、悲鳴などの人声は、いずれも解析結果では継続音声として分類される場合が多いけれども、それぞれの音声の種類、すなわち音声を生じさせた事象の種類によって、周波数帯域が異なる。またラジオからの人声と実際の人声とでは、同一の周波数帯域を含むけれども、実際の人声はラジオからの人声が含まない周波数帯域を含む。また周波数帯域毎の音量の差異から、ラジオからの人声か実際の人声かを自動的に判断することができる。
【００５４】
音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻ｔ１，ｔ２とを求める。設定音量値Ｖ２は、最大値Ｖ１に零以上１以下の予め定める実数を乗じた値である。さらに音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。第２実施形態において前記予め定める実数は、複数種類設定され、音声解析部１６は、予め定める各実数に応じた複数の時間間隔Ｔｉを求める。
【００５５】
たとえば予め定める実数を０．３と０．５と０．８とに定めると、設定音量値Ｖ２は、音量の最大値Ｖ１の３割、５割および８割の値となる。これによって、音量の最大値Ｖ１の３割、５割および８割の音量となった時刻を設定音量到達時刻として求める。仮に解析の対象となる時間的範囲において継続音声の音声情報しか取得されなかった場合には、設定音量到達時刻は、算出不可となるけれども、この結果から、解析の対象となる時間的範囲における音声情報には、最大値Ｖ１の８割以下の音量となる音声は録音されなかったことが、判断される。第２実施形態では、音声解析部１６によるこのような解析は、各周波数帯域において行われる。
【００５６】
音声解析部１６の結果から、音声情報は、突発音声、継続音声、複合音声などのパターンとともに、さらにそれぞれの音声の種類、すなわち音声を生じさせた事象の種類を判定することができる。これによってたとえば、事故に伴う典型的な音声として、衝突音、車両の警笛音、ブレーキによってロックしたタイヤのスリップ音、悲鳴および叫び声などの人声などを認識する。情報分類部１７は、音声解析部１６によるこのような認識結果に応じて画像情報を分類する。
【００５７】
図６は、本発明の第２実施形態における情報分類工程の各段階を表すフローチャートである。第２実施形態において運転情報記録装置１０は、基準情報記憶部をさらに含んで構成される。基準情報記憶部には、事故において観測される典型的な複数の音声情報が、それぞれ基準情報として記憶される。基準情報のうち最大音量値は、音声情報取得部１４による感度の差異などから、実際に取得される音声情報と基準情報との差異が大きい場合もある。最大音量値に比べ、周波数帯域毎の音量の最大値Ｖ１の比率は、音声情報取得部１４による感度の差異によって影響されることは少ない。また最大音量到達時刻から、その直後の設定音量到達時刻ｔ２までの時間は、特に衝突音に関しては録音条件に関わらず、音声を生じる事象が同じであれば、ほぼ同じである場合が多い。
【００５８】
したがって、周波数帯域毎の音量の比率および最大音量到達時刻からその直後の設定音量到達時刻ｔ２までの時間を、実際に録音した音声情報と基準情報とで比較することによって、実際に録音した音声情報を生じさせた事象を自動的に特定することができる。
【００５９】
図６に示すように、本処理開始後、ステップｂ１の衝突音比較段階に移行し、マイク２８を介して録音され音声情報取得部１４に取得された音声情報を、衝突音についての基準情報と比較する。次にステップｂ２の衝突判断段階に移行し、録音された音声情報と、衝突音についての基準情報との類比判断を行う。この段階において衝突音とは類似していないと判断された場合には、ステップｂ４のタイヤスリップ音比較段階に移行し、類似していると判断された場合には、ステップｂ３の衝突事象記憶段階に移行する。衝突事象記憶段階では、録音された音声情報に衝突音が含まれていたとの分類結果を出力する。
【００６０】
ステップｂ４のタイヤスリップ音比較段階では、マイク２８を介して録音された音声情報を、タイヤのスリップ音についての基準情報と比較する。次にステップｂ５のタイヤスリップ判断段階に移行し、録音された音声情報と、タイヤのスリップ音についての基準情報との類比判断を行う。この段階においてタイヤのスリップ音とは類似していないと判断された場合には、処理を終了し、類似していると判断された場合には、ステップｂ６のタイヤスリップ記憶段階に移行する。タイヤスリップ記憶段階では、録音された音声情報にタイヤのスリップ音が含まれていたとの分類結果を出力する。
【００６１】
図６には、衝突音の基準情報に対する比較、およびタイヤのスリップ音の基準情報に対する比較の２つの比較を行う場合を一例として挙げたけれども、たとえばクラクション、悲鳴など、事故における特有の音声を生じさせるさらに多くの事象についての基準情報と比較を行う構成とすることも可能である。
【００６２】
表示部３４は、画像記憶部１３に記憶された画像情報とともに、情報分類部１７による分類結果を表示する。これらの分類結果は、たとえば文字情報として「衝突」、「クラクション」、「タイヤのスリップ」、「携帯電話の着信音」、「悲鳴」などと表示してもよい。また音声を生じさせた事象に、事故に多い典型的な事象が含まれる場合には、事象の原因に言及し、たとえば「タイヤロック」、「注意散漫」などという表示を出力する構成とすることもできる。また衝突音が生じている時間の画像においてのみ「衝突音」など表示すると、衝突音が短いことで、「衝突音」と表示される時間が短くなる場合には、映像の中で衝突音が生じている時間よりも長い時間、「衝突」と表示することも可能である。
【００６３】
第２実施形態によれば、音声解析部１６は、音声情報取得部１４が取得した音声情報を周波数で解析して複数の周波数帯域に分割する。情報分類部１７は、複数の周波数帯域のうちの一部または全部における音量情報の時間的変化の解析結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音声を生じさせた事象の特定を容易にすることができる。音声を生じさせる事象が異なれば、音声の周波数帯域も異なるので、全ての周波数帯域の音量について時間的変化を解析する場合に比べて、音声情報を生じさせた事象の特定を、高い精度で行うことができる。たとえば、ラジオなどから出力される音声と、実際の音声とでは、音声の周波数帯域が異なるので、これらを互いに区別することができる。
【００６４】
さらに第２実施形態によれば、前記予め定める実数は、複数種類設定され、音声解析部１６は、予め定める各実数に応じた複数の時間間隔Ｔｉを求める。これによって、前記予め定める実数が１つのみに設定される場合に比べて、音声の増大および減衰に関する解析を、詳細に行うことができる。
【００６５】
（第３実施形態）
図７は、本発明の第３実施形態における運転情報記録方法の各操作段階を表すフローチャートである。第３実施形態に係る運転情報記録装置１０は、第１実施形態に係る運転情報記録装置１０に類似しており、以下、第１実施形態に対する第３実施形態の相違点を中心に説明する。本処理開始からステップａ４の記録操作段階までの処理は、図５において示した第１実施形態における処理と同様である。第３実施形態では、ステップａ４の記録操作段階の後、ステップａ５の出力操作段階に移行し、表示工程を行う。第３実施形態の出力操作段階では、さらに音声出力工程も行う。音声出力工程では、音声情報取得工程で取得および記憶した音声情報の出力を行う。
【００６６】
第３実施形態によれば、運転情報記録方法は、表示工程をさらに含んで構成される。表示工程では、表示部３４が、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示し、また分類結果を映像とともに表示する。これによって、音量情報の時間的変化に基づいた解析結果を参照しながら、画像情報の画像を確認することができる。したがって、画像の確認とともに、音声情報を生じさせた事象についての情報を確認することができる。したがって、表示部３４によって表示された画像を視認によって確認するときに、事故原因の把握を容易にすることができる。
【００６７】
（第４実施形態）
第４実施形態に係る運転情報記録装置１０は、第２実施形態に係る運転情報記録装置１０に類似しており、以下、第２実施形態に対する第４実施形態の相違点を中心に説明する。第４実施形態において情報分類部１７は、加速度変化算出部の算出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。加速度変化算出部は、撮像部１２および音声情報取得部１４が搭載される車両の加速度の時間的変化を算出する。加速度の時間的変化のことを「加速度変化量」と称することもある。
【００６８】
加速度変化量は、たとえば０．１秒毎に算出され、０．１秒間の加速度変化量が予め定める第１の値よりも大きければ、情報分類部１７は、加速度変化量が大きいと判断して、急ブレーキによる急激な制動が行われたと判断する。０．１秒間の加速度変化量が前記第１の値よりも大きい第２の値を超える値であれば、情報分類部１７は、加速度変化量がさらに大きいと判断して、衝突が生じたと判断する。このように情報分類部１７は、音声解析部１６による解析結果と、加速度検出部２１の検出結果と、加速度変化算出部の算出結果とに応じて第１および第２実施形態よりもさらに多くの種類の分類結果を求めることが可能となる。
【００６９】
重力加速度は、およそ９．８メートル毎秒毎秒（略号「ｍ／ｓ２」）であるので、この物理量をＧｒと置くと、０．１秒間に９．８ｍ／ｓ２の変化があれば、０．１秒間当たりの加速度変化量は、１Ｇｒ変化したと表すことができる。これを１Ｇｒ／０．１ｓと表し、以下、「Ｇｒ／０．１ｓ」を０．１秒当たりの加速度変化量の単位とする。
【００７０】
第３実施形態において、前記第１の値は、たとえば０．４Ｇｒ／０．１ｓに定められ、単位時間当たりにこの値を超える加速度変化量が観測されたときには、急ブレーキと判断する。また第３実施形態において、前記第２の値は、たとえば２．０Ｇｒ／０．１ｓに定められ、単位時間当たりにこの値を超える加速度変化量が観測されたときには、衝突と判断する。
【００７１】
第３実施形態によれば、情報分類部１７は、加速度変化算出部の算出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音量情報の時間的変化と車両の加速度の時間的変化とに基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。
【００７２】
（変形例）
本発明において情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類すれば、足りる。他の実施形態では、車両の加速度および車両の加速度変化量に基づく分類を行わない構成とすることもでき、また車両の加速度および車両の加速度変化量のうちいずれか一方に基づく分類をさらに行うこともできる。またさらに他の実施形態では、音声解析部１６の解析結果に基づいた分類を行い、車両の加速度および車両の加速度変化量の両方に基づく分類を、さらに行う構成とすることもできる。
【００７３】
またさらに他の実施形態では、自車両の加速度および加速度変化量のうち少なくともいずれか一方に基づく画像情報の分類を行ったのち、音声解析部１６の解析結果に基づいた画像情報の分類を行う構成とすることもできる。
【００７４】
またこれらいずれの情報分類部１７も、周波数で解析し複数の周波数帯域に分割して音量情報を解析する音声解析部１６と組合わせることができ、また周波数での解析を行わず、複数の周波数帯域に分割することなく全周波数帯域の音量情報を一括して解析する音量情報解析部と組合わせることもできる。
【００７５】
またこれらいずれの情報分類部１７および音声解析部１６も、分類結果を文字情報として表示する表示部３４と組み合わせることができ、また分類結果を簡単なイラストなどの画像情報として表示する表示部３４と組み合わせることもできる。また表示部３４が除かれた構成しての組合せも可能である。表示部３４が、運転情報記録装置１０から除かれた構成とする場合には、分類結果記録部１８に記録された情報および画像記憶部１３に記憶された情報を外部機器に出力できる構成とすることが好ましい。たとえば、パーソナルコンピュータを介して、このパーソナルコンピュータに接続される液晶表示装置などの表示部に対して、分類結果記録部１８および画像記憶部１３に記憶された情報を出力し、表示および再生を可能とする。また分類結果記録部１８および画像記憶部１３に記憶された情報が、運転情報記録装置１０よりも外部の記憶装置に記憶される構成とすることも可能である。
【００７６】
また前記のいずれの組合せにおいても、音声解析部１６の構成として、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める構成とすることも可能であり、また最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２と最大音量時刻ｔｍとの時間差を求める構成とすることもできる。また前記のいずれの組合せにおいても、音声解析部１６は、前記時間間隔Ｔｉと前記時間差との両方を求めてもよい。
【符号の説明】
【００７７】
１０  運転情報記録装置
１２  撮像部
１３  画像記憶部
１４  音声情報取得部
１６  音声解析部
１７  情報分類部
１８  分類結果記録部
２１  加速度検出部
３４  表示部
ｔｍ  最大音量時刻
ｔ１，ｔ２  設定音量到達時刻
Ｖ１  最大値
Ｖ２  設定音量値
Ｔｉ  時間間隔
【図１】
2010287190.tif 000003
【図２】
2010287190.tif 000004
【図３】
2010287190.tif 000005
【図５】
2010287190.tif 000006
【図６】
2010287190.tif 000007
【図７】
2010287190.tif 000008
【図４】
2010287190.tif 000009