(57)【要約】【課題】低容量かつ連続的に車両周辺の監視画像データを記録する。【解決手段】走行する車両１の状態を記録する車両走行記録装置であって、車両の備えるカメラにより車両の周辺について撮影された画像データの一部を周辺状況監視画像データとして記録する記憶装置４７と、画像データから周辺状況監視画像データを特定する制御ユニット３０とを有し、制御ユニットは、画像データのうち、車両の運転者の視線方向１１を基準とする第１の所定範囲１４を周辺状況監視画像データとして特定する。【選択図】図２
2020106921.tif 000002
【特許請求の範囲】
【請求項１】
走行する車両の状態を記録する車両走行記録装置であって、
前記車両の備えるカメラにより前記車両の周辺について撮影された画像データの一部を周辺状況監視画像データとして記録する記憶装置と、
前記画像データから前記周辺状況監視画像データを特定する制御ユニットとを有し、
前記制御ユニットは、前記画像データのうち、前記車両の運転者の視線方向を基準とする第１の所定範囲を前記周辺状況監視画像データとして特定する車両走行記録装置。
【請求項２】
請求項１において、
前記車両は、前記車両の周辺物体を検知する周辺状況監視センサを備え、
前記制御ユニットは、前記画像データのうち、前記カメラまたは前記周辺状況監視センサにより前記車両の周辺に周辺物体が検知された場合に、前記周辺物体を含む第２の所定範囲を前記周辺状況監視画像データとして特定する車両走行記録装置。
【請求項３】
請求項２において、
前記車両は、前記車両の走行状態を検知する走行状態監視センサを備え、
前記第１の所定範囲は、前記カメラあるいは前記周辺状況監視センサにより検知された前記周辺物体または、前記走行状態監視センサにより検知された前記車両の走行状態に基づき決定される車両走行記録装置。
【請求項４】
請求項３において、
前記第２の所定範囲は、前記走行状態監視センサにより検知された前記車両の走行状態及び前記周辺状況監視センサにより検知された前記周辺物体の移動情報に基づき決定される車両走行記録装置。
【請求項５】
請求項４において、
前記周辺物体が複数検知された場合に、前記周辺物体及び当該周辺物体の移動情報に基づき決定される優先順位の高い周辺物体を含む前記第２の所定範囲を、前記周辺状況監視画像データとして特定する車両走行記録装置。
【請求項６】
請求項３において、
前記第１の所定範囲を決定する複数の記録モードを有する車両走行記録装置。
【請求項７】
請求項３において、
前記周辺状況監視画像データとともに、前記周辺状況監視センサにより検知された前記周辺物体及び当該周辺物体の移動情報、前記走行状態監視センサにより検知された前記車両の走行状態を記録する車両走行記録装置。
【請求項８】
請求項７において、
前記周辺状況監視画像データとともに、前記車両の位置情報を記録する車両走行記録装置。
【請求項９】
請求項１において、
前記画像データは、複数の前記カメラにより前記車両の周辺について撮影された画像データである車両走行記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺について撮影された画像データを記録する車両走行記録装置に関する。
【背景技術】
【０００２】
近年、ドライブレコーダをはじめとした車両走行中の情報を記録する装置が普及してきており、事故発生時の原因分析などに活用されている。しかしながら、現在普及しているドライブレコーダの記憶容量では、長時間の録画は困難である。加えて、記憶する画像の解像度を高くしたり、画像として残す範囲を広げたりすることで、録画可能な時間は一層短くならざるを得ない。
【０００３】
特許文献１には、車両事故等が発生した場合に、運転者がどのような運転を行っていたかを詳細に把握することを目的とした車両走行情報記録装置が開示されている。運転者の視線方向を判定して視線方向データを得、車両センサによる走行データ、位置検出器による位置データ、周辺状況監視カメラによる周辺画像データ、および前述の視線方向データを周期的に記録する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７２５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においては、所定時間ごとに周期的に記録が行われるようになっている。このため、記録周期を長くすると事象発生時の瞬間を記録できない可能性があり、記録周期を短くすると記録情報量が多くなる。あるいは、特許文献１ではメモリに記憶されたデータは順次オーバーライトされる構成となっているため、最新時点から遡ってメモリに記憶される期間が短くなる。
【０００６】
一方で、周辺の状況を記録する画像データは特に加工されることなく、メモリに保存されている。事故などの事象発生時の周辺状況と事象の関係を分析するには、車両の360°周囲をカメラで監視していたとしても、通常、その全ての映像が必要になるわけではない。事象に関連する周辺状況さえ残っていれば足る。むしろ、記録時に事象に関連する周辺状況に絞り込んで記録されているならば、記録されたデータを画像解析して分析を行うにあたっても都合がよい。
【０００７】
本発明はこのような課題に鑑みてなされたものであって、運転者の視線方向や車両に取り付けた各種センサ、レーダの情報から得た情報を元に記録する周辺画像情報の方向と画角を限定する事により記録情報量を削減し、連続的な記録を可能とする。
【課題を解決するための手段】
【０００８】
本発明の一実施の形態である、走行する車両の状態を記録する車両走行記録装置は、車両の備えるカメラにより車両の周辺について撮影された画像データの一部を周辺状況監視画像データとして記録する記憶装置と、画像データから周辺状況監視画像データを特定する制御ユニットとを有し、制御ユニットは、画像データのうち、車両の運転者の視線方向を基準とする第１の所定範囲を周辺状況監視画像データとして特定する。
【発明の効果】
【０００９】
本発明により低容量かつ連続的に車両周辺の画像データの記録が可能となる。
【００１０】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【図面の簡単な説明】
【００１１】
【図１】自車の周囲を監視可能な車両の模式図である。
【図２】周辺状況監視画像データの記録スキームを示す図である。
【図３】制御ユニットのハードウェア構成例である。
【図４】車両走行記録装置の主要部を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本実施例の車両走行記録装置を図面に基づき説明する。
【００１３】
図１に、自車の周辺（前方、後方、側方）状況を監視可能な車両１を示す。障害物との衝突回避等を目的として、自車の前方、後方、側方の障害物の有無を広く検出するため、カメラ２−１〜６を搭載している。複数のカメラで監視することにより、個々のカメラの視野３−１〜６により形成される車載カメラによる監視領域４は自車の360°全体をカバーできるようになっている。なお、図１は一例であり、この形態に限定されるものではない。例えば、カメラ２の数は任意である。また、自車の周辺状況を監視可能という場合、カメラの死角や車載カメラがカバーできない領域が存在しないということを意味しない。自車の前方、後方、側方の大部分がカバーされていれば足る。また、カメラは自車周辺の障害物等を画像として記録するセンサの一例であって、可視画像、赤外画像を問わず、画像データとして記録するものは本実施例に適用可能である。本実施例の車両走行記録装置が記録する、自車の周辺状況を監視するカメラの種類は任意であり、複数種類のカメラが混在していてもよい。
【００１４】
図２を用いて、本実施例の車両走行記録装置による周辺状況監視画像データの記録スキームを説明する。本実施例の車両走行記録装置においては、車両１が搭載するカメラ２が撮影した画像データの全てではなく、運転者の視線方向、さらに車両１の周辺で動きのある周辺物体を捉えている範囲を周辺状況監視画像データとして保存する。具体的には、車載カメラ（周辺状況監視カメラ）による監視領域４について、車両１の中心を原点とする座標軸で定義されるＸＹ平面において、周辺状況監視画像データとして記録する画角Φを決定する。なお、図２に示すＸＹ平面において、Ｙ軸方向（車両１の前方方向）を０°とする。
【００１５】
図２には記録する周辺状況監視画像データの例として、運転者視線監視画像データ１４と周辺物体監視画像データ１５，１６を模式的に示している。運転者視線監視画像データ１４の画角Φ１は、運転者１０の視線方向１１を基準として、所定の範囲（車両１の前方方向の前方視野θ１、車両１の後方方向の後方視野θ２）のセンサデータが含まれるように決定される。画角Φ１を決めるための視野θ１、θ２は固定ではなく、車両１の速度、進行方向、および、周辺状況監視カメラあるいはその他のセンサ（後述するレーダなどの周辺状況監視センサ）がとらえた視線方向周辺の物体の情報から記録する画像の画角Φ１を決定する。画像の画角Φ１の決定方法は特に限定されない。例えば、車両１の速度が速い程、画角Φ１を狭めることも考えられる。これは運転時の運転手の実際の視覚情報に合わせて記録を残す考え方に基づくものである。これに対して、車両１の速度が速い程、画角Φ１を広げることも考えられる。周辺状況監視センサデータは、車両１の走行中に撮影、検出されるものであり、車両１の速度が速い程実際の視覚情報とのずれが大きくなる可能性があるためである。車両の進行方向についても同様であり、車両１が右折または左折を行う場合に、進行方向よりの視野θを広げる、あるいは死角が生じやすい、進行方向に対して逆よりの視野θを広げるという考え方もありうる。前者は運転時の運転手の実際の視覚情報に合わせて記録を残す考え方であり、後者は運転時の運転手の実際の視覚情報を補完する記録を残す考え方である。視線方向周辺の物体については、その物体が移動している方向に対して画角Φを広げることが考えられる。このように、画角Φの決め方については様々なポリシーが考えられるため、画角Φの異なる複数の記録モードを設け、周辺状況監視画像データの使い方などに応じて切り換えられるようにしてもよい。
【００１６】
また、周辺物体監視画像データ１５は、周辺状況監視カメラあるいは周辺状況監視センサが検知した車両１の周辺で動きのある周辺物体（自転車）１２の画像が含まれる監視画像データであり、周辺物体監視画像データ１６は、周辺状況監視カメラあるいは周辺状況監視センサが検知した車両１の周辺で動きのある周辺物体（自動車）１３の画像が含まれる監視画像データである。周辺物体監視画像データ１５の画角Φ２、周辺物体監視画像データ１６の画角Φ３は、周辺物体の進行方向や速度を考慮して、少なくとも周辺物体と移動方向とが分かる画角Φを決定する。
【００１７】
なお、本実施例の車両走行記録装置は、運転者視線監視画像データの保存を基本として、周辺物体監視画像データの記録は行わなくてもよいし、記録する場合であっても、車両１の周辺で動きのある周辺物体が複数ある場合、優先度の高い周辺物体に絞り込んで記録するのでもよい。どこまで周辺物体監視画像データとして記録するかは、記録媒体の容量を考慮して決定することができる。
【００１８】
図３に、本実施例の車両走行記録装置の制御ユニット３０のハードウェア構成例を示す。制御ユニット３０は、プロセッサ３１、主記憶３２、補助記憶３３、ネットワークインタフェース３４、Ｉ／Ｏポート３５を含み、これらはバス３６により通信可能に結合されている。ネットワークインタフェース３４は車両１に搭載される車載ネットワークと接続するためのインタフェースである。本実施例に適用される車載ネットワークとしては、例えばＣＡＮ（Controller Area Network）のようなものが知られている。制御ユニット３０は車載ネットワークを介して、周辺状況監視レーダ、車輪速センサをはじめとするセンサからのセンサデータを受け取ることができる。補助記憶３３は通常、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの不揮発性メモリで構成され、制御ユニット３０が実行するプログラムやプログラムが処理対象とするデータ等を記憶する。主記憶３２はＲＡＭ（Random Access Memory）で構成され、プロセッサ３１の命令により、プログラムやプログラムの実行に必要なデータ等を一時的に記憶する。プロセッサ３１は、補助記憶３３から主記憶３２にロードしたプログラムを実行する。Ｉ／Ｏポート３５は、制御ユニット３０を外部機器に直接接続するための接続ポートであり、データ容量の大きい画像データを受信するため、車載カメラと直接接続したり、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）など外付けの不揮発メモリと接続して不揮発メモリ容量を増設したりすることも可能である。なお、図３は、制御ユニット３０の演算機能に関するハードウェア基本構成を示すものであり、制御ユニット３０の処理機能に応じて他のハードウェアが搭載されうる。例えば、所定の演算を専門的に実行するＤＳＰ（Digital Signal Processor）やＰＬＤ（Programmable Logic Device）が搭載されてもよい。
【００１９】
図４は車両走行記録装置の主要部を示す機能ブロック図である。車両走行記録装置は、視線方向を検出する運転者監視カメラ５０、車両周辺状況を撮影する周辺状況監視カメラ５１、車両周辺の物体を検知する周辺状況監視レーダ５２、自車の速度を検知する車輪速センサ５３、自車の挙動を検知するＧ（加速度）センサ５４、自車の進行方向を検知するジャイロスコープ５５、自車の位置情報を取得するＧＰＳ受信機５６、これらセンサやＧＰＳ（Global Positioning System）受信機からのデータから車両走行記録装置に記憶する周辺状況監視画像データを生成する制御ユニット３０、制御ユニット３０が生成した周辺状況監視画像データを記録する記憶装置４７、記憶装置４７から情報を出力する情報出力装置４８、情報出力装置４８に対して、情報出力操作を行う操作装置４９を有している。
【００２０】
周辺状況監視カメラ５１は、例えば図１に示したように複数のカメラからなり、車両の周囲（前方、後方、側方）を撮影できるように配備され、画像データを制御ユニット３０に供給する。なお、周辺状況監視カメラ５１は車両の周辺状況の変化を連続的に把握するため、数十ミリ秒に１フレームの割合で画像データを生成することが望ましい。このように周辺状況監視カメラ５１からの画像データはデータ容量が大きくなるため、前述のように、車載ネットワークを介さず、周辺状況監視カメラ５１と制御ユニット３０の間で直接的に画像データが転送されるよう構成することが望ましい。
【００２１】
運転者監視カメラ５０は、車両走行記録装置を搭載した車両の車内に配備され、運転者の顔と目の動きを撮影し、制御ユニット３０に供給する。
【００２２】
周辺状況監視レーダ５２は、車両の前後左右に配備され、車両の各方向にある物体の位置、移動方向、移動速度等を検知し、制御ユニット３０に供給する。同様に、車輪速センサ５３、Ｇセンサ５４、ジャイロスコープ５５、ＧＰＳ受信機５６は、車両に配備され、各検知情報を制御ユニット３０に供給する。これらカメラ、センサ等の機器類は、車載ネットワークを通じて、制御ユニット３０と周期的に信号やデータの授受を行う。
【００２３】
次に、制御ユニット３０が実行する制御内容について説明する。制御ユニット３０のハードウェア基本構成は図３に示したものであり、制御ユニット３０の処理を実行するブロックは、プロセッサ３１上で実行されるソフトウェアあるいは専用ハードウェアとして実装される。
【００２４】
視線方向検出部４０は、運転者監視カメラ５０で撮影された映像に基づいて、運転者の顔、および、目の向きを検出して、運転者の視線方向１１（なお、車両前方（図２のＹ軸）を０°とする）を算出し、記録画像作成部４１に提供する。
【００２５】
また、物体検出部４２は、周辺状況監視カメラ５１からの画像データに画像処理を行い、車両周辺の物体の有無及びその物体が何であるかを検出する。物体状態検出部４３は、周辺状況監視レーダ５２からの情報に基づいて、車両周辺の物体の有無及びその物体の移動についての情報（移動の向きや移動速度など）を検出する。また、自車走行状態検出部４４は、車輪速センサ５３、Ｇセンサ５４、ジャイロスコープ５５からのセンサ情報に基づいて、自車の走行状態について検出する。なお、自車走行状態検出部４４による走行状態の検出に使用されるセンサを総称して、走行状態監視センサと呼ぶものとする。
【００２６】
記録画像作成部４１は、視線方向検出部４０、物体検出部４２、物体状態検出部４３、自車走行状態検出部４４から、周辺状況監視カメラ５１の画像データのうち、記憶装置４７に周辺状況監視画像データとして記録すべき画像データ（具体的には、図２に示した画角Φ）を決定する。
【００２７】
運転者視線監視画像データの場合、記録画像作成部４１は、視線方向検出部４０で求められた運転者の視線方向に対して、自車走行状態検出部４４で求められた自車の走行状態情報、及び物体検出部４２、物体状態検出部４３にて検出された運転者の視線方向における周辺物体の情報に基づき、視野（前方視野θ１，後方視野θ２）を決定することにより、運転者視線監視画像データの画角Φ１を決定する。
【００２８】
周辺物体監視画像データの場合、記録画像作成部４１は、物体状態検出部４３で求められた周辺物体の移動の向きや移動速度、及び自車走行状態検出部４４で求められた自車の走行状態情報から周辺物体監視画像データの画角Φ２（Φ３）を決定する。周辺物体監視画像データとして抽出する画像データは１方向でもよいし、複数でもよい。複数の周辺物体が検出された場合、例えば、物体検出部４２からの情報と物体状態検出部４３からの情報とを照合することにより、移動している物体が何であるか、また周辺物体の移動方向、移動速度等の移動情報を特定し、自車に対する危険性等の観点から優先順位をつけて記録する画角を決定することができる。
【００２９】
情報記録部４６は、周辺状況監視カメラ５１からの画像データを、記録画像作成部４１が周辺状況監視画像データとして特定した画角について記憶装置４７に記録する。このとき、車両位置測定部４５は、ＧＰＳ受信機５６からの測位情報に基づいて自車位置を算出し、情報記録部４６に提供する。情報記録部４６は、画像とともに車両位置測定部４５からの自車位置情報を記憶装置４７に記録する。
【００３０】
情報出力装置４８は、記憶装置４７に記録された周辺状況監視画像データを外部の情報記録装置に出力する端子や、情報を表示する表示出力端子を有している。操作装置４９のボタンやパネルからユーザの操作を受け、周辺状況監視画像データを画像として出力したり、外部出力したりする。
【００３１】
このように、本実施例の車両走行記録装置は、周辺状況監視カメラ５１からの画像データを運転者の視線を中心とした方向と、周辺物体の状態を基に算出した方向とに限定することにより、記録容量を削減しつつ連続的に記憶することができる。この際、カメラ、周辺状況監視センサや走行状態監視センサからリアルタイムに解析して得た周辺の状態、自車の速度、進行方向、運動方向といった自車走行状態情報、ＧＰＳ等から取得される自車の位置情報もあわせて連続的に記録できる。これにより、記録した瞬間の状況に、自車両の状態、周辺の物体情報、位置（地図情報を参照した道路形状）が及ぼす影響の分析等に使用することが可能となる。
【００３２】
以上、本発明の実施の形態を説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更があっても、それらは本発明に含まれるものである。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、周辺物体情報の検出にカメラとレーダとを用いる例を示したが、それに限ることなく、カメラのみ、レーダのみでも構わないし、周辺物体情報が検知できるその他の手段を用いても構わない。
【符号の説明】
【００３３】
１：車両、２：カメラ、３：視野、４：監視領域、１０：運転者、１１：運転者の視線方向、１２，１３：周辺物体、１４：運転者視線監視画像データ、１５，１６：周辺物体監視画像データ、３０：制御ユニット、３１：プロセッサ、３２：主記憶、３３：補助記憶、３４：ネットワークインタフェース、３５：Ｉ／Ｏポート、３６：バス、４０：視線方向検出部、４１：記録画像作成部、４２：物体検出部、４３：物体状態検出部、４４：自車走行状態検出部、４５：車両位置測定部、４６：情報記録部、４７：記憶装置、４８：情報出力装置、４９：操作装置、５０：運転者監視カメラ、５１：周辺状況監視カメラ、５２：周辺状況監視レーダ、５３：車輪速センサ、５４：Ｇセンサ、５５：ジャイロスコープ、５６：ＧＰＳ受信機。
【図１】
2020106921.tif 000003
【図２】
2020106921.tif 000004
【図３】
2020106921.tif 000005
【図４】
2020106921.tif 000006