(57)【要約】【課題】移動体から撮影した画像に現れる検知対象を検知する際に、背景の画像自体が変化するため、精度良い検知が難しい。【解決手段】ＣＣＤカメラ２により移動体から見た所定方向の外界画像を順次撮影する。信号処理部６は、動きベクトル生成部１０により、外界画像に基づいて動きベクトル場を順次求める。先行する動きベクトル場に基づいて、予想動きベクトル推定部１２が、移動体の移動状態に基づき予想される予想動きベクトル場を求める。関心事象検出部１４は、現在の動きベクトル場と、予想動きベクトル場との比較に基づいて、所定の関心事象の発生を検出する。【選択図】図１
2008066953.tif 000002
【特許請求の範囲】
【請求項１】
移動体から見た所定方向の外界画像を順次撮影する撮像部と、
前記外界画像に基づいて動きベクトル場を順次求める動きベクトル生成部と、
現在の前記動きベクトル場と、前記移動体の移動状態に基づいて予想される予想動きベクトル場との比較に基づいて、所定の関心事象の発生を検出する関心事象検出部と、
を有することを特徴とする画像監視装置。
【請求項２】
請求項１に記載の画像監視装置において、
前記動きベクトル生成部は、前記外界画像を複数のブロックに分割し、前記ブロックごとに動きベクトルを順次求めること、を特徴とする画像監視装置。
【請求項３】
請求項２に記載の画像監視装置において、
前記関心事象検出部は、現在の前記動きベクトル場と、前記予想動きベクトル場との相違領域を抽出し、当該相違領域に基づいて、前記関心事象の発生を検出すること、を特徴とする画像監視装置。
【請求項４】
請求項３に記載の画像監視装置において、
前記関心事象検出部は、現在の前記動きベクトル場において動きベクトルの向きが不連続に変化することに基づいて前記相違領域の境界を検知すること、を特徴とする画像監視装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の画像監視装置において、
前記予想動きベクトル場を先行時刻における前記動きベクトル場に基づいて推定する予想動きベクトル推定部を有すること、を特徴とする画像監視装置。
【請求項６】
請求項１から請求項５のいずれか１つに記載の画像監視装置において、
前記関心事象の発生に連動して、前記外界画像を記録する画像記録部を有すること、を特徴とする画像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の移動体から撮影した画像に基づいて進路上への物体の進入等の事象を検出する画像監視装置に関する。
【背景技術】
【０００２】
自動車に搭載され運転状況を記録するドライブレコーダは、自動車の事故原因特定などに有効な装置であり、近年、注目されている。このドライブレコーダは、フロントウィンドーに取り付けたＣＣＤカメラなどの撮像装置で車両前方視界を動画撮影し記録するものである。画像の記録装置の容量に制限があることから、記録画像を順次、上書き更新する構成としたり、加速度センサを備え、一定以上の衝撃を感知した場合に、その前後の所定時間の画像をバッファメモリから記録装置に保存する構成とするものが多い。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
記録すべき関心事象を検知して、選択的に記録装置に保存する構成は、記録装置の容量が少なくて済む点で都合がよい。しかし、関心事象には様々なタイプがあり、単純に加速度センサによる衝撃検知のみを画像保存のトリガとする構成では、関心のある事象を必ずしも好適に検出できない場合があるという問題があった。例えば、軽微な接触事故では加速度センサが動作しないことがあり得る。また、記録装置の容量抑制の点から、保存される画像の期間は例えば、十数秒程度の短い時間とされ得るが、衝撃を生じる事象を誘因する先行事象がその期間内に包含されない場合も起こり得る。
【０００４】
このような問題は、加速度センサだけではなく、他の検知手段を併用することで改善可能である。その一つとして撮影した画像に基づいて、関心事象の発生を判断する方法が考えられる。これに関連して、防犯装置では、背景画像に侵入者が現れた場合に、その画像変化を検知して警報を発するという技術が知られている。しかし、自動車の走行中は、背景画像自体が時々刻々と変化しており、その中に生じる例えば、他の車両の割り込みなどの画像変化を精度良く検出することは簡単ではない。
【０００５】
本発明は上述の問題点を解決するためになされたものであり、移動体から撮影した画像に基づいて関心事象を容易かつ精度良く検出可能な画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像監視装置は、移動体から見た所定方向の外界画像を順次撮影する撮像部と、前記外界画像に基づいて動きベクトル場を順次求める動きベクトル生成部と、現在の前記動きベクトル場と、前記移動体の移動状態に基づいて予想される予想動きベクトル場との比較に基づいて、所定の関心事象の発生を検出する関心事象検出部と、を有するものである。
【０００７】
上記画像監視装置において、前記動きベクトル生成部は、前記外界画像を複数のブロックに分割し、前記ブロックごとに動きベクトルを順次求めるように構成することができる。
【０００８】
また上記画像監視装置において、前記関心事象検出部は、現在の前記動きベクトル場と、前記予想動きベクトル場との相違領域を抽出し、当該相違領域に基づいて、前記関心事象の発生を検出するように構成することができる。
【０００９】
例えば、前記関心事象検出部は、現在の前記動きベクトル場において動きベクトルの向きが不連続に変化することに基づいて前記相違領域の境界を検知することができる。
【００１０】
上記画像監視装置は、前記予想動きベクトル場を先行時刻における前記動きベクトル場に基づいて推定する予想動きベクトル推定部を有する構成とすることもできる。また上記画像監視装置は、前記関心事象の発生に連動して、前記外界画像を記録する画像記録部を有する構成とすることができる。
【発明の効果】
【００１１】
動きベクトル場を用いることで、外界画像における変化を、移動体の移動に伴い生じるものと、そうでないものとに弁別することが容易となる。これにより、関心事象の検知が容易化されると共に、移動体の移動に伴う画像変化を関心事象として検知しにくくなり、検知精度が向上する。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態（以下実施形態という）であるドライブレコーダについて、図面に基づいて説明する。本装置は、自動車に取り付けられ、車両前方の画像を動画撮影し、記録すべき事象（関心事象）が発生したことを検知した場合に、画像を保存するものである。図１は、本実施形態に係るドライブレコーダの概略の構成を示すブロック図である。本装置は、ＣＣＤカメラ２、加速度センサ４、信号処理部６、記憶部８を有して構成される。
【００１３】
ＣＣＤカメラ２は、ＣＣＤイメージセンサを用いた撮像装置であり、例えば、ＣＣＤイメージセンサに対する駆動及び露光制御や、ＣＣＤイメージセンサの出力信号に対して所定のアナログ信号処理及びデジタル信号処理を行い、画像信号を生成する。ＣＣＤカメラ２は例えば、フロントウィンドーに取り付けられ、車両前方の外界画像を順次撮影する。
【００１４】
加速度センサ４は、車両の加速度を検知するためのセンサである。
【００１５】
信号処理部６は、ＣＣＤカメラ２からの画像信号及び加速度センサ４の出力信号を入力され、それら入力信号に基づいて所定の関心事象の発生を監視し、発生を検知した場合には、これをトリガとして画像を記憶部８に保存する。例えば、信号処理部６はトリガ発生に伴い、トリガの前後、数秒から十数秒程度の画像を保存する。
【００１６】
信号処理部６は、動きベクトル生成部１０、予想動きベクトル推定部１２、関心事象検出部１４、記録制御部１６、バッファメモリ１８を含んで構成される。信号処理部６は例えば、マイクロプロセッサを用いて構成され、その各処理はプログラムにより実現することができる。
【００１７】
動きベクトル生成部１０は、ＣＣＤカメラ２により撮影された外界画像に基づいて動きベクトル場を求める。動きベクトル場は、外界画像の各フレームの各点に対する動きベクトルによって形成される場である。具体的には、各フレームは複数のブロックに区画され、各ブロックごとに動きベクトルが探索される。各フレームのブロック数は、関心事象を識別する上で必要となる動きベクトル場の解像度、動きベクトルを探索する上で必要となるブロックの大きさ、ブロック数と共に増大する処理負荷などを考慮して定めることができる。ここで用いる動きベクトルは、動画像圧縮や移動物体認識などに用いられるものと同様である。動きベクトル生成部１０は、或るフレームのブロックに現れる画像が、後続フレームのどの位置に現れるかを画像マッチングにより探索し、その位置の変化を示すベクトルを動きベクトルとして定義する。
【００１８】
予想動きベクトル推定部１２は、予想動きベクトル場を推定する。後述するように、予想動きベクトル場は、本装置の搭載車両の移動状態に基づいて予想される動きベクトル場である。
【００１９】
関心事象検出部１４は、動きベクトル生成部１０が生成する現在の動きベクトル場と、予想動きベクトル場との比較に基づいて、所定の関心事象の発生を検出する。ドライブレコーダとしての主要な関心事象は、例えば、車両進路への他の車両や人などの物体の出現といった事故の原因となり得る事象である。このような関心事象は、予想動きベクトル場とは異なる動きベクトルを生じ得る。そこで、関心事象検出部１４は、例えば、現在の動きベクトル場が予想動きベクトル場と差がないと判断するときは、関心事象は発生していないと判断し、一方、両ベクトル場に相違領域が存在する場合には、そのことを以て関心事象が発生したと判断したり、さらに相違領域を抽出して、その大きさ、形状、動きベクトルの相違の程度などを解析して、関心事象であるか否かの判断を行う。
【００２０】
記録制御部１６は、加速度センサ４の出力信号を入力され、感知された加速度が自動車の安全な走行状態として想定される範囲を超えた状態を異常状態と判断する。例えば、急発進・急停車や衝突に伴う衝撃などが異常状態と判断される。記録制御部１６は、加速度が異常状態であること、及び関心事象検出部１４から関心事象の発生検出の通知を受けたことをトリガとして、バッファメモリ１８に記憶されている画像データを記憶部８に保存する。
【００２１】
バッファメモリ１８は、例えば、数秒程度の動画を構成するフレーム数の画像データを記憶できる容量を有する。バッファメモリ１８は、ＦＩＦＯ方式で古い画像データから順に消去し、ＣＣＤカメラ２から入力される新しい画像データを格納して、その記憶内容を順次更新する。記録制御部１６は、トリガ発生時点でバッファメモリ１８に記憶されている画像データを記憶部８へ出力させ、さらにトリガ発生後にＣＣＤカメラ２からバッファメモリ１８に入力される所定の撮影時間分の画像データを記憶部８へ出力させる。これにより、記憶部８には、トリガ前後の画像データが保存される。
【００２２】
記憶部８は例えば、半導体メモリやハードディスク装置を用いて構成される。
【００２３】
次に、予想動きベクトル推定部１２及び関心事象検出部１４が行う処理に関してさらに説明する。
【００２４】
フロントウィンドーの視野に入る道路や建物等の静止物は、車両の走行に伴い、相対的に当該車両に対して向かって近づくように移動する。すなわち車両を原点とした座標系において、静止物の各点について相対移動ベクトルが定義される。この静止物に関して動きベクトル生成部１０が外界画像に基づいて生成する動きベクトルは、三次元空間での上記相対移動ベクトルを、ＣＣＤカメラ２を視点として透視投影したものとなる。
【００２５】
ここで、相対移動ベクトルを連ねた流線は、車両の進路に平行となり、この相対移動ベクトルの流線を透視投影した線が外界画像での動きベクトル場の流線となる。この動きベクトル場の流線は、車両が直進しているか旋回しているかといった車両の移動状態と、ＣＣＤカメラ２の光軸方向とに応じて定まるパターンを形成する。車両の移動状態に基づいて予想される動きベクトル場である予想動きベクトル場として、例えば、この静止物についての流線パターンを利用することが可能である。すなわち、予想動きベクトル場は、その各点において、静止物の流線パターンに沿った向きのベクトルから構成されるとすることができ、予想動きベクトル推定部１２をこのような予想動きベクトル場を求めるように構成することができる。
【００２６】
この構成では、予想動きベクトル推定部１２には車両の移動状態が入力され、予想動きベクトル推定部１２は入力される移動状態に応じた予想動きベクトル場を算出する。なお、車両の移動状態は、加速度センサ４やジャイロ、ＧＰＳ等を利用して取得することができる。またカーナビゲーションシステムがジャイロやＧＰＳに基づいて取得する情報を予想動きベクトル推定部１２にて利用するように構成することもできる。
【００２７】
図２は、この構成の予想動きベクトル推定部１２が生成する予想動きベクトル場の一例を示す模式図である。同図は、外界画像を８×８ブロックに分割した場合であり、動きベクトルの流線３０の例を示すと共に、当該流線３０に沿った向きを有する動きベクトル３２をいくつかのブロックにおいて例示している。
【００２８】
これに対して、図３は、自車の進路前方へ他の車両が進入してきた場合の外界画像及び動きベクトル場の一例を示す模式図である。進入車両３４は予想動きベクトル場とは向きが相違する動きベクトル３６を生じる。
【００２９】
関心事象検出部１４は、既に述べたように、動きベクトル生成部１０が生成する現在の動きベクトル場と、予想動きベクトル推定部１２が生成する予想動きベクトル場との比較に基づいて、所定の関心事象の発生を検出する。
【００３０】
例えば、予想動きベクトル場が図２に示す状態にて、動きベクトル生成部１０が生成する動きベクトル場が進入車両等が存在しない図２と同様のものである場合には、関心事象検出部１４は、両ベクトル場の比較により、相違を検知せず、関心事象は発生していないと判断する。
【００３１】
一方、動きベクトル生成部１０から図３に示すような動きベクトル場が入力された場合、関心事象検出部１４は、予想動きベクトル場とは向きが異なる動きベクトル３６を有するブロックを検知し、これを以て関心事象が発生したと判断する。また、このとき、関心事象検出部１４は、動きベクトル３６を有するブロックの位置や数に基づいて、動きベクトル３６を生じた物体との距離や当該物体の大きさを求め、当該物体の出現が関心事象に該当するか否かを判定するように構成することもできる。例えば、当該物体が路面に位置し車両に相当する大きさを有することを検知した場合には、進入車両の可能性有りとして関心事象として検知する。一方、当該物体が空を飛ぶ鳥や比較的遠い前方交差点を横切る車両などである事象は、比較的に画像の上方の少数のブロックが両ベクトル場の相違領域として検知される。このような事象は一般に走行の安全に影響を与えないと考えられるため、関心事象検出部１４は相違領域の位置や大きさの上記特徴に基づいて、これらの事象を関心事象として検出しないようにすることができる。
【００３２】
予想動きベクトル推定部１２の他の構成は、動きベクトル生成部１０が先行する１又は複数フレームについて生成した動きベクトル場に基づいて、予想動きベクトル場を推定するというものである。この構成では図１に示すように、予想動きベクトル推定部１２は動きベクトル生成部１０から動きベクトル場を入力される。動きベクトル生成部１０が生成する動きベクトル場は、外界画像に静止物のみが存在する場合、車両の移動によって当然に生じ得るベクトル場であり、予想動きベクトル場となる。
【００３３】
ここで外界画像には、背景の静止物だけでなく、例えば、ほぼ一定の車間距離を置いて走行する前方車両や反対車線の車両なども撮影されることが一般的であるが、通常、これらは関心事象として検知する必要はない。そこで、このような関心事象として検知する必要がない移動物体が現れた外界画像から得られる動きベクトル場も、自車の移動状態において想定される範囲内のものであるとして、予想動きベクトル場として扱うことが可能である。例えば、上述の前方走行車両や反対車線走行車両など、その動きベクトルが静止物の動きベクトルの流線に沿ったものとなる事象は、原則として自車進路に影響を与えないため関心事象とする必要はない。そこで、予想動きベクトル推定部１２はそのような移動物体を含む動きベクトル場を予想動きベクトル場として、関心事象検出部１４における後続フレームの動きベクトル場との比較判定に供することができる。
【００３４】
但し、外界画像のうち自車の進路（走行車線）に対応する領域に現れる静止障害物や接近してくる前方車両と判断される事象は、関心事象とすべきものであり、予想動きベクトル推定部１２はこのような事象を含む動きベクトル場は予想動きベクトル場とはしない。ちなみに、路面上の障害物や前方から接近する車両は、その動きベクトルが近傍の路面の動きベクトルよりも大きくなることに基づいて原理的に判別可能である。
【００３５】
予想動きベクトル推定部１２は、上述のように、先行する複数フレームの動きベクトル場に基づいて予想動きベクトル場を推定する構成とすることができるが、その際、予想動きベクトル推定部１２はそれら複数フレームの動きベクトル場を平均して予想動きベクトル場を求めることができる。また、その平均は、例えば、新しいフレームほど重みを大きくするといった加重平均とすることもできる。このように複数フレームの動きベクトル場を平均することで、自車の走行のふらつきなどの影響除去が図られ、予想動きベクトル場の精度向上が期待できる。
【００３６】
上述した構成は予想動きベクトル推定部１２を備え、動きベクトル場との比較に用いる予想動きベクトル場を別途求めるものであった。これに対し次に述べる構成は、予想動きベクトル場を別途求めずに、現在の動きベクトル場と予想動きベクトル場との相違領域を抽出し、当該相違領域に基づいて関心事象の発生を検出する構成である。既に述べたように、予想動きベクトル場を構成する動きベクトルを連ねた流線は、相対移動ベクトルの流線を透視投影したものであり、図２に例示したように画面上、直線又は滑らかな曲線となる。すなわち、予想動きベクトル場を構成する動きベクトルの向きは空間的に連続であり、基本的に或る点で急に、つまり不連続に変化しないという性質を有する。この性質を利用して、関心事象検出部１４は、現在の動きベクトル場において或る領域の動きベクトルの向きがその近傍領域の動きベクトルの向きとは不連続に変化することに基づき、その不連続部分を相違領域の境界として検知することができる。本構成は、現在の動きベクトル場と予想動きベクトル場との相違領域を両ベクトル場の間接的な比較に基づいて検出するものであると言える。
【００３７】
上記実施形態は自動車に搭載されるドライブレコーダであったが、本発明は、他の移動体にも適用することができ、例えば、自走可能なロボットに用いることもできる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係るドライブレコーダの概略の構成を示すブロック図である。
【図２】予想動きベクトル推定部が生成する予想動きベクトル場の一例を示す模式図である。
【図３】自車の進路前方へ他の車両が進入してきた場合の外界画像及び動きベクトル場の一例を示す模式図である。
【符号の説明】
【００３９】
２  ＣＣＤカメラ、４  加速度センサ、６  信号処理部、８  記憶部、１０  動きベクトル生成部、１２  予想動きベクトル推定部、１４  関心事象検出部、１６  記録制御部、１８  バッファメモリ。
【図１】
2008066953.tif 000003
【図２】
2008066953.tif 000004
【図３】
2008066953.tif 000005