(57)【要約】【課題】ステレオ画像データを記憶する際にデータ量を低減可能な技術を提供する。【解決手段】移動体に搭載された撮像装置によって撮影され、且つ時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、移動体の移動状態を認識し、該移動状態に基づいて、各ステレオ画像に対する記憶対象領域を決定する。そして、各ステレオ画像のうちの記憶対象領域に係る画像データを記憶する。【選択図】図３
2010267114.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像装置によって撮影され、且つ時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、前記移動体の移動状態を認識する認識手段と、
前記移動状態に基づいて、各前記ステレオ画像に対する記憶対象領域を決定する決定手段と、
各前記ステレオ画像のうちの前記記憶対象領域に係る画像データを記憶する記憶手段と、
を備えることを特徴とする画像記憶装置。
【請求項２】
請求項１に記載の画像記憶装置であって、
前記移動体の移動状態を示す情報が、
前記移動体の移動速度、および該移動体の移動速度の時間的な変化量のうちの少なくとも一方を示す情報を含むことを特徴とする画像記憶装置。
【請求項３】
請求項１または請求項２に記載の画像記憶装置であって、
前記決定手段が、
前記移動体の移動速度が第１閾値速度未満の場合には、前記記憶対象領域を、前記移動体の移動速度が前記第１閾値速度以上の場合よりも拡大することを特徴とする画像記憶装置。
【請求項４】
請求項１から請求項３の何れか１つの請求項に記載の画像記憶装置であって、
前記決定手段が、
前記移動体の移動速度が第２閾値速度を超える場合には、前記記憶対象領域を、前記移動体の移動速度が前記第２閾値速度以下の場合よりも縮小することを特徴する画像記憶装置。
【請求項５】
請求項１から請求項４の何れか１つの請求項に記載の画像記憶装置であって、
前記移動体が、車両を含み、
前記車両の移動状態を示す情報が、
前記車両の操舵角を示す情報を含むことを特徴とする画像記憶装置。
【請求項６】
請求項５に記載の画像記憶装置であって、
前記決定手段が、
前記車両の操舵角が閾値角度以上の場合には、前記記憶対象領域を、前記車両の操舵角が前記閾値角度未満の場合よりも拡大することを特徴とする画像記憶装置。
【請求項７】
請求項１から請求項６の何れか１つの請求項に記載の画像記憶装置であって、
前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に係る画像データに対して非可逆圧縮処理および間引き処理のうちの少なくとも一方の画像処理を施す画像処理手段、を更に備え、
前記記憶手段が、
前記記憶対象領域に係る画像データとは別に、前記画像処理手段によって画像処理が施されることで得られる画像データを記憶することを特徴とする画像記憶装置。
【請求項８】
請求項７に記載の画像記憶装置であって、
前記間引き処理が、
画素の間引き処理およびフレームの間引き処理のうちの少なくとも一方の間引き処理を含むことを特徴とする画像記憶装置。
【請求項９】
請求項１から請求項８の何れか１つの請求項に記載の画像記憶装置であって、
前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、該ステレオ画像でとらえられた物体と前記移動体との位置関係の変化を検知することで、前記物体と前記移動体とが衝突する可能性があることを判定する判定手段、
を更に備え、
前記決定手段が、
前記判定手段によって前記物体と前記移動体とが衝突する可能性があると判定される場合に、前記物体が含まれるように前記記憶対象領域を決定することを特徴とする画像記憶装置。
【請求項１０】
請求項１から請求項９の何れか１つの請求項に記載の画像記憶装置と、
前記移動体に搭載されるとともに、前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に係る撮影を行う撮像装置と、
を備えることを特徴とする画像記憶システム。
【請求項１１】
移動体に搭載された撮像装置によって撮影され、且つ時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、移動体の移動状態を認識する認識ステップと、
前記移動体の移動状態に基づいて、前記ステレオ画像に対する記憶対象領域を決定する決定ステップと、
各前記ステレオ画像のうちの前記記憶対象領域に係る画像データを記憶部に記憶する記憶ステップと、
を備えることを特徴とする画像記憶方法。
【請求項１２】
画像記憶装置に含まれる制御部において実行されることにより、前記画像記憶装置を、請求項１から請求項９の何れか１つの請求項に記載の画像記憶装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を記憶する技術に関する。
【背景技術】
【０００２】
近年、自動車業界では走行の安全性を高める技術の開発および導入が活発化しており、カメラを用いた画像センサーやレーダー等を利用して危険を回避するシステムを車両に導入する動きが進んでいる。また、タクシー業界では、事故発生後の事故の解析に用いる事が可能なシステムとして、車両の衝突時のデータを記憶する事が可能なドライブレコーダの車両への導入が進んでいる。このドライブレコーダに記憶されるデータは、事故責任の有無を判断する材料として使用される。
【０００３】
これまでに導入されている一般的なドライブレコーダでは、衝突が発生した時点を基準とした前後数秒から数十秒程度の所定時間における車両の各種情報が記憶される。すなわち、周辺車両との事故の危険の発生に応じて、カメラで取得される画像データを外部メモリへ記憶させ始める技術が提案されている（例えば、特許文献１）。
【０００４】
これに対して、近年では、大容量の記憶媒体の低価格化に伴い、一日の運転状況や、センサーで検知出来なかったヒヤリとする様な場面や不意に驚く様な場面を含むあらゆる場面における映像を記憶できるシステムのドライブレコーダも増えつつある。但し、大容量の記憶媒体を搭載したドライブレコーダであっても、撮影によって得られた全ての生の画像データをそのまま保存する事は、データ量が膨大に成り過ぎるため、非現実的である。このため、一般的なドライブレコーダでは、例えば、ＭＰＥＧ−４(Moving Picture Experts Group phase 4)等の圧縮技術によってデータが圧縮されて、記憶媒体に保存される。
【０００５】
この様なドライブレコーダでは、いわゆる単眼カメラと他のシステム（加速度センサー、走行スピード計測器（エンジン回転数計測器）、距離計測レーダー）とが連動する事で得られる車両の走行状態に係るデータが保存される。しかし、単眼カメラと他のシステムとが連動する様なシステムでは、ドライブレコーダの独立性に欠け、他のシステムからのデータの取得が必須となる。このため、システムの設置等が複雑になる。
【０００６】
このような問題に対して、２台のカメラによって構成されるいわゆるステレオカメラが採用されて、他のシステムから車両の各種データが取得されることなく、ステレオカメラで得られた画像データ（ステレオ画像データ）から車両の走行状態に係る各種情報が演算によって得られるシステム（ステレオ型ドライブレコーダ）が提案されている（例えば、特許文献２，３）。ここで言う車両の走行状態に係る各種情報には、車両の自走速度、車両の絶対加速度、車両の操舵角、対象物体との相対速度、対象物体との相対加速度、対象物体の絶対速度、および対象物体との距離等の情報を含ませることが可能である。
【０００７】
この様に、ステレオ型ドライブレコーダでは、車両の走行に関する各種情報が、ステレオ画像データから得られる。従って、他のシステムから車両の走行状態に係る各種情報を取得する為に必要な各種構成が不要となる。その結果、他のシステムとの関係で、ドライブレコーダの独立性が高まり、システムの設置等が容易となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２３７７６４号公報
【特許文献２】特許第２６０８９９６号
【特許文献３】特開２００５−１９５４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、単眼カメラと他のシステムとが連動する様なシステムでは、画像データは、映像を残すための一手段に過ぎない為、画像データがある程度欠落および劣化しても問題が生じ難い。これに対して、ステレオ型ドライブレコーダでは、画像データに対して非可逆の圧縮処理が行われたり、画像データを構成するフレーム数が削減される事で、保存されるデータ量の削減が図られると、例えば、事故後等における画像データの解析時に対象物体との距離や動き等を算出する際に必要なデータが、欠落または劣化してしまう虞がある。従って、上記特許文献２，３で提案されるステレオ型ドライブレコーダでは、得られる画像データの容量が、単眼カメラで得られる画像データの容量よりも増大し、記憶媒体の容量の増大による記憶媒体の大型化および製造コストの上昇を招く。
【００１０】
このような問題は、車両を含む移動体一般に搭載された撮像装置によって撮影されるステレオ画像データを記憶する画像記憶装置一般に共通する。
【００１１】
本発明は、上記課題を鑑みてなされたものであり、ステレオ画像データを記憶する際にデータ量を低減可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、第１の態様に係る画像記憶装置は、移動体に搭載された撮像装置によって撮影され、且つ時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、前記移動体の移動状態を認識する認識手段と、前記移動状態に基づいて、各前記ステレオ画像に対する記憶対象領域を決定する決定手段と、各前記ステレオ画像のうちの前記記憶対象領域に係る画像データを記憶する記憶手段とを備える。
【００１３】
また、第２の態様に係る画像記憶装置は、第１の態様に係る画像記憶装置であって、前記移動体の移動状態を示す情報が、前記移動体の移動速度、および該移動体の移動速度の時間的な変化量のうちの少なくとも一方を示す情報を含む。
【００１４】
また、第３の態様に係る画像記憶装置は、第１または第２の態様に係る画像記憶装置であって、前記決定手段が、前記移動体の移動速度が第１閾値速度未満の場合には、前記記憶対象領域を、前記移動体の移動速度が前記第１閾値速度以上の場合よりも拡大する。
【００１５】
また、第４の態様に係る画像記憶装置は、第１から第３の何れか１つの態様に係る画像記憶装置であって、前記決定手段が、前記移動体の移動速度が第２閾値速度を超える場合には、前記記憶対象領域を、前記移動体の移動速度が前記第２閾値速度以下の場合よりも縮小する。
【００１６】
また、第５の態様に係る画像記憶装置は、第１から第４の何れか１つの態様に係る画像記憶装置であって、前記移動体が、車両を含み、前記車両の移動状態を示す情報が、前記車両の操舵角を示す情報を含む。
【００１７】
また、第６の態様に係る画像記憶装置は、第５の態様に係る画像記憶装置であって、前記決定手段が、前記車両の操舵角が閾値角度以上の場合には、前記記憶対象領域を、前記車両の操舵角が前記閾値角度未満の場合よりも拡大する。
【００１８】
また、第７の態様に係る画像記憶装置は、第１から第６の何れか１つの態様に係る画像記憶装置であって、前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に係る画像データに対して非可逆圧縮処理および間引き処理のうちの少なくとも一方の画像処理を施す画像処理手段、を更に備え、前記記憶手段が、前記記憶対象領域に係る画像データとは別に、前記画像処理手段によって画像処理が施されることで得られる画像データを記憶する。
【００１９】
また、第８の態様に係る画像記憶装置は、第７の態様に係る画像記憶装置であって、前記間引き処理が、画素の間引き処理およびフレームの間引き処理のうちの少なくとも一方の間引き処理を含む。
【００２０】
また、第９の態様に係る画像記憶装置は、第１から第８の何れか１つの態様に係る画像記憶装置であって、前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、該ステレオ画像でとらえられた物体と前記移動体との位置関係の変化を検知することで、前記物体と前記移動体とが衝突する可能性があることを判定する判定手段を更に備え、前記決定手段が、前記判定手段によって前記物体と前記移動体とが衝突する可能性があると判定される場合に、前記物体が含まれるように前記記憶対象領域を決定する。
【００２１】
また、第１０の態様に係る画像記憶システムは、第１から第９の何れか１つの態様に係る画像記憶装置と、前記移動体に搭載されるとともに、前記時間経過に対する被写体の変化をとらえた複数のステレオ画像に係る撮影を行う撮像装置とを備える。
【００２２】
また、第１１の態様に係る画像記憶方法は、移動体に搭載された撮像装置によって撮影され、且つ時間経過に対する被写体の変化をとらえた複数のステレオ画像に基づいて、移動体の移動状態を認識する認識ステップと、前記移動体の移動状態に基づいて、前記ステレオ画像に対する記憶対象領域を決定する決定ステップと、各前記ステレオ画像のうちの前記記憶対象領域に係る画像データを記憶部に記憶する記憶ステップとを備える。
【００２３】
また、第１２の態様に係るプログラムであって、画像記憶装置に含まれる制御部において実行されることにより、前記画像記憶装置を、第１から第９の何れか１つの態様に係る画像記憶装置として機能させる。
【発明の効果】
【００２４】
第１から第９の何れの態様に係る画像記憶装置によっても、複数のステレオ画像から認識される移動体の移動状態に応じて、各ステレオ画像の一部領域に係る画像データが記憶されるため、ステレオ画像データを記憶する際にデータ量を低減することが可能となる。
【００２５】
第２の態様に係る画像記憶装置によれば、複数のステレオ画像から認識される移動体の移動速度の違いに応じて、記憶対象領域を容易に決定することが可能となる。
【００２６】
第３および第４の何れの態様に係る画像記憶装置によっても、記憶される画像データのデータ量を低減しつつ、移動速度に応じて異なる重要な被写体に係る画像データを記憶することができる。
【００２７】
第５および第６の何れの態様に係る画像記憶装置によっても、記憶される画像データのデータ量を低減しつつ、操舵時に重要となる被写体に係る画像データを記憶することができる。
【００２８】
第７および第８の何れの態様に係る画像記憶装置によっても、複数のステレオ画像に対して非可逆圧縮処理および間引き処理のうちの少なくとも一方の画像処理が施されることで得られる画像データが記憶されるため、記憶された画像を用いた解析が容易となる。
【００２９】
第９の態様に係る画像記憶装置であって、ヒヤリとする様な場面や不意に驚く様な場面等といった危険度の高い場面に係る画像データを記憶することができる。
【００３０】
第１０の態様に係る画像記憶システムによれば、第１の態様に係る画像記憶装置と同様な効果が得られる。
【００３１】
第１１の態様に係る画像記憶方法によれば、第１の態様に係る画像記憶装置と同様な効果が得られる。
【００３２】
第１２の態様に係るプログラムによれば、第１から第９の態様に係る画像記憶装置と同様な効果が得られる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る画像記憶システムの概略構成を示す図である。
【図２】本発明の一実施形態に係る画像記憶システムの具体的な構成を示す図である。
【図３】本発明の一実施形態に係る画像記憶システムの機能的な構成を示す図である。
【図４】第１カメラで撮影される基準動画を例示する図である。
【図５】第２カメラで撮影される参照動画を例示する図である。
【図６】走行速度を認識する方法を説明する図である。
【図７】走行速度を認識する方法を説明する図である。
【図８】ステレオカメラの設置条件と撮影条件とを示す図である。
【図９】入力画像に対して設定される座標系を示す図である。
【図１０】車両の前進時における入力画像を模式的に示す図である。
【図１１】視差の２乗とオプティカルフローの垂直成分との関係を示す図である。
【図１２】視差の２乗とオプティカルフローの垂直成分との関係から検出される直線を示す図である。
【図１３】注目点に係る視差と垂直成分との関係を示す図である。
【図１４】注目点に係る視差と垂直成分との関係から検出される直線を示す図である。
【図１５】車両の操舵角の認識方法を説明するための図である。
【図１６】車両の操舵角の認識方法を説明するための図である。
【図１７】車両の通行状態を上方から見た模式図である。
【図１８】ステレオカメラで撮影された画像を例示する図である。
【図１９】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図２０】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図２１】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図２２】記憶対象領域の左端と右端とを決定する方法を説明するための図である。
【図２３】車両の通行状態を上方から見た模式図である。
【図２４】ステレオカメラで撮影された画像を例示する図である。
【図２５】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図２６】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図２７】従来技術において記憶部に記憶されるデータ内容を例示する図である。
【図２８】本発明の一実施形態に係る記憶部に記憶されるデータ内容を示す図である。
【図２９】本発明の一実施形態に係る画像記憶システムの動作フローを示すフローチャートである。
【図３０】本発明の一変形例に係る記憶部に記憶されるデータ内容を示す図である。
【図３１】本発明の一変形例に係る画像記憶システムの機能的な構成を示す図である。
【図３２】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図３３】ステレオ画像に対して設定される記憶対象領域を例示する図である。
【図３４】本発明の一変形例に係る画像記憶システムの動作フローを示すフローチャートである。
【図３５】本発明の一変形例に係る記憶部に記憶されるデータ内容を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明の一実施形態を図面に基づいて説明する。
【００３５】
＜(1)画像記憶システムの概略構成＞
図１は、本発明の一実施形態に係る画像記憶システム１の概略構成を示す図である。図１で示されるように、画像記憶システム１は、自動車等の車両１００に搭載され、ステレオカメラ３０と画像記憶装置２とを備える。ステレオカメラ３０は、車両１００の上部近傍に固設され、撮影方向が、車両１００が直進する方向（図１の太線矢印方向）に概ね向けられている。但し、ステレオカメラ３０の撮影方向は、車両１００が直進する方向に対して若干下向きに設定されている。
【００３６】
図２は、図１で示された画像記憶システム１の具体的な構成を示す図である。図２で示されるように、画像記憶装置２は、制御部１０、記憶部２０、および装着部４０を備える。そして、制御部１０、記憶部２０、ステレオカメラ３０、および装着部４０は、バスライン３を介して相互にデータ送受信可能に接続される。
【００３７】
制御部１０は、画像記憶システム１を統括制御する部分であるとともに、ＣＰＵやＲＡＭ等を有し、記憶部２０に記憶されるプログラムを読み込んで実行することで各種機能を実現する。
【００３８】
記憶部２０は、ハードディスク等を備えて構成され、画像記憶システム１を動作させるための各種プログラムや各種データを記憶する。また、ステレオカメラ３０の撮影によって得られる画像データ等を適宜記憶する。
【００３９】
ステレオカメラ３０は、第１カメラ３１と第２カメラ３２とが並んで設けられた撮像装置である。第１および第２カメラ３１，３２は、それぞれＣＣＤ等の撮像素子を備えたデジタルカメラによって構成される。また、第１および第２カメラ３１，３２の撮影方向は、車両１００が直進（前進）する方向に合わせて設定され、第１カメラ３１の光軸３１ｐと第２カメラ３２の光軸３２ｐとは略並行に設定される。なお、第１カメラ３１の光軸３１ｐと第２カメラ３２の光軸３２ｐとの間の距離（基線長）は、ステレオカメラ３０の設計に応じて所定値に設定される。
【００４０】
そして、ステレオカメラ３０は、撮影によって、時間経過に対する被写体の変化をとらえた複数のステレオ画像からなる動画（以下「ステレオ動画像」とも称する）を取得する。このステレオカメラ３０では、第１および第２カメラ３１，３２が同期しつつ、それぞれΔｔの時間間隔、すなわちΔｔのフレーム周期で、動画像を撮影する。ここでは、フレーム周期Δｔが１／６０秒に設定され、第１および第２カメラ３１，３２によって、それぞれ毎秒６０フレームからなる動画像が撮影される。なお、以下では、第１カメラ３１で撮影される動画像を「基準動画像」と称し、第２カメラ３２で撮影される動画像を「参照動画像」と称する。
【００４１】
装着部４０は、光ディスク４１等といった可搬性を有する記憶媒体の着脱が可能な部分である。画像記憶システム１では、記憶媒体が装着部４０に装着された状態で、該記憶媒体から各種プログラムや各種データを記憶部２０に読み込むことも可能である。
【００４２】
＜(2)画像記憶システムの機能的な構成＞
図３は、本発明の一実施形態に係る画像記憶システム１の機能的な構成を示す図である。図３で示されるように、制御部１０では、移動状態認識部１１、記憶対象領域決定部１２、画像処理部１３、および記憶制御部１４が、機能的な構成として実現される。この制御部１０では、移動状態認識部１１においてステレオ動画像に基づいて車両１００の走行状態が認識され、該走行状態に応じてステレオ動画像を構成する各フレームの一部の画像領域に係る画像データが、高解像度が維持されるように記憶部２０に記憶される。以下、画像記憶システム１の機能的な構成について具体的に説明する。
【００４３】
図３で示されるように、ステレオカメラ３０における撮影によって取得されるステレオ動画像に係る画像データが制御部１０に送信されることによって、該画像データが移動状態認識部１１に入力される。なお、ステレオカメラ３０から制御部１０への画像データの送信は、通信ケーブル等の通信回線を介した有線方式であっても良いし、無線方式であっても良い。
【００４４】
図４は、第１カメラ３１で撮影された基準動画像ＩＭＧ３１を例示する図であり、図５は、第２カメラ３２で撮影された参照動画像ＩＭＧ３２を例示する図である。なお、図４および図５では、時刻Ｔの経過に応じて順次に取得される静止画像が示されている。具体的には、図４で示されるように、基準動画像ＩＭＧ３１は、ｎフレーム（ｎは自然数）の静止画像（基準画像）Ｆ３１１〜Ｆ３１ｎによって構成される。また、図５で示されるように、参照動画像ＩＭＧ３２は、ｎフレーム（ｎは自然数）の静止画像（参照画像）Ｆ３２１〜Ｆ３２ｎによって構成される。各基準画像Ｆ３１１〜Ｆ３１ｎおよび各参照画像Ｆ３２１〜Ｆ３２ｎでは、例えば、左上が原点とされ、各画素のアドレスが、横方向の座標
ｉと縦方向の座標ｊで示される。
【００４５】
なお、図４および図５では、各基準画像Ｆ３１１〜Ｆ３１ｎおよび各参照画像Ｆ３２１〜Ｆ３２ｎが、少数の画素が格子状に配列されるような態様を有する状態が示されているが、実際には、多数の画素が配列される。ここでは、各基準画像Ｆ３１１〜Ｆ３１ｎおよび各参照画像Ｆ３２１〜Ｆ３２ｎが、縦方向に９６０画素が配列され且つ横方向に１２８０画素が配列される格子状の画素配列を有するものとする。また、各画素の階調が、例えば、８ビットの２５６段階（０〜２５５）で表されるものとする。なお、各画像は、カラー画像であっても良いし、モノクロ画像であっても良い。
【００４６】
移動状態認識部１１は、ステレオカメラ３０から入力されるステレオ動画像に基づいて、車両１００の走行状態を認識する。なお、車両１００の走行状態については、時間の経過とともに変化するため、所定のタイミング毎に認識される。ここで言う所定のタイミングとは、例えば、フレーム周期に対応する１／６０秒毎や、フレーム周期の自然数倍の時間毎等といったタイミングが考えられる。走行状態の認識方法の具体例については後述する。
【００４７】
記憶対象領域決定部１２は、移動状態認識部１１で認識された走行状態に基づいて、ステレオ動画像を構成する各画像に対して、記憶の対象となる領域（記憶対象領域）を決定する。なお、記憶対象領域については、車両１００の走行状態に応じて変更される。この記憶対象領域の具体的な決定方法については後述する。
【００４８】
画像処理部１３は、記憶対象領域決定部１２によって決定された記憶対象領域に応じて、ステレオ動画像に対して画像処理を施す。ここでは、ステレオ動画像を構成する各基準画像Ｆ３１１〜Ｆ３１ｎおよび各参照画像Ｆ３２１〜Ｆ３２ｎのうち、記憶対象領域に係る画像が抽出される。なお、ここでは、記憶対象領域の周囲の画像領域については、例えば、黒一色等のデータ量が著しく低減された態様とされる。具体的には、記憶対象領域に係る画像についてはビットマップ等の高解像度の形式で生の画像データが採用されるとともに、記憶対象領域以外に係る領域画像についてはＪＰＥＧ圧縮等の非可逆圧縮によってデータ量が大幅に低減された形式の画像データが生成される。このような処理により、画像のサイズが一定に維持されるにも拘わらず、ステレオ動画像のデータ量が大幅に低減される。
【００４９】
記憶制御部１４は、画像処理部１３によって画像処理が施されることで生成される画像データを、記憶部２０に記憶する処理を制御する。この記憶制御部１４の制御により、記憶部２０が、ステレオ動画像のうちの記憶対象領域に係る画像データを記憶することになる。
【００５０】
＜(3)走行状態の認識方法＞
移動状態認識部１１によって認識される車両１００の走行状態としては、例えば、車両１００の走行速度、および該走行速度の時間的な変化量、ならびに車両１００の操舵角等が挙げられる。ここで、移動状態認識部１１における車両１００の走行速度と車両１００の操舵角の認識方法とについて順次に説明する。
【００５１】
＜(3-1)走行速度の認識方法＞
＜(3-1-1)走行速度を認識する第１の方法＞
図６および図７は、車両１００の走行速度を認識する方法を説明するための図である。なお、図６および図７では、基準画像Ｆ３１１，Ｆ３１２および参照画像Ｆ３２１，Ｆ３２２が、簡略化されて表されているが、ここでは、縦方向に９６０画素が配列され且つ横方向に１２８０画素が配列される格子状の画素配列を有する。
【００５２】
この第１の方法では、移動状態認識部１１によって、以下の工程(a-1)〜(a-4)が順次に実行されることで、車両１００の走行速度が認識される。
【００５３】
(a-1)図６で示されるように、時刻ｔにおいてステレオカメラ３０によって撮影された基準画像Ｆ３１１と参照画像Ｆ３２１との間で、ＰＯＣ（位相限定相関法）やＳＡＤ（sum of absolute difference）等を用いたステレオマッチングが行われる。その結果、基準画像Ｆ３１１上の座標（ｉ1t，ｊ1t）で表される点Ｐ３１１に対して、参照画像Ｆ３２１から、同じある被写体の一部分をとらえた点Ｐ３２１の座標（ｉ2t，ｊ2t）が検出される。なお、ここで言うある被写体の一部分とは、道路面の凹凸部分等であれば良い。そして、基線長等を含むステレオカメラ３０に固有の内部パラメータにあたるカメラパラメータを用いて、点Ｐ３１１の座標（ｉ1t，ｊ1t）と、点Ｐ３２１の座標（ｉ2t，ｊ2t）とから、ある被写体の一部分に係る三次元の座標（ｘt，ｙt，ｚt）が求められる。なお、ここで言う三次元の座標は、例えば、ＸＹＺ直交座標系で示される。
【００５４】
(a-2)時刻ｔにおいてステレオカメラ３０によって撮影された基準画像Ｆ３１１と、時刻ｔから時間Δｔ経過した時刻ｔ＋Δｔにおいてステレオカメラ３０によって撮影された基準画像Ｆ３１２との間で、ステレオマッチングが行われる。その結果、基準画像Ｆ３１１上の座標（ｉ1t，ｊ1t）で表される点Ｐ３１１に対して、基準画像Ｆ３１２から、同じある被写体の一部分をとらえた点Ｐ３１２の座標（ｉ1(t+Δt)，ｊ1(t+Δt)）が検出される。
【００５５】
(a-3)図７で示されるように、時刻ｔ＋Δｔにおいてステレオカメラ３０によって撮影された基準画像Ｆ３１２と参照画像Ｆ３２２との間で、ステレオマッチングが行われる。その結果、基準画像Ｆ３１２上の座標（ｉ1(t+Δt)，ｊ1(t+Δt)）で表される点Ｐ３１２に対して、参照画像Ｆ３２２から、同じある被写体の一部分をとらえた点Ｐ３２２の座標（ｉ2(t+Δt)，ｊ2(t+Δt)）が検出される。そして、ステレオカメラ３０のカメラパラメータを用いて、点Ｐ３１２の座標（ｉ1(t+Δt)，ｊ1(t+Δt)）と、点Ｐ３２２の座標（ｉ2(t+Δt)，ｊ2(t+Δt)）とから、ある被写体の一部分に係る三次元の座標（ｘt+Δt，ｙt+Δt，ｚt+Δt）が求められる。
【００５６】
(a-4)時刻ｔにおけるある被写体の一部分に係る三次元の座標（ｘt，ｙt，ｚt）と、時刻ｔ＋Δｔにおけるある被写体の一部分に係る三次元の座標（ｘt+Δt，ｙt+Δt，ｚt+Δt）と、時間Δｔとから、車両１００とある被写体の一部分との間における単位時間当たりの相対的な位置の変化量が求められる。その単位時間当たりの相対的な位置の変化量から、車両１００の走行速度が認識される。
【００５７】
なお、上記工程(a-1)では、例えば、特開２００６−１３４０３５公報等で提案されている技術が用いられることで、ステレオ動画像から算出される距離データから立体物が認識されるとともに、距離データと、注目点の位置の時間的な変化量に相当するオプティカルフローとに基づいて、静止物体と移動物体とが判別されても良い。そして、静止物体の三次元の座標の時間変化が求められることで、車両１００の走行速度が認識される。
【００５８】
＜(3-1-2)走行速度を認識する第２の方法＞
ステレオ画像における視差を２乗した値と、オプティカルフローの垂直成分とを座標軸とする２次元座標空間において各注目点に係る数値をプロットし、プロットされた各点によって描かれる直線を最小二乗法およびハフ変換等の直線算出手法を用いて検出した上で、該直線の傾きから車両１００の走行速度が認識される。以下、この走行速度の認識方法について説明する。以下では、ステレオカメラ３０と道路面ＳROADとの関係、および注目点に係るオプティカルフローと視差との関係について順次に説明した後に、具体的な走行速度の認識方法について説明する。
【００５９】
＜(3-1-2-1)ステレオカメラと道路面との関係＞
図８は、道路面ＳROAD上を車両１００が走行している際におけるステレオカメラ３０の設置条件と撮影条件とについて示す図である。図８では、鉛直方向Ｙ、移動体の前進方向Ｚを示し、ステレオカメラ３０の光軸方向Ｚtilt、前進方向Ｚを基準とした場合のステレオカメラ３０のピッチ方向の傾斜角度φ、焦点距離ｆ、入力画像（基準画像又は参照画像）の垂直方向Ｙtilt、道路面ＳROADに対するステレオカメラ３０の高さｈ、入力画像の画角θ、車両１００からＺ方向に距離Ｄだけ離隔した道路面ＳROAD上の点Ａ、道路面ＳROADの原点０ROAD、および該点Ａを表す入力画像上の点の座標の垂直成分ｙが示されている。図８で示されるように、ステレオカメラ３０は、車両１００が前進する方向（前進方向）Ｚに対して、ピッチ方向ＤPITCHの傾きを有して設置される。但し、ステレオカメラ３０は、前進方向Ｚに対するパン方向およびロール方向には傾きを有していないものとする。
【００６０】
図９は、基準画像に対して設定される座標系を示す図である。ここでは、図９で示されるように、基準画像の中心が原点Ｐ0とされ、該基準画像の垂直方向がＹ軸によって規定され、水平方向がＸ軸によって規定される。なお、図９では、オプティカルフローが消失する面（消失面）ＳDが示されている。なお、この消失面ＳDは、カメラパラメータαを用いた等式（ｙ＝−α・φ）で規定される。
【００６１】
図８で示される関係に基づいて、座標ｙと距離Ｄとの関係は、下式(１)で示される。
【００６２】
ｈ／Ｄ＝ｔａｎ｛ｔａｎ-1（ｙ／α）＋φ｝  ・・・(１)。
【００６３】
上式(１)で示されるカメラパラメータαは、下式(２)の関係を有する。
【００６４】
α＝ｆ／ｐ＝Ｎ／２θ  ・・・(２)。
【００６５】
上式(２)では、第１および第２カメラ３１，３２の撮像素子における画素の間隔（画素ピッチ）がｐ、入力画像を構成する画素の数（画素数）がＮで示される。例えば、本実施形態では、画素数Ｎが１２２８８００（＝１２８０×９６０）、画素ピッチが０．００４６５ｍｍ、焦点距離ｆが１５ｍｍ、ステレオカメラ３０の基線長Ｂが２１０ｍｍにそれぞれ設定される。
【００６６】
ここで、ｈ／Ｄおよびｙ／αの値が１と比較して十分小さい場合には、上式(１)の関係を、下式(３)の関係に簡略化して示すことができる。
【００６７】
ｈ／Ｄ＝（１／α）・ｙ＋φ  ・・・(３)。
【００６８】
また、上式(３)から、距離Ｄを示す下式(４)が導出される。
【００６９】
Ｄ＝α・ｈ／（ｙ＋α・φ）  ・・・(４)。
【００７０】
一方、ステレオ画像から求まる視差ｄと道路面ＳROADとの距離の関係が、下式(５)で示される。なお、視差ｄは、同時刻の撮影によって得られた基準画像と参照画像との間における同じ部分をとらえた注目点のずれ量を示す。
【００７１】
Ｄ＝Ｂ・α・（１／ｄ）  ・・・(５)。
【００７２】
更に、上式(４)，(５)から、視差ｄと、入力画像における道路面ＳROAD上の点との関係を示す下式(６)が導出される。
【００７３】
ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ）  ・・・(６)。
【００７４】
＜(3-1-2-2)オプティカルフローと視差との関係＞
注目点に係るオプティカルフローには、(ｉ)車両１００の前進に係る成分と、(ii)車両１００の縦揺れ（ピッチ方向の回転）に係る成分と、(iii)車両１００の操舵（パン方向の回転）に係る成分とが含まれる。
【００７５】
(ｉ)車両１００の前進に係る成分：
図１０は、車両の前進時における入力画像を模式的に示す図である。図１０で示されるように、車両１００が前進している際には、道路面ＳROAD上の注目点に係るオプティカルフローの延長線は、座標（０，−α・φ）の点に集中する。なお、ここでは、座標（０，−α・φ）の点を通り、且つ水平方向と平行な直線によって表される面が消失面ＳDとなる。
【００７６】
ここで、時刻ｔ0における撮影によって得られた入力画像については、車両１００からＺ方向に距離Ｄだけ離隔した道路面ＳROAD上の点Ａの垂直方向の座標ｙ0が、下式(７)で示される。
【００７７】
ｙ0＝α・（ｈ／Ｄ−φ）  ・・・(７)。
【００７８】
また、時刻ｔ0からΔｔ秒経過した時刻ｔ1における撮影によって得られた入力画像については、点Ａの垂直方向の座標ｙ1が、下式(８)で示される。
【００７９】
ｙ1＝α・｛ｈ／（Ｄ−ｖ・Δｔ）−φ｝  ・・・(８)。
【００８０】
上式(８)では、時刻ｔ0から時刻ｔ1にかけての期間における車両１００の走行速度がｖで示されている。そして、上式(７)，(８)から、時刻ｔ0と時刻ｔ1との間における点Ａに係る入力画像上での垂直方向への位置変化Δｙを示す下式(９)が導出される。
【００８１】
Δｙ＝ｙ1−ｙ0
＝α・｛ｈ／（Ｄ−ｖ・Δｔ）−ｈ／Ｄ｝
＝α・｛ｖ・Δｔ・ｈ／（Ｄ−ｖ・Δｔ）・Ｄ｝
≒α・ｖ・Δｔ・ｈ／Ｄ2  ・・・(９)。
【００８２】
また、図８の関係に基づいて、時刻ｔ0と時刻ｔ1との間における点Ａに係る入力画像上での水平方向への位置変化Δｘは、垂直方向への位置変化Δｙを用いて下式(１０)で示される。
【００８３】
Δｘ＝ｘ・Δｙ／（ｙ＋α・φ）  ・・・(１０)。
【００８４】
なお、上式(１０)で示されるｘは、時刻ｔ0において撮影される入力画像上の注目点（ここでは点Ａ）の座標の水平成分ｘを示す。ここで、上式(４)で示される距離Ｄが、上式(９)に代入されることで、下式(１１)が導出されるとともに、上式(１０)に基づいて下式(１２)が導出される。
【００８５】
Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）2  ・・・(１１)。
【００８６】
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｘ・ｄ  ・・・(１２)。
【００８７】
上式(１１)，(１２)で示されるΔｘとΔｙが、車両１００の前進に係るオプティカルフローの成分に相当する。
【００８８】
(ii)車両１００の縦揺れ（ピッチ方向の回転）に係る成分：
時刻ｔ0における撮影によって得られた入力画像については、車両１００からＺ方向に距離Ｄだけ離隔した道路面ＳROAD上の点Ａの垂直方向の座標ｙ0が、下式(１３)で示される。
【００８９】
ｙ0＝α・（ｈ／Ｄ−φ）  ・・・(１３)。
【００９０】
また、時刻ｔ0からΔｔ秒経過した時刻ｔ1における撮影によって得られた入力画像については、点Ａの垂直方向の座標ｙ1が、下式(１４)で示される。
【００９１】
ｙ1＝α・｛ｈ／Ｄ−（φ＋ω・Δｔ）｝  ・・・(１４)。
【００９２】
上式(１４)では、車両１００のピッチ方向の角速度がωで示されている。そして、上式(１３)，(１４)から、時刻ｔ0と時刻ｔ1との間における点Ａに係る入力画像上での垂直方向への位置変化Δｙを示す下式(１５)が導出される。
【００９３】
Δｙ＝ｙ1−ｙ0＝−α・ω・Δｔ  ・・・(１５)。
【００９４】
なお、車両１００のピッチ方向の回転によっては、入力画像において水平方向へのオプティカルフローが生じない。従って、時刻ｔ0と時刻ｔ1との間における点Ａに係る入力画像上での水平方向への位置変化Δｘは、下式(１６)で示される。
【００９５】
Δｘ＝０  ・・・(１６)。
【００９６】
上式(１５)，(１６)で示されるΔｘとΔｙが、車両１００の縦揺れに係るオプティカルフローの成分に相当する。
【００９７】
(iii)車両１００の操舵（パン方向の回転）に係る成分：
車両１００では、操舵によって横方向への移動（並進）と横方向の回転とが生じる。ここで、車両１００のパン方向への角速度をσとすると、車両１００の並進量ｂは、下式(１７)で示される。
【００９８】
ｂ＝ｖ・Δｔ／ｓｉｎ（σ・Δｔ）−ｖ・Δｔ／ｔａｎ（σ・Δｔ）
＝ｖ・Δｔ・｛ｔａｎ（σ・Δｔ）−ｓｉｎ（σ・Δｔ）｝／｛ｓｉｎ（σ・Δｔ）・ｔａｎ（σ・Δｔ）｝
≒｛ｖ・Δｔ／（σ・Δｔ）2｝・（１／２）・（σ・Δｔ）3
＝（１／２）・ｖ・Δｔ・σ・Δｔ  ・・・(１７)。
【００９９】
そして、入力画像上では、上式(６)から、下式(１８)で示される水平方向に係るオプティカルフローの成分Δｘが発生することが分かる。
【０１００】
Δｘ＝（ｂ／ｈ）・（ｙ＋α・φ）
＝（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ）・σ・Δｔ  ・・・(１８)。
【０１０１】
従って、車両１００の並進に係るオプティカルフローの成分と車両１００の横方向の回転に係るオプティカルフローの成分とが合算されることで、車両１００の操舵に係るオプティカルフローの水平成分Δｘが、下式(１９)で示されるように導出される。
【０１０２】
Δｘ＝−｛α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ）｝・σ・Δｔ  ・・・(１９)。
【０１０３】
なお、車両１００の操舵によっては、入力画像において垂直方向へのオプティカルフローが生じない。従って、時刻ｔ0と時刻ｔ1との間における点Ａに係る入力画像上での垂直方向への位置変化Δｙは、下式(２０)で示される。
【０１０４】
Δｙ＝０  ・・・(２０)。
【０１０５】
(iv)車両１００の前進と縦揺れと操舵とに係るオプティカルフロー：
車両１００の走行時に前進と縦揺れと操舵とに起因して発生する点Ａに係る入力画像上でのオプティカルフロー（水平成分Δｘ、垂直成分Δｙ）は、上式(１１)，(１２)，(１５)，(１６)，(１９)，(２０)に基づいて、下式(２１)，(２２)で示される。
【０１０６】
Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）2−α・ω・Δｔ  ・・・(２１)。
【０１０７】
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｄ・ｘ−｛α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ）｝・σ・Δｔ  ・・・(２２)。
【０１０８】
そして、上式(６)を用いて、上式(２１)，(２２)から、下式(２３)，(２４)で示されるオプティカルフローと視差ｄとの関係が得られる。
【０１０９】
Δｙ＝（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）・ｄ2−α・ω・Δｔ  ・・・(２３)。
【０１１０】
Δｘ＝（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘ−｛α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ｝・σ・Δｔ  ・・・(２４)。
【０１１１】
＜(3-1-2-3)具体的な走行速度の認識方法＞
移動状態認識部１１では、以下の工程(b-1)〜(b-5)が順次に実行されることで、車両１００の走行速度が認識される。
【０１１２】
(b-1)時刻ｔ0と時刻ｔ1とにおいて撮影されるステレオ画像から各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとが求められる。
【０１１３】
(b-2)視差ｄの２乗とオプティカルフローの垂直成分Δｙとを座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図１１は、各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとの関係を示す図である。図１１では、横軸が視差ｄの２乗を示し、且つ縦軸がオプティカルフローの垂直成分Δｙを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【０１１４】
(b-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１１で示されるようにプロットされた各点によって描かれる直線Ｌ１が検出される。
【０１１５】
(b-4)直線Ｌ１の傾きおよび切片が検出される。
【０１１６】
(b-5)上記工程(b-4)において検出された直線Ｌ１の傾きから車両１００の走行速度（前進速度）ｖが算出されるとともに、上記工程(b-4)において検出された直線Ｌ１の切片から車両１００のピッチ方向における角速度ωが算出される。ここで、直線Ｌ１は、上式(２４)で示される関係を有する。具体的には、図１２で示されるように、直線Ｌ１は、Δｙおよびｄ2を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）を傾きとし、−α・ω・Δｔを切片とする直線である。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔは、ステレオカメラ３０の設計によって決まる定数である。従って、直線Ｌ１の傾きと切片とが検出されれば、定数α，Ｂ，Δｔが用いられて、ｈ・ｖの値と角速度ωの値とが算出される。そして、道路面ＳROADを基準としたステレオカメラ３０の高さｈとして、予め設定された初期値が採用されれば、車両１００の走行速度ｖが求められる。
【０１１７】
なお、高さｈについては、上式(６)の関係を利用した演算によって導出することも可能である。具体的には、以下の工程(b-5-1)〜(b-5-5)に係る演算が順次に実行されることで、高さｈが導出される。
【０１１８】
(b-5-1)入力画像について、各注目点に係る視差ｄと、該各注目点の座標の垂直成分ｙとが求められる。
【０１１９】
(b-5-2)視差ｄと注目点の座標の垂直成分ｙとを座標軸とする２次元座標空間に各注目点に係る値がプロットされる。図１３は、各注目点に係る視差ｄと座標の垂直成分ｙとの関係を示す図である。図１３では、横軸が垂直成分ｙを示し、且つ縦軸が視差ｄを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【０１２０】
(b-5-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１３で示されるようにプロットされた各点によって描かれる直線Ｌ２が検出される。
【０１２１】
(b-5-4)直線Ｌ２の傾きおよび切片が検出される。
【０１２２】
(b-5-5)直線Ｌ２の傾きからステレオカメラ３０の高さｈが算出されるとともに、直線Ｌ２の切片からステレオカメラ３０のピッチ方向の傾斜角度φが算出される。なお、直線Ｌ２は、上式(６)で示される関係を有する。具体的には、図１４で示されるように、直線Ｌ２は、ｙおよびｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とする直線である。ここで、カメラパラメータα、および基線長Ｂは、ステレオカメラ３０の設計によって決まる定数である。したがって、ここでは、上記工程(b-5-4)において検出された直線Ｌ２の傾きと切片と、定数α，Ｂとに基づいて、高さｈの値と傾斜角度φの値とが算出される。
【０１２３】
＜(3-2)操舵角の認識方法＞
図１５および図１６は、移動状態認識部１１による車両１００の操舵角の認識方法を説明するための図である。移動状態認識部１１では、以下の工程(c-1)〜(c-6)が順次に実行されることで、車両１００の操舵角が認識される。
【０１２４】
(c-1)車両１００のパン方向に係る角速度が算出される。具体的には、以下のような処理が実行される。まず、各注目点に係る第１の座標値Ｃｖ1と第２の座標値Ｃｖ2とが求められる。ここでは、第１の座標値Ｃｖ1は、下式(２５)によって算出される。
【０１２５】
Ｃｖ1＝Δｘ−（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘ  ・・・(２５)。
【０１２６】
なお、上式(２５)では、Δｘがオプティカルフローの水平成分を示し、ｘが注目点の座標の水平成分を示している。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔはステレオカメラ３０の設計によって決まる定数である。また、オプティカルフローの水平成分Δｘについては、時刻ｔ0と時刻ｔ1とにおける撮影によって取得される入力画像を用いたステレオマッチング等によって算出される。また、視差ｄについては、時刻ｔ0における撮影によって取得されるステレオ画像を用いたステレオマッチング等によって算出される。また、注目点の座標の水平成分ｘについては、時刻ｔ0における撮影によって取得される入力画像に基づいて認識される。更に、車両１００の走行速度ｖについては、上記工程(b-1)〜(b-5)において求められる。従って、これらの値Δｘ，α，ｖ，Δｔ，Ｂ，ｄ，ｘが上式(２５)に代入されると、第１の座標値Ｃｖ1が算出される。
【０１２７】
また、第２の座標値Ｃｖ2は、下式(２６)によって算出される。
【０１２８】
Ｃｖ2＝−｛α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ｝  ・・・(２６)。
【０１２９】
なお、ここでは、定数α，Ｂ，Δｔは既知であり、視差ｄは、ステレオ画像を用いたステレオマッチングによって求められ、走行速度ｖは上記工程(b-1)〜(b-5)において求められる。従って、これらの値α，ｖ，Δｔ，Ｂ，ｄが上式(２６)に代入されると、第２の座標値Ｃｖ2が算出される。
【０１３０】
(c-2)第１および第２の座標値Ｃｖ1，Ｃｖ2をそれぞれ座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図１５は、各注目点に係る第１の座標値Ｃｖ1と第２の座標値Ｃｖ2との関係を示す図である。図１５では、横軸が第２の座標値Ｃｖ2を示し、且つ縦軸が第１の座標値Ｃｖ1を示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【０１３１】
(c-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１５で示されるようにプロットされた各点によって描かれる直線Ｌ３が検出される。
【０１３２】
(c-4)上記工程(c-3)において検出された直線Ｌ３の傾きが検出される。
【０１３３】
(c-5)上記工程(c-4)において検出された直線Ｌ３の傾きから車両１００のパン方向の角速度σが算出される。ここで、直線Ｌ３は、上式(２４)で示される関係、すなわち下式(２７)で示される関係を有する。
【０１３４】
｛Δｘ−（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘ｝＝−｛α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ｝・σ・Δｔ  ・・・(２７)。
【０１３５】
つまり、図１６で示されるように、直線Ｌ３は、σ・Δｔを傾きとした直線である。このため、上記工程(c-4)において検出された直線Ｌ３の傾きと、フレーム周期Δｔとに基づいて、車両１００のパン方向の角速度σが算出される。
【０１３６】
(c-6)上記工程(c-5)において検出される角速度αに基づいて、車両１００の操舵角θCVが認識される。
【０１３７】
＜(4)記憶対象領域の決定方法＞
＜(4-1)走行速度に応じた記憶対象領域＞
図１７は、車両１００およびその周辺の車両の通行状態を上方から見た模式図である。図１７では、車両１００が２車線の直線道路を走行しており、車両１００の斜め前方に車両１０３が走行し、車両１００の前方に車両１０４が走行している状態が示されている。
【０１３８】
図１８は、図１７で示されるような状態で走行中の車両１００に搭載されたステレオカメラ３０によって撮影された１フレームの画像（フレーム画像）１７ＦＬを例示する図である。
【０１３９】
図１９から図２１は、車両１００の走行速度ｖに応じてステレオ画像（ここでは、各フレーム画像１７ＦＬ）に対して設定される記憶対象領域を例示する図である。具体的には、図１９では、走行速度ｖが第１の閾値速度以上で且つ第２の閾値速度以下の中速度の場合において各フレーム画像１７ＦＬに対して設定される記憶対象領域Ａｒ１が示される。また、図２０では、走行速度ｖが第２の閾値速度を超える高速度である場合において各フレーム画像１７ＦＬに対して設定される記憶対象領域Ａｒ２が示される。更に、図２１では、走行速度ｖが第１の閾値速度未満の低速度である場合において各フレーム画像１７ＦＬに対して設定される記憶対象領域Ａｒ３が示される。
【０１４０】
図１９から図２１で示されるように、車両１００の走行速度ｖが第１の閾値速度以上で且つ第２の閾値速度以下の中速度の場合（標準走行時）には、記憶対象領域決定部１２によって記憶対象領域が標準状態の領域Ａｒ１に決定される。また、車両１００の走行速度ｖが第２の閾値速度を超える場合（高速走行時）には、記憶対象領域決定部１２によって記憶対象領域が領域Ａｒ１よりも狭い領域Ａｒ２に縮小される。一方、車両１００の走行速度ｖが第１の閾値速度未満の場合（低速走行時）には、記憶対象領域決定部１２によって記憶対象領域が領域Ａｒ１よりも広い領域Ａｒ３に拡大される。なお、ここでは、領域Ａｒ１が、領域Ａｒ２の全体を含み且つ領域Ａｒ２よりも広く、領域Ａｒ３が、領域Ａｒ１の全体を含み且つ領域Ａｒ１よりも広くなるように設定される。
【０１４１】
また、第１の閾値速度は、例えば、３０〜４０ｋｍ程度に設定され、第２の閾値速度は、例えば、６０〜７０ｋｍ程度に設定される。そして、第１および第２カメラ３１，３２が、例えば、１２０°を超える水平方向に係る画角θを有する広角カメラであれば、記憶対象領域の水平方向の幅Ｗに対応する水平方向に係る視野角θHが、次のように変更される。標準走行時には水平方向に係る視野角θHが約８０°となり、高速走行時には水平方向に係る視野角θHが２０〜３０°となり、低速走行時には水平方向に係る視野角θHが約１２０°となる。なお、領域Ａｒ１〜Ａｒ３の位置を示す情報については、対応する走行速度の範囲に対して関連づけられたテーブル等の形式で記憶部２０に記憶され、移動状態認識部１１で認識された走行速度ｖに応じて、記憶対象領域決定部１２によって、対応する領域の位置を示す情報がテーブルから読み出される様な態様が考えられる。
【０１４２】
このような走行速度に応じた記憶対象領域の広狭により、走行速度に応じて接触等の危険性が比較的高い車両や障害物が記憶対象領域内に入るように調整される。なお、ここでは、低速走行時には、広範囲に存在する接触等の危険性が高い近距離に存在する車両や障害物をとらえた画像を含む記憶対象領域Ａｒ３が設定される。一方、高速走行時には、接触等の危険性が低い近距離に存在する車両や障害物を大きくは含まず、且つ接触等の危険性が比較的高い遠距離に存在する車両や障害物を含む記憶対象領域Ａｒ２が設定される。
【０１４３】
なお、ここでは、車両１００の走行速度に応じて、記憶対象領域の広狭が３段階で切り替えられる例を挙げて説明したが、これに限られない。例えば、車両１００の走行速度に応じて、記憶対象領域の広狭が多段階で変更されても良いし、記憶対象領域の広狭が連続的に変更されても良い。ここで、走行速度ｖに応じた記憶対象領域の広狭の連続的な変更方法の具体例に関し、(Ｉ)記憶対象領域の上端および下端の位置の決定、(II)記憶対象領域の左端および右端の位置の決定、について順次に説明する。
【０１４４】
(Ｉ)記憶対象領域の上端および下端の位置の決定：
記憶対象領域の下端の位置については、車両１００が走行中に運転者によって急ブレーキがかけられた際に該車両１００が停車する位置（停車位置）が若干の余裕を有して記憶対象領域に含まれるように設定されることが好ましい。そこで、車両１００が走行中に運転者によって急ブレーキをかけようとした時点から該車両１００が停止するまでに進む距離（停止距離）ＬSTに応じて決定されることを考える。
【０１４５】
ここで、停止距離ＬSTは、下式(２８)で示されるように、運転者が危険に気が付いてからブレーキペダルが踏み込まれるまでの期間に車両１００が走行する距離（空走距離）ＬERと、急ブレーキがかけ始められてから車両１００が停車するまでに該車両１００が走行する距離（制動距離）ＬBRとの和で示される。
【０１４６】
ＬST＝ＬER＋ＬBR  ・・・(２８)。
【０１４７】
また、空走距離ＬERは、下式(２９)で示されるように、運転者が危険に気づいてからブレーキペダルが踏み込まれるまでに要する時間（反応時間）ＴREACTと、急ブレーキがかけられる直前の車両１００の走行速度ｖPRとの積で示される。なお、下式(２９)では、反応時間ＴREACTの単位が秒とされ、走行速度ｖPRの単位がｍ／秒とされると、空走距離ＬERの単位がｍとなる。
【０１４８】
ＬER＝ＴREACT×ｖPR  ・・・(２９)。
【０１４９】
また、制動距離ＬBRは、下式(３０)で示されるように、摩擦係数μと急ブレーキがかけられる直前の車両１００の走行速度ｖPRとによって算出される。なお、下式(３０)では、走行速度ｖPRの単位がｍ／秒とされ、摩擦係数μの単位がＮ・ｍとされると、制動距離ＬBRの単位がｍとなる。
【０１５０】
ＬBR＝ｖPR2／（２５４×μ）  ・・・(３０)。
【０１５１】
ここでは、仮に、車両１００の先端の真下における道路面ＳROAD上の位置が、入力画像の下端に概ね対応するものとする。そして、急ブレーキがかけられた際に停車位置が若干の余裕を有して記憶対象領域に含まれるように、オフセット値γ（例えば、１０％）が設定される。具体的には、下式(３１)によって算出される車両１００から距離ＤBTMだけ離隔した道路面ＳROAD上の地点が、記憶対象領域の下端に対応するように、該記憶対象領域の下端の垂直方向に係る座標値が設定される。
【０１５２】
ＤBTM＝ＬST−ＬST×γ  ・・・(３１)。
【０１５３】
ここで、車両１００から距離ＤBTMだけ離隔した地点に相当する入力画像上の位置は、ステレオカメラ３０の設置および設計条件に応じたパラメータに応じて認識可能である。
【０１５４】
また、記憶対象領域の上端の位置については、道路面ＳROAD上に存在する最も高い物体の上端の三次元の座標に基づいて決定される。
【０１５５】
詳細には、道路面ＳROADおよび該道路面ＳROAD上に存在する物体の表面を示す三次元の座標は、上述したように、基準画像における注目点に係る座標と参照画像における該注目点に係る座標と、カメラパラメータとに基づいて求められる。次に、求められた三次元の座標の分布から、道路面ＳROAD上に存在する最も背が高い物体の上端に係る三次元の座標が求まる。そして、道路面ＳROAD上に存在する最も背が高い物体の上端が、若干の余裕を有して記憶対象領域の画像によってとらえられるように、記憶対象領域の上端の位置が決定される。なお、道路面ＳROAD上に存在する最も背が高い物体の上端に相当する入力画像上の位置は、ステレオカメラ３０の設置および設計条件に応じたパラメータに応じて、認識可能である。
【０１５６】
(II)記憶対象領域の左端および右端の位置の決定：
記憶対象領域の左端および右端の位置については、接触の危険性が高い物体が含まれるように、車両１００の走行速度ｖを用いて上式(２８)〜(３０)から算出される停止距離ＬSTに基づいて決定される手法が考えられる。
【０１５７】
図２２は、記憶対象領域の左端と右端とを決定する方法を説明するための図である。図２２では、車両１００と車両１０４とが三車線道路の中央車線の道路面ＳROAD上を走行中である場合について、ステレオカメラ３０の位置と車両１０４との位置関係が示されている。ここでは、１車線の幅を約３．３ｍとし、車両１００が走行中の車線および車両１００から見て左右の車線を走行する車両を記憶対象領域に係る画像でとらえる場合を想定する。なお、３車線分の幅は約１０ｍとなる。
【０１５８】
ここで、１．５車線分の幅をＷXとすると、停止距離ＬSTと、幅ＷXと、焦点距離ｆと、ステレオカメラ３０の撮像素子の画素ピッチｐと、入力画像上における記憶対象領域の中央から左端（または右端）までの距離ｘとが、下式(３２)の関係を有する。また、下式(３２)から下式(３３)が導出される。
【０１５９】
ＬST：ＷX＝ｆ：ｐ×ｘ  ・・・(３２)
ｘ＝ｆ×ＷX／ＬST×ｐ  ・・・(３３)。
【０１６０】
ここで、焦点距離ｆおよび画素ピッチｐについては、ステレオカメラ３０の設計によって決まる。更に、幅ＷXについては、設定によって決まる定数である。このため、上式(３４)から、記憶対象領域の左端および右端の位置が求められる。例えば、幅ＷX＝５ｍ、走行速度ｖ＝６０ｋｍ／ｈの場合の停止可能距離ＬST＝４４ｍ、ｆ＝１５ｍｍ、ｐ＝０．００４６５ｍｍ等といった値が、上式(３３)に代入されることで、距離ｘが求まる。
【０１６１】
＜(4-2)操舵角に応じた記憶対象領域＞
図２３は、車両１００およびその周辺の車両の通行状態を上方から見た模式図である。図２３では、車両１００が２車線道路において右折しようとしており、車両１００の斜め前方に車両１０３が走行し、車両１００の前方に車両１０４が走行している状態が示されている。
【０１６２】
図２４は、図２３で示されたような状態で走行中の車両１００に搭載されたステレオカメラ３０による撮影によって得られる１フレームの画像（フレーム画像）２３ＦＬを例示する図である。
【０１６３】
図２５および図２６は、車両１００の操舵角に応じてステレオ画像（ここでは、各フレーム画像２３ＦＬ）に対して設定される記憶対象領域を例示する図である。具体的には、図２５では、低速走行時であり且つ車両１００の操舵角が所定の閾値角度未満である場合において各フレーム画像２３ＦＬに対して設定される記憶対象領域Ａｒ３が示される。図２６では、低速走行時であり且つ車両１００の操舵角が所定の閾値角度以上である場合において各フレーム画像２３ＦＬに対して設定される記憶対象領域Ａｒ１０が示される。
【０１６４】
図２５および図２６で示されるように、車両１００の操舵角が所定の閾値角度未満である場合には、記憶対象領域決定部１２によって記憶対象領域が直進する走行状態に応じた領域Ａｒ３に決定される。また、車両１００の操舵角が所定の閾値角度以上である場合には、記憶対象領域決定部１２によって記憶対象領域が領域Ａｒ３から左右の幅を拡大させた領域Ａｒ１０に拡大される。なお、所定の閾値角度は、例えば、２０〜３０°程度の範囲に含まれる所定角度に設定される。図２６では、領域Ａｒ３の幅と各フレーム画像２３ＦＬの幅とが同一となっている態様が示されている。
【０１６５】
車両１００の右折時および左折時等といった操舵時には、車両１００から見て左右の広い範囲に存在する車両や通行人等に対して車両１００が接触する危険性が高まる。このため、車両１００の操舵時には、記憶対象領域の幅が拡大されることで、車両１００と接触する危険性が高い物体が記憶対象領域に含まれるように設定される。
【０１６６】
なお、ここでは、車両１００の操舵角に応じて、記憶対象領域の幅が２段階で変更されたが、これに限られない。例えば、操舵角の変化に応じて、記憶対象領域の幅が多段階で変更されても良い。
【０１６７】
＜(5)記憶部へのデータの記憶＞
図２７は、従来技術において記憶部に記憶されるデータ内容を例示する図であり、図２８は、本発明の一実施形態に係る画像記憶システム１において記憶部２０に記憶されるデータ内容を例示する図である。
【０１６８】
図２７で示されるように、従来技術では、ステレオ動画像がそのまま記憶部に記憶される。このため、記憶される画像データのデータ量が膨大となり、画像データを記憶するための記憶部の容量の増大が必要となり、該記憶部の大型化およびシステム全体の製造コストの上昇を招く。
【０１６９】
これに対して、本実施形態に係る画像記憶システム１では、図２８で示されるように、ステレオ動画像については、記憶対象領域に係る生の高解像度の画像データと、記憶対象領域以外の領域画像に係る低解像度の画像データとからなる画像データが記憶部２０に記憶される。なお、各画像データは、その元となる基準画像および参照画像に係る撮影が行われた時刻と関連付けられて記憶部２０に記憶される。このような構成により、ステレオ画像データに係る画像データのデータ量が低減された状態で、記憶部２０に記憶される。このため、記憶部２０の小型化およびシステム全体の製造コストの低減が図られる。
【０１７０】
また、本実施形態に係る画像記憶システム１では、図２８で示されるように、移動状態認識部１１によって認識された走行状態を示す情報についても、記憶部２０に記憶される。ここで、走行状態を示す情報には、上述したように、各フレームの撮影時における車両１００の走行速度、該走行速度の変化率、および車両１００の操舵角の情報が含まれる。
【０１７１】
このように、走行状態を示す情報が記憶部２０に記憶されることにより、後に、各フレームの撮影時におけるどのような条件に基づいて、記憶対象領域が決定されたのかについて解析することが可能となる。なお、走行状態に係る情報が保存されていれば、ステレオ動画像の各入力画像に対して設定された記憶対象領域の位置の把握が可能となる。このため、このような構成が採用されれば、各入力画像の記憶対象領域以外の領域画像に係る画像データについては、保存されなくても構わない。つまり、ステレオ動画像の各入力画像から記憶対象領域に含まれる領域画像が単に切り出されて、記憶部２０に記憶されても良い。
【０１７２】
なお、走行状態を示す情報の代わりに、各入力画像における記憶対象領域の位置を特定する情報（例えば、記憶対象領域の左上と右下の座標を示す情報等）を記憶部２０に記憶するようにしても良い。このような構成において、走行状態の変化に応じて記憶対象領域が細かく変更されるのであれば、記憶対象領域の位置を特定する情報に基づいて、走行状態を細かく把握することも可能となる。更に、走行状態を示す情報を用いて、シーン毎に分類することも可能であり、所望の情報を短時間で検索することも可能となる。
【０１７３】
＜(6)画像記憶システムの動作フロー＞
図２９は、本発明の一実施形態に係る画像記憶システム１の動作フローを示すフローチャートである。本動作フローは、制御部１０の制御によって実行される。なお、本動作フローは、車両１００の走行開始に応答した画像記憶システム１の起動に応じて開始され、図２９のステップＳ１に進む。
【０１７４】
ステップＳ１では、ステレオカメラ３０による撮影が開始される。つまり、ステレオカメラ３０で取得される入力画像（具体的には、基準画像および参照画像）に係る画像データが制御部１０へ順次に送信される動作が開始される。
【０１７５】
ステップＳ２では、移動状態認識部１１による車両１００の走行状態の認識が行われる。ここでは、ステップＳ１においてステレオカメラ３０によって撮影され且つ時間経過に対する被写体の変化をとらえたステレオ画像が解析されることで、車両１００の走行状態が認識される。この走行状態には、車両１００の走行速度および操舵角等が含まれる。
【０１７６】
ステップＳ３では、記憶対象領域決定部１２によって、ステップＳ２で認識された走行状態に基づき、基準画像および参照画像に対する記憶対象領域がそれぞれ決定される。
【０１７７】
ステップＳ４では、画像処理部１３によって、基準画像および参照画像について、記憶対象領域に含まれる画像領域についてはそのまま抽出されるとともに、その他の画像領域については解像度が低減される画像処理が実行される。
【０１７８】
ステップＳ５では、記憶制御部１４によって、ステップＳ４における画像処理後の基準画像および参照画像に係る画像データが、記憶部２０に記憶される。つまり、ここでは、ステレオ動画像を構成する基準画像および参照画像のうちの記憶対象領域に係る画像データが記憶部２０に記憶される。
【０１７９】
ステップＳ６では、制御部１０によって、ステレオカメラ３０による撮影が継続される状態にあるか否か判定される。ここでは、ステレオカメラ３０による撮影が継続されるのであれば、ステップＳ２に戻り、撮影が継続されないのであれば、本動作フローが終了される。
【０１８０】
以上のように、本発明の一実施形態に係る画像記憶システム１では、ステレオ動画像から認識される車両１００の走行状態に応じて、ステレオ動画像を構成する基準画像および参照画像の一部領域に係る画像データが記憶される。このため、車両１００の走行状態の解析に必要な最低限の情報が残されつつ、保存される画像データのデータ量の低減が図られる。すなわち、ステレオ画像を記憶する際にデータ量を低減することが可能となる。
【０１８１】
また、ステレオ動画像に基づいて認識される車両１００の走行速度に応じて記憶対象領域が決定される。このため、ステレオ画像から認識される車両の走行速度の違いに応じて、記憶対象領域を容易に決定することが可能となる。更に、記憶対象領域が、高速走行時には縮小され、低速走行時には拡大される。このため、記憶される画像データのデータ量の低減を行いつつ、移動速度に応じて異なる重要な被写体に係る画像データを記憶することができる。
【０１８２】
また、ステレオ動画像に基づいて認識される車両１００の操舵角に応じて記憶対象領域が決定される。このため、記憶される画像データのデータ量の低減を行いつつ、操舵時に重要となる被写体に係る画像データを記憶することができる。
【０１８３】
＜(7)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０１８４】
◎例えば、上記一実施形態では、記憶対象領域に含まれる画像については、ビットマップ等の生データの形式そのままで記憶部２０に記憶されたが、これに限られない。例えば、車両１００の走行速度ｖが所定速度未満（例えば、１０ｋｍ／ｈ等）である時（微速走行時）には、接触の危険性が高い物体はごく近距離に存在するものに限定されるものと推定される。このため、微速走行時には、記憶対象領域に含まれる領域画像であっても、解像度が低減された上で該画像の画像データが記憶部２０に記憶されても良い。なお、ここで言う解像度の低減としては、画素数の低減および階調数の低減のうちの少なくとも一方が含まれるような態様が考えられる。
【０１８５】
また、車両１００の走行速度ｖが略一定（例えば、走行速度ｖの変化が±１０％以内に限られる状態）の場合には、事故の危険性等は低いものと推定される。このため、車両１００の走行速度ｖが略一定の場合には、記憶対象領域に含まれる領域画像であっても、解像度が低減された上で該画像の画像データが記憶部２０に記憶されても良い。
【０１８６】
また、記憶対象領域に係る画像に立体物がとらえられていない場合には事故の危険性が低いため、高解像度の画像が不要であり、また、記憶対象領域に係る領域画像に近距離の立体物しかとらえられていない場合には高解像度の画像が不要である。このため、記憶対象領域に係る画像に、全く立体物がとらえられていない場合や近距離の立体物しかとらえられていない場合には、記憶対象領域に含まれる画像であっても、解像度が低減された上で該画像の画像データが記憶部２０に記憶されても良い。但し、ここで言う立体物とは、ある程度の高さ（例えば、５０ｃｍ以上）を有するものを言う。なお、立体物の検出および立体物までの距離の算出については、例えば、特許文献（特許第３５２２３１７号）で提案されている技術によって実現可能である。この特許文献の技術では、ステレオ画像を構成する同時刻に撮影された２つの画像の間における対応位置のズレ量が求められ、三角測量の原理が利用されて被写体までの距離が求められるとともに、距離分布の情報に対応する各部分の三次元位置が算出され、該三次元位置の情報に基づいて複数の立体物が検出される。
【０１８７】
なお、このように、記憶対象領域に含まれる画像について解像度が低減される処理が行われた場合には、そのような処理が行われた旨を示す情報を、画像データに対して付加しておくことが、後の画像解析を行う上で好ましい。
【０１８８】
◎また、上記一実施形態では、各入力画像のうちの記憶対象領域に含まれない領域画像については、黒一色のデータに置換されて、記憶部２０に記憶されたが、これに限られない。記憶部２０に記憶される画像データのデータ量を低減する観点から言えば、例えば、記憶対象領域に含まれない領域画像については、元の画像データよりも階調数が低減されれば良い。この階調数の低減には、予め決められた所定の一色（黒や白等）に係る階調のみを採用することによる階調数の低減、所定の閾値階調を基準とした２値化処理による階調数の低減、階調の平均値による一定の階調のみを採用することによる階調数の低減等が含まれる。このような構成が採用されることで、構図や周囲の状況がある程度分かれば、後の画像解析が行われる際に有用である。また、保存される画像データに係る画像サイズが一定であれば、後のハードウエアおよびソフトウエアにおける各種処理（画像解析等）における取り扱いが容易となる。
【０１８９】
◎また、例えば、画像処理部１３によって、ステレオ動画像に係る画像データに対して非可逆圧縮処理および間引き処理のうちの少なくとも一方の画像処理が施された視認用の画像（視認用画像）に係る画像データが、更に記憶部２０に記憶されても良い。なお、ここで言う非可逆圧縮処理には、例えば、ＪＰＥＧ圧縮等の処理が含まれる。また、ここで言う間引き処理には、入力画像の画素を間引く処理（画素の間引き処理）およびフレームを間引く処理（フレームの間引き処理）のうちの少なくとも一方が含まれれば良い。
【０１９０】
図３０は、本一変形例において記憶部２０に記憶されるデータ内容を例示する図である。図３０では、基準画像に対して、フレームの間引き処理と画素の間引き処理の双方が施された視認用画像に係る画像データが記憶部２０に記憶されている。なお、ここでは、フレームの間引き処理としては、ステレオ動画像を構成する複数の基準画像のうち、５フレーム毎に１フレームが採用されるような処理が考えられる。また、画素の間引き処理としては、水平および垂直方向に２本の画素のライン毎に１ラインの画素が採用されるような処理が考えられる。なお、このようにして生成された視認用画像は、低解像度ながら、被写体の時間的な変化をとらえた動画像を構成する。そして、このようにして、ステレオ画像に対して非可逆圧縮および間引き処理のうちの少なくとも一方の画像処理が施された視認用画像に係る画像データが記憶されることで、特に記憶対象領域の周囲の状況も含めた形で、記憶された画像を用いた解析を容易に行うことができる。
【０１９１】
◎また、上記一実施形態では、移動状態認識部１１によって認識される車両１００の走行状態の情報には、車両１００の走行速度、該走行速度の時間的な変化量、および車両１００の操舵角の情報が含まれたが、これに限られない。例えば、車両１００の走行速度、該走行速度の時間的な変化量、および車両１００の操舵角のうちの何れか１つに係る情報が含まれれば良い。
【０１９２】
◎また、上記一実施形態では、車両１００の走行速度および操舵角を含む走行状態に応じて記憶対象領域が決定されたが、これに限られない。例えば、車両１００の走行状態に応じて決定された記憶対象領域に、車両１００から見て衝突の可能性がある物体が含まれていない場合には、該物体が記憶対象領域に含まれるように記憶対象領域が拡大されても良い。以下、本一変形例について、具体的に説明する。
【０１９３】
図３１は、一変形例に係る画像記憶システム１Ａの機能的な構成を示す図である。 図３１で示される画像記憶システム１Ａは、図３で示される画像記憶システム１と比較して、制御部１０が、機能が異なる制御部１０Ａに変更された画像記憶装置２Ａを備えるものに変更されている。詳細には、制御部１０Ａは、制御部１０と比較して、機能的な構成として衝突可能性判定部１５が加えられるとともに、記憶対象領域決定部１２が機能が若干変更された記憶対象領域決定部１２Ａに変更されたものとなっている。なお、画像記憶システム１Ａのその他の構成については、上記一実施形態に係る画像記憶システム１と同様であるため、同じ符号を付して、ここでは説明を省略する。
【０１９４】
衝突可能性判定部１５は、ステレオカメラ３０から入力されるステレオ動画像に基づいて、該ステレオ動画像でとらえられた物体と車両１００との位置関係の変化を検知することで、該物体と車両１００とが衝突する可能性があるか否かを判定する。ここで、ある程度の高さを有する物体である立体物をステレオ動画像から検出する方法については、上述したように、例えば、特許文献（特許第３５２２３１７号）で提案されている方法等が考えられる。また、検出された立体物と車両１００との位置関係の変化については、例えば、ステレオ動画像を構成する複数の基準画像から求められる立体物に係るオプティカルフローと、車両１００の走行速度および操舵角とから、検知することが可能である。なお、立体物に係るオプティカルフロー、および車両１００の走行速度および操舵角のについては、上記一実施形態において述べた方法等によって導出可能である。そして、立体物のオプティカルフローから求まる立体物が進むと予測される経路と、車両１００の走行速度および操舵角から求まる車両１００が進むと予測される経路との交差状況から、該立体物と車両１００とが衝突する可能性があるか否かを判定することができる。
【０１９５】
記憶対象領域決定部１２Ａは、衝突可能性判定部１５によって車両１００と衝突する可能性があると判定された物体（衝突可能性物体）が、記憶対象領域に含まれるように、該記憶対象領域を決定する。具体的には、記憶対象領域決定部１２Ａは、まず、移動状態認識部１１によって認識された走行状態に基づいて記憶対象領域を決定する。そして、記憶対象領域決定部１２Ａは、衝突可能性判定部１５によって車両１００と衝突する可能性があると判定された衝突可能性物体が、記憶対象領域に含まれていなければ、該衝突可能性物体が含まれるように、該記憶対象領域を拡大する。
【０１９６】
図３２および図３３は、衝突可能性物体が含まれるように、記憶対象領域が拡大される具体例を示す図である。例えば、まず、記憶対象領域決定部１２Ａによって、図２０で示されるように、フレーム画像１７ＦＬに対して記憶対象領域Ａｒ２が決定された際に、車両１０３が衝突可能性物体であると判定されれば、記憶対象領域が車両１０３をとらえた画像領域も含むように拡大される。具体的には、図３２で示されるように、既に設定された領域Ａｒ２に対して、車両１０３をとらえた画像領域を包含する領域Ａｒ２１が加えられることで、領域Ａｒ２と領域Ａｒ２１とからなる領域が記憶対象領域として決定される態様が考えられる。また、図３３で示されるように、車両１０３をとらえた画像領域が包含されるように既に設定された領域Ａｒ２を単純に拡大させた領域Ａｒ２２が記憶対象領域として決定されても良い。
【０１９７】
図３４は、本発明の一変形例に係る画像記憶システム１Ａの動作フローを示すフローチャートである。本動作フローは、制御部１０Ａの制御によって実行される。なお、本動作フローは、画像記憶システム１Ａの起動に応じて開始され、図３４のステップＳＴ１に進む。
【０１９８】
ステップＳＴ１，ＳＴ２では、上記一実施形態に係る図２９のステップＳ１，Ｓ２と同様な処理が行われる。
【０１９９】
ステップＳＴ３では、衝突可能性判定部１５によって、ステレオ動画像でとらえられた物体と車両１００とが衝突する可能性があるか否か判定される。
【０２００】
ステップＳＴ４では、記憶対象領域決定部１２Ａによって、ステップＳＴ３で車両１００と衝突する可能性があると判定された物体（衝突可能性物体）を記憶対象領域に含ませるように、該記憶対象領域が決定される。ここでは、まず、ステップＳＴ２で認識された走行状態に応じた記憶対象領域が決定され、該記憶対象領域に衝突可能性物体をとらえた画像領域が含まれていなければ、該衝突可能性物体が含まれるように記憶対象領域が拡大される。
【０２０１】
ステップＳＴ５〜ＳＴ７では、上記一実施形態に係る図２９のステップＳ４〜Ｓ６と同様な処理が行われる。
【０２０２】
以上のように、本発明の一変形例に係る画像記憶システム１Ａでは、衝突可能性物体を含むように記憶対象領域が決定される。このため、ヒヤリとする様な場面や不意に驚く様な場面等といった危険度の高い場面に係る画像データを記憶部２０に記憶することができる。
【０２０３】
◎また、上記一実施形態では、２台のカメラ３１，３２を有するステレオカメラ３０が撮像装置として採用されたが、これに限られず、撮像装置としては、２台以上のカメラを有するものであれば良い。
【０２０４】
◎また、上記一実施形態では、画像記憶システム１が車両１００に搭載される例を挙げて説明したが、これに限られない。例えば、歩行者やロボット等といった車両以外の各種移動体に対して画像記憶システム１が搭載されても良い。このような場合には、移動状態認識部１１で認識される情報は、移動体の移動速度や操舵角等を含む移動状態となる。
【０２０５】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２０６】
１，１Ａ  画像記憶システム
２，２Ａ  画像記憶装置
１０，１０Ａ  制御部
１１  移動状態認識部
１２，１２Ａ  記憶対象領域決定部
１３  画像処理部
１４  記憶制御部
１５  衝突可能性判定部
２０  記憶部
３０  ステレオカメラ
３１  第１カメラ
３２  第２カメラ
１００，１０３，１０４  車両
【図１】
2010267114.tif 000003
【図２】
2010267114.tif 000004
【図３】
2010267114.tif 000005
【図４】
2010267114.tif 000006
【図５】
2010267114.tif 000007
【図６】
2010267114.tif 000008
【図７】
2010267114.tif 000009
【図８】
2010267114.tif 000010
【図９】
2010267114.tif 000011
【図１０】
2010267114.tif 000012
【図１１】
2010267114.tif 000013
【図１２】
2010267114.tif 000014
【図１３】
2010267114.tif 000015
【図１４】
2010267114.tif 000016
【図１５】
2010267114.tif 000017
【図１６】
2010267114.tif 000018
【図１７】
2010267114.tif 000019
【図１８】
2010267114.tif 000020
【図１９】
2010267114.tif 000021
【図２０】
2010267114.tif 000022
【図２１】
2010267114.tif 000023
【図２２】
2010267114.tif 000024
【図２３】
2010267114.tif 000025
【図２４】
2010267114.tif 000026
【図２５】
2010267114.tif 000027
【図２６】
2010267114.tif 000028
【図２７】
2010267114.tif 000029
【図２８】
2010267114.tif 000030
【図２９】
2010267114.tif 000031
【図３０】
2010267114.tif 000032
【図３１】
2010267114.tif 000033
【図３２】
2010267114.tif 000034
【図３３】
2010267114.tif 000035
【図３４】
2010267114.tif 000036
【図３５】
2010267114.tif 000037