(57)【要約】  基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
2010128640.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
前記カメラ部および前記記録部の動作を制御する制御部とを備え、
車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ画像取得装置において、
前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
前記基準カメラで撮像された前記基準画像から、前記フレームレート決定部で決定された第１フレームレートに基づいて基準データを生成する基準データ生成部と、
前記参照カメラで撮像された前記参照画像から、前記フレームレート決定部で決定された、前記第１フレームレートと同じまたは前記第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成する参照データ生成部とを備え、
前記フレームレート決定部は、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して、前記第２フレームレートを動的に決定し、
前記記録部は、
前記基準データ生成部で生成された前記基準データと、前記参照データ生成部で生成された前記参照データとを、前記保存データとして記録することを特徴とするステレオ画像取得装置。
【請求項２】
前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに基づいて、前記第２フレームレートを動的に決定することを特徴とする請求項１に記載のステレオ画像取得装置。
条件
１）前記車両の速度
２）前記車両のハンドルの操作状況
３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
【請求項３】
前記参照データ生成部は、
前記第２フレームレートに基づいて、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して前記参照データを生成するとともに、
前記参照データの生成に用いられなかった前記参照画像の内で、前記第１フレームレートに同期したタイミングの前記参照画像を用いて、前記参照データの圧縮率よりも高圧縮率で圧縮した第２参照データを生成し、
前記記録部は、
前記基準データと、前記参照データと、前記第２参照データとを、前記保存データとして記録することを特徴とする請求項１または２に記載のステレオ画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像取得装置に関し、特に車載に適したステレオ画像取得装置に関する。
【背景技術】
【０００２】
近年、自動車業界では、安全性を高める動きが活発化しており、カメラによる画像センサやレーダ等を利用した危険回避システムの導入が進んでいる。よく知られているシステムとしては、画像センサやレーダ等を利用することで自車両周辺の距離情報を取得することで危険回避を行うシステムがある。【０００３】
一方、タクシー業界では、ドライブレコーダの導入が進んでいる。ドライブレコーダは、事故が起きた前後の画像を記録する装置で、事故の原因解析に用いることができる。例えば、車同士の衝突事故時に記録された映像を見ることで、自車に責任があるのか、それとも他車に責任があるのかを、ある程度見極めることができる。【０００４】
例えば、特許文献１には、画像情報を圧縮してランダムアクセス可能な記録手段に記録することで、長時間の画像を記録できるとともに、所望の画像を迅速に再生することができる方法が示されている。【０００５】
さらに、特許文献２には、ドライブレコーダ等の画像を運転者等の研修に利用する運行管理装置において、事故画像等の再生時に、走行データが危険水準に達した場合、画像の再生をスロー再生に切り替えることで事故時の状況を把握しやすくする方法が示されている。【０００６】
これらの画像取得において、ステレオ画像を用いて距離情報を取得することは、非常に有効である。例えば、特許文献３には、ステレオカメラで時系列的に撮像した一対の画像を用いて、監視領域内に存在する立体物を抽出し、立体物の３次元的な動きを算出して監視領域内の移動物体を検出する方法が示されている。ただし、特許文献３の目的は、自車の前方の移動物体を検出することで移動物体との衝突を回避することであり、上述したドライブレコーダのように画像を記録することには言及されていない。【０００７】
一方、特許文献４には、走行中の車両の周辺を撮像する撮像装置により得られた画像を記録するようにした車両走行状態記憶装置において、画像内に設けたウインドウ領域に対象物がある場合に、ステレオ測定によりウインドウ毎の距離計算を行い、計算された距離を画像上に表示し、画像情報とともに記憶する方法が示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３２５４９４６号公報
【特許文献２】特開２００８−６５３６１号公報
【特許文献３】特開２００６−１３４０３５号公報
【特許文献４】特許第２６０８９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献４の方法では、車両走行状態記憶装置の内部で、ステレオ画像からの距離計算をリアルタイムで常に行う必要があり、高速のマイクロコンピュータやメモリ等の高価な電子回路が必要となる。また、高精度な距離計算を行うためには高画質なステレオ画像が必要であり、それを全て記憶するためには、膨大な容量を持ち、高速記録が可能な高価な記憶媒体が必要である。これらから、車両走行状態記憶装置は非常に高価なものとなる。【００１０】
本発明は、上記事情に鑑みてなされたもので、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的は、下記構成により達成することができる。【００１２】
１．ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
前記カメラ部および前記記録部の動作を制御する制御部とを備え、
車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ画像取得装置において、
前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
前記基準カメラで撮像された前記基準画像から、前記フレームレート決定部で決定された第１フレームレートに基づいて基準データを生成する基準データ生成部と、
前記参照カメラで撮像された前記参照画像から、前記フレームレート決定部で決定された、前記第１フレームレートと同じまたは前記第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成する参照データ生成部とを備え、
前記フレームレート決定部は、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して、前記第２フレームレートを動的に決定し、
前記記録部は、
前記基準データ生成部で生成された前記基準データと、前記参照データ生成部で生成された前記参照データとを、前記保存データとして記録することを特徴とするステレオ画像取得装置。【００１３】
２．前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに基づいて、前記第２フレームレートを動的に決定することを特徴とする前記１に記載のステレオ画像取得装置。
条件
１）前記車両の速度
２）前記車両のハンドルの操作状況
３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
３．前記参照データ生成部は、
前記第２フレームレートに基づいて、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して前記参照データを生成するとともに、
前記参照データの生成に用いられなかった前記参照画像の内で、前記第１フレームレートに同期したタイミングの前記参照画像を用いて、前記参照データの圧縮率よりも高圧縮率で圧縮した第２参照データを生成し、
前記記録部は、
前記基準データと、前記参照データと、前記第２参照データとを、前記保存データとして記録することを特徴とする前記１または２に記載のステレオ画像取得装置。
【発明の効果】
【００１４】
本発明によれば、基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像取得装置の第１の実施の形態の構成を示すブロック図である。
【図２】フレームレート決定部の構成を示すブロック図である。
【図３】データ生成部の構成を示すブロック図である。
【図４】通常状態での基準データと参照データとの形成過程を示す模式図である。
【図５】通常状態での基準データと参照データおよび第２参照データとの形成過程を示す模式図である。
【図６】要記録状態での基準データと参照データとの形成過程を示す模式図である。
【図７】通常状態から要記録状態を経て再度通常状態に戻る場合の基準データと参照データとの形成過程を示す模式図である。
【図８】ステレオ画像取得装置の第２の実施の形態の構成を示すブロック図である。
【図９】ステレオ画像取得装置の第３の実施の形態における、基準データと参照データとの形成過程を示す模式図である。
【発明を実施するための形態】
【００１６】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限らない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
【００１７】
最初に、本発明におけるステレオ画像取得装置の第１の実施の形態の構成について、図１を用いて説明する、図１は、本発明におけるステレオ画像取得装置の第１の実施の形態の構成を示すブロック図である。
【００１８】
図１において、ステレオ画像取得装置１は、カメラ部１１、記録部１３、制御部１５、センサ部１７およびデータ生成部１９等で構成されている。
【００１９】
カメラ部１１は、基準カメラ１１１と参照カメラ１１２との少なくとも２台のカメラ等で構成されている。基準カメラ１１１と参照カメラ１１２とは、所定の基線長Ｄだけ離して配置され、ステレオ画像から距離情報が取得可能となっている。後述するカメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で、基準カメラ１１１からは基準画像Ｉｂが出力され、参照カメラ１１２からは参照画像Ｉｒが出力される。
【００２０】
記録部１３は、例えばハードディスクや半導体メモリ等で構成され、後述する記録制御部１５２からの記録制御信号ＲＣＳに従って、後述する基準データＤｂと参照データＤｒとを記録し、必要に応じて第２参照データＤｒ２も記録する。
【００２１】
制御部１５は、カメラ制御部１５１、記録制御部１５２およびフレームレート決定部１５３等で構成されている。制御部１３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
【００２２】
カメラ制御部１５１は、基準カメラ１１１と参照カメラ１１２との撮像動作を同期させるためのカメラ制御信号ＣＣＳを出力する。
【００２３】
記録制御部１５２は、後述するフレームレート決定部１５３で決定されるフレームレートに従って記録制御信号ＲＣＳを出力して、記録部１３の記録動作を制御する。
【００２４】
フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で基準カメラ１１１で撮像された基準画像Ｉｂを間引いて、基準データＤｂを生成して記録するための第１フレームレートＦＲ１を決定して、データ生成部１９に出力する。
【００２５】
同様に、フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で参照カメラ１１２で撮像された参照画像Ｉｒを間引いて、参照データＤｒを生成して記録するための、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートの第２フレームレートＦＲ２を決定して、データ生成部１９に出力する。第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法は、図２で詳述する。
【００２６】
センサ部１７は、ステレオ画像取得装置１を搭載した車両（以下、自車と言う）の速度を検知する車速センサ１７１や、自車のハンドルの操作状況を検知する操舵角センサ１７２等のセンサで構成されている。車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳは、フレームレート決定部１５３に入力されて、第２フレームレートＦＲ２の決定に反映される。操舵角センサ１７２の代わりに、加速度センサを用いて、自車の進行方向に垂直な方向の加速度を検出することで、自車のハンドルの操作状況を検知してもよい。
【００２７】
データ生成部１９は、基準データ生成部１９１および参照データ生成部１９２等で構成される。データ生成部１９の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
【００２８】
基準データ生成部１９１は、基準カメラ１１１の基準画像Ｉｂを第１フレームレートＦＲ１で間引きして、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して、基準データＤｂを生成し、記録部１３に出力する。低圧縮率の圧縮処理は、可逆圧縮処理であることが望ましい。第１フレームレートＦＲ１で間引かれた基準画像Ｉｂは、廃棄される。
【００２９】
同様に、参照データ生成部１９２は、参照カメラ１１２の参照画像Ｉｒを第２フレームレートＦＲ２で間引きして、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して、参照データＤｒを生成し、記録部１３に出力する。低圧縮率の圧縮処理は、可逆圧縮処理であることが望ましい。第２フレームレートＦＲ２で間引かれた参照画像Ｉｒは、廃棄されるか、必要に応じて、以下の処理が施される。
【００３０】
参照データ生成部１９２は、必要に応じて、第２フレームレートＦＲ２で間引かれた参照画像Ｉｒの内で、第１フレームレートＦＲ１に同期したタイミングで間引かれた参照画像Ｉｒを、高圧縮率の圧縮処理を施して第２参照データＤｒ２を生成し、記録部１３に出力する。高圧縮率の圧縮処理は、非可逆圧縮処理であってもよい。参照データＤｒおよび第２参照データＤｒ２の生成に用いられなかった参照画像Ｉｒは、廃棄される。
【００３１】
次に、第１の実施の形態における、上述したフレームレート決定部１５３での第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法について、図２を用いて説明する。図２は、フレームレート決定部１５３の構成を示すブロック図である。
【００３２】
図２において、フレームレート決定部１５３は、第１フレームレート決定部１５３１、第２フレームレート決定部１５３２、視差変化量演算部１５３３およびオプティカルフロー変化量演算部１５３４等で構成される。フレームレート決定部１５３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
【００３３】
第１フレームレート決定部１５３１は、第１フレームレートＦＲ１を決定する。第１フレームレートＦＲ１は、自車および自車の周辺の状況には依存せずに所定の値に決定され、自車および自車の周辺の状況に変化が生じても変更されない。例えば、基準カメラ１１１が、所定のフレームレートＦＲ０＝３０フレーム／秒（以下、ｆｐｓと言う）で撮像を行っているとした場合、第１フレームレートＦＲ１がその１／２の１５ｆｐｓに決定される。これによって、基準カメラ１１１で撮像された基準画像Ｉｂの２フレームに１フレームが基準データＤｂの生成に用いられ、残りの１フレームは廃棄される。
【００３４】
一方、第２フレームレート決定部１５３２は、第２フレームレートＦＲ２を決定する。第２フレームレートＦＲ２は、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートで、自車および自車の周辺の状況に依存して決定され、自車および自車の周辺の状況に変化が生じると、動的に変更される。
【００３５】
図２において、第２フレームレート決定部１５３２には、自車の状況を示す、車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳが入力される。
【００３６】
また、基準画像Ｉｂおよび参照画像Ｉｒが視差変化量演算部１５３３に入力され、視差変化量演算部１５３３で視差の変化量が演算されて、視差変化量信号Ｐｒが第２フレームレート決定部１５３２に入力される。
【００３７】
同様に、基準画像Ｉｂおよび参照画像Ｉｒがオプティカルフロー変化量演算部１５３４に入力され、オプティカルフロー変化量演算部１５３４でオプティカルフローの変化量が演算されて、オプティカルフロー変化量信号Ｏｆが第２フレームレート決定部１５３２に入力される。視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆは、自車の周辺の状況を示す信号である。
【００３８】
第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。
【００３９】
ここで、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆについて説明する。まず、視差変化量信号Ｐｒについて説明する。視差とは、同一の被写体が存在する基準画像Ｉｂ上と参照画像Ｉｒ上との画面上の位置のズレ量のことで、視差は被写体との距離の逆数に比例し、視差が大きいほど被写体との距離が近く、視差が小さいほど遠い。
【００４０】
基準カメラ１１１と参照カメラ１１２との基線長Ｄ、基準カメラ１１１および参照カメラ１１２の撮像レンズの焦点距離、および視差の値から、被写体までの距離を演算することができる。
【００４１】
視差変化量とは上述した視差の時間的な変化量で、視差の変化が０（ゼロ）または小さい場合は、被写体との距離に変化がないか変化が小さい。視差が大きくなる方向に変化している場合は被写体との距離が近くなっており、視差が小さくなる方向に変化している場合は被写体との距離が遠くなっている。
【００４２】
従って、視差の変化が０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化している場合は、被写体、即ち前方の車両や人、障害物等までの距離が変わらない、あるいは遠ざかっている、つまり被写体への衝突の可能性は低いということになる。逆に、視差が大きくなる方向に変化している場合は、被写体までの距離が近づいている、つまり被写体への衝突の危険が迫っているということになる。このように、視差変化量信号Ｐｒを用いることで、被写体までの距離を演算することなく、自車と被写体との距離の変化を知ることができる。
【００４３】
次に、オプティカルフロー変化量信号Ｏｆについて説明する。オプティカルフローとは、撮像された画像の中で被写体の位置が時間的にどう変化したかを示すベクトルのことを言う。ステレオ画像を用いて前方の車両等の被写体のオプティカルフローを演算することで、３次元オプティカルフローを得ることができ、３次元オプティカルフローの延長線と自車の進行方向とが交差する場合には、衝突の危険性があると判断できる。
【００４４】
従って、３次元オプティカルフローを用いることで、上述した視差変化量が示す被写体との距離のような自車の進行方向の変化だけでなく、例えば横の車線からの割り込みのような自車の進行方向に垂直な方向の変化を含む自車の周辺の状況の変化についても検出が可能となり、自車の周辺の状況の変化をより反映できる。
【００４５】
第２フレームレート決定部１５３２に戻って、第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。
【００４６】
ここでは、自車および自車の周辺の状況を、通常状態ＣＳ１と要記録状態ＣＳ２との２つの状態に分類し、それぞれの状態で第２フレームレートＦＲ２を決定する。
【００４７】
（通常状態ＣＳ１）
車速信号ＳＳ：定速走行あるいは所定範囲内の加減速
操舵角信号ＨＳ：直進あるいは所定範囲内の操舵角
視差変化量信号Ｐｒ：０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化
オプティカルフロー変化量信号Ｏｆ：衝突の危険性なし
以上の４条件を全て満足している場合には、衝突の危険性は低いと判断し、第２フレームレートＦＲ２を低レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２をその１／２の７．５ｆｐｓに設定する。これによって、参照カメラ１１２で撮像された参照画像Ｉｒの４フレームに１フレームが参照データＤｒの生成に用いられる。
【００４８】
（要記録状態ＣＳ２）
車速信号ＳＳ：所定範囲を越える加減速
操舵角信号ＨＳ：所定範囲を越える操舵角
視差変化量信号Ｐｒ：視差が大きくなる方向に変化
オプティカルフロー変化量信号Ｏｆ：衝突の危険性あり
以上の４条件の内の１つでも当てはまる場合には、衝突の危険性があると判断し、第２フレームレートＦＲ２を高レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２を第１フレームレートＦＲ１と同じ１５ｆｐｓに設定する。これによって、基準データＤｂと同様に、参照カメラ１１２で撮像された参照画像Ｉｒの２フレームに１フレームが参照データＤｒの生成に用いられる。
【００４９】
なお、上述した自車および自車の周辺の状況の判定には、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号全てを用いることが望ましいが、４つの信号の何れか１つまたは複数の組み合わせを用いることも可能である。例えば車速信号ＳＳのみを用いて、車速信号ＳＳが定速走行あるいは所定範囲内の加減速を示している場合は通常状態ＣＳ１と判定し、所定範囲を越える加減速を示している場合は要記録状態ＣＳ２と判定することもできる。
【００５０】
次に、データ生成部１９の、基準データ生成部１９１での基準データＤｂの生成方法、および参照データ生成部１９２での参照データＤｒおよび第２参照データＤｒ２の生成方法について、図３を用いて説明する。図３は、データ生成部１９の構成を示すブロック図で、図３（ａ）は基準データ生成部１９１の構成を示し、図３（ｂ）は参照データ生成部１９２の構成を示す。
【００５１】
図３（ａ）において、基準データ生成部１９１は、基準間引き部１９１１および低圧縮率圧縮部１９１２等で構成される。基準データ生成部１９１の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
【００５２】
基準カメラ１１１で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準画像Ｉｂが、基準間引き部１９１１に入力される。基準間引き部１９１１は、フレームレート決定部１５３で決定された第１フレームレートＦＲ１（例えば１５ｆｐｓ）に従って基準画像Ｉｂを間引きして基準間引き画像Ｉｂ１を生成し、出力する。基準間引き画像Ｉｂ１の生成に用いられなかったフレームの画像は廃棄される。
【００５３】
基準間引き画像Ｉｂ１は、低圧縮率圧縮部１９１２で低圧縮率の圧縮処理が施されて、基準データ生成部１９１から基準データＤｂとして出力される。なお、基準間引き画像Ｉｂ１は、圧縮処理を施さず、非圧縮のままで基準データＤｂとして出力されてもよい。
【００５４】
図３（ｂ）において、参照データ生成部１９２は、参照間引き部１９２１、低圧縮率圧縮部１９２２および高圧縮率圧縮部１９２３等で構成される。参照データ生成部１９２の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
【００５５】
参照カメラ１１２で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された参照画像Ｉｒが、参照間引き部１９２１に入力される。参照間引き部１９２１は、フレームレート決定部１５３で決定された第２フレームレートＦＲ２（例えば７．５ｆｐｓ）に従って参照画像Ｉｒを間引きし、第１参照間引き画像Ｉｒ１を生成し、出力する。
【００５６】
第１参照間引き画像Ｉｒ１は、低圧縮率圧縮部１９２２で低圧縮率の圧縮処理が施されて、参照データ生成部１９２から参照データＤｒとして出力される。なお、第１参照間引き画像Ｉｒ１は、圧縮処理を施さず、非圧縮のままで参照データＤｒとして出力されてもよい。
【００５７】
第１参照間引き画像Ｉｒ１の生成に用いられなかったフレームの画像の内、フレームレート決定部１５３で決定された第１フレームレートＦＲ１（例えば１５ｆｐｓ）に同期したフレームの画像は、第２参照間引き画像Ｉｒ２として高圧縮率圧縮部１９２３に入力されて高圧縮率の圧縮処理が施され、第２参照データＤｒ２として出力される。第１参照間引き画像Ｉｒ１および第２参照間引き画像Ｉｒ２の生成に用いられなかったフレームの画像は廃棄される。
【００５８】
なお、第２参照データＤｒ２の生成は必須ではなく、省略してもよい。また、高圧縮率圧縮部１９２３で施される高圧縮率の圧縮処理は、非可逆圧縮処理であってもよい。
【００５９】
上述したように、第１参照間引き画像Ｉｒ１の生成に用いられなかったフレームの画像の内で第１フレームレートＦＲ１に同期したフレームの画像を用いて第２参照データＤｒ２を生成することで、高圧縮率で圧縮されているために精度的には劣るが、第２参照データＤｒ２を用いてステレオ画像による距離演算を行うことができ、より精度の高い事故原因の解析等に繋げることができる。第２参照データＤｒ２の記録による記録データ量の増加は、高圧縮率で圧縮されているために、僅かである。
【００６０】
次に、上述した第１の実施の形態の動作を、図４から図７の、画像ファイルが形成される過程を用いて説明する。図４は、上述した通常状態ＣＳ１での基準データＤｂと参照データＤｒとの形成過程を示す模式図である。
【００６１】
なお、図４から図７および後述する図９では、図の左から右に示した時間軸ｔに従って、時系列的に撮像が進行しているものとする。また、図４から図７および図９では、第１フレームレートＦＲ１は所定のフレームレートＦＲ０の１／２に、第２フレームレートＦＲ２は、通常状態ＣＳ１では第１フレームレートＦＲ１の１／２に、要記録状態ＣＳ２では第１フレームレートＦＲ１に等しく設定されるものとする。さらに、図４から図７および図９では、破線で示した画像は、間引きの結果、廃棄された画像を示している。
【００６２】
図４において、基準カメラ１１１からは、所定のフレームレートＦＲ０で基準画像Ｉｂが出力されている。基準画像Ｉｂは、第１フレームレートＦＲ１で間引きされて、非圧縮のままあるいは低圧縮率の圧縮処理が施されて、基準データＤｂとして記録部１３に記録される。
【００６３】
一方、参照カメラ１１２からは、所定のフレームレートＦＲ０で参照画像Ｉｒが出力されている。参照画像Ｉｒは、第２フレームレートＦＲ２で間引きされて、非圧縮のままあるいは低圧縮率の圧縮処理が施されて、参照データＤｒとして記録部１３に記録される。
【００６４】
従って、基準データＤｂおよび参照データＤｒがともに非圧縮であるとすると、基準データＤｂは基準画像Ｉｂの１／２のデータ量に、参照データＤｒは参照画像Ｉｒの１／４のデータ量であり、その分、記録容量を少なくできる。また、図に双方向の矢印で示した対応する基準データＤｂと参照データＤｒとの間では、ステレオ画像による距離演算が可能である。
【００６５】
図５は、上述した通常状態ＣＳ１での基準データＤｂと参照データＤｒおよび第２参照データＤｒ２との形成過程を示す模式図である。図５が図４と異なる点は、第２フレームレートＦＲ２で間引きされた画像の内で、第１フレームレートＦＲ１のタイミングで撮像された第２参照間引き画像Ｉｒ２に、高圧縮率の圧縮処理が施され、第２参照データＤｒ２として記録部１３に記録される点である。その他の点は図４と同じである。
【００６６】
第２参照データＤｒ２は高圧縮率で圧縮されているために、図４の例に比べてデータ量の増加は僅かである。また、図に双方向の破線矢印で示した対応する基準データＤｂと第２参照データＤｒ２との間では、第２参照データＤｒ２は高圧縮率で圧縮されているために精度的には劣るが、ステレオ画像による距離演算が可能である。
【００６７】
図６は、上述した要記録状態ＣＳ２での基準データＤｂと参照データＤｒとの形成過程を示す模式図である。図６が図４と異なる点は、参照カメラ１１２の参照画像Ｉｒを参照データＤｒとして記録部１３に記録する第２フレームレートＦＲ２が、第１フレームレートＦＲ１と同じであり、参照データＤｒが基準データＤｂと同じ密度で記録されている点である。その他の点は図４と同じである。
【００６８】
従って、基準データＤｂおよび参照データＤｒがともに非圧縮であるとすると、基準データＤｂは基準画像Ｉｂの１／２のデータ量に、参照データＤｒも参照画像Ｉｒの１／２のデータ量であり、図４に比べて参照画像Ｉｒの１／４だけ記録容量が大きくなるが、それでも元の画像の１／２の容量で済む。また、図に双方向の矢印で示した対応する基準データＤｂと参照データＤｒとの間では、ステレオ画像による距離演算が可能である。
【００６９】
図７は、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の基準データＤｂと参照データＤｒとの形成過程を示す模式図である。
【００７０】
図７において、時間ｔ１のタイミングまでは、図４に示した通常状態ＣＳ１での基準データＤｂと参照データＤｒとの記録が行われている。時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、図４の通常状態ＣＳ１の状態から図６の要記録状態ＣＳ２の状態に切り替わって、参照データＤｒが基準データＤｂと同じ高密度で記録される。
【００７１】
この状態は時間ｔ２まで継続され、その間は参照データＤｒが基準データＤｂと同じ高密度で記録され続ける。従って、もし追突事故等が発生した場合、高密度で記録された基準データＤｂと参照データＤｒとに基づいてステレオ画像による距離演算を行うことで、より精度の高い事故原因の解析等を行うことができる。
【００７２】
時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、図６の要記録状態ＣＳ２の状態から、再度図４の通常状態ＣＳ１の状態に戻り、通常状態ＣＳ１での基準データＤｂと参照データＤｒとの記録が行われる。
【００７３】
上述したように、自車および自車の周辺の状況を示す、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号に基づいて、参照データＤｒを記録する第２フレームレートＦＲ２を動的に決定して、衝突の危険がある場合等にステレオ画像を高密度に記録することで、より精度の高い事故原因の解析等に繋げることができる。
【００７４】
上述したように、第１の実施の形態によれば、基準カメラで撮像された画像を第１フレームレートで間引きして非圧縮または低圧縮率の基準データを生成して記録し、参照カメラで撮像された画像を、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートで間引きして非圧縮または低圧縮率の参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
【００７５】
また、上述した参照データを記録する第２フレームレートを、自車および自車の周辺の状況を示す車速信号、操舵角信号、視差変化量信号およびオプティカルフロー変化量信号の４つの信号に基づいて動的に決定して、衝突の危険がある場合等にステレオ画像を高密度に記録することで、より精度の高い事故原因の解析等に繋げることができる。
【００７６】
さらに、第１参照間引き画像の生成に用いられなかったフレームの画像の内で第１フレームレートに同期したフレームの画像を用いて第２参照データを生成することで、高圧縮率で圧縮されているために精度的には劣るが、僅かなデータ量の増加のみで、第２参照データを用いてステレオ画像による距離演算を行うことができ、より精度の高い事故原因の解析等に繋げることができる。
【００７７】
なお、第１の実施の形態で、基準カメラ１１１および参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用いれば、あるいは、第１フレームレートＦＲ１＝所定のフレームレートＦＲ０とすれば、少なくとも基準データ生成部１９１の基準間引き部１９１１を省略することができる。
【００７８】
次に、本発明におけるステレオ画像取得装置の第２の実施の形態の構成について、図８を用いて説明する、図８は、本発明におけるステレオ画像取得装置の第２の実施の形態の構成を示すブロック図である。
【００７９】
図８において、第２の実施の形態では、第１の実施の形態のデータ生成部１９が削除されており、データ生成部１９の基準データ生成部１９１の機能が基準カメラ１１１に、参照データ生成部１９２の機能が参照カメラ１１２に付加されている。
【００８０】
カメラ部１１の基準カメラ１１１と参照カメラ１１２とは、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で、基準カメラ１１１からは基準画像Ｉｂが出力され、参照カメラ１１２からは参照画像Ｉｒが出力される。基準画像Ｉｂおよび参照画像Ｉｒはフレームレート決定部１５３に入力され、図２に示したと同様にして第１フレームレートＦＲ１および第２フレームレートＦＲ２が決定される。
【００８１】
決定された第１フレームレートＦＲ１は基準カメラ１１１および参照カメラ１１２に入力され、第２フレームレートＦＲ２は参照カメラ１１２に入力される。
【００８２】
基準カメラ１１１は、第１フレームレートＦＲ１に従って基準画像Ｉｂを間引きし、低圧縮率の圧縮処理を施して、あるいは非圧縮のままで、基準データＤｂとして記録部１３に向けて出力する。
【００８３】
参照カメラ１１２は、第２フレームレートＦＲ２に従って参照画像Ｉｒを間引きし、低圧縮率の圧縮処理を施して、あるいは非圧縮のままで、参照データＤｒとして記録部１３に向けて出力する。また、参照カメラ１１２は、参照データＤｒの生成に用いられなかったフレームの画像の内、第１フレームレートＦＲ１に同期したフレームの画像に高圧縮率の圧縮処理を施して、第２参照データＤｒ２として記録部１３に向けて出力する。その他の動作は第１の実施の形態と同じであるので、説明は省略する。
【００８４】
特に、第２の実施の形態で、基準データＤｂおよび参照データＤｒを非圧縮のままとし、第２参照データＤｒ２を生成しない構成とすることで、カメラ内で圧縮処理を施す必要がなくなり、基準カメラ１１１および参照カメラ１１２に大きな負荷をかけずに、第１の実施の形態のデータ生成部１９を省略することができ、ステレオ画像取得装置１の処理の高速化、構成の簡略化および装置の低コスト化に寄与することができる。この時の基準データＤｂと参照データＤｒとの形成過程は、図７と同じである。
【００８５】
なお、第２の実施の形態で、基準カメラ１１１として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用い、参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第２フレームレートＦＲ２で撮像を行うフレームレート可変のカメラを用いることもできる。
【００８６】
次に、本発明におけるステレオ画像取得装置の第３の実施の形態について説明する。第３の実施の形態では、第１あるいは第２の実施の形態において、自車および自車の周辺の状況が通常状態ＣＳ１にある場合には、基準データＤｂおよび参照データＤｒの記録部１３への記録自体を行わず、要記録状態ＣＳ２の場合のみ、基準データＤｂおよび参照データＤｒの記録部１３への記録を行う。
【００８７】
この時の基準データＤｂと参照データＤｒとの形成過程を、図９に示す。図９は、本発明におけるステレオ画像取得装置の第３の実施の形態における、基準データＤｂと参照データＤｒとの形成過程を示す模式図で、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の基準データＤｂと参照データＤｒとの形成過程を示す。
【００８８】
図９において、時間ｔ１のタイミングまでは、上述した通常状態ＣＳ１であり、基準カメラ１１１は所定のフレームレートＦＲ０で基準画像Ｉｂの撮像を行っているが、基準データＤｂの記録は行っていない。同様に、参照カメラ１１２も所定のフレームレートＦＲ０で参照画像Ｉｒの撮像を行っているが、参照データＤｒの記録は行っていない。
【００８９】
時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、上述した通常状態ＣＳ１の状態から要記録状態ＣＳ２の状態に切り替わる。この状態で、基準画像Ｉｂが第１フレームレートＦＲ１で間引きされて基準間引き画像Ｉｂ１が生成され、基準データＤｂとして記録される。同様に、参照画像Ｉｒが第２フレームレートＦＲ２で間引きされて第１参照間引き画像Ｉｒ１が生成され、参照データＤｒとして記録される。
【００９０】
図９では、図６と同様に、第１フレームレートＦＲ１と第２フレームレートＦＲ２とが等しく、参照データＤｒが基準データＤｂと同じ高密度で記録される。
【００９１】
要記録状態ＣＳ２は時間ｔ２まで継続され、その間は参照データＤｒが基準データＤｂと同じ高密度で記録され続ける。従って、もし追突事故等が発生した場合、高密度で記録された基準データＤｂと参照データＤｒとに基づいてステレオ画像による距離演算を行うことで、より精度の高い事故原因の解析等を行うことができる。
【００９２】
時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、要記録状態ＣＳ２の状態から、再度通常状態ＣＳ１の状態に戻り、基準カメラ１１１も参照カメラ１１２も、撮像は行うが基準データＤｂも参照データＤｒも記録しない状態となる。
【００９３】
上述したように、自車および自車の周辺の状況を示す、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号に基づいて、参照データＤｒを記録する第２フレームレートＦＲ２を動的に決定して、衝突の危険がある場合等のみにステレオ画像を高密度で記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、危険のない場合にはデータの記録を行わないことで、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。
【００９４】
上述したように、第３の実施の形態によれば、自車および自車の周辺の状況を示す車速信号、操舵角信号、視差変化量信号およびオプティカルフロー変化量信号の４つの信号に基づいて、衝突の危険がある場合等のみにステレオ画像を高密度で記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、危険のない場合にはデータの記録を行わないことで、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。
【００９５】
なお、第３の実施の形態で、基準カメラ１１１および参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用いれば、あるいは、第１フレームレートＦＲ１＝所定のフレームレートＦＲ０とすれば、基準データ生成部１９１を省略することができる。
【００９６】
以上に述べたように、本発明によれば、基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
【００９７】
なお、本発明に係るステレオ画像取得装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【００９８】
１  ステレオ画像取得装置
１１  カメラ部
１１１  基準カメラ
１１２  参照カメラ
１３  記録部
１５  制御部
１５１  カメラ制御部
１５２  記録制御部
１５３  フレームレート決定部
１５３１  第１フレームレート決定部
１５３２  第２フレームレート決定部
１５３３  視差変化量演算部
１５３４  オプティカルフロー変化量演算部
１７  センサ部
１７１  車速センサ
１７２  操舵角センサ
１９  データ生成部
１９１  基準データ生成部
１９１１  基準間引き部
１９１２  低圧縮率圧縮部
１９２  参照データ生成部
１９２１  参照間引き部
１９２２  低圧縮率圧縮部
１９２３  高圧縮率圧縮部
ＣＣＳ  カメラ制御信号
ＣＳ１  通常状態
ＣＳ２  要記録状態
Ｄ  基線長
Ｄｂ  基準データ
Ｄｒ  参照データ
Ｄｒ２  第２参照データ
ＦＲ０  所定のフレームレート
ＦＲ１  第１フレームレート
ＦＲ２  第２フレームレート
ＨＳ  操舵角信号
Ｉｂ  基準画像
Ｉｂ１  基準間引き画像
Ｉｒ  参照画像
Ｉｒ１  第１参照間引き画像
Ｉｒ２  第２参照間引き画像
Ｏｆ  オプティカルフロー変化量信号
Ｐｒ  視差変化量信号
ＳＳ  車速信号
【図１】
2010128640.tif 000003
【図２】
2010128640.tif 000004
【図３】
2010128640.tif 000005
【図４】
2010128640.tif 000006
【図５】
2010128640.tif 000007
【図６】
2010128640.tif 000008
【図７】
2010128640.tif 000009
【図８】
2010128640.tif 000010
【図９】
2010128640.tif 000011
【国際調査報告】
2010128640.tif 000012
2010128640.tif 000013
2010128640.tif 000014
2010128640.tif 000015