(57)【要約】  本開示の演算装置１４は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出する制御部１６を有する。
2016189878.tif 000002
【特許請求の範囲】
【請求項１】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置。
【請求項２】
請求項１に記載の演算装置であって、
前記コントローラは、
前記第１の較正データを算出する際に、前記複数の線の各々を３次元座標空間に写像し、
写像した複数の前記写像線が互いに平行になる前記第１の較正データを算出する、演算装置。
【請求項３】
請求項１又は２に記載の演算装置であって、
前記コントローラは、前記画像から、前記被写対象において１つの平面上に位置する前記互いに平行な直線に対応する前記複数の線を抽出する、演算装置。
【請求項４】
請求項３に記載の演算装置であって、
前記コントローラは、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正する、演算装置。
【請求項５】
請求項１から４のいずれかに記載の演算装置であって、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出する、演算装置。
【請求項６】
請求項５に記載の演算装置であって、
前記コントローラは、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する、演算装置。
【請求項７】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含む、カメラ装置。
【請求項８】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含む、車両。
【請求項９】
請求項８に記載の車両であって、
前記１又は複数のカメラは、当該車両の外部を向いている、車両。
【請求項１０】
請求項８又は９に記載の車両であって、
前記コントローラは、前記複数のカメラの取付け俯角を基準値として前記第１の較正データに基づいて較正する、車両。
【請求項１１】
請求項８から１０のいずれかに記載の車両であって、
前記コントローラは、前記画像の地上部分から前記複数直線を抽出する、車両。
【請求項１２】
被写対象の像を撮像した画像から、被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、
前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと
を含むキャリブレーション方法。
【請求項１３】
請求項１２に記載のキャリブレーション方法に従い互いに視差を有する複数の画像のそれぞれに前記第１の較正データを算出するステップと、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップと
を含むキャリブレーション方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１５年５月２７日に出願された日本国特許出願２０１５−１０７９６９号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
【技術分野】
【０００２】
本開示は、演算装置、カメラ装置、車両、及び、キャリブレーション方法に関する。
【背景技術】
【０００３】
複数のカメラを用いて被写対象までの距離を算出するステレオカメラ装置がある。例えば、自動車分野では、ステレオカメラ装置を用いて、前方車両及び障害物等までの距離を算出する。算出された距離は、衝突回避のためのドライバへの警告、及び、オートクルーズコントロールのためのアクセル又はブレーキの制御を含む運転支援に活用される。【０００４】
ステレオカメラ装置は、２台のカメラの撮像した画像の差から距離を算出する。２台のカメラのアライメントの誤差は、算出する距離に大きな誤差の原因となる。頻繁に較正を行うことが必要となるが、このような高精度の較正を、その都度機械的な調整で行うことは困難である。【０００５】
カメラによって撮像された画像に基づいて、自動的にアラインメント誤差を決定し、決定したアラインメント誤差に応じて距離を修正する電子較正方法が提案されている（例えば、特許文献１参照）。この電子較正方法では、ステレオカメラで撮像された右側画像及び左側画像から、走行道路上に互いに平行に標された道路境界のマーキングラインに対応する２つ以上の直線を検出する。この電子較正方法では、次いで、左側画像及び右側画像のそれぞれについて、先の２つの直線が交わる消失点の座標が決定する。この電子較正方法では、消失点の座標を、左側画像と右側画像との間で比較してアラインメント誤差を決定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００８−５０９６１９号公報
【発明の概要】
【０００７】
本開示の演算装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する。
【０００８】
本開示のカメラ装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。
【０００９】
本開示の車両は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。
【００１０】
本開示のキャリブレーション方法は、被写対象の像を撮像した画像から、被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップとを含む。
【図面の簡単な説明】
【００１１】
【図１】図１は、道路上を走行するカメラ装置を搭載した車両を簡略化して示す図である。
【図２】図２は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
【図３】図３は、較正演算部における較正値の更新手順を示すフローチャートである。
【図４】図４は、カメラの画像から実空間における平行直線を抽出する一例を示す図である。
【図５】図５は、左側画像及び右側画像から抽出された、被写対象に含まれる互いに平行な一対の直線に対応する、一対の直線を示す概念図である。
【図６】図６は、画像空間上の直線を３次元座標空間へ写像する手順を示すフローチャートである。
【図７】図７は、カメラ画像におけるｖ方向のピクセル値と像高ｙとの関係を示す図である。
【図８】図８は、画像空間における像高ｙおよび３次元座標空間におけるＺ方向の座標の対応関係を説明する図である。
【図９】図９は、カメラ画像におけるｕ方向のピクセル値と像高ｘとの関係を示す図である。
【図１０】図１０は、被写対象の３次元座標空間におけるＸ座標位置と、カメラへの入射角φとの関係を示す図である。
【図１１】図１１は、左側画像及び右側画像より抽出され、３次元座標空間に写像された直線を示す概念図である。
【図１２】図１２は、カメラの光軸の俯角較正後に３次元座標空間に写像された平行直線を示す概念図である。
【図１３】図１３は、視差ずれ量Δｕの較正後に３次元座標空間に写像される平行直線を示す概念図である。
【図１４】図１４は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
【図１５】図１５は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
【図１６】図１６は、複数の実施形態の１つに係るカメラ装置を搭載した車両の外観を簡略化して示す図である。
【図１７】図１７は、複数の実施形態の１つに係るカメラ装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
特許文献１に記載された較正方法では、撮像された画像に含まれる平行線から消失点を算出しなければならない。このような較正方法では、路面が傾きを有しているような場合には、正確な消失点が得られない。本開示によれば、直線の消失点を算出することなく較正することができる。
以下、本開示の複数の実施形態について、図面を参照して説明する。
【００１３】
図１において、車両１の進行方向（図において上方向）をＺ方向とし、車両１の車幅方向（図において左右方向）をＸ方向とし、Ｘ方向及びＺ方向に直交する方向（紙面に直交する方向）をＹ方向とする。本開示において、車両１の進行方向（図において上方向）をＺ方向の正の方向とし、左から右に向かう方向をＸ方向の正の方向とし、地面から空に向かう方向をＹ方向の正の方向とする。
【００１４】
ここで、本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【００１５】
カメラ装置１０は、第１カメラ１１と、第２カメラ１２と、演算装置１４とを含む。第１カメラ１１及び第２カメラ１２の２つのカメラは、車両１の外部を向いて配置され、互いに協働してステレオカメラとして動作する。複数の実施形態の一例において、演算装置１４は、第１カメラ１１および第２カメラ１２に電気的に接続されている。演算装置１４は、画像処理装置を含む。
【００１６】
ここで、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（１）複数のカメラが同時刻に撮像すること、（２）複数のカメラが同じ信号に基づいて撮像すること、及び（３）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。カメラ装置１０においては、互いに独立する第１カメラ１１及び第２カメラ１２の２台が並んでいる。本開示では、同じ被写対象を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。
【００１７】
第１カメラ１１及び第２カメラ１２は、固体撮像素子を含む。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１および第２カメラ１２は、レンズ機構を含んでよい。
【００１８】
第１カメラ１１及び第２カメラ１２の光軸は、同じ被写対象を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２は、互いの光軸が異なる。第１カメラ１１及び第２カメラ１２は、撮像した画像に少なくとも同じ被写対象が含まれるように、光軸及び位置が定められる。第１カメラ１１及び第２カメラ１２の光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１カメラ１１及び第２カメラ１２の光軸は、平行に限られず、互いに異なる方向でよい。
【００１９】
第１カメラ１１及び第２カメラ１２は、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。第１カメラ１１及び第２カメラ１２は、固定されていても、車両１に対して位置及び向きが変化する場合がある。
【００２０】
第１カメラ１１及び第２カメラ１２の光軸は、車両１の前方（Ｚ方向）を向いている。カメラ装置１０は、走行中に路面１００上の白線１０１，１０２（区画線）、先行車両、障害物等の種々の被写対象を撮像することができる。第１カメラ１１及び第２カメラ１２の光軸は、Ｚ方向から路面１００側に傾いている。第１カメラ１１及び第２カメラ１２の光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。第１カメラ１１及び第２カメラ１２の光軸の向きは、用途に応じて適宜変更される。
【００２１】
第１カメラ１１及び第２カメラ１２は、それぞれの光軸に交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両１の車幅方向（Ｘ方向）に沿って位置している。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置し、第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。第１カメラ１１と第２カメラ１２との位置の違いにより、各カメラ１１，１２で撮像した２つの画像において、互いに対応する被写対象の位置は、異なる。第１カメラ１１から出力される左側画像と、第２カメラ１２から出力される右側画像とは、異なる視点から撮像したステレオ画像となる。第１カメラ１１と第２カメラ１２との位置はこれに限られず、複数の実施形態のうちの他の１つにおいて、第１カメラ１１及び第２カメラ１２は、上下方向（Ｙ方向）又はＸＹ平面内の斜め方向に沿って位置してよい。その場合、第１カメラ１１及び第２カメラ１２から出力される画像は、それぞれ上下方向又は斜め方向に視差を有するステレオ画像となる。
【００２２】
複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、光軸を車両１の前方（Ｚ方向）に向けて、車両１の前側に固定されている。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両１のウインドシールドを介して車両１の外部を撮像できる。複数の実施形態において、第１カメラ１１及び第２カメラ１２は、車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。
【００２３】
第１カメラ１１及び第２カメラ１２は、それぞれ撮像した画像をデジタルデータとして演算装置１４に出力する。演算装置１４は、第１カメラ１１から出力される左側画像、及び第２カメラ１２から出力される右側画像の各々に対して、種々の処理ができる。演算装置１４が可能な処理には、第１カメラ１１及び第２カメラ１２の標準に対するずれを画像に基づいて較正する処理、及び画像から物体を検出する処理が含まれる。演算装置１４は、左側画像及び右側画像の両方から検出された物体までの距離を算出する。演算装置１４は、物体までの距離を三角測量の原理を含む公知の技術によって算出してよい。
【００２４】
演算装置１４は、第１カメラ１１及び第２カメラ１２の製造バラツキ、及び取付けずれを含む予定している標準からの違いに起因する画像の違いを較正する処理を行う。演算装置１４は、画像データを画像に展開してから較正する処理、及び画像データを画像に展開する前に較正する処理の少なくとも一方を行ってよい。演算装置１４は、予定している標準に対する経時的な変化を較正するために、画像の較正に用いる較正値を更新する処理を行ってよい。複数の実施形態の１つにおいて、演算装置１４は、較正値を更新する処理を定期的に行ってよい。本明細書で、「較正値」とは、入力された画像データ、又は、画像データから展開された画像を、較正するために用いられるパラメータである。較正値は、標準となるカメラの位置及び向きからのずれを較正するときに利用してよい。本明細書で較正値と較正データは同義である。以下において、この較正値の更新手順についてより詳細に説明する。
【００２５】
図２において、カメラ装置１０は、第１カメラ１１と、第２カメラ１２と、演算装置１４とを含む。演算装置１４は、入力部１５と、コントローラとしての制御部１６と、出力部１７と、記憶部１８とを含む。演算装置１４は、記憶部１８と別に、入力部１５に入力された画像データを一次保存するためのメモリ等を備えてよい。
【００２６】
入力部１５は、演算装置１４へ画像データを入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。
【００２７】
入力部１５には、第１カメラ１１及び第２カメラ１２の各々が撮像した画像の画像データが入力される。入力部１５は入力された画像データを制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、第１カメラ１１及び第２カメラ１２の撮像信号の伝送方式に対応してよい。
【００２８】
制御部１６は、一つまたは複数のプロセッサを含む。制御部１６もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
【００２９】
複数の実施形態の１つにおいて、制御部１６は、通常モードと、算出モードとを有する。制御部１６は、通常モードにおいて、入力された画像データに基づいて当該画像中の物体を検出してよい。制御部１６は、通常モードにおいて、検出した物体までの距離を算出しよてい。制御部１６は、算出モードにおいて、入力された画像信号を較正するための較正値を算出する。制御部１６は、異なる複数のモードのいずれかで動作する方式に限られない。制御部１６は、入力された画像信号を較正するための較正値を算出しつつ、物体の検出、及び検出した物体までの距離の算出のいずれかを実行してよい。
【００３０】
出力部１７は、演算装置１４からデータを出力する出力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、出力部１７は、ＣＡＮ（Control Area Network）等の車両１のネットワークに接続している。演算装置１４は、ＣＡＮを介して車両１の制御装置、及び警報装置等に接続される。演算装置１４は、出力部１７から制御装置、及び警報装置等に出力する。それらの情報は、制御装置、及び警報装置の各々で適宜利用される。
【００３１】
複数の実施形態の１つにおいて出力部１７は入力部１５と分かれているが、これに限られない。複数の実施形態の１つにおいて、入力部１５および出力部１７は１つの通信部であってよい。この通信部は、カメラ装置１０の通信インタフェースとなる。通信部は、物理コネクタ、及び無線通信機が採用できる。
【００３２】
記憶部１８は、較正値を記憶する。較正値は、第１較正値（第１較正データ）及び第２較正値（第２較正データ）を含む。記憶部１８は、書き換え可能なメモリを含む。記憶部１８は、フラッシュメモリ、磁気メモリ（ＭＲＡＭ：Magnetoresistive Random Access Memory）、強誘電体メモリ（ＦｅＲＡＭ：Ferroelectric Random Access Memory）などの不揮発性メモリ等を用いることができる。
【００３３】
複数の実施形態の１つにおける制御部１６の動作についてさらに説明する。複数の実施形態のうちの１つにおいて、制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１を含む。以下に、各部の動作を説明する。較正部１９、ステレオ演算部２０、及び較正演算部２１の各々は、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。較正部１９、ステレオ演算部２０、及び較正演算部２１の各々が行える動作を、制御部１６は実行できる。制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１を含む形態に限られず、較正部１９、ステレオ演算部２０、及び較正演算部２１の１つ又は複数が省略されてよい。複数の実施形態のうちの１つにおいて、制御部１６は、較正部１９、ステレオ演算部２０、及び較正演算部２１の全ての動作を実行してよい。較正部１９、ステレオ演算部２０、及び較正演算部２１が行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が較正部１９、ステレオ演算部２０、及び較正演算部２１のいずれかを使役して行う処理は、制御部１６が自ら実行してよい。
【００３４】
較正部１９は、画像を記憶部１８に格納されている較正値を参照して較正する。較正部１９は、第１カメラ１１及び第２カメラ１２の各々から受信する画像を較正する。較正部１９は、第１カメラ１１及び第２カメラ１２の各々の標準に対するずれを、画像のデータ変換により電子的に較正する。較正部１９は、左側画像及び右側画像を平行等位の画像に変換する。
【００３５】
較正部１９は、第１カメラ１１及び第２カメラ１２から受信する画像データの各々を較正するときに第１較正値を参照する。較正部１９は、ステレオ画像として左側画像及び右側画像を較正するときに第２較正値を参照する。
【００３６】
ステレオ演算部２０は、較正部１９で較正された左側画像及び右側画像の視差を求める。ステレオ演算部２０は、左側画像及び右側画像の一方画像を複数の領域に分割する。ステレオ演算部２０は、分割した複数領域の各々と他方画像とをマッチングさせる。ステレオ演算部２０は、左側画像と右側画像とでマッチングした２つの領域の左右方向における座標の違いに基づいて、当該領域の距離を算出する。ステレオ演算部２０は、算出した距離の分布を示す距離画像を生成する。ステレオ演算部２０は、距離が等しい領域が固まっている部分を検出することにより、当該位置に存在する物体を識別する。ステレオ演算部２０は、物体を識別した領域の距離から、識別した物体までの距離を識別する。ステレオ演算部２０が識別する物体には、障害物が含まれる。障害物には、人間、車両、道路標識、建築物、及び植物の少なくとも１つが含まれる。複数の実施形態の１つにおいて、ステレオ演算部２０は、識別した物体と距離画像とを関連付ける。ステレオ演算部２０は、距離画像、識別した物体、および当該物体までの距離の少なくとも１つを含む情報を、出力部１７を介して出力する。複数の実施形態の１つにおいて、ステレオ演算部２０は、リアルタイムで処理を実行する。ステレオ演算部２０は、視差画像に基づいて道路形状を認識してよい。
【００３７】
較正演算部２１は、カメラから受信した画像データを較正する第１較正値を算出する。較正演算部２１は、第１カメラ１１及び第２カメラ１２から受信した左側画像および右側画像を較正する第１較正値を算出する。較正演算部２１は、較正した左側画像および右側画像に基づいて、左側画像および右側画像をステレオ画像として較正するときの第２較正値を算出する。較正演算部２１は、記憶部１８に記憶された較正値を更新する。
【００３８】
以下に、演算部２１の処理について図３のフローチャートを用いて説明する。図３のフローの各処理は、制御部１６が実行すると言い換えてよい。
【００３９】
まず、較正演算部２１は、較正部１９から現在の較正値で較正された第１カメラ１１による左側画像および第２カメラ１２による右側画像を、それぞれ取得する（ステップＳ１０１）。次に、較正演算部２１は、取得した左側画像及び右側画像に対して、それぞれ、微分フィルタ処理を行う（ステップＳ１０２）。微分フィルタ処理により、それぞれの画像は、輝度値の変化の大きい部分が強調される。輝度値の変化の大きい部分が強調されることで、それぞれの画像は、画像内の被写対象のエッジが強調される。さらに、較正演算部２１は、微分フィルタ処理を行った画像に対して、２値化処理を行う（ステップＳ１０３）。２値化処理が行われることで、それぞれの画像のエッジは、鮮鋭化される。較正演算部２１は、エッジが鮮鋭化された画像からエッジを抽出する。
【００４０】
次に、較正演算部２１は、エッジが鮮鋭化された左側画像および右側画像の各々から、実空間の被写対象において互いに平行な複数の直線に対応する画像内の線から複数の点を抽出する（ステップＳ１０４）。較正演算部２１は、左側画像および右側画像の各々から、実空間における同一の直線に対応する線から点を抽出する。較正演算部２１が抽出する点の数は、２点以上である。複数の実施形態において、較正演算部２１は、１００点を抽出する。本開示において、較正演算部２１が抽出した複数の点を「点群」と呼ぶ場合がある。較正演算部２１は、点群を抽出することによって、実質的に点群を含む線を抽出する。較正演算部２１が抽出する対象は、点に限られず、線を抽出してよい。道路上を走行する車両の場合、較正演算部２１は、路面上の白線を含む区画線、道路と歩道との境界線、及び道路と中央分離帯との境界線などの、互いに平行な線に対応する点群を抽出する。軌道を走行する車両の場合、較正演算部２１は、互いに平行な軌道に対応する点群を抽出する。ここで、本明細書において「３次元座標空間」とは、カメラによって撮像された画像に基づいて３次元化した仮想空間を意味する。
【００４１】
図４において、互いに平行な直線は、同一の平面上に位置する直線から抽出することができる。同一の平面は、車両１の走行する地上部分である路面（ＸＺ平面）であってよい。現実の路面１００上には、走行車線と路側帯との間の白線１０１と、走行車線間の白線１０２が標されている区間がある。較正演算部２１は、例えば、白線１０１および１０２のそれぞれの右側のエッジである直線１０３及び直線１０４から点を抽出する。なお、図５及び以下の図１１，１２，１３において、説明のために、左側画像から抽出する点の集合およびその写像線を実線で示し、右側画像から抽出する点の集合およびその写像線を破線で示す。この例において、白線１０１及び白線１０２は、車両１の前方において遠方まで直線的に延びているが、白線は部分的に真っ直ぐな区分があればよい。較正演算部２１は、道路のカーブに起因する曲がった区間を含む白線のうち、真っ直ぐな部分から抽出してよい。続いて、較正演算部２１は、他の処理を行う。
【００４２】
図５の概念図において、左側画像及び右側画像の各々から抽出する点の集合を実線および破線で示す。これらの実線及び破線は、例えば、被写対象である実空間において互いに平行な一対の直線に対応する。直線１０３，１０４に対応して、左側画像ＩＬから抽出された直線状の点群を１０３Ｌ，１０４Ｌとし、右側画像ＩＲから抽出された直線状の点群を１０３Ｒ，１０４Ｒとする。このとき、画像の原点（０，０）を左上隅とし、各画像の右方向をｕ方向、下方向をｖ方向とする。座標（ｕ，ｖ）は、原点（０，０）からの画素値で表される。以下において、このような２次元座標空間を画像空間と呼ぶ。左側画像ＩＬの点群１０３Ｌと１０４Ｌとの組、及び、右側画像ＩＲの点群１０３Ｒと１０４Ｒとの組の各々は、ｖ方向の座標が大きくなるにつれてｕ方向の間隔が広がっている。
【００４３】
較正演算部２１は、左側画像ＩＬ及び右側画像ＩＲ画像空間の２次元座標において直線状となる点群１０３Ｌ，１０４Ｌ及び点群１０３Ｒ，１０４Ｒを、３次元座標空間へ写像する（ステップＳ１０５）。図６は、画像空間上の点群を３次元座標空間へ写像する手順を示すフローチャートである。ここで、「写像する」とは、２次元の画像空間上の点及び線を含む要素を、３次元座標空間へ座標変換することにより実空間の座標に対応付けることを意味する。較正演算部２１は、抽出した左側画像ＩＬ及び右側画像ＩＲの点群を、実空間と同様の（Ｘ，Ｙ，Ｚ）座標系に、現在の較正値を用いて座標変換する。実空間では、例えば、路面のＹ座標を０とする。この例では、路面１００上にある白線１０１，１０２は、Ｙ座標が０となる。
【００４４】
較正演算部２１は、左側画像ＩＬの点群１０３Ｌ及び１０４Ｌの各抽出点、および、右側画像ＩＲの点群１０３Ｒ及び１０４Ｒの各抽出点について、順に以下の手順を行う（ステップＳ２０１）。以下のステップＳ２０２及びＳ２０３では、左側画像についての座標変換についてのみ説明するが、右側画像についても同様の処理を行う。
【００４５】
まず、第１の座標変換として、較正演算部２１は、抽出点Ｐｉのｖ座標を３次元座標空間のＺ座標へ変換する（ステップＳ２０２）。以下にその原理を説明する。図７において、（ｕ０，ｖ０）は、第１カメラ１１の光軸上の点であり、画像空間の中心を示す。これに対して、抽出点の画像空間におけるｖ方向の座標値ｖ（ピクセル値）から、画像空間における抽出点の像高ｙ（ｍｍ；ミリメートル）を求めると、次式のようになる。
【数１】
2016189878.tif 000003
ここで、ｐは抽出点に対応する第１カメラ１１の画素ピッチである。
【００４６】
次に、画像空間における像高ｙを、抽出点からの光が第１カメラ１１へ入射する際のＹＺ面内の入射角θに変換する。図８に示すように、ピンホールモデルにより較正されている場合、第１カメラ１１のレンズの中心から受光面までの距離はレンズの焦点距離ｆに調整される。したがって、入射角θは次の式で表される。
【数２】
2016189878.tif 000004
【００４７】
さらに、ＨＣを第１カメラ１１の路面からの高さとするとき、図８に示される幾何関係より、次の数式（３）の関係式が成立する。
【数３】
2016189878.tif 000005
【００４８】
ここで、カメラの設置角度であるカメラの光軸の俯角（カメラの光軸と路面（ＸＺ平面）との成す角度であって、水平方向を基準としたから下方向の角度）θＣは、実空間において抽出された互いに平行な直線１０３、１０４を含む平面（即ち、路面１００）と、対応する第１カメラ１１の光軸との成す角度である。第１カメラ１１及び第２カメラ１２は、出荷時にチャートパターン等を用いて高精度に較正されている。俯角θＣの値としては、工場出荷時の較正値、及び、前回の算出モードの処理により更新された較正値が、記憶部１８に記憶されている。
【００４９】
上記数式（１）、（２）、（３）を整理することにより、画像空間のｖ座標から３次元座標空間のＺ座標への変換式が次のように得られる。
【数４】
2016189878.tif 000006
較正演算部２１は、ステップＳ２０２において、数式（４）に従い抽出点Ｐｉのｖ座標を３次元座標空間のＺ座標へ変換する。
【００５０】
次に、図６のフローチャートに戻り、第２の座標変換として、較正演算部２１は、抽出点のｕ座標および３次元座標空間におけるＺ座標から３次元座標空間のＸ座標への変換を行う（ステップＳ２０３）。以下にその原理を説明する。図９において、（ｕ０，ｖ０）は画像空間の中心を示し、対応する第１カメラ１１の光軸上の点である。これに対して、抽出点Ｐｉの画像空間における座標値ｕ（ピクセル値）から、画像空間における抽出点のｕ方向の像高ｘ（ｍｍ）を求めると、次式のようになる。
【数５】
2016189878.tif 000007
【００５１】
また、画像空間における像高ｘを、抽出点Ｐｉからの光の第１カメラ１１へのＸＺ面内の入射角φに変換する。ピンホールモデルにより較正されている場合、入射角φは次の式で表される。
【数６】
2016189878.tif 000008
【００５２】
さらに、図１０から、３次元座標空間の座標Ｚ及び入射角φと３次元座標空間の座標Ｘとは次の幾何関係を有する。
【数７】
2016189878.tif 000009
【００５３】
上記数式（５）、（６）、（７）を整理することにより、画像空間のｕ座標と３次元座標空間のＺ座標から３次元座標空間のＸ座標への変換式が次のように得られる。
【数８】
2016189878.tif 000010
較正演算部２１は、ステップＳ２０３において、数式（８）に従い抽出点のｕ座標および３次元座標空間におけるＺ座標から３次元座標空間のＸ座標へ変換の変換を行う。
【００５４】
以上のように、較正演算部２１は、数式（４）及び数式（８）を用いることにより、画像空間の点（ｕ，ｖ）を３次元座標空間の点（Ｘ，０，Ｚ）に写像することができる。
【００５５】
以下、較正演算部２１は、左側画像及び右側画像の全ての抽出点について、ステップＳ２０２及びステップＳ２０３を実行する（ステップＳ２０１，Ｓ２０４）。全ての抽出点についての写像が完了すると、図６のフローチャートを終了し、図３のフローチャートに戻る。
【００５６】
なお、較正演算部２１は、第１カメラ１１と第２カメラ１２との左右の位置の違いによる画像空間の同一物体の位置ずれを３次元座標空間への写像により較正する。第１カメラ１１及び第２カメラ１２の双方で撮像した画像に含まれる同一の直線は、画像空間から３次元座標空間に写像すると、理想的には同一の位置に写像される。
【００５７】
以下に、第１カメラ１１及び第２カメラ１２の水平方向に対する俯角θＣ及びカメラの撮像素子とレンズの光軸の相対位置にずれが生じている場合の較正について説明する。図１１は、左側画像ＩＬ及び右側画像ＩＲより抽出された点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒを、それぞれ３次元座標空間に写像した複数の写像点から算出される近似直線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒを示す概念図である。近似曲線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。較正演算部２１は、複数の写像点が集合する各近似直線１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒを、最小二乗法などを用いて決定する。また、図１１では、説明のために直線間のずれと傾きを強調して示している。
【００５８】
路面１００上での平行な白線１０１のエッジである直線１０３及び白線１０２のエッジである直線１０４に対応する近似直線１０５Ｌと近似直線１０６Ｌとの対及び近似直線１０５Ｒと近似直線１０６Ｒとの対がそれぞれ非平行となり、同じ直線に対応する近似直線１０５Ｌと近似直線１０５Ｒとの対及び近似直線１０６Ｌと近似直線１０６Ｒとの対が、それぞれ重ならないのは、記憶部１８に記憶されている較正値により較正される状態からの新たなずれにより、記憶部１８に記憶されている較正値によって較正できなくなったことに起因する。
【００５９】
以下において、較正演算部２１は、３次元座標空間に写像された近似直線１０５Ｌと近似直線１０６Ｌとの対及び近似直線１０５Ｒと近似直線１０６Ｒとの対が平行となり、且つ、３次元座標空間に写像された近似直線１０５Ｌと近似直線１０５Ｒとの対及び近似直線１０６Ｌと近似直線１０６Ｒとの対が重なり合うように調整することにより、新たな較正値を算出する。較正演算部２１は、算出した新たな較正値を、新たな較正値として更新する。
【００６０】
まず、較正演算部２１は、近似直線１０５Ｌ及び近似直線１０６Ｌの傾きを算出する（ステップＳ１０６）。また、近似直線１０５Ｒ及び近似直線１０６Ｒについても、同様に傾きを算出する（ステップＳ１０６）。
【００６１】
次に、較正演算部２１は、近似直線１０５Ｌ及び近似直線１０６Ｌが互いに平行となるように、数式（４）及び数式（８）から、第１カメラ１１の変動パラメータであるカメラ光軸の俯角を調整してその較正値θＣＬを決定する（ステップＳ１０７）。複数の実施形態のうちの１つにおいて、較正演算部２１は、近似直線１０５Ｌ，１０６ＬがＺ軸に平行になるように俯角を調整して、較正値θＣＬを決定する。第２カメラ１２についても同様にカメラの光軸の俯角の較正値θＣＲを決定する（ステップＳ１０７）。ここで、工場出荷時の較正値として、記憶部１８には、工場出荷時に設定され予め規定された第１カメラ１１及び第２カメラ１２の取付け俯角を、カメラの光軸の俯角の基準値として記憶しておくことができる。較正演算部２１は、この基準値を基準にカメラの光軸の俯角を調整して較正値θＣＬおよびθＣＲを決定することができる。俯角の較正値θＣＬおよびθＣＲは、第１カメラ１１及び第２カメラ１２から受信する画像データの各々を較正するときに参照する第１較正値となる。
【００６２】
第１カメラ１１及び第２カメラ１２の光軸の俯角の較正値θＣＬ，θＣＲを決定すると、較正演算部２１は、左側画像ＩＬ及び右側画像ＩＲから抽出した点群を、新たな較正値θＣＬ及びθＣＲを用いて３次元座標空間に写像する（ステップＳ１０８）。３次元座標空間への写像は、ステップＳ１０５と同様に、図６に示したフローチャートに従い実行する。
【００６３】
図１２において、近似曲線１０７Ｌ，１０７Ｒ，１０８Ｌ，１０８Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。被写対象の互いに平行な直線である白線１０１のエッジである直線１０３及び１０２のエッジである直線１０４にそれぞれ対応する近似直線１０７Ｌと近似直線１０８Ｌとは互いに平行となる。同様に、近似直線１０７Ｒと近似直線１０８Ｒとは、互いに平行となる。一方、被写対象の同一の直線すなわち、白線１０１のエッジである直線１０３に対応する近似直線１０７Ｌと近似直線１０７Ｒとは、互いに平行でＸ方向にずれた位置に写像されている。また、もう一方の被写対象内で同一の直線すなわち、白線１０２のエッジである直線１０４に対応する近似直線１０８Ｌと近似直線１０８Ｒとは、互いに平行でＸ方向にずれた位置に写像されている。
【００６４】
次に、較正演算部２１は、ステップＳ１０８により、左側画像から３次元座標空間に写像された近似直線１０７Ｌ，１０８Ｌと右側画像から３次元座標空間に写像された近似直線１０８Ｒ，１０８Ｒとの位置をそれぞれ比較する（ステップＳ１０９）。
【００６５】
さらに、較正演算部２１は、写像された近似直線１０７Ｌと近似１０７Ｒとの組、及び近似直線１０８Ｌと近似直線１０８Ｒとの組が各々において一致するように、視差ずれ量Δｕ（較正データ）を算出する（ステップＳ１１０）。視差ずれ量Δｕは、第１カメラ１１及び第２カメラ１２から受信する画像データをステレオ画像として較正するときに参照する第２較正値となる。視差ずれ量Δｕとは、第１カメラ１１と第２カメラ１２との間の経時的な位置ずれの差分である。左側画像の座標及び右側画像の画像空間におけるｕ座標を、視差ずれ量Δｕに相当する画素量だけ相対的にずらすことにより、左側画像と右側画像との間で視差ずれを無くすことができる。
【００６６】
図１３において、近似曲線１０９Ｌ，１０９Ｒ，１１０Ｌ，１１０Ｒは、それぞれ点群１０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒとして抽出された画像空間の線が、３次元座標空間に写像された写像線である。被写対象の同一の白線１０１のエッジの直線１０３に対応する、近似直線１０９Ｌと近似直線１０９Ｒとを一致させることができる。また、被写対象の同一の白線１０２のエッジの直線１０４に対応する近似直線１１０Ｌと近似直線１１０Ｒをそれぞれ一致させることができる。
【００６７】
最後に、較正演算部２１は、更新された第１カメラ１１及び第２カメラ１２の光軸の俯角の較正値θＣＬ，θＣＲ及び左側画像及び右側画像間の視差ずれ量の較正値Δｕを記憶部１８に保存することにより較正値を更新し（ステップＳ１１１）、較正値の更新処理を終了する。視差ずれ量の較正値Δｕに代えて、左側画像及び右側画像それぞれの光軸上の座標ｕ０を視差ずれ量Δｕに対応して相対的にずらしてｕ０Ｌ，ｕ０Ｒとし、これらを較正値として保存してよい。
【００６８】
記憶部１８の較正値が更新されると、較正部１９は、次回の較正値の更新処理まで、更新された較正値θＣＬ，θＣＲ及びΔｕを用いて、第１カメラ１１から入力される左側画像及びカメラ１２から入力される右側画像（ステレオ画像）の較正を行い、構成した左側画像及び右側画像をステレオ演算部２０に出力する。制御部１６は、一定時間ごとに、あるいは、演算装置１４が起動及び終了の少なくとも一方の時期に、較正演算部２１により較正値の更新を自動的に行わせてよい。制御部１６は、手動操作もしくは他の機器から入力された信号に基づいて、較正値の更新を行ってよい。
【００６９】
以上説明したように、本実施形態のカメラ装置１０によれば、平行直線の消失点を求めることなく、較正を行うことができる。カメラ装置１０は、被写対象の互いに平行な直線を撮像して得られた画像空間の線を、３次元座標空間で互いに平行な直線となるように変換する。このとき、第１カメラ１１及び第２カメラ１２の光軸の俯角θＣを補正することにより、路面の傾きが加味された形で較正が行われるので、路面が傾斜した坂道などを走行する場合にも、較正精度が劣化せず良好な較正を行うことができる。
【００７０】
複数の実施形態の１つにおいて、カメラ装置１０は、使用環境にて較正することが可能できる。複数の実施形態の１つにおいて、カメラ装置１０は、デジタル処理により較正することが可能である。複数の実施形態の１つにおいて、カメラ装置１０は、使用者への負荷が少ない。複数の実施形態の１つにおいて、カメラ装置１０は、使用環境にて較正値の更新が可能なので、精度の維持が容易となる。
【００７１】
カメラ装置１０は、視差ずれ量Δｕ（較正データ）を算出して、２台のカメラの撮像素子とレンズの光軸の相対的な位置ずれの差分を較正している。撮像素子とレンズの光軸との位置ずれは、小さなずれ量であっても、距離測定において大きな誤差を生じる。カメラ装置１０は、簡単な演算により較正値の更新が可能であるので、距離の測定精度の維持が容易となる。
【００７２】
複数の実施形態の１つに係る図１４のカメラ装置３０は、第１カメラ３１、第２カメラ３２及び演算装置３７を備える。
【００７３】
第１カメラ３１および第２カメラ３２は、それぞれ、撮像部３４ａ，３４ｂ、一次較正部３５ａ，３５ｂ、及び一次較正値メモリ３６ａ，３６ｂを備える。第１カメラ３１及び第２カメラ３２は、工場出荷時等にチャートパターン等を用いて正確に較正され、その較正値が一次較正値として一次較正値メモリ３６ａ，３６ｂに格納されている。この一次較正値は図１から図１３に示した実施形態と同様の較正値を用いることができる。一次較正部３５ａ、３５ｂは、撮像部３４ａ，３４ｂで撮像された画像を、一次較正値メモリ３６ａ，３６ｂの一次較正値に基づいて較正し、演算装置３７の入力部１５に送信する。一次較正値は、基本的に固定値であり、書き換えを行わない。
【００７４】
演算装置３７は、入力部１５、制御部３８、二次記憶部４１及び出力部１７を備える。制御部３８は、それぞれ図２に示した実施形態の較正部１９、較正演算部２１に代えて二次較正部３９、較正演算部４０を備える。その他の構成は、図２に示した実施形態と同様とする。算出モードにおいて、二次較正部３９は、第１カメラ３１及び第２カメラ３２から受信した画像に対して、二次較正を行う。二次較正は、一次較正済みの画像に対して、工場出荷後の経時変化や振動衝突等によって生じたずれを補正するものである。較正演算部４０は、一次較正済みの左側画像及び右側画像に対して、図１から図１３に示した実施形態と同様の較正値の更新処理を行う。これによって、二次記憶部４１に格納される付加的な較正のための較正値を二次較正値として更新することができる。
【００７５】
したがって、本実施形態によれば、図１から図１３に示した実施形態と同様に、良好に較正を行うことが可能になる。また、本実施形態のカメラ装置３０においても、消失点を算出する必要が無い。
【００７６】
複数の実施形態の１つに係る図１５のカメラ装置５０は、第１カメラ５１、第２カメラ５２及び演算装置５７を備える。
【００７７】
第１カメラ５１および第２カメラ５２は、図１４に示した実施形態の第１カメラ３１及び第２カメラ３２と類似し、それぞれ、撮像部５４ａ，５４ｂ、較正部５５ａ，５５ｂ、及び較正値メモリ５６ａ，５６ｂを備える。較正値メモリ５６ａ，５６ｂについては、図１４に示した実施形態の一次較正値メモリ３６ａ，３６ｂとは異なり、演算装置５７からの信号により書き換え可能である。
【００７８】
演算装置５７は、通信部５８、制御部５９及び出力部１７を備える。通信部５８は、図１から図１３に示した実施形態の入力部１５と同様に第１カメラ５１及び第２カメラ５２からの画像信号を受け取るとともに、第１カメラ５１及び第２カメラ５２の較正値メモリ５６ａ及び５６ｂに対して書き換え信号を出力することができる。制御部５９は、較正演算部６０とステレオ演算部２０とを含む。出力部１７及びステレオ演算部２０は、図１から図１３に示した実施形態の出力部１７及びステレオ演算部２０と同様に動作する。
【００７９】
算出モードにおいて、較正演算部６０は、図２に示した実施形態の較正演算部２１と同様に、左側画像及び右側画像から較正値を算出することができる。較正演算部６０が算出した較正値は、通信部５８を介して第１カメラ５１及び第２カメラ５２の較正値メモリ５６ａ及び５６ｂに送信され、較正値を更新する。
【００８０】
一方、通常モードでは、第１カメラ５１及び第２カメラ５２が較正済みの画像を演算装置５７に送信する。演算装置５７では、ステレオ演算部２０により、画像内の測定対象物の検出及び距離計算等の処理を実行し出力する。
【００８１】
本実施形態によれば、図１から図１３に示した実施形態と同様の効果が得られる。また、画像の較正をカメラ側で実行させることができる。
【００８２】
上記各実施形態では、カメラ装置は路面上の白線等の平行線を検出して較正を行っている。この較正方法は、平行なものが無い場合に使用できない。路面上の白線は、坂道などの勾配の変化、道路のカーブによって、左右の白線は、平行にならない。この較正方法は、使用できない状況がある。複数の実施形態の１つに係るカメラ装置は、走行中に路面上に互いに平行な２本以上の直線を投影してよい。カメラ装置は、投影した直線に基づいて較正してよい。
【００８３】
複数の実施形態の１つに係るカメラ装置７０を図１６、図１７を用いて説明する。図１７に示すように、カメラ装置７０は、投影装置７１ａ，７１ｂを有する。投影装置７１ａ，７１ｂは、道路路面上に互いに平行な直線を投影する装置である。例えば、投影装置７１ａ、７１ｂは、図１６に示すように車両のフロントバンパーの左右のヘッドライトの近くに設けられ、車両の走行時に前方に向けて上下方向に広がりを有し左右方向に幅の狭い光線を射出する。この光線を、路面に向けて照射することにより、道路路面上に互いに平行な２本の直線を映し出す。投影装置７１ａ，７１ｂ画投影するのは平行な２本線に限られず、投影装置７１ａ，７１ｂは平行線を含む他の特定のパターンを投影してよい。投影装置７１ａ、７１ｂの射出する光は、白色光等の可視光、赤外光、及び紫外光等のいずれでよい。カメラ装置７０は、路面に投影された互いに平行な２本の線を第１カメラ１１及び第２カメラ１２により撮像する。投影装置７１ａ、７１ｂは、２台に分かれている必要はなく、例えば、一台の投影装置であってよい。投影装置は、車両のフロントバンパーの中央から、２本以上の平行線を路面上に投影してよい。投影装置は、車両のバンパーに限られず、車室内やフェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかの位置に固定されていてよい。
【００８４】
図１７のブロック図に示すように、カメラ装置７０は、投影装置７１ａ、７１ｂを除き、図２に示したステレオカメラ装置１０と同様に構成され、ステレオカメラ１０と同一又は対応する構成要素には図２と同じ参照符号を付している。投影装置７１ａおよび７１ｂは、演算装置１４の制御部１６と連携しており、算出モードにおいて、路面上に互いに平行な２本の直線を投影する。例えば、算出モードにおいて、制御部１６が投影装置７１ａ，７１ｂに指示して平行な２本の線を投影させるようにする。第１カメラ１１及び第２カメラ１２が、投影装置７１ａ及び７１ｂにより投影された互いに平行な２本の直線を路面に撮像すると、較正演算部２１は、図３のフローチャートと同様の手続きにより、較正演算部２１が較正値を算出し、これを更新する。
【００８５】
カメラ装置７０は、ステレオカメラの位置及び向きに経時的に発生するずれを較正することが可能になる。カメラ装置７０は、任意の時期でステレオカメラを較正することができる。カメラ装置７０は、路面上に工事の跡や建物の影等が有る場合でも、誤認識する可能性がより低く、較正の精度が高い。
【００８６】
なお、本開示は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、カメラ装置に実装されるカメラの数は２つに限られず、３台以上のカメラを用いることも可能である。各実施形態の第１及び第２カメラと演算装置の処理内容と機能分担は、例示であり、他の態様での処理及び機能分担も可能である。例えば、図３のフローチャートにおいて、３次元座標空間への写像ステップ（ステップＳ１０５）の後に、必ず較正値の更新を実行しているが、３次元座標空間へ写像した結果第１カメラ及び第２カメラで撮像された直線が略平行且つ概ね一致していれば、較正値の更新は不要と判断し、ステップＳ１０６以降の処理を行わないようにすることもできる。ステレオ演算部による距離測定および物体の認識方法は、上記のものに限られず、種々の方法を適用することができる。さらに、本開示は自動車等の車両用途に限られず、例えば、監視カメラ、生産設備をモニターするカメラ装置、遠隔操作型のロボット、ドローンを含む無人航空機等にも適用することができる。あるいは、高さ測定が可能ならば、低空を飛行する飛行体に対して適用することもできる。それらの場合、平行な直線は、建造物等箱型の物体の平行な２辺や直線的に延びる通路と壁の境界等、種々のものから抽出することができる。本出願において、「画像」、「画像データ」、及び「画像情報」という記載は、状況に応じて他の記載に変えて理解することができる。
【符号の説明】
【００８７】
１    車両
１０，３０，５０，７０    カメラ装置
１１，３１，５１    第１カメラ
１２，３２，５２    第２カメラ
１４，３７，５７    演算装置
１５    入力部
１６，３８，５９制御部（コントローラ）
１７    出力部
１８    記憶部
１９    較正部
２０    ステレオ演算部
２１，４０，６０：較正演算部
３４ａ，３４ｂ，５４ａ，５４ｂ    撮像部
３５ａ，３５ｂ    一次較正部
３６ａ，３６ｂ    一次較正値メモリ
３９    二次較正部
４１    二次記憶部
５８    通信部
５５ａ，５５ｂ    較正部
７１ａ，７１ｂ    投影装置
１００    路面
１０１，１０２    白線
１０３，１０４    直線  １０３Ｌ，１０３Ｒ，１０４Ｌ，１０４Ｒ    点群
１０５Ｌ，１０５Ｒ，１０６Ｌ，１０６Ｒ    近似曲線
１０７Ｌ，１０７Ｒ，１０８Ｌ，１０８Ｒ    近似曲線
１０９Ｌ，１０９Ｒ，１１０Ｌ，１１０Ｒ    近似曲線
【図１】
2016189878.tif 000011
【図２】
2016189878.tif 000012
【図３】
2016189878.tif 000013
【図４】
2016189878.tif 000014
【図５】
2016189878.tif 000015
【図６】
2016189878.tif 000016
【図７】
2016189878.tif 000017
【図８】
2016189878.tif 000018
【図９】
2016189878.tif 000019
【図１０】
2016189878.tif 000020
【図１１】
2016189878.tif 000021
【図１２】
2016189878.tif 000022
【図１３】
2016189878.tif 000023
【図１４】
2016189878.tif 000024
【図１５】
2016189878.tif 000025
【図１６】
2016189878.tif 000026
【図１７】
2016189878.tif 000027
【手続補正書】
【提出日】平成29年2月7日(2017.2.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有し、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出する
演算装置。
【請求項２】
請求項１に記載の演算装置であって、
前記コントローラは、
前記第１の較正データを算出する際に、前記複数の線の各々を３次元座標空間に写像し、
写像した複数の前記写像線が互いに平行になる前記第１の較正データを算出する、演算装置。
【請求項３】
請求項１又は２に記載の演算装置であって、
前記コントローラは、前記画像から、前記被写対象において１つの平面上に位置する前記互いに平行な直線に対応する前記複数の線を抽出する、演算装置。
【請求項４】
請求項３に記載の演算装置であって、
前記コントローラは、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正する、演算装置。
【請求項５】
請求項１に記載の演算装置であって、
前記コントローラは、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する、演算装置。
【請求項６】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含み、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出する
カメラ装置。
【請求項７】
被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含み、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出する
車両。
【請求項８】
請求項７に記載の車両であって、
前記１又は複数のカメラは、当該車両の外部を向いている、車両。
【請求項９】
請求項７又は８に記載の車両であって、
前記コントローラは、前記複数のカメラの取付け俯角を基準値として前記第１の較正データに基づいて較正する、車両。
【請求項１０】
請求項７から９のいずれかに記載の車両であって、
前記コントローラは、前記画像の地上部分から前記複数直線を抽出する、車両。
【請求項１１】
被写対象の像を撮像した互いに視差を有する複数の画像のそれぞれについて、
被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、
前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップと
を含むキャリブレーション方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本開示の演算装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、複数の画像において互いに対応する写像線を比較して第２の較正データを算出する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本開示のカメラ装置は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、複数の画像において互いに対応する写像線を比較して第２の較正データを算出する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本開示の車両は、被写対象の像を撮像した画像から、該被写対象において互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、複数の画像において互いに対応する写像線を比較して第２の較正データを算出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本開示のキャリブレーション方法は、被写対象の像を撮像した互いに視差を有する複数の画像のそれぞれについて、被写対象において互いに平行な直線に対応する複数の線を抽出するステップと、抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと、前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップとを含む。
【手続補正書】
【提出日】平成29年5月8日(2017.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有し、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する演算装置。
【請求項２】
請求項１に記載の演算装置であって、
前記コントローラは、
前記第１の較正データを算出する際に、前記複数の線の各々を３次元座標空間に写像し、
写像した複数の前記写像線が互いに平行になる前記第１の較正データを算出する、演算装置。
【請求項３】
被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含み、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する
カメラ装置。
【請求項４】
被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する、演算装置と、
前記被写対象の像を撮像する１又は複数のカメラと、
を含み、
前記コントローラは、
互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに前記第１の較正データを算出し、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正し、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する
車両。
【請求項５】
請求項４に記載の車両であって、
前記１又は複数のカメラは、当該車両の外部を向いている、車両。
【請求項６】
請求項４又は５に記載の車両であって、
前記コントローラは、前記複数のカメラの工場出荷時点の取付け俯角を基準値として前記第１の較正データに基づいて、前記カメラの光軸と前記平面とが成す角度を較正する、車両。
【請求項７】
請求項４から６のいずれかに記載の車両であって、
前記コントローラは、前記画像の地上部分から前記複数直線を抽出する、車両。
【請求項８】
被写対象の像を撮像した互いに視差を有する複数の画像のそれぞれについて、
被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出するステップと、
前記抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと、
前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正するステップと、
前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップと、
前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正するステップと、を含むキャリブレーション方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本開示の演算装置は、被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、第１の較正データに基づいて、画像を撮像するカメラの光軸と平面とが成す角度を較正する。コントローは、複数の画像において互いに対応する写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本開示のカメラ装置は、被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、第１の較正データに基づいて、画像を撮像するカメラの光軸と平面とが成す角度を較正する。コントローは、複数の画像において互いに対応する写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本開示の車両は、被写対象の像を撮像した画像から、該被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出し、抽出された前記複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するコントローラを有する演算装置と、前記被写対象の像を撮像する１又は複数のカメラとを含む。コントローラは、互いに視差を有する同じ被写対象の像を撮像した複数の画像のそれぞれに第１の較正データを算出し、第１の較正データに基づいて、画像を撮像するカメラの光軸と平面とが成す角度を較正する。コントローは、複数の画像において互いに対応する写像線を比較して第２の較正データを算出し、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本開示のキャリブレーション方法は、被写対象の像を撮像した互いに視差を有する複数の画像のそれぞれについて、被写対象において１つの平面上に位置する互いに平行な直線に対応する複数の線を抽出するステップと、抽出された複数の線の各々が３次元座標空間に写像されたときの写像線が互いに平行になるように第１の較正データを算出するステップと、前記第１の較正データに基づいて、前記画像を撮像するカメラの光軸と前記平面とが成す角度を較正するステップと、前記複数の画像において互いに対応する前記写像線を比較して第２の較正データを算出するステップと、前記第２の較正データに基づいて、前記複数の画像を撮像する複数のカメラ間の視差ずれ量を較正するステップとを含む。
【国際調査報告】
2016189878.tif 000028
2016189878.tif 000029
2016189878.tif 000030
2016189878.tif 000031
2016189878.tif 000032
2016189878.tif 000033