(57)【要約】【課題】キャリブレーションを短時間、かつ高精度に行うことができるカメラシステムを得る。【解決手段】移動体に搭載され、移動体の周囲の環境を画像認識するカメラシステムであって、移動体の周囲を撮像する撮像部と、撮像部の組み立て時における撮像部の内部パラメータである撮像部内部データと、撮像部により撮像された画像から特徴点を抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点および撮像部内部データに基づいて、内部パラメータを較正する内部パラメータ較正部と、内部パラメータ較正部で較正された内部パラメータに基づいて、外部パラメータを較正する外部パラメータ較正部と、を備えたものである。【選択図】図１
2018170666.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体の周囲の環境を画像認識するカメラシステムであって、
前記移動体の周囲を撮像する撮像部と、
前記撮像部の組み立て時における前記撮像部の内部パラメータである撮像部内部データと、
前記撮像部により撮像された画像から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された特徴点および前記撮像部内部データに基づいて、内部パラメータを較正する内部パラメータ較正部と、
前記内部パラメータ較正部で較正された内部パラメータに基づいて、外部パラメータを較正する外部パラメータ較正部と、
を備えたカメラシステム。
【請求項２】
前記撮像部は、複数の撮像部により構成され、
前記複数の撮像部のそれぞれに対応する撮像部内部データから、該当する撮像部の撮像部内部データを選択して出力するカメラ識別部をさらに備えた
請求項１に記載のカメラシステム。
【請求項３】
前記撮像部内部データは、前記撮像部の内部パラメータと併せて、前記撮像部の内部パラメータ以外の前記撮像部の特性パラメータを含み、
前記撮像部の内部パラメータ以外の前記撮像部の特性パラメータに基づいて、前記撮像部により撮像された画像を最適化するカメラ間合成最適部をさらに備えた
請求項１または請求項２に記載のカメラシステム。
【請求項４】
移動体に搭載され、前記移動体の周囲の環境を画像認識するカメラシステムで実現されるカメラのキャリブレーション方法であって、
撮像部の組み立て時における前記撮像部の内部パラメータである撮像部内部データを取得する取得ステップと、
前記撮像部により撮像された画像から特徴点を抽出する抽出ステップと、
前記抽出ステップで抽出された特徴点および前記撮像部内部データに基づいて、内部パラメータを較正する内部パラメータ較正ステップと、
前記内部パラメータ較正ステップで較正された内部パラメータに基づいて、外部パラメータを較正する外部パラメータ較正ステップと、
を有するカメラのキャリブレーション方法。
【請求項５】
前記撮像部は、複数の撮像部により構成され、
前記内部パラメータ較正ステップに先立って、前記複数の撮像部のそれぞれに対応する撮像部内部データから、該当する撮像部の撮像部内部データを選択して出力する選択ステップをさらに有する
請求項４に記載のカメラのキャリブレーション方法。
【請求項６】
前記撮像部内部データは、前記撮像部の内部パラメータと併せて、前記撮像部の内部パラメータ以外の前記撮像部の特性パラメータを含み、
前記撮像部の内部パラメータ以外の前記撮像部の特性パラメータに基づいて、前記撮像部により撮像された画像を最適化する最適化ステップをさらに有する
請求項４または請求項５に記載のカメラのキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば車両等の移動体に搭載され、車両周囲の環境を画像認識するカメラシステム、およびカメラのキャリブレーション方法に関する。
【背景技術】
【０００２】
撮像部と画像処理装置とを備えた車載カメラシステムは、車両の利便性向上、安全走行、カーナビゲーションの高度な位置補正等を目的として、その役割はますます重要なものとなってきている。また、画像処理技術の発展に伴い、路面または路上の表示や物体を認識する技術として、多種多様なものが開発されてきている。
【０００３】
これらに付随して、車両周囲の環境を画像認識し、車線逸脱防止、衝突回避、オートクルーズ等の車両制御を行う技術も開発され、実用化が進められている。このとき、車両制御を伴う場合には、車両に対する認識対象物の相対位置を測定するための計測技術が必要となる。
【０００４】
これをカメラで実施する場合、カメラの光軸位置、焦点距離、レンズ歪み等を表す内部パラメータと、カメラの位置や姿勢を表す外部パラメータとを用いて、画像中の画素と実空間上の位置との対応をとる必要がある。
【０００５】
なお、内部パラメータおよび外部パラメータは、設計値に基づいて製造されているが、実際には誤差が必ず含まれるため、画素と実空間とが真の対応関係を表すように、ずれを補正するキャリブレーションが必要となる。
【０００６】
ここで、カメラのキャリブレーション方法として、複数の撮像部により撮像された画像から、あらかじめ設定された直線部分を有する認識対象物を認識するとともに、画像から認識対象物の特徴点を抽出し、抽出された特徴点を仮想球面に投影し、仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定するとともに、推定した内部パラメータを較正し、抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定するとともに、推定した外部パラメータを較正するものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１１５５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のキャリブレーション方法では、複数の特徴点に基づいて内部パラメータおよび外部パラメータを推定しているので、複数の演算処理を必要とし、調整に時間を要するという問題がある。
【０００９】
また、特許文献１のキャリブレーション方法で推定される内部パラメータは、あくまでも最適と考えられる推定値であり、キャリブレーション精度の向上に限界があるという問題もある。
【００１０】
この発明は、上記のような課題を解決するためになされたものであり、キャリブレーションを短時間、かつ高精度に行うことができるカメラシステムおよびカメラのキャリブレーション方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係るカメラシステムは、移動体に搭載され、移動体の周囲の環境を画像認識するカメラシステムであって、移動体の周囲を撮像する撮像部と、撮像部の組み立て時における撮像部の内部パラメータである撮像部内部データと、撮像部により撮像された画像から特徴点を抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点および撮像部内部データに基づいて、内部パラメータを較正する内部パラメータ較正部と、内部パラメータ較正部で較正された内部パラメータに基づいて、外部パラメータを較正する外部パラメータ較正部と、を備えたものである。
【００１２】
また、この発明に係るカメラのキャリブレーション方法は、移動体に搭載され、移動体の周囲の環境を画像認識するカメラシステムで実現されるカメラのキャリブレーション方法であって、撮像部の組み立て時における撮像部の内部パラメータである撮像部内部データを取得する取得ステップと、撮像部により撮像された画像から特徴点を抽出する抽出ステップと、抽出ステップで抽出された特徴点および撮像部内部データに基づいて、内部パラメータを較正する内部パラメータ較正ステップと、内部パラメータ較正ステップで較正された内部パラメータに基づいて、外部パラメータを較正する外部パラメータ較正ステップと、を有するものである。
【発明の効果】
【００１３】
この発明に係るカメラシステムおよびカメラのキャリブレーション方法によれば、撮像部の組み立て時における撮像部の内部パラメータである撮像部内部データと、撮像部により撮像された画像から特徴点を抽出する特徴点抽出部で抽出された特徴点とに基づいて、内部パラメータを較正し、較正された内部パラメータに基づいて、外部パラメータを較正する。
そのため、キャリブレーションを短時間、かつ高精度に行うことができるカメラシステムおよびカメラのキャリブレーション方法を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１に係るカメラシステムを示すブロック構成図である。
【図２】この発明の実施の形態１に係るカメラシステムを示すハードウェア構成図である。
【図３】この発明の実施の形態２に係るカメラシステムを示すブロック構成図である。
【図４】この発明の実施の形態３に係るカメラシステムを示すブロック構成図である。
【発明を実施するための形態】
【００１５】
以下、この発明に係るカメラシステムおよびカメラのキャリブレーション方法の好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。なお、下記の実施の形態では、カメラシステムが車両に搭載されている場合を例に挙げて説明するが、これに限らず、カメラシステムは、他の移動体に搭載されてもよい。
【００１６】
まず、実施の形態の説明に先立って、キャリブレーションの目的について説明する。キャリブレーションの目的は、３次元空間中の点と、その点を画像平面に投影した像との幾何学的関係を明らかにすることにある。一般的に、世界座標系からカメラ座標系への変換には、次式（１）に示す関数が用いられる。
【００１７】
【数１】
2018170666.tif 000003
【００１８】
式（１）において、（Ｘ，Ｙ，Ｚ）は世界座標系の３次元座標を示し、（ｕ’，ｖ’）は画像平面上に投影された点の座標を示す。
【００１９】
また、式（１）において、
【数２】
2018170666.tif 000004
行列は、カメラの内部パラメータ行列と呼ばれ、（Ｃｘ，Ｃｙ）は画像中心位置を示し、（ｆｘ，ｆｙ）はピクセル単位で表される焦点距離を示す。
【００２０】
また、式（１）において、
【数３】
2018170666.tif 000005
行列は、カメラの外部パラメータ行列と呼ばれ、車両への取り付け固定位置によって定まる。
【００２１】
すなわち、世界座標系からカメラ座標系への変換に必要なカメラ姿勢パラメータには、主にカメラモジュール内部の内部パラメータと、カメラ取り付け時に生じる外部パラメータとがある。
【００２２】
従来、実際のキャリブレーション作業においては、複数の特徴点から全体を最適に満たす最良パラメータを推測し、内部パラメータおよび外部パラメータを求める。そのため、これらの一連の最適解を求めるには、決められた範囲で内部パラメータおよび外部パラメータの要素を検証・評価していく必要があり、調整時間を必要としていた。
【００２３】
実施の形態１．
図１は、この発明の実施の形態１に係るカメラシステムを示すブロック構成図である。図１において、このカメラシステムは、カメラモジュール１０および画像処理ＥＣＵ２０を備えている。
【００２４】
カメラモジュール１０は、撮像部１１および撮像部内部データ１２を有している。また、画像処理ＥＣＵ２０は、特徴点抽出部２１、内部パラメータ較正部２２および外部パラメータ較正部２３を有している。
【００２５】
図２は、この発明の実施の形態１に係るカメラシステムを示すハードウェア構成図である。図２において、カメラモジュール１０は、レンズ１、イメージセンサ２、不揮発メモリ３およびＩＦ回路４から構成されている。また、画像処理ＥＣＵ２０は、ＩＦ回路５、画像処理プロセッサ６、不揮発メモリ７およびＣＡＮ  ＩＦ８から構成されている。
【００２６】
この発明の特徴は、カメラモジュール１０が撮像部１１と撮像部内部データ１２とを内包していることである。上述したキャリブレーションの工程からすると、必ず内部パラメータが必要となる。したがって、この発明によらず、カメラモジュール１０としての内部パラメータに相当するパラメータは、必然的に得られることとなる。
【００２７】
ここで、内部パラメータは、カメラモジュール１０の組み立て時に、レンズ１とイメージセンサ２との関係で一意に決定される。また、この関係は、組み立てばらつきが発生するため、固定値ではなく、あるばらつきの範囲内で決定されるカメラモジュール１０固有の値となる。
【００２８】
具体的には、カメラの内部パラメータである画像中心位置（Ｃｘ，Ｃｙ）および焦点距離（ｆｘ，ｆｙ）は、組み立て時に調整・検査することで求められ、カメラモジュール１０に実装されている不揮発メモリ３に、撮像部内部データ１２として保存される。
【００２９】
次に、カメラモジュール１０を車両に取り付ける工程において、撮像部１１でキャリブレーション調整用に用意されたチャートを撮像し、画像処理ＥＣＵ２０の特徴点抽出部２１で必要な特徴点認識および抽出を行う。
【００３０】
続いて、内部パラメータ較正部２２は、キャリブレーション工程作業で使用している内部パラメータデータを撮像部内部データ１２から取得し、内部パラメータとして演算で用いる。すなわち、内部パラメータ較正部２２は、特徴点抽出部２１で抽出された特徴点および撮像部内部データ１２からの内部パラメータデータに基づいて、内部パラメータを較正する。
【００３１】
ここで、撮像部１１と撮像部内部データ１２とは、物理的にカメラモジュール１０として一元管理されることが多く、レンズ１およびイメージセンサ２が撮像部１１に相当し、不揮発メモリ３が撮像部内部データ１２を保存する部位となる。
【００３２】
また、撮像部１１および撮像部内部データ１２のデータ転送は、ＩＦ回路４により行われ、ＩＦ回路５で受信する構成となる。また、画像処理プロセッサ６は、画像処理ＥＣＵ２０の各ブロックにおける処理を司る部位となる。
【００３３】
外部パラメータ較正部２３は、内部パラメータ較正部２２で較正された内部パラメータに基づいて、車両位置およびカメラ位置のキャリブレーションを行う外部パラメータ演算を行い、外部パラメータを較正する。また、外部パラメータ較正部２３は、これら一連の工程作業が終了した時点で、ＣＡＮ  ＩＦ８を経由して処理が終了したことを外部に通知する。
【００３４】
また、外部パラメータ較正部２３により求められたキャリブレーションパラメータは、不揮発メモリ７に保存され、今回のキャリブレーション以降に、このカメラシステムを用いたアプリケーションにおいて、補正パラメータとして使用される。
【００３５】
以上のように、実施の形態１によれば、撮像部の組み立て時における撮像部の内部パラメータである撮像部内部データと、撮像部により撮像された画像から特徴点を抽出する特徴点抽出部で抽出された特徴点とに基づいて、内部パラメータを較正し、較正された内部パラメータに基づいて、外部パラメータを較正する。
そのため、キャリブレーションを短時間、かつ高精度に行うことができるカメラシステムおよびカメラのキャリブレーション方法を得ることができる。
【００３６】
実施の形態２．
図３は、この発明の実施の形態２に係るカメラシステムを示すブロック構成図である。図３において、このカメラシステムは、図１に示したカメラシステムと比較して、撮像部１１および撮像部内部データ１２が、それぞれ複数設けられて撮像部１１Ａ〜１１Ｎおよび撮像部内部データ１２Ａ〜１２Ｎとなり、画像処理ＥＣＵ２０内にカメラ識別部２４がさらに設けられている。
【００３７】
車両の周辺を監視するカメラシステムでは、２台以上のカメラモジュールを組み合わせて構成されることが多く、カメラ画像間の合成画像処理のため、個々のカメラのキャリブレーションが重要な要素となってくる。
【００３８】
そこで、この発明の実施の形態に係る画像処理ＥＣＵ２０では、特徴点抽出部２１に対して、撮像部１１Ａ〜１１Ｎからの複数の映像を入力することが可能となっている。そのため、撮像部１１Ａ〜１１Ｎに対応する撮像部内部データ１２Ａ〜１２Ｎが、撮像部１１Ａ〜１１Ｎとペアで存在している。
【００３９】
ここで、撮像部１１Ａ〜１１Ｎに対応する撮像部内部データ１２Ａ〜１２Ｎは、データベース化され、一箇所で管理された構成とすることができる。また、図１に示したカメラモジュール１０が複数存在し、それぞれモジュール単位で内部パラメータを不揮発メモリ３に保存する構成とすることもできる。
【００４０】
内部パラメータ較正部２２は、撮像部１１Ａ〜１１Ｎに対して、撮像部内部データ１２Ａ〜１２Ｎを用い、個々に内部パラメータの較正を行う。具体的には、内部パラメータ較正部２２は、特徴点抽出部２１およびカメラ識別部２４から選択的に出力された特徴点および内部パラメータデータに基づいて、個々に内部パラメータを較正する。
【００４１】
外部パラメータ較正部２３は、内部較正された撮像部１１Ａ〜１１Ｎに対し、個々に外部パラメータの較正を行い、その演算結果としての歪み補正パラメータ＃１〜＃Ｎを取得する。
【００４２】
取得された歪み補正パラメータ＃１〜＃Ｎは、不揮発メモリ７に保存され、今回のキャリブレーション以降に、このカメラシステムを用いたアプリケーションにおいて、補正パラメータとして使用される。
【００４３】
以上のように、実施の形態２によれば、撮像部は、複数の撮像部により構成され、複数の撮像部のそれぞれに対応する撮像部内部データから、該当する撮像部の撮像部内部データを選択して出力するカメラ識別部をさらに備えている。
そのため、カメラ画像間の合成画像処理を高精度に行うことができる。
【００４４】
実施の形態３．
図４は、この発明の実施の形態３に係るカメラシステムを示すブロック構成図である。図４において、このカメラシステムは、図３に示したカメラシステムと比較して、画像処理ＥＣＵ２０内にカメラ間合成最適部２５がさらに設けられている。
【００４５】
上記実施の形態１では、撮像部の歪み補正に必要なカメラの内部パラメータである画像中心位置（Ｃｘ，Ｃｙ）および焦点距離（ｆｘ，ｆｙ）を、事前にカメラモジュール１０に固有な既知の値として使用すると説明した。
【００４６】
一方、カメラモジュール１０を構成する要素として、レンズ１とイメージセンサ２との組み立てばらつきを主な要素とする内部パラメータのみではなく、レンズ１のばらつき要素も考慮する必要がある。
【００４７】
この要素として、レンズ歪み特性やシェーディング特性が存在する。また、上記式（１）による世界座標系から画像座標系への変換過程において、レンズ歪み成分も重要な要素となる。
【００４８】
一般的に、レンズの歪みは、半径方向の歪み係数ｋ１，ｋ２，ｋ３および円周方向の歪み係数ｐ１，ｐ２で示されることが多い。これら含めてｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎとして扱うと、次式（２）で表されるような関係が成り立つ。
【００４９】
【数４】
2018170666.tif 000006
【００５０】
また、周辺カメラを使用した車載アプリケーションにおいて、ドライバーに対して鮮明な映像表示行うには、コントラスト、周辺減光特性等もレンズ個々の特性として存在し、これらの要素もカメラモジュール１０の不揮発メモリ３に保存される。
【００５１】
ここで、歪み特性パラメータは、図１に示した撮像部内部データ１２、または図２に示した撮像部内部データ１２Ａ〜１２Ｎに記憶され、内部パラメータ較正部２２において、内部パラメータの較正に使用される。
【００５２】
また、コントラストや周辺減光特性に係るカメラモジュール固有の特性パラメータは、歪み特性パラメータと同様に、図１に示した撮像部内部データ１２、または図２に示した撮像部内部データ１２Ａ〜１２Ｎに記憶される。
【００５３】
図４に示したような、複数の撮像部１１Ａ〜１１Ｎが存在する構成においては、車両の周辺にカメラモジュールを設定することを想定しており、周辺監視映像として映像化する際には、複数の隣り合うカメラで重なりあう共通範囲を撮像し、画像処理プロセッサ６で俯瞰映像の合成等を行う。
【００５４】
このとき、隣り合う画像または複数のカメラ映像間で色味、輝度を違和感なくつなぎ合わせる必要があり、カメラ間合成最適部２５で合成演算処理を行う際に、周辺減光特性等もレンズ個々の特性情報を用いることで、より最適な調整パラメータを算出し、映像合成処理を容易に行うことが可能となる。
【００５５】
以上のように、実施の形態３によれば、撮像部内部データは、撮像部の内部パラメータと併せて、撮像部の内部パラメータ以外の撮像部の特性パラメータを含み、撮像部の内部パラメータ以外の撮像部の特性パラメータに基づいて、撮像部により撮像された画像を最適化するカメラ間合成最適部をさらに備えている。
そのため、より最適な調整パラメータを算出し、映像合成処理を容易に行うことができる。
【符号の説明】
【００５６】
１  レンズ、２  イメージセンサ、３  不揮発メモリ、４  ＩＦ回路、５  ＩＦ回路、６  画像処理プロセッサ、７  不揮発メモリ、１０  カメラモジュール、１１、１１Ａ〜１１Ｎ  撮像部、１２、１２Ａ〜１２Ｎ  撮像部内部データ、２０  画像処理ＥＣＵ、２１  特徴点抽出部、２２  内部パラメータ較正部、２３  外部パラメータ較正部、２４  カメラ識別部、２５  カメラ間合成最適部。
【図１】
2018170666.tif 000007
【図２】
2018170666.tif 000008
【図３】
2018170666.tif 000009
【図４】
2018170666.tif 000010