(57)【要約】【課題】広視野角の光学系を用いたカメラに対して、広い奥行き範囲に渡って精度の高いキャリブレーションを実現すること。【解決手段】画像を撮影する複眼カメラ１０１と、前記カメラと概略同一のシーンの距離情報を取得するレンジセンサ１０２と、前記距離情報の分布を評価するレンジデータ評価部１０３と、前記カメラ画像と前記距離情報と前記レンジデータ評価結果を用いて、前記カメラのキャリブレーションを行いカメラパラメータを出力するキャリブレーション部１０４とを有し、前記距離情報が所定の距離範囲の情報を含んでいる場合に、入射角毎に瞳位置が変化するカメラモデルによりキャリブレーションを行う。本構成によって、必要な距離範囲におけるキャリブレーション精度を確保したステレオカメラのカメラパラメータを提供することができる。【選択図】図１
2018205008.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象物を含むカメラ画像を取得するカメラと、
前記複数の対象物までの距離を取得するレンジセンサと、
制御回路とを備え、
前記制御回路は、
（ａ１）前記複数の対象物の距離値の分布を算出し、
（ａ２）前記カメラの複数のカメラパラメータを取得し、
（ａ３）前記距離値の分布が第１の条件を満たしている場合に、所定の基準を参照して、前記カメラのカメラパラメータをキャリブレーションし、ここで、前記第１の条件は、前記複数の対象物の距離値が、第１の閾値以上の距離範囲に分布している、
カメラキャリブレーション装置。
【請求項２】
前記制御回路は、
前記（ａ１）において、前記カメラの複数の視野方向毎に、前記複数の対象物の距離の分布を算出し、
前記（ａ３）において、前記視野方向毎に、前記第１の条件を満たしている場合に、所定の基準を参照して、前記カメラのカメラパラメータをキャリブレーションする、
請求項１に記載のカメラキャリブレーション装置。
【請求項３】
前記第１の条件は、前記複数の対象物の距離値の分散値が第２の閾値以上であり、または前記複数の対象物の距離値に関する区間毎の頻度の分散値が第３の閾値以上である、
請求項１に記載のカメラキャリブレーション装置。
【請求項４】
（ｂ１）カメラで撮像された複数の対象物を含むカメラ画像を取得し、
（ｂ２）レンジセンサにより取得された前記複数の対象物までの距離を取得し、
（ｂ３）前記複数の対象物の距離値の分布を算出し、
（ｂ４）前記カメラの複数のカメラパラメータを取得し、
（ｂ５）前記距離値の分布が第１の条件を満たしている場合に、所定の基準を参照して、前記カメラのカメラパラメータをキャリブレーションし、ここで、前記第１の条件は、前記複数の対象物の距離値が、第１の閾値以上の距離範囲に分布しており、
前記（ｂ１）〜前記（ｂ５）の少なくとも１つを制御回路により実行する、
カメラキャリブレーション方法。
【請求項５】
前記（ｂ３）において、前記カメラの複数の視野方向毎に、前記複数の対象物の距離の分布を算出し、
前記（ｂ５）において、前記視野方向毎に、前記第１の条件を満たしている場合に、所定の基準を参照して、前記カメラのカメラパラメータをキャリブレーションする、
請求項４に記載のカメラキャリブレーション方法。
【請求項６】
前記第１の条件は、前記複数の対象物の距離値の分散値が第２の閾値以上であり、または前記複数の対象物の距離値に関する区間毎の頻度の分散値が第３の閾値以上である、
請求項４に記載のカメラキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオカメラをはじめとする複眼カメラのキャリブレーション装置、方法、およびプログラムに関するものである。
【背景技術】
【０００２】
従来のステレオカメラキャリブレーション装置としては、市松模様を有する専用の被写体を用い、市松模様の交点を特徴点として検出し、各カメラのキャリブレーションを行うものがあった（例えば、特許文献１参照）。図８は、前記特許文献１に記載された従来のステレオカメラのキャリブレーション装置を示すものである。
【０００３】
図８において、８０１Ａ、８０１Ｂはカメラである。前記カメラで撮影された映像は、単眼ステレオ処理部と２眼ステレオ処理部で処理される。単眼ステレオ処理部では、フロー推定部８０２によりフレーム間のフロー（時間方向の動き）が推定され、自車運動量推定部８０３により車輪速センサ等の情報から自車の運動量（すなわちカメラの移動量）が推定され、３次元座標推定装置８０４において、フロー推定部８０２で検出された特徴点とそのフロー情報と、自車運動量推定部で推定された自車運動量から、特徴点の３次元座標を公知の手法により求める。また、２眼ステレオ処理部では、対応点推定部８０６でステレオ画像間の特徴点対応付けを行い、仮キャリブレーション部８０７では２台のカメラ８０１Ａ、８０１Ｂ間の仮の併進位置ずれ量（大きさを１に正規化した位置ずれ量）と回転ずれ量を推定し、このキャリブレーション結果を用いて仮３次元座標推定部８０８において、対応点推定部８０６で対応付けを行った特徴点の３次元座標値を推定する。前記仮３次元座標推定部８０８における３次元座標値の推定では、前記２台のカメラ８０１Ａ、８０１Ｂ間の仮の併進位置ずれ量の大きさを１に正規化して計算を行っているため、実際の３次元座標値とスケールが異なる３次元座標値が計算されている。これを補正するために、カメラ間距離スケール推定部８０５において、同一の特徴点に対して単眼ステレオ処理部と２眼ステレオ処理部によってそれぞれ推定された３次元座標値からカメラ間距離のスケール（すなわち正規化されていないカメラ間距離）を推定し、３次元座標推定部８０９において、前記カメラ間距離スケールを考慮した３次元座標値を推定する。
【０００４】
車載カメラでは、車両周辺全域を撮影するために魚眼レンズ等の広視野角の光学系が用いられる。これら広視野角の光学系では撮影される画像の歪みが大きくなるため、専用のキャリブレーション方法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８１４６６９号公報
【非特許文献】
【０００６】
【非特許文献１】森安亮太，中村遼平，金谷健一，“帯状パタンによる魚眼レンズカメラの高精度な校正”，情報処理学会研究会報告，コンピュータビジョンとイメージメディア（ＣＶＩＭ），Ｖｏｌ．２０１１−ＣＶＩＭ−１７６，２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の魚眼レンズのキャリブレーション装置では、瞳位置が入射角に応じて移動することを考慮していなかった。そのため、キャリブレーションを行った距離から離れた被写体については、キャリブレーション精度が低下するという課題があった。
【０００８】
本発明は、前記従来の課題を解決するもので、ステレオカメラの視野内の距離情報の分布を評価し、前記距離情報が所定の距離範囲の情報を含んでいる場合に、入射角毎に瞳位置が変化するカメラモデルによりキャリブレーションを行うことで、必要な距離範囲におけるキャリブレーション精度を確保したステレオカメラのカメラパラメータを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明におけるステレオカメラのキャリブレーション装置は、画像を撮影する複眼カメラと、前記カメラと概略同一のシーンの距離情報を取得するレンジセンサと、前記距離情報の分布を評価するレンジデータ評価部と、前記カメラ画像と前記距離情報と前記レンジデータ評価結果を用いて、前記カメラのキャリブレーションを行いカメラパラメータを出力するキャリブレーション部とを有し、前記距離情報が所定の距離範囲の情報を含んでいる場合に、入射角毎に瞳位置が変化するカメラモデルによりキャリブレーションを行う。
【００１０】
本構成によって、必要な距離範囲におけるキャリブレーション精度を確保したステレオカメラのカメラパラメータを提供することができる。
【発明の効果】
【００１１】
本発明におけるステレオカメラのキャリブレーション装置によれば、前記距離情報が所定の距離範囲の情報を含んでいる場合に、入射角毎に瞳位置が変化するカメラモデルによりキャリブレーションを行うことで、必要な距離範囲におけるキャリブレーション精度を確保したステレオカメラのカメラパラメータを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１におけるステレオカメラのキャリブレーション装置の構成図
【図２】入射角に応じて瞳位置が動く現象の説明図
【図３】入射角によらず瞳位置が固定のカメラモデルの説明図
【図４】本発明の実施の形態１の変形例における単眼カメラの構成図
【図５】本発明の実施の形態１の変形例における複眼カメラの構成図
【図６】本発明の実施の形態２におけるステレオカメラのキャリブレーション装置の構成図
【図７】本発明の実施の形態３におけるステレオカメラのキャリブレーション装置の構成図
【図８】従来のステレオキャリブレーション装置の構成図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１は、実施の形態１におけるステレオカメラキャリブレーション装置の構成図である。図１に示すステレオカメラキャリブレーション装置は、複眼カメラ１０１と、レンジセンサ１０２と、レンジデータ評価部１０３と、キャリブレーション部１０４を備える。複眼カメラ１０１は、異なる視点位置から被写体を撮影する。複眼カメラ１０１の一例は、広角レンズを有する。レンジセンサ１０２は、複眼カメラ１０１の視野を含む範囲の３次元形状情報を計測する。レンジデータ評価部１０３は、レンジセンサ１０２が計測したレンジデータについて、複数の距離範囲を含んでいるか否かを評価する。キャリブレーション部１０４は、メモリに記録されている所定の基準を参照して、複眼カメラ１０１のカメラパラメータをキャリブレーションする。例えば、レンジデータ評価部１０３、及びキャリブレーション部１０４は、制御回路により実現される。
【００１５】
レンジデータ評価部１０３による評価の必要性について、以下に説明する。車載用のカメラは、広範囲に障害物を撮影するために、魚眼レンズ等の広視野角の光学系を用いている。図２に、光学系を用いた撮影の状況を示す。
【００１６】
図２に示すように、トップレンズ（最も対物側のレンズ）の対物側曲面２０１であり、光学系の中心軸２０２、及び撮像面２０３とが規定される。図２において、被写体空間中の３次元座標値（（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ１ｆ，Ｙ１ｆ，Ｚ１ｆ），（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ），及び（Ｘ２ｆ，Ｙ２ｆ，Ｚ２ｆ））、撮像面上の２次元座標値（（ｘ１，ｙ１），（ｘ２，ｙ２））と示す。ここでは、（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ１ｆ，Ｙ１ｆ，Ｚ１ｆ）は、（ｘ１，ｙ１）に撮影される。（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ），（Ｘ２ｆ，Ｙ２ｆ，Ｚ２ｆ）は、（ｘ２，ｙ２）に撮影される。魚眼レンズ等の広角レンズは、複数のレンズを組み合わせすることにより構成される。被写体からの光は複数のレンズの各面において、複数回の屈折した後、撮像面に到達する。ここでは光学系全体の動作を説明するために、トップレンズの対物側曲面を直進した光が光軸と交わる位置を入射瞳位置と考え、また、同じ位置を射出瞳位置と考える。
【００１７】
上記瞳位置は、図２に示す様に、入射角θが小さい（θ＝θ１）場合と大きい場合（θ＝θ２）で、位置が変化する。しかしながら、キャリブレーションに用いられている既存のカメラモデルではこの瞳位置の変動を考慮しているものがない。
【００１８】
図３は、その様な既存のカメラモデルによるキャリブレーションについての説明図である。図３において、図２と同一の構成要素については図２と同一の符号を付し、説明を省略する。図３では、入射角θによらず瞳位置３０１が変化しない。そのため、（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ）の光軸に対する入射角θ’１，θ’２は、図２における入射角θ１，θ２とは異なっている。ただし、（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ）の撮像位置は、図２の場合と同じくそれぞれ（ｘ１，ｙ１），（ｘ２，ｙ２）になっている。しかしながら、（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ）よりもレンズから離れた（Ｘ１ｆ，Ｙ１ｆ，Ｚ１ｆ），（Ｘ２ｆ，Ｙ２ｆ，Ｚ２ｆ）は、瞳位置３０１と（Ｘ１ｎ，Ｙ１ｎ，Ｚ１ｎ），（Ｘ２ｎ，Ｙ２ｎ，Ｚ２ｎ）を結ぶ直線から離れており、このことは、（Ｘ１ｆ，Ｙ１ｆ，Ｚ１ｆ），（Ｘ２ｆ，Ｙ２ｆ，Ｚ２ｆ）の撮像位置がそれぞれ（ｘ１，ｙ１），（ｘ２，ｙ２）と異なる位置になっていることを示す。
【００１９】
以上のことから、瞳位置の変動を考慮していない既存のキャリブレーション方法では、キャリブレーションに使用した被写体の奥行き（キャリブレーション面）付近では正しくキャリブレーションできるが、キャリブレーション面から離れた位置の被写体についてはキャリブレーション精度が低下する。そのため、キャリブレーション精度を高めるためには、あらゆる方向について異なる距離の被写体がある状況が最も望ましい。その様な例としては、雪や落ち葉等が舞うシーンがあげられる。また、その様なシーンに準じて好ましいシーンとしては、特定の方向（角度範囲）について、異なる距離の被写体がある状況が望ましい。その様な例としては、街路樹、高層ビルを含むシーンがあげられる。
【００２０】
複数の距離範囲を含むかどうかについては、角度範囲毎の距離データの分散もしくは頻度分布によって評価できる。具体的には、画像内のブロック毎、もしくは、着目画素を中心に設定した窓領域毎に、距離データの分散もしくは頻度分布を評価することで、これらの数値を得ることができる。すなわち、レンジデータ評価部１０３は、視野角内の各角度範囲毎の距離データの分散が所定の閾値より大きい場合、もしくは、距離データの頻度分布のばらつきが所定の閾値より大きい場合に、前記角度範囲について高い評価値を出力する。
【００２１】
図１に戻って、キャリブレーション部１０４は、レンジデータ評価部１０３が複数の距離範囲を含んでいると判断した場合に、入射角毎に瞳位置が変化するカメラモデルによるキャリブレーションを行う。キャリブレーション部１０４におけるキャリブレーションについて、以下に説明する。
【００２２】
まず、世界座標系における３次元座標値（Ｘｗ，Ｙｗ，Ｚｗ）と、各カメラを基準とする座標系（各カメラの光軸をＺ軸とするカメラ座標系）における３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）との関係は（数１）で表される。
【００２３】
【数１】
2018205008.tif 000003
【００２４】
（数１）においてｒ１１〜ｒ３３は３次元空間中での回転を表す回転マトリックスの各要素であり、Ｔｘ，Ｔｙ，Ｔｚは３次元空間中での併進移動を表す。これらのパラメータは、外部パラメータと呼ばれる。
【００２５】
次に、カメラの光軸への入射角θとカメラ座標系における３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）との関係は、（数２）で表される。
【００２６】
【数２】
2018205008.tif 000004
【００２７】
本発明で対象とする広視野角のカメラにおける入射角θと像高ｒの関係としては、等距離射影、立体射影、等立体角射影等、複数のものがあるが、ここでは、等距離射影の場合について説明する。等距離射影での入射角θと像高ｒの関係は、（数３）で表される。
【００２８】
【数３】
2018205008.tif 000005
【００２９】
撮影ざれる画像の画素座標値は、上記像高ｒと方位角γによって、（数４）の形で表される。
【００３０】
【数４】
2018205008.tif 000006
【００３１】
（数４）においてｋは１画素の大きさを表す（ここでは、ｘ方向とｙ方向で大きさの等しい正方画素を考える）。（数３）（数４）におけるｆ，ｋは内部パラメータと呼ばれる。
【００３２】
以上、（数１）から（数４）の関係により、世界座標系における３次元座標値（Ｘｗ，Ｙｗ，Ｚｗ）が画素座標値（ｘ，ｙ）に対応付けられる。キャリブレーションでは、世界座標系における３次元座標値（Ｘｗ，Ｙｗ，Ｚｗ）が既知の点を複数撮影し、それらの撮像位置（ｘｔｒｕｅ，ｙｔｒｕｅ）との組（Ｘｗ，Ｙｗ，Ｚｗ，ｘｔｒｕｅ，ｙｔｒｕｅ）をキャリブレーションデータとして用意し、これら複数の組における（Ｘｗ，Ｙｗ，Ｚｗ）と（ｘｔｒｕｅ，ｙｔｒｕｅ）の関係を最も精度よく表す様に、カメラパラメータ（内部パラメータと外部パラメータ）を計算する。
【００３３】
その計算について、以下に説明する。
【００３４】
（数１）から（数４）に示した（Ｘｗ，Ｙｗ，Ｚｗ）と（ｘ，ｙ）の関係を、
【数５】
2018205008.tif 000007
と表すと、ｇｘ（），ｇｙ（）を用いて関係式から計算した画素座標（ｘ，ｙ）と実際の撮像位置（ｘｔｒｕｅ，ｙｔｒｕｅ）との差異は以下の再投影誤差として評価できる。
【００３５】
【数６】
2018205008.tif 000008
【００３６】
カメラパラメータの計算は、（数７）に示す様に（数６）の評価値を最小にするカメラパラメータ（ｒ１１〜ｒ３３，ＴＸ，ＴＹ，ＴＺ，ｆ，ｋ）を求めることにより行う。
【００３７】
【数７】
2018205008.tif 000009
【００３８】
上記の計算は、非線形最適化問題となり、Ｌｅｖｅｎｂｅｒｇ−Ｍｅｒｑｕａｒｄｔ法やグリッドサーチ等の公知の最適化計算手法によって実施される。
【００３９】
ここで、既存の広角カメラ、魚眼カメラのキャリブレーションにおいては、図３に示す様に焦点距離ｆが入射角θによらず一定であったが、本発明では例えばＬＵＴ（ルックアップテーブル）等を用いることにより、入射角に応じて変化することを許す。これにより、図３で示したキャリブレーション面から離れ位置において既存のキャリブレーション法で生じるキャリブレーション誤差の発生を低減することができる。
【００４０】
図４は、キャリブレーション部１０４の動作を説明する構成図である。図４において、３次元座標−２次元座標対応付け部４０１は、レンジデータに含まれる反射率データと複眼カメラ画像の対応付けから３次元座標値と２次元座標値の対応付けを行い、上記（Ｘｗ，Ｙｗ，Ｚｗ，ｘｔｒｕｅ，ｙｔｒｕｅ）の組を得る。評価値最小化部４０２は、入射角に応じて変化する焦点距離ｆのカメラモデルについて（数７）の計算を行うことによりカメラパラメータを計算し出力する。
【００４１】
なお、本実施の形態において、投影モデルとして等距離射影の場合について説明したが、本発明はこれに限るものではなく立体射影、等立体角射影等、他の投影モデルを用いてもよい。
【００４２】
（実施の形態１の変形例）
実施の形態１においては、ステレオカメラのキャリブレーションについて述べたが、カメラの台数は２台である必要はない。図５はカメラが３台以上の場合のキャリブレーション装置の構成を示す。図５において、図１と同一の構成要素には図１と同一の符号を付し、説明を省略する。図５においてカメラ５０１は３眼以上の複眼カメラであり、対応点推定部５０２は複眼カメラから選んだ複数のステレオペア（２眼ペア）について対応点推定を行う。３次元座標推定部５０３は、前記複眼カメラの各カメラについての初期カメラパラメータを用いて、前記複数の対応点推定結果から３次元座標値を推定する。３次元座標評価部５０４は、前記複数の対応点推定結果から推定した３次元座標値の分布から、各ステレオペアのカメラパラメータを評価する。すなわち、全てのカメラについてカメラパラメータが正しければ、各ステレオペアから推定された３次元座標値は同じ位置に集中するが、カメラパラメータが正しくないカメラを含むステレオペアでは３次元座標値を正しく推定できないため、他のステレオペアによる推定値から離れた位置に３次元座標値を推定することになる。このことから、大半のカメラのカメラパラメータが正確な場合、カメラパラメータが正確でないカメラを３次元座標値の分布から判断することができる。
【００４３】
キャリブレーション部５０５では、３次元座標評価部５０４により信頼性が低いとされたカメラのパラメータを、３次元座標評価部５０４により信頼性が低いとされたカメラによる３次元座標推定値を用いてキャリブレーションを行う。また、実施の形態１と同様に、推定された３次元座標値が一様でなく、複数の距離範囲を含んでいる時に、優先的にキャリブレーションを行うことで、視野角に応じて焦点距離ｆが変動するカメラモデルによるキャリブレーションを行う。
【００４４】
以上の構成により、初期状態で３眼以上の複眼カメラの全カメラのキャリブレーションを行えば、レンジセンサを用いずに複眼カメラのキャリブレーションを行うことができる。
【００４５】
（実施の形態２）
図６は、本発明の実施の形態２のステレオカメラの構成図である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００４６】
図６において、静止領域抽出部６０１はシーン中から静止領域を抽出する。エンジン動作センサは、複眼カメラを搭載した車両のエンジン動作をセンシングする。キャリブレーション部６０３は、エンジン停止時に静止領域の情報を用いて複眼カメラのキャリブレーションを行う。
【００４７】
以上の構成により、本実施形態によれば、複眼カメラとレンジセンサのフレームレートが異なる場合にも、複眼カメラのキャリブレーションを実施できる。
【００４８】
（実施の形態３）
図７は、本発明の実施の形態３のステレオカメラの構成図である。図７において図１、図６と同じ構成要素については同じ符号を用い、説明を省略する。
【００４９】
図７において、経路推薦部７０１は、実世界形状データベース７０２を参照し、到着時間が概略同一の場合、キャリブレーションにより適したルート（街路樹や構想ビル等、一様でない複数の距離情報を含むコース）を優先的に案内する。
【００５０】
以上の構成により、本実施形態によれば、車載複眼カメラのキャリブレーションを走行中にも精度よく行うことができる。
【産業上の利用可能性】
【００５１】
本発明にかかるステレオカメラのキャリブレーション装置は、入射角毎に瞳位置が変化するカメラモデルと、角度範囲毎の距離データの分散もしくは頻度分布を評価するレンジデータ評価部を有し、あらゆる方向について異なる距離の被写体がある雪や落ち葉等が舞うシーンや、これらに準ずるものとして、特定の方向（角度範囲）について、異なる距離の被写体がある街路樹、高層ビルを含むシーンにおいて、魚眼レンズ等の広角カメラのキャリブレーションを行う装置として有用である。
【符号の説明】
【００５２】
１０１  複眼カメラ
１０２  レンジセンサ
１０３  レンジデータ評価部
１０４  キャリブレーション部
５０２  対応点推定部
５０３  ３次元座標推定部
５０４  ３次元座標評価部
【図１】
2018205008.tif 000010
【図２】
2018205008.tif 000011
【図３】
2018205008.tif 000012
【図４】
2018205008.tif 000013
【図５】
2018205008.tif 000014
【図６】
2018205008.tif 000015
【図７】
2018205008.tif 000016
【図８】
2018205008.tif 000017