(57)【要約】【課題】カメラのキャリブレーションを精度良く行うことができるカメラキャリブレーション方法を提供する。【解決手段】中心点Ｃと中心点Ｃを囲う四角形Ｆ１とを含むキャリブレーションパターンＰを、中心点Ｃを移動させず且つ四角形Ｆ１を時間の経過とともに縮小又は拡大させながら表示する表示工程と、表示工程において、表示されたキャリブレーションパターンＰを、カメラ１０により所定の時間間隔で複数回撮影する撮影工程と、カメラ１０により撮影された複数のキャリブレーションパターンＰそれぞれについて、四角形Ｆ１の形状から中心点Ｃの位置を算出する算出工程と、算出された複数の中心点Ｃの位置を中心点データベース３８に蓄積する蓄積工程と、中心点データベース３８に蓄積された複数の中心点Ｃの位置から中心点Ｃの最尤位置を推定する推定工程と、を含む。【選択図】図２
2017125772.tif 000002
【特許請求の範囲】
【請求項１】
中心点と該中心点を囲う外周図形とを含むキャリブレーションパターンを、前記中心点を移動させず且つ前記外周図形を時間の経過とともに縮小又は拡大させながら表示する表示工程と、
前記表示工程において、表示された前記キャリブレーションパターンを、カメラにより所定の時間間隔で複数回撮影する撮影工程と、
前記カメラにより撮影された複数の前記キャリブレーションパターンそれぞれについて、前記外周図形の形状から前記中心点の位置を算出する算出工程と、
算出された複数の前記中心点の位置をデータベースに蓄積する蓄積工程と、
前記データベースに蓄積された複数の前記中心点の位置から前記中心点の最尤位置を推定する推定工程と、を含む、カメラキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラキャリブレーション方法に関する。
【背景技術】
【０００２】
従来、カメラのキャリブレーションを行うカメラキャリブレーション方法として、２次元的に整列した複数の点を有するキャリブレーションパターンを用いる方法が知られている。この方法では、キャリブレーションパターンをカメラによって撮影し、撮影された画像における各点の位置と、実際の空間上における各点の位置と、の関係に基づいて、カメラのキャリブレーションが行われる。
【０００３】
このようなカメラキャリブレーション方法として、例えば特許文献１に記載された方法では、濃度が外周から中心に向かって変化する複数の円を有するキャリブレーションパターンをカメラによって撮影し、撮影された画像における各円の濃度勾配に基づいて各円の中心点の位置を算出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１７１６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されたカメラキャリブレーション方法では、濃度勾配の検出はノイズに弱いことから、当該ノイズの影響を大きく受ける場合がある。この場合、中心点の位置を精度良く求めることができず、その結果、カメラのキャリブレーションを精度良く行うことができない可能性がある。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、カメラのキャリブレーションを精度良く行うことができるカメラキャリブレーション方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明に係るカメラキャリブレーション方法は、中心点と該中心点を囲う外周図形とを含むキャリブレーションパターンを、中心点を移動させず且つ外周図形を時間の経過とともに縮小又は拡大させながら表示する表示工程と、表示工程において、表示されたキャリブレーションパターンを、カメラにより所定の時間間隔で複数回撮影する撮影工程と、カメラにより撮影された複数のキャリブレーションパターンそれぞれについて、外周図形の形状から中心点の位置を算出する算出工程と、算出された複数の中心点の位置をデータベースに蓄積する蓄積工程と、データベースに蓄積された複数の中心点の位置から中心点の最尤位置を推定する推定工程と、を含む。
【０００８】
このカメラキャリブレーション方法では、時間の経過とともに縮小又は拡大する外周図形を含むキャリブレーションパターンが、所定の時間間隔でカメラにより撮影される。撮影された複数のキャリブレーションパターンについて中心点の位置が算出され、これら中心点の各位置から中心点の最尤位置が推定される。このため、濃度勾配の検出を不要にしてノイズの影響を低減し、中心点の位置を精度良く求めることができる。よって、カメラのキャリブレーションを精度良く行うことが可能となる。
【発明の効果】
【０００９】
本発明によれば、カメラのキャリブレーションを精度良く行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係るカメラキャリブレーション方法が適用されるカメラキャリブレーション装置を示すブロック図である。
【図２】本実施形態に係るキャリブレーションパターンの例を示す図である。
【図３】本実施形態に係るカメラキャリブレーション方法を示すフローチャートである。
【図４】変形例に係るキャリブレーションパターンを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、同一又は相当要素には同一符号を付し、重複する説明は省略する。
【００１２】
図１は、本実施形態に係るカメラキャリブレーション方法が適用されるカメラキャリブレーション装置を示すブロック図である。図１に示すように、カメラキャリブレーション装置１は、カメラ１０、プロジェクタ２０、及び、演算部３０を備える。カメラキャリブレーション装置１は、カメラ１０のキャリブレーションを行う。
【００１３】
カメラ１０は、キャリブレーションパターンを所定の時間間隔で複数回撮影する。カメラ１０は、撮影した画像の画像情報を演算部３０に出力する。カメラ１０としては、特に限定されないが、例えば車両に搭載されて車両周囲を撮影する車載カメラであってもよい。また、カメラ１０は、単眼カメラであってもよく、ステレオカメラを構成する一対のカメラの内の一方であってもよい。
【００１４】
プロジェクタ２０は、キャリブレーションパターンをスクリーン等に投影する。プロジェクタ２０としては、特に限定されず、公知のプロジェクタを用いることができる。
【００１５】
演算部３０は、カメラ１０及びプロジェクタ２０の動作の制御を行う。演算部３０は、プロジェクタ２０によって投影されてカメラ１０によって撮影されたキャリブレーションパターンに含まれる図形の中心点の位置を推定する。演算部３０は、例えば、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random Access Memory]を含んで構成されたＥＣＵ［Electronic Control Unit］である。
【００１６】
演算部３０は、パターン表示部３１、中心点取得部３２、中心点データベース（データベース）３８、及び、最尤位置推定部３９を有する。パターン表示部３１は、パターン生成部３３、及び、パターン投影部３４を含む。中心点取得部３２は、画像情報取得部３５、特徴点抽出部３６、及び、中心点算出部３７を含む。
【００１７】
パターン生成部３３は、プロジェクタ２０によって投影されるべきキャリブレーションパターンの形状を生成する。図２は、本実施形態に係るキャリブレーションパターンの例を示す図である。図２に示すように、キャリブレーションパターンＰは、中心点Ｃと、中心点Ｃを囲う四角形（外周図形）Ｆ１とを含む。パターン生成部３３は、キャリブレーションパターンＰの四角形Ｆ１の形状を線形に変化させる動作を生成する。キャリブレーションパターンＰにおける四角形Ｆ１及び背景の色は、四角形Ｆ１と背景との境界が確実に判別されるような濃度に設定されている。
【００１８】
四角形Ｆ１は、一定の速さで縮小するような経時的な変形動作で形状が変形する。キャリブレーションパターンＰの中心点Ｃは、複数存在し、２次元的に整列している。中心点Ｃは、一方向において等間隔に並び、且つ、一方向に直交する方向において等間隔に並ぶ。中心点Ｃは、四角形Ｆ１の経時的な変形動作で形状が変形している間に移動しない。
【００１９】
図１に戻り、パターン投影部３４は、パターン生成部３３によって計算されたキャリブレーションパターンＰの形状についての情報をプロジェクタ２０に送信し、プロジェクタ２０によってスクリーン等に投影させる。画像情報取得部３５は、カメラ１０から、所定の時間間隔で複数回撮影したキャリブレーションパターンＰの画像に関する画像情報を取得する。
【００２０】
特徴点抽出部３６は、画像情報取得部３５によって取得されたキャリブレーションパターンＰにおける四角形Ｆ１の形状から、所定の特徴点を抽出する。具体的には、特徴点抽出部３６は、コーナーディテクト法を用いて、四角形Ｆ１の４隅の角を特徴点として抽出する。なお、特徴点を抽出する手法は特に限定されず、特徴点抽出部３６は、コーナーディテクト法以外の公知の手法を用いて特徴点を抽出してもよい。
【００２１】
中心点算出部３７は、特徴点抽出部３６によって抽出された四角形Ｆ１の４隅の角の位置（例えば、画像上の座標）に基づいて、中心点Ｃの位置（例えば、画像上の座標）を算出する。具体的に、中心点算出部３７は、四角形Ｆ１の４隅の角の平均位置を算出し、この平均位置を中心点Ｃの位置とする。中心点算出部３７は、算出した中心点Ｃの位置に関する情報を中心点データベース３８に出力する。
【００２２】
中心点データベース３８は、中心点算出部３７に接続され、中心点算出部３７から出力された中心点Ｃの位置を蓄積（記憶）する。最尤位置推定部３９は、中心点データベース３８に接続され、中心点データベース３８に蓄積された中心点Ｃの位置に基づいて中心点Ｃの最尤位置を推定する。本実施形態において、最尤位置推定部３９は、中心点データベース３８に蓄積された中心点Ｃの平均位置を最尤位置であると推定する。
【００２３】
続いて、上述したカメラキャリブレーション装置１を用いて実行されるカメラキャリブレーション方法について説明する。
【００２４】
図３は、本実施形態に係るカメラキャリブレーション方法を示すフローチャートである。図３に示すフローチャートは、一例として、カメラキャリブレーション装置１に設けられたＯＮ／ＯＦＦスイッチがＯＮされたタイミングで開始される。
【００２５】
まず、カメラキャリブレーション方法では、表示工程を実行する。すなわち、図３に示すように、パターン生成部３３は、プロジェクタ２０によって投影されるべきキャリブレーションパターンＰの形状を生成する（ステップＳ１）。具体的には、図２の（ａ）は、四角形Ｆ１を縮小させる前のキャリブレーションパターンＰの形状を示しており、図２の（ｂ）は、四角形Ｆ１を最小まで縮小させたときのキャリブレーションパターンＰの形状を示している。パターン生成部３３は、図２の（ａ）の形状から図２の（ｂ）の形状までのキャリブレーションパターンＰの形状の経時的な変形動作を生成する。パターン生成部３３は、生成したキャリブレーションパターンＰの形状をプロジェクタ２０に出力する。
【００２６】
続いて、図３に示すように、プロジェクタ２０は、パターン生成部３３によって生成されたキャリブレーションパターンＰの形状のスクリーン等への投影を開始する（ステップＳ２）。プロジェクタ２０は、最初に四角形Ｆ１の大きさが最大の状態（図２の（ａ）参照）のキャリブレーションパターンＰを投影する。その後、プロジェクタ２０は、中心点Ｃを移動させず且つ四角形Ｆ１を一定の速さで縮小させつつ、キャリブレーションパターンＰの投影を続ける。
【００２７】
続いて、撮影工程を実行する。すなわち、カメラ１０は、スクリーン等に投影されたキャリブレーションパターンＰを撮影して、キャリブレーションパターンＰの画像に関する画像情報を取得する（ステップＳ３）。カメラ１０は、取得した画像情報を画像情報取得部３５に出力する。
【００２８】
続いて、算出工程を実行する。すなわち、特徴点抽出部３６は、コーナーディテクト法を用いて、画像情報取得部３５によって撮影されたキャリブレーションパターンＰにおける四角形Ｆ１の４隅の角を特徴点として抽出する（ステップＳ４）。
【００２９】
続いて、中心点算出部３７は、特徴点抽出部３６によって抽出された四角形Ｆ１の４隅の角の位置を平均することによって、中心点Ｃの位置を算出する（ステップＳ５）。具体的には、中心点算出部３７は、四角形Ｆ１の４隅の角の画像上における位置座標を検出し、座標軸毎において各角の座標の合計値を４で割ることで、四角形Ｆ１の４隅の角の位置を平均する。中心点算出部３７は、算出した中心点Ｃの位置を中心点データベース３８に入力する。
【００３０】
続いて、蓄積工程を実行する。すなわち、中心点データベース３８は、算出した中心点Ｃの位置を蓄積する（ステップＳ６）。
【００３１】
続いて、中心点取得部３２は、撮影されたキャリブレーションパターンＰの四角形Ｆ１の大きさが最小であるか否かを判定する（ステップＳ７）。ステップＳ７において、図２の（ａ）に示すように、四角形Ｆ１の大きさが最小でない場合（四角形Ｆ１が更に小さくなり得る場合）には、パターン投影部３４は、撮影されたキャリブレーションパターンＰが、撮影されるべきキャリブレーションパターンＰの内の最後のキャリブレーションパターンＰではないと判定する。この場合、ステップＳ３に戻り、撮影工程を再び実行する。
【００３２】
一方、ステップＳ７において、図２の（ｂ）に示すように、四角形Ｆ１の大きさが最小である場合（四角形Ｆ１が更に小さくなり得ない場合）、パターン投影部３４は、撮影されたキャリブレーションパターンＰが、撮影されるべきキャリブレーションパターンＰの内の最後のキャリブレーションパターンＰであると判定する。この場合、後段の推定工程を実行する。すなわち、最尤位置推定部３９は、中心点データベース３８に蓄積された中心点Ｃの位置を平均し、この平均位置を最尤位置と推定する（ステップＳ８）。具体的には、最尤位置推定部３９は、蓄積された中心点Ｃの画像上における位置座標を検出し、座標軸毎において各中心点Ｃの座標の合計値を中心点Ｃの数で割ることで、中心点Ｃの位置を平均する。
【００３３】
以上により、図３に示すフローチャートは終了する。或いは、図３に示すフローチャートは、例えばカメラキャリブレーション装置１に設けられたＯＮ／ＯＦＦスイッチがＯＦＦされたタイミングで終了する。
【００３４】
以上、本実施形態に係るカメラキャリブレーション方法では、時間の経過とともに縮小する四角形Ｆ１を含むキャリブレーションパターンＰが、所定の時間間隔でカメラ１０により撮影される。撮影された複数のキャリブレーションパターンＰについて中心点Ｃの位置が算出され、これら中心点Ｃの各位置を平均することにより中心点Ｃの最尤位置が推定される。このため、濃度勾配の検出を不要にしてノイズの影響を低減し、中心点Ｃの位置を精度良く求めることができる。よって、カメラ１０のキャリブレーションを精度良く行うことが可能となる。
【００３５】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限られるものではなく、請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【００３６】
例えば、上記実施形態では、表示工程において、キャリブレーションパターンＰは、プロジェクタ２０によって投影されるが、これに限定されず、ディスプレイ等に表示されてもよい。上記実施形態では、表示工程において、キャリブレーションパターンＰの四角形Ｆ１は、一定の速さで縮小するような経時的な変形動作で形状が変形したが、一定の速さで拡大するような経時的な変形動作で形状が変形してもよい。
【００３７】
上記実施形態では、表示工程において、キャリブレーションパターンＰは、複数の四角形Ｆ１を含むが、これに限定されず、１つの四角形Ｆ１のみを含んでいてもよい。上記実施形態では、キャリブレーションパターンＰにおける外周図形の中心点Ｃとして、外周図形の重心を用いてもよい。
【００３８】
上記実施形態では、キャリブレーションパターンＰは、中心点Ｃと中心点Ｃを囲う四角形Ｆ１とを含むが、これに限定されず、例えば図４に示すように、中心点Ｃと中心点Ｃを囲う円（外周図形）Ｆ２とを含んでもよい。この場合、算出工程において、特徴点抽出部３６は、ハフ変換の手法を用いて円Ｆ２の外周を特徴点として抽出してもよい。
【００３９】
上記実施形態では、推定工程において、最尤位置推定部３９は、中心点データベース３８に蓄積された中心点Ｃの位置の平均位置を最尤位置として推定した。しかし、推定する最尤位置は限定されず、種々の公知の最尤位置を適用してもよい。例えば、中心点取得部３２は、外周図形の大きさ（四角形Ｆ１であれば特定の辺の長さであってよく、円Ｆ２であれば直径の長さであってよい）に比例した重みを重み付けした中心点Ｃの位置を、中心点データベース３８に蓄積する。そして、最尤位置推定部３９は、蓄積された中心点Ｃの位置が重みに応じて平均されてなる重み付け平均位置を、最尤位置として推定してもよい。この場合、誤差の影響を低減して、カメラのキャリブレーションを一層精度良く行うことが可能となる。
【符号の説明】
【００４０】
１０…カメラ、３８…中心点データベース（データベース）、Ｃ…中心点、Ｆ１…四角形（外周図形）、Ｆ２…円（外周図形）、Ｐ…キャリブレーションパターン。
【図１】
2017125772.tif 000003
【図２】
2017125772.tif 000004
【図３】
2017125772.tif 000005
【図４】
2017125772.tif 000006