(57)【要約】【課題】容易にカメラのキャリブレーションを実施すること。【解決手段】キャリブレーション装置１００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０〜２３を用いて撮影し、フレームバッファ１１０に記憶する。そして、キャリブレーション装置１００は、マーカ抽出部１２０が、マーカの画像座標を特定し、第１、第２パラメータ推定部１３０，１４０がカメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出する。【選択図】        図１０
2009294109.tif 000002
【特許請求の範囲】
【請求項１】
各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、
前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、
を備えたことを特徴とするキャリブレーション装置。
【請求項２】
前記画像取得手段は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像を取得することを特徴とする請求項１に記載のキャリブレーション装置。
【請求項３】
前記画像取得手段は、複数のカメラのキャリブレーションを実行する場合に、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する請求項１または２に記載のキャリブレーション装置。
【請求項４】
前記算出手段は、前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする請求項１、２または３に記載のキャリブレーション装置。
【請求項５】
前記算出手段は、前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする請求項４に記載のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラのキャリブレーションを実行するキャリブレーション装置に関するものである。
【背景技術】
【０００２】
近年、車両に単数または複数のカメラを設置して、車外を撮影した画像を運転手等へ提供する技術が実用化されている（例えば、アラウンドビューモニタ）。このようなカメラにおいては、カメラの設置方法によって撮影範囲にずれが生じるため、カメラのキャリブレーション（カメラの座標、俯角、回転角、カメラパン角度などを求めること）を行い、キャリブレーションの実行結果によって求められるカメラのパラメータに基づいて撮影範囲のずれを補正している。
【０００３】
従来、カメラのキャリブレーションを実行する場合には、例えば、格子状のターゲット装置を車両に対して支持具により固定し、車両とターゲット装置との間隔を所定の状態に保つことでカメラのキャリブレーションを実現している（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００１−２８５６８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、カメラのキャリブレーションを実行する場合に、ターゲット装置の取り付け位置に厳密性が要求されるので、ユーザにかかる負担が大きいという問題があった。
【０００６】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、容易にカメラのキャリブレーションを実施することができるキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、このキャリブレーション装置は、各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、を備えたことを要件とする。
【発明の効果】
【０００８】
このキャリブレーション装置によれば、厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラの設定位置および角度を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。
【発明を実施するための最良の形態】
【０００９】
以下に添付図面を参照して、この発明に係るキャリブレーション装置の好適な実施の形態を詳細に説明する。
【実施例１】
【００１０】
まず、本実施例１にかかるキャリブレーション装置の概要および特徴について説明する。本実施例１にかかるキャリブレーション装置は、各マーカ間の距離が既知である複数のマーカを備えた冶具を、キャリブレーション対象となるカメラを用いて撮影する（ただし、各冶具は、水平面上に配置さており、かつ、となり合うカメラの撮影範囲に含まれる領域に配置されているものとする）。そして、キャリブレーション装置は、カメラに撮影された画像中のマーカの位置に基づいて、カメラの設定位置および角度を算出する。
【００１１】
このように、本実施例１にかかるキャリブレーション装置は、従来技術のような厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラの設定位置および角度を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。なお、本実施例１では一例として、車両に設置された複数のカメラのキャリブレーションを実行するキャリブレーション装置について説明する。
【００１２】
次に、キャリブレーション装置が利用する冶具の構成について説明する。図１は、本実施例１にかかる冶具の構成を示す図である。同図に示すように、この冶具１０は、マーカＰ１〜Ｐ３を有しており、各マーカ間の距離がＤに設定されている。
【００１３】
次に、車両に設置されたカメラと冶具との関係について説明する。図２は、車両に設置されたカメラと冶具との関係を示す図である。同図に示すように、車両５には、カメラ２０〜２３を備えている。そして、カメラ２０の撮影範囲とカメラ２１の撮影範囲とが重なる領域に冶具１１が設置されており、カメラ２１の撮影範囲とカメラ２２の撮影範囲とが重なる領域に冶具１２が設置されている。
【００１４】
また、カメラ２２の撮影範囲とカメラ２３の撮影範囲とが重なる領域に冶具１３が配置されており、カメラ２３の撮影範囲とカメラ２０の撮影範囲とが重なる領域に冶具１０が配置されている。なお、冶具１１〜１３の構造は、図１に示した冶具１０の構造と同様である。ただし、冶具１１のマーカをそれぞれＰ４〜Ｐ６とし、冶具１２のマーカをそれぞれＰ７〜Ｐ９とし、冶具１３のマーカをそれぞれＰ１０〜Ｐ１２とする。
【００１５】
次に、キャリブレーション装置が算出するカメラのパラメータについて説明する。図３および図４は、カメラのパラメータを説明するための図である。図３および図４に示すように、カメラのパラメータは、カメラ座標軸系におけるカメラの俯角ψ、カメラの回転角φ、カメラパン角度θと、車両全体座標軸系におけるカメラの３次元座標（ｘ、ｙ、ｚ）を有する。ここで、カメラ座標軸系は、各カメラを基準とした座標軸系とし、車両全体軸座標系は、車両５を基準とした座標軸系とする。
【００１６】
次に、本実施例１にかかるキャリブレーション装置が、各カメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出する手法について説明する。キャリブレーション装置は、パラメータ（ψ、φ、ｚ）を算出した後に、パラメータ（θ、ｘ、ｙ）を算出する。以下において、パラメータ（ψ、φ、ｚ）の算出法を説明した後に、パラメータ（θ、ｘ、ｙ）の算出法について説明する。
【００１７】
＜パラメータ（ψ、φ、ｚ）の算出法について＞
キャリブレーション装置は、各カメラが撮影した画像を取得し、取得した画像中に含まれる冶具のマーカの位置（画像上の座標；以下、画像座標と表記する）を特定する。図５は、カメラが撮影した画像の一例を示す図であり、図６は、マーカの画像座標の特定結果を示す図である。
【００１８】
キャリブレーション装置は、マーカの画像座標を特定した後に、かかる画像座標をカメラ座標軸系の視線ベクトルに変換する。ここで、視線ベクトルとは、カメラの光学中心と冶具上のマーカとを結んだ線分の方向ベクトルである。視線ベクトルの方向については、光学中心からマーカへの方向を正の方向とする。
【００１９】
ユーザは、予め、画像座標と視線ベクトルとの関係を示す変換テーブルを作成しておき、キャリブレーション装置は、変換テーブルを利用して、画像座標を視線ベクトルに変換する。
【００２０】
マーカＰｎ（ｎ＝１〜６）のカメラ座標系における位置をＰＣＡＭｎと表記すると、ＰＣＡＭｎはカメラ座標系の原点から視線ベクトル方向にあるので次の関係が成り立つ。ただし、冶具１０，１１上のマーカをＰ１〜Ｐ６とし（図６参照）、各マーカの視線ベクトルをｖ１〜ｖ６とする。また、ｋｎは正の定数値である。
【数１】
2009294109.tif 000003
【００２１】
冶具を配置した平面Ｒの法線ベクトルをｎｐ（ｎｐｘ、ｎｐｙ、ｎｐｚ）とし、カメラの設置高さをＨとすると、カメラ座標軸系の原点から平面Ｒに下ろした垂線と平面Ｒの交点ＰＣＡＭ０は、次式で表すことができる。
【数２】
2009294109.tif 000004
【００２２】
また、平面Ｒの方程式は、次式となる。
【数３】
2009294109.tif 000005
ここで、式（１）〜式（３）の関係を図示すると、図７のように表すことができる。図７は、式１〜３の関係を示す図である。
【００２３】
なお、式（１）と式（３）とを用いると、ｋｎを次式で表すことができる。
【数４】
2009294109.tif 000006
【００２４】
そして、式（４）を式（１）に代入すると、カメラ座標軸系におけるマーカの位置ＰＣＡＭｎを次式で表すことができる。
【数５】
2009294109.tif 000007
【００２５】
上述した式（２）および式（３）より、各冶具のマーカの位置（カメラ座標系の位置）は、カメラの設置高さＨと法線ベクトルｎとを引数とする評価関数Ｅ（Ｈ，ｎｐ）は次式となる。
【数６】
2009294109.tif 000008
【００２６】
式（６）（評価関数Ｅ）は、Ｈおよびｎｐが正しい値をとる場合に、０となる。従って、式（６）の値を最小化するＨとｎｐとを求めることでカメラ座標系における平面Ｒを決定することができる。式（６）を最小化する適切な初期値（例えば、初期値は予めユーザが特定しておく）からの最急降下法などの数値解析を用いることでＨとｎｐとを求めることができる。カメラのパラメータのうち「ｚ」は、平面Ｒとカメラ座標系の原点との距離であるからＨそのものとなる。
【００２７】
カメラのパラメータのうち「ψ」、「φ」は、平面Ｒの法線ベクトルｎｐとカメラ座標系各軸とのなす角度から算出する。図８は、カメラのパラメータψの算出方法を説明するための図である。
【００２８】
図８に示すように、カメラ座標系のｚ軸を延長した平面Ｒ上の点をＱとすると、カメラ座標系の原点と、Ｑと、ＰＣＡＭ０とを結んだ三角形の法線ベクトルとカメラ座標系のｘ軸との成す角がφである。従って、カメラのパラメータ「φ」は次式で表すことができる。
【数７】
2009294109.tif 000009
【００２９】
式（７）において、ＶＣＡＭＺはカメラ座標軸系上のｚ軸方向の法線ベクトル（０、０、１）Ｔである。ＶＣＡＭＸはカメラ座標軸系上のｘ軸方向の法線ベクトル（１、０、０）Ｔである。Unit（）は、ベクトルを単位ベクトルに変換する関数である。
【００３０】
また、カメラ座標系上のｚ軸まわりに−φだけカメラ座標軸系を回転させると、ψは、回転後のｙ軸方向（カメラ座標軸系上のｙ座標方向）の法線ベクトルとｎｐとの成す角度となる。従って、カメラのパラメータ「ψ」は次式で表すことができる。
【数８】
2009294109.tif 000010
式（８）において、ＶＣＡＭＹは、ｙ軸方向の法線ベクトル（０、１、０）Ｔである。
【００３１】
以上のように、キャリブレーション装置は、式（１）〜（８）を用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出することができる。
【００３２】
＜パラメータ（θ、ｘ、ｙ）の算出法について＞
上記のカメラのパラメータ（ψ、φ、ｚ）は、カメラ毎に算出されるため、以下の説明において、カメラｍ（ｍ＝１〜Ｍ；Ｍは自然数）のパラメータをψｍ、φｍ、θｍ、ｘｍ、ｙｍ、ｚｍと表記する。
【００３３】
また、カメラｍの平面Ｒ上のマーカの位置（カメラ座標軸系のマーカの位置）をＰｎＣＡＭ−ｍとする。また、カメラｍの原点を平面Ｒに落とした位置（カメラ座標軸系の位置）をＰ０ＣＡＭ−ｍとする。各冶具のマーカｎは、となり合うカメラによって撮影されているため（図２参照）、異なるｍをもち、同一のｎとなるＰｎＣＡＭ−ｍが少なくとも一つ存在する。
【００３４】
まず、キャリブレーション装置は、カメラ座標軸系の各位置を車両ローカル座標軸系に変換する。この車両ローカル座標系は、カメラ毎に設定されたＰ０ＣＡＭ−ｍを原点に持つ直交座標系である。図９は、カメラ座標軸系と車両ローカル座標軸系との関係を示す図である。車両ローカル座標系において、法線ベクトルｎｐをｚ軸ベクトル、Ｐ０ＣＡＭ−ｍからＱｍ（カメラｍのカメラ座標系のｚ軸を延長した平面Ｒ上の点をＱｍとする）に向かう軸をｙ軸ベクトルとする。
【００３５】
以上の条件のもと、カメラｍが撮影したマーカＰの車両ローカル座標軸系における座標値ＰｎＣＡＭ−ｍは、次式で表すことができる。
【数９】
2009294109.tif 000011
【００３６】
式（９）において、ｖ＊ｍ、ｎ＝（ｖ＊ｍ、ｎＸ、ｖ＊ｍ、ｎＹ、ｖ＊ｍ、ｎＺ）は、ｖ＊ｍ、ｎをカメラｍにおけるＰｎの視線ベクトルとした場合に、次式で定義させるベクトルである。
【数１０】
2009294109.tif 000012
【００３７】
一方、マーカＰｎの車両全体座標軸系における座標値ＰｎＣＡＲは、全体座標軸系に対する車両ローカル座標軸系の移動量ｘｍ，ｙｍと回転角θｍによって次式のように定義される。
【数１１】
2009294109.tif 000013
【００３８】
式（１１）において、ＰｎＣＡＲ−ｍは、カメラｍから算出されたＰｎＣＡＲであることを示している。撮影したカメラが異なっていても、各マーカの位置は車両全体座標軸系において単一の値であるから、全てのｍに対して次式が成立する。
【数１２】
2009294109.tif 000014
【００３９】
従って、次の評価関数Ｆを最小化する移動量ｘｍ，ｙｍと回転角θｍが正しいカメラのパラメータとなる。評価関数Ｆは、次式で表すことができる。
【数１３】
2009294109.tif 000015
【００４０】
式（１３）において、Exist（n，ｍ）は、カメラｍにより撮影されたＰｎＣＡＲ−ｍが算出済みであるか否かを示す関数であり、算出済みであるならばExist（n，ｍ）の値は「１」となる。未算出の場合には、Exist（n，ｍ）の値は「０」となる。
【００４１】
式（１３）（評価関数Ｆ）は、未知のパラメータ（θｍ、ｘｍ、ｙｍ）により値が変化するため、未知のパラメータ（θｍ、ｘｍ、ｙｍ）を適宜変更しながら、評価値が最小となる組み合わせを求めることで適切なパラメータを求めることができる。式（１３）の最小値を求める解法としては、最急降下法などの数値解析手法を用いても良いし、その他の拘束条件を導入してパラメータを導出しても良い。
【００４２】
次に、本実施例１にかかるキャリブレーション装置の構成について説明する。図１０は、本実施例１にかかるキャリブレーション装置１００の構成を示す図である。同図に示すように、このキャリブレーション装置１００は、カメラ２０〜２３に接続されており、フレームバッファ１１０と、マーカ抽出部１２０と、第１パラメータ推定部１３０と、パラメータ記憶部１５０とを有する。
【００４３】
図１０に示すカメラ２０〜２３および冶具１０〜１３は、図２に示したカメラ２０〜２３および冶具１０〜１３に対応する。なお、キャリブレーション装置１００は、その他のカメラに接続されていてもよいし、その他の冶具を用いても良い。
【００４４】
フレームバッファ１１０は、カメラ２０〜２３が撮影した画像（図５参照）のデータをそれぞれ記憶する記憶手段である。このフレームバッファ１１０は、カメラ毎に画像データを記憶しているものとする。
【００４５】
マーカ抽出部１２０は、フレームバッファ１１０から画像データを取得し、周知の画像処理技術を利用して、画像データ上のマーカの画像座標を特定する手段である。マーカ抽出部１２０は、特定した画像座標のデータを各カメラの画像データごとに分類して、第１パラメータ推定部１３０に出力する。
【００４６】
なお、マーカ抽出部１２０は、タッチパネルなどのポインティングデバイス（図示略）に画像を表示し、ユーザによるタッチペンの接触位置を検出することにより、マーカの画像座標を特定しても良い。
【００４７】
また、冶具上のマーカの検出を容易にするために、発光・点滅するＬＥＤ（Light  Emitting  Diode）などを冶具のマーカとして配置しておき、マーカ検出部１２０は、近傍に同一発光パターンとなる点滅画像集合をまとめてマーカとして検出し、各マーカの画像座標を特定しても良い。
【００４８】
第１パラメータ推定部１３０は、カメラ毎にパラメータ（ψ、φ、ｚ）を算出する手段である。具体的に、第１パラメータ推定部１３０は、マーカ抽出部１２０から各マーカの画像座標のデータを取得した場合に、変換テーブルを用いて、各画像座標を視線ベクトルｖｎに変換する。
【００４９】
そして、第１パラメータ推定部１３０は、最急降下法などを用いて式（６）に示した評価関数Ｅの値が最小値をとなるＨ（ｚ）とｎｐとを求め、求めたｎｐと式（７）および式（８）とを用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出する。第１パラメータ推定部１３０は、カメラ毎に算出したパラメータ（ψ、φ、ｚ）のデータおよび視線ベクトルのデータを第２パラメータ推定部１４０に出力する。
【００５０】
第２パラメータ推定部１４０は、カメラ毎にパラメータ（θ、ｘ、ｙ）を算出する手段である。具体的に、第２パラメータ推定部１４０は、最急降下法などを用いて式（１３）に示した評価関数Ｆの値が最小値となるθ、ｘ、ｙを求めることで、カメラパラメータ（θ、ｘ、ｙ）を算出する。第２パラメータ推定部１４０は、カメラ毎のパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）のデータをパラメータ記憶部１５０に記憶する。
【００５１】
パラメータ記憶部１５０は、カメラ毎にパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を記憶する記憶手段である。パラメータ記憶部１５０に記憶されたカメラのパラメータは、各種のアプリケーションによって利用される。
【００５２】
次に、図１０に示したキャリブレーション装置１００の処理手順について説明する。図１１は、本実施例１にかかるキャリブレーション装置１００の処理手順を示すフローチャートである。
【００５３】
図１１に示すように、キャリブレーション装置１００は、カメラ２０〜２３が画像を撮影し（ステップＳ１０１）、フレームバッファ１１０が画像データを記憶する（ステップＳ１０２）。
【００５４】
続いて、マーカ抽出部１２０が、画像データからマーカの画像座標を特定し（ステップＳ１０３）、第１パラメータ推定部１３０が、カメラのパラメータ（ψ、φ、ｚ）を算出する（ステップＳ１０４）。
【００５５】
そして、第２パラメータ推定部１４０が、カメラのパラメータ（θ、ｘ、ｙ）を算出し（ステップＳ１０５）、パラメータ記憶部１５０が、カメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を記憶する（ステップＳ１０６）。
【００５６】
上述してきたように、本実施例１にかかるキャリブレーション装置１００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０〜２３を用いて撮影し、第１、第２パラメータ推定部１３０，１４０がカメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出するので、従来技術のように、冶具とカメラとの配置位置に厳密性が要求されず、容易にカメラのキャリブレーションを実行することができ、ユーザの負担を軽減することができる。
【００５７】
なお、カメラ２０〜２３、冶具１０〜１３の配置関係は図２に限定されるものではない。具体的には、各カメラが撮影する１画面内に複数の冶具が撮影されており、かつ、画面中の冶具は、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件、および同一の冶具が複数のカメラに撮影されるという条件を満たせば、カメラ２０〜２３、冶具１０〜１３の配置を変更しても良い。
【００５８】
すなわち、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件、および同一の冶具が複数のカメラに撮影されるという条件を満たしさえすれば、カメラのキャリブレーションを正確に実行することができる。
【実施例２】
【００５９】
次に、本実施例２にかかるキャリブレーション装置について説明する。本実施例２にかかるキャリブレーション装置は、単一のカメラを用いて複数の冶具を撮影し、カメラに撮影された画像中のマーカの位置に基づいて、カメラのパラメータ（ψ、φ、ｚ）を算出する。
【００６０】
このように、本実施例２にかかるキャリブレーション装置は、従来技術のような厳密性を要しない条件で設置された冶具の画像を撮影し、画像中のマーカの位置からカメラのパラメータ（ψ、φ、ｚ）を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。
【００６１】
なお、本実施例２における冶具の構成は、図１に示した冶具１０の構成と同様であり、カメラパラメータ（ψ、φ、ｚ）の算出手法は、実施例１のキャリブレーション装置１００と同様である。
【００６２】
カメラと冶具との配置関係は、カメラが撮影する１画面内に複数の冶具が撮影されており、かつ、画面中の冶具は、少なくとも２つのマーカを含む１冶具と、少なくとも３つのマーカを含む１冶具とを含むという条件を満たせばどのように配置してもよい。なお、各冶具は所定値以上離れていることが望ましい。
【００６３】
次に、本実施例２にかかるキャリブレーション装置の構成について説明する。図１２は、本実施例２にかかるキャリブレーション装置２００の構成を示す図である。同図に示すように、このキャリブレーション装置２００は、カメラ２０に接続されており、フレームバッファ２１０と、マーカ抽出部２２０と、パラメータ推定部２３０と、パラメータ記憶部２４０とを有する。
【００６４】
フレームバッファ２１０は、カメラ２０が撮影した画像（図５参照）のデータを記憶する記憶手段である。
【００６５】
マーカ抽出部２２０は、フレームバッファ２１０から画像データを取得し、周知の画像処理技術を利用して、画像データ上のマーカの画像座標を特定する手段である。マーカ抽出部２２０は、特定した画像座標のデータをパラメータ推定部２３０に出力する。
【００６６】
なお、マーカ抽出部２２０は、タッチパネルなどのポインティングデバイス（図示略）に画像を表示し、ユーザによるタッチペンの接触位置を検出することにより、マーカの画像座標を特定しても良い。
【００６７】
また、冶具上のマーカの検出を容易にするために、発光・点滅するＬＥＤ（Light  Emitting  Diode）などを冶具のマーカとして配置しておき、マーカ抽出部２２０は、近傍に同一発光パターンとなる点滅画像集合をまとめてマーカとして検出し、各マーカの画像座標を特定しても良い。
【００６８】
パラメータ推定部２３０は、カメラ２０のパラメータ（ψ、φ、ｚ）を算出する手段である。具体的に、パラメータ推定部２３０は、マーカ抽出部２２０から各マーカの画像座標のデータを取得した場合に、変換テーブルを用いて、各画像座標を視線ベクトルｖｎに変換する。
【００６９】
そして、パラメータ推定部２３０は、最急降下法などを用いて式（６）に示した評価関数Ｅの値が最小値をとなるＨ（ｚ）とｎｐとを求め、求めたｎｐと式（７）および式（８）とを用いることにより、カメラのパラメータ（ψ、φ、ｚ）を算出する。パラメータ推定部２３０は、パラメータ（ψ、φ、ｚ）のデータをパラメータ記憶部２４０に出力する。
【００７０】
パラメータ記憶部２４０は、カメラ２０のパラメータ（ψ、φ、ｚ）を記憶する記憶手段である。パラメータ記憶部２４０に記憶されたカメラ２０のパラメータは、各種のアプリケーションによって利用される。
【００７１】
次に、図１２に示したキャリブレーション装置２００の処理手順について説明する。図１３は、本実施例２にかかるキャリブレーション装置２００の処理手順を示すフローチャートである。
【００７２】
図１３に示すように、キャリブレーション装置２００は、カメラ２０が画像を撮影し（ステップＳ２０１）、フレームバッファ２１０が画像データを記憶する（ステップＳ２０２）。
【００７３】
続いて、マーカ抽出部２２０が、画像データからマーカの画像座標を特定し（ステップＳ２０３）、パラメータ推定部２３０が、カメラのパラメータ（ψ、φ、ｚ）を算出し（ステップＳ２０４）、パラメータ記憶部２４０が、カメラのパラメータ（ψ、φ、ｚ）を記憶する（ステップＳ２０５）。
【００７４】
上述してきたように、本実施例２にかかるキャリブレーション装置２００は、各マーカ間の距離が既知（例えば、Ｄ）である複数のマーカを備えた冶具を、カメラ２０を用いて撮影し、パラメータ推定部２３０がカメラのパラメータ（ψ、φ、ｚ）を算出するので、従来技術のように、冶具とカメラとの配置位置に厳密性が要求されず、容易にカメラのキャリブレーションを実行することができ、ユーザの負担を軽減することができる。
【００７５】
なお、本実施例１、２に示したキャリブレーション装置１００，２００によるキャリブレーションは、カメラの設置時に１回行っても良いし、車両走行時の震動によるカメラのずれを正すため、任意のタイミングで実行しても良い。
【００７６】
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７７】
また、図１０、図１２に示したキャリブレーション装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７８】
図１４は、実施例１にかかるキャリブレーション装置１００（実施例２にかかるキャリブレーション装置２００）を構成するコンピュータ３００のハードウェア構成を示す図である。図１４に示すように、このコンピュータ（キャリブレーション装置）３００は、入力装置３０１、モニタ３０２、ＲＡＭ（Random  Access  Memory）３０３、ＲＯＭ（Read  Only  Memory）３０４、画像（冶具を含んだ画像）を撮影するカメラ３０５、ＣＰＵ（Central  Processing  Unit）３０６、ＨＤＤ（Hard  Disk  Drive）３０７をバス３０８で接続して構成される。
【００７９】
そして、ＨＤＤ３０７には、上述したキャリブレーション装置１００の機能と同様の機能を発揮するキャリブレーションプログラム３０７ａが記憶されている。ＣＰＵ３０６が、キャリブレーションプログラム３０７ａを読み出して実行することにより、キャリブレーションプロセス３０６ａが起動される。ここで、キャリブレーションプロセス３０６ａは、図１０に示したマーカ抽出部１２０、第１パラメータ推定部１３０、第２パラメータ推定部１４０に対応する。
【００８０】
なお、ＲＡＭ３０３には、各カメラが撮影した画像データや、キャリブレーションプロセス３０６ａによって利用されるデータを含んだ各種データ３０３ａを記憶している。ＣＰＵ３０６は、各種データ３０３ａに含まれる画像データからマーカの画像座標を特定し、カメラ３０５のパラメータを算出する。
【００８１】
ところで、図１４に示したキャリブレーションプログラム３０７ａは、必ずしも最初からＨＤＤ３０７に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにキャリブレーションプログラム３０７ａを記憶しておき、コンピュータがこれらからキャリブレーションプログラム３０７ａを読み出して実行するようにしてもよい。
【００８２】
以上の実施例１，２を含む実施形態に関し、更に以下の付記を開示する。
【００８３】
（付記１）各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得する画像取得手段と、
前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出する算出手段と、
を備えたことを特徴とするキャリブレーション装置。
【００８４】
（付記２）前記画像取得手段は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像を取得することを特徴とする付記１に記載のキャリブレーション装置。
【００８５】
（付記３）前記画像取得手段は、複数のカメラのキャリブレーションを実行する場合に、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する付記１または２に記載のキャリブレーション装置。
【００８６】
（付記４）前記算出手段は、前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする付記１、２または３に記載のキャリブレーション装置。
【００８７】
（付記５）前記算出手段は、前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする付記４に記載のキャリブレーション装置。
【００８８】
（付記６）キャリブレーション装置が、
各マーカ間の距離が既知である複数のマーカを備えた冶具の画像を、キャリブレーション対象とするカメラを用いて取得するステップと、
前記画像内のマーカの位置に基づいて、前記カメラの設置位置および角度を算出するステップと、
を含んでいることを特徴とするキャリブレーション方法。
【００８９】
（付記７）前記カメラによって撮影する画像は、少なくとも２つのマーカを有する第１の冶具と、少なくとも３つのマーカを有する第２の冶具とを含んだ複数の冶具の画像であることを特徴とする付記６に記載のキャリブレーション方法。
【００９０】
（付記８）複数のカメラのキャリブレーションを実行する場合には、複数のカメラで同一の冶具を撮影した画像を取得することを特徴する付記６または７に記載のキャリブレーション方法。
【００９１】
（付記９）前記画像上の各マーカの座標を特定し、当該画像上の各マーカ間の距離と規定値との差分を求める第１の評価式を定義し、第１の評価式に基づいてカメラの俯角、回転角、ｚ軸座標を算出することを特徴とする付記６、７または８に記載のキャリブレーション方法。
【００９２】
（付記１０）前記カメラの俯角、回転角、ｚ軸座標を基にして、カメラパン角度、ｘ軸座標、ｙ軸座標を引数とする各マーカの位置を各カメラの画像毎に定義し、画像毎に定義した同一のマーカの位置同士の差分を求める第２の評価式を定義し、第２の評価式に基づいて前記カメラのカメラパン角度、ｘ軸座標、ｙ軸座標を算出することを特徴とする付記９に記載のキャリブレーション方法。
【図面の簡単な説明】
【００９３】
【図１】本実施例１にかかる冶具の構成を示す図である。
【図２】車両に設置されたカメラと冶具との関係を示す図である。
【図３】カメラのパラメータを説明するための図（１）である。
【図４】カメラのパラメータを説明するための図（２）である。
【図５】カメラが撮影した画像の一例を示す図である。
【図６】マーカの画像座標の特定結果を示す図である。
【図７】式１〜３の関係を示す図である。
【図８】カメラのパラメータψの算出方法を説明するための図である。
【図９】カメラ座標軸系と車両ローカル座標軸系との関係を示す図である。
【図１０】本実施例１にかかるキャリブレーション装置の構成を示す図である。
【図１１】本実施例１にかかるキャリブレーション装置の処理手順を示すフローチャートである。
【図１２】本実施例２にかかるキャリブレーション装置の構成を示す図である。
【図１３】本実施例２にかかるキャリブレーション装置の処理手順を示すフローチャートである。
【図１４】実施例１にかかるキャリブレーション装置を構成するコンピュータのハードウェア構成を示す図である。
【符号の説明】
【００９４】
５    車両
１０，１１，１２，１３    冶具
２０，２１，２２，２３，３０５    カメラ
１００，２００    キャリブレーション装置
１１０，２１０    フレームバッファ
１２０，２２０    マーカ抽出部
１３０    第１パラメータ推定部
１４０    第２パラメータ推定部
１５０，２４０    パラメータ記憶部
２３０    パラメータ推定部
３００    コンピュータ
３０１    入力装置
３０２    モニタ
３０３    ＲＡＭ
３０３ａ  各種データ
３０４    ＲＯＭ
３０６    ＣＰＵ
３０６ａ  キャリブレーションプロセス
３０７    ＨＤＤ
３０７ａ  キャリブレーションプログラム
３０８    バス
【図１】
2009294109.tif 000016
【図２】
2009294109.tif 000017
【図３】
2009294109.tif 000018
【図４】
2009294109.tif 000019
【図５】
2009294109.tif 000020
【図６】
2009294109.tif 000021
【図７】
2009294109.tif 000022
【図８】
2009294109.tif 000023
【図９】
2009294109.tif 000024
【図１０】
2009294109.tif 000025
【図１１】
2009294109.tif 000026
【図１２】
2009294109.tif 000027
【図１３】
2009294109.tif 000028
【図１４】
2009294109.tif 000029