(57)【特許請求の範囲】
【請求項１】
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とするキャリブレーション装置。
【請求項２】
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項１記載のキャリブレーション装置。
【請求項３】
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項１記載のキャリブレーション装置。
【請求項４】
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラによりマーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界の前記カメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とするキャリブレーション方法。
【請求項５】
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする請求項４記載のキャリブレーション方法。
【請求項６】
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする請求項４記載のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面と裏面が平らで平行な透明板を透過してカメラによる撮影を行う際に発生する写りの変化に対し、透明板がない場合の写りと同等になるよう校正を行う画像のキャリブレーション装置及びキャリブレーション方法に関する。
【背景技術】
【０００２】
下記非特許文献１には、エリアカメラにより平面マーカを様々な位置姿勢で撮影することで撮影ごとの外部パラメータ及びカメラの内部パラメータを求める手法が提案されている。
また、下記特許文献１には、透明板の表面と奥面の反射を用いることで対象物の像が二重に移ることを利用したステレオ計測手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１４７０５５号公報
【非特許文献】
【０００４】
【非特許文献１】Z. Zhang. "A Flexible New Technique for Camera Calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 11, pp. 1330-1334
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、図８に示すように、カメラ１１による撮影を行う際に、カメラ１１のレンズを保護するためにカメラ１１をケース１に入れ、透明板２を透過して撮像を行うといった事例が存在する。この際、透明板２を透過して撮像を行うため、透明板２の影響でカメラ１１に入射する光線が変化し、透明板２がない場合と比較して映像が変化してしまうという問題があった。
【０００６】
しかしながら、非特許文献１に記載されている方法は、カメラのレンズキャリブレーション手法であり透明板の影響については議論されていない。
また、特許文献１に記載されている方法は、ステレオ計測を行うために透明板の屈折率や厚さといったパラメータを算出しているが、あくまでもステレオ計測を目的とし、透明板の二重反射を利用してパラメータを求めるものであり、透明板の透過による写りの変化を、透明板なしの場合と同等の写りにキャリブレーションするといった用途を想定していない。
【０００７】
このようなことから本発明は、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することを可能とする画像のキャリブレーション装置及びキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するための第１の発明に係る画像のキャリブレーション装置は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション装置であって、
大きさが既知である白色領域及び黒色領域が交互に配されたマーカと、
前記カメラによって撮影した画像を解析する画像処理装置と
を備え、
前記画像処理装置は、
前記カメラにより前記透明板を介さずに撮影した前記マーカの画像及び前記カメラにより前記透明板を介して撮影した前記マーカの画像を入力する画像入力部と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域の境界の画像上の座標を算出する計測座標算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する外部パラメータ算出部と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換するカメラ座標系変換部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する透明板パラメータ算出部と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正するキャリブレーション処理部と
を備えることを特徴とする。
【０００９】
また、上記の課題を解決するための第２の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。
【００１０】
また、上記の課題を解決するための第３の発明に係る画像のキャリブレーション装置は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。
【００１１】
また、上記の課題を解決するための第４の発明に係る画像のキャリブレーション方法は、
透明板を透過して撮影を行うカメラにより取得した画像の校正を行うキャリブレーション方法であって、
前記透明板を介さずに前記カメラにより前記マーカを撮影する第一の工程と、
前記マーカと前記カメラとの間に前記透明板を配置した状態で、前記透明板を介して前記撮像手段により前記マーカを撮影する第二の工程と、
前記透明板を介さずに撮影した前記マーカの画像及び前記透明板を介して撮影した前記マーカの画像から、それぞれ前記マーカの白色領域と黒色領域との境界の画像上の座標を算出する第三の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標、予め既知である内部パラメータ、及び予め既知である前記白色領域と前記黒色領域の境界の実座標に基づいて前記カメラと前記マーカとの位置姿勢関係を表す外部パラメータを算出する第四の工程と、
前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記外部パラメータを用いてカメラ座標系の座標に変換する第五の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標が、前記透明板を介さずに撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標に近似するように、前記内部パラメータ及び前記透明板を介さずに撮影した前記マーカの画像から得られた前記マーカの白色領域と黒色領域の境界のカメラ座標系の座標を用いて前記透明板の前記カメラに対する角度、厚さ及び屈折率を透明板のパラメータとして算出する第六の工程と、
前記透明板を介して撮影した前記マーカの画像から算出した前記白色領域と前記黒色領域の境界の画像上の座標を、前記透明板のパラメータに基づいて前記透明板を介さずに撮影した状態と同等となるように校正する第七の工程と
を備えることを特徴とする。
【００１２】
また、上記の課題を解決するための第５の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とが一直線上に交互に配されてなる直線マーカであり、
前記カメラが、一ラインの撮影を行うラインセンサカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記黒色領域の切り替え地点である
ことを特徴とする。
【００１３】
また、上記の課題を解決するための第６の発明に係る画像のキャリブレーション方法は、
前記マーカが、前記白色領域と前記黒色領域とがチェスボード型に配されてなる平面マーカであり、
前記カメラが、二次元の撮影を行うエリアカメラであり、
前記白色領域と前記黒色領域の境界が、前記白色領域と前記白色領域との交点または前記黒色領域と前記黒色領域との交点である
ことを特徴とする。
【発明の効果】
【００１４】
本発明に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、透明板を透過してカメラによる撮像を行う場合であっても、透明板がない場合と同等の映像を取得することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例１に係るキャリブレーション装置の概略構成を示す模式図である。
【図２】本発明の実施例１に係る直線マーカの正面図である。
【図３】本発明の実施例１に係る画像処理装置の構成を示すブロック図である。
【図４】本発明の実施例１に係るキャリブレーション処理の流れを示すフローチャートである。
【図５】図１の一部を抽出して示す説明図である。
【図６】本発明の実施例２に係るキャリブレーション装置の概略構成を示す模式図である。
【図７】本発明の実施例２に係る平面マーカの正面図である。
【図８】ケースに入れたカメラにより撮影を行う例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明に係るキャリブレーション装置及びキャリブレーション方法について説明する。なお、本発明では、透明板による映像の変化を透明板パラメータである透明板の厚さ、屈折率及びカメラに対する角度を用いて校正することを透明板キャリブレーションと呼ぶものとする。
【実施例１】
【００１７】
図１から図４を用いて本発明の実施例１に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。
図１に示すように、本実施例に係る画像のキャリブレーション装置は、一台のラインセンサカメラ１１Ａと、直線マーカ１２Ａと、ラインセンサカメラ１１Ａにより取得した画像データを解析する画像処理装置１３とを用いて、表面と裏面が平らで平行な透明板２の影響を透明板２のカメラ１１に対する角度θg、厚さｄ、屈折率ｎを利用して求め、透明板２がない状態で撮影した場合と同等の画像を得るための装置である。なお本実施例に係る画像のキャリブレーション装置は、ラインセンサカメラ１１Ａと直線マーカ１２Ａの位置姿勢関係も同時に求めることが可能である。
【００１８】
直線マーカ１２Ａは、棒状に形成されている。この直線マーカ１２Ａの表面には、図２に示すように、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとが長手方向に沿って交互に配されている（以下、白帯１２Ａａ及び黒帯１２Ａｂを総称する場合は白黒帯１２Ａａ，１２Ａｂと称する）。図２に示す例では、白帯１２Ａａ及び黒帯１２Ａｂは、それぞれ四つずつ設けられている。
【００１９】
ラインセンサカメラ１１Ａは、１ラインの撮像を行う機器である。ラインセンサカメラ１１Ａは、直線マーカ１２Ａの白帯１２Ａａと黒帯１２Ａｂの境界（以下、切り替え地点と称する）１２Ａｃを少なくとも三箇所以上撮影するように設置される。
【００２０】
画像処理装置１３は、ラインセンサカメラ１１Ａによって撮像した画像を解析して透明板キャリブレーションを実行するものである。
【００２１】
図３に示すように、画像処理装置１３は、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。
【００２２】
画像入力部１３ａは、ラインセンサカメラ１１Ａで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂを検出し、切り替え地点１２Ａｃの画像上の座標（ピクセル位置）を算出し、計測座標データとして記憶部１３ｇに保管する。
【００２３】
外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるラインセンサカメラ１１Ａの内部パラメータ、直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系（マーカ長手方向にＸ軸、それに垂直な方向にＹ軸をとる座標系。座標原点はマーカ上の任意の点（例えばマーカの中央など））の座標であるマーカ座標系座標データ（真値座標（Ｘi，０））に基づいて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。
【００２４】
カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系（画像素子面と平行な方向にＸ軸、カメラ光軸方向にＹ軸をとる座標系。座標原点はカメラのピンホールモデルの原点（光線の集まる点）と同一の位置）の座標を算出し、カメラ座標系座標データとして記憶部１３ｇに保管する。
【００２５】
透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。
【００２６】
キャリブレーション処理部１３ｆは、ラインセンサカメラ１１Ａを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ1軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。
【００２７】
記憶部１３ｇは、画像データ、各撮影での直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータ、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのマーカ座標系座標、直線マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂのカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み計測座標データ等を保管する。
【００２８】
なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。
【００２９】
以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。
【００３０】
透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、ラインセンサカメラ１１Ａに対する角度θg[rad]といったパラメータを求める必要がある。
そのためにまず、図４に示すように、透明板２なしで長手方向の白黒帯１２Ａａ，１２Ａｂの長さが既知である直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ１）。
なお、直線マーカ１２Ａはラインセンサカメラ１１Ａからみてほぼ正対するように設置する。また、ラインセンサカメラ１１Ａのレンズキャリブレーションはすでに行われており、焦点距離ｆ、主点座標ｃ、歪み係数といったカメラの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。
【００３１】
続いて、直線マーカ１２Ａ及びラインセンサカメラ１１Ａの位置を動かさずに、直線マーカ１２Ａとラインセンサカメラ１１Ａとの間に透明板２を設置して透明板２ありの状態で直線マーカ１２Ａをラインセンサカメラ１１Ａにより撮影する（ステップＳ２）。ラインセンサカメラ１１Ａによって撮影した画像は、画像入力部１３ａにより記憶部１３ｇに保管される。
【００３２】
本実施例では、このようにして撮影した透明板２がない場合と透明板２がある場合の画像の写りの違いを利用して透明板２のパラメータを算出する。
【００３３】
ステップＳ２に続いては、計測座標算出部１３ｂにより、記憶部１３ｇから読み出した画像データを用いて、透明板２なしで撮影した画像及び透明板２ありで撮影した画像から、それぞれ直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置（計測座標）を検出する（ステップＳ３）。直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置については、二値化処理やエッジ検出といった画像処理手法により検出する。
【００３４】
続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した、透明板２なしの画像から得た計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ及びマーカ座標系座標データを用いて、ラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして後で説明する角度Θ、ベクトルｔ11，ｔ12を求め（ステップＳ４）、カメラ座標系変換部１３ｄにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータから、カメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ1'，Ｙ1'）を算出する（ステップＳ５）。
【００３５】
カメラモデルにはピンホールモデルを用いる。ただし、ここではラインセンサカメラ１１Ａを使うため、通常のエリアカメラとは違い、三次元空間→二次元画像ではなく、二次元平面→一次元画像となる。この数式モデルを式(1)に示す。
【００３６】
【数１】
0006645140.tif 000002
【００３７】
ラインセンサカメラ１１Ａは１ラインしか撮影されないが、この撮影範囲は三次元空間上では二次元平面となる。この二次元空間上のマーカ座標系のある座標をＸ1，Ｙ1で、カメラ座標系の光軸方向の軸とその軸に直交する軸に平行な画像座標系（画像の左端を０原点とする画像素子面と平行な座標系であり、ラインセンサカメラ１１Ａにおける光線が、カメラ座標系原点より光軸方向に焦点距離ｆ[pixel]離れた位置にある画像平面に投影されたピクセル座標を表す）のあるピクセル座標をｕ1で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はΘ）、並進ベクトルをｔ1（二次元ベクトルでその要素はｔ11、ｔ12）とする。
【００３８】
また、ｓ1はスケーリング係数、ｕ1は画像座標系における位置（ピクセル座標、単位はpixel）、ｆは焦点距離（単位はpixel）、ｃは主点座標（単位はpixel）、Ｘ1，Ｙ1はマーカ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃのマーカ座標系における位置（単位はとくに決まっていないがmmとするのが一般的である）である。なお、この式(1)はラインセンサカメラ１１Ａのレンズの歪みはすでに校正済みとする。また、外部パラメータの単位は回転量がラジアン、並進移動量が特に決まっていないがmmとするのが一般的である。
【００３９】
そして、透明板２なしの画像から特異値分解を用いてラインセンサカメラ１１Ａと直線マーカ１２Ａとの位置姿勢関係を表す外部パラメータとして角度Θ、ベクトルｔ11，ｔ12を求める。
【００４０】
以下に、外部パラメータである角度Θ、ベクトルｔ11、ｔ12を求める方法について詳しく説明する。まず、ラインセンサカメラ１１Ａにより直線マーカ１２Ａを撮影しているため、直線マーカ１２ＡのＹ座標は全て０になる。そこで以下の式(2)が得られる。
【００４１】
【数２】
0006645140.tif 000003
【００４２】
この式を展開すると、以下の式(3)となる。
【００４３】
【数３】
0006645140.tif 000004
【００４４】
これを展開、整理すると、以下の式(4)となる。
【００４５】
【数４】
0006645140.tif 000005
【００４６】
ここで、式(4)はスケールが次数を一つ減らせる性質を利用し、三本以上の同時方程式を立てることで解くことができる。本実施例では、ラインセンサカメラ１１Ａにより直線マーカ１２Ａの切り替え地点１２Ａｃを三箇所以上撮影するようにしたため、当該切り替え地点１２Ａｃの座標は三点以上（Ｘ11，Ｘ12，…，Ｘ1M，ｕ11，ｕ12，…，ｕ1M）（Ｍは３以上の整数）あるが、この場合、以下の式(5)に示すように方程式と未知数の数が一致しない。
【００４７】
【数５】
0006645140.tif 000006
【００４８】
そこで最小二乗法を行う。この形から外部パラメータである角度Θ、ベクトルｔ11、ｔ12を求める場合、例えば非特許文献１に記載されている特異値分解等を用いて算出することができる。
なお、実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ12で正規化を行い、回転行列の性質よりsin2Θ＋cos2Θ＝１を使用して、角度Θ及びベクトルｔ11、ｔ12を求める。このように画像上の位置ｕ1、真値座標（マーカ１２Ａの白黒帯１２Ａａ，１２Ａｂの幅）、焦点距離ｆ、主点座標ｃが分かっていれば線形解法で解を求めることができる。
【００４９】
次に、透明板２なしの場合の計測座標データから特異値分解を用いてカメラ座標系における直線マーカ１２Ａの切り替え地点１２Ａｃの座標（Ｘ1'，Ｙ1'）を求める。座標（Ｘ1'，Ｙ1'）は以下の式(6)で算出することができる。
【００５０】
【数６】
0006645140.tif 000007
【００５１】
次に、透明板パラメータ算出部１３ｅにより、記憶部１３ｇから透明板２ありの場合の計測座標データ、透明板２なしの場合の計測座標データ、ラインセンサカメラ１１Ａの内部パラメータ、及びカメラ座標系座標データを読み出し、この直線マーカ１２Ａの切り替え地点１２Ａｃのカメラ座標系の座標と、透明板２ありの画像から求めた計測座標データを用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θg）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から求めた計測座標データを用いて、直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置と透明板２なしの画像から求めた直線マーカ１２Ａの切り替え地点１２Ａｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。
【００５２】
図１に示すように、透明板２の有無によるある直線マーカ１２Ａの切り替え地点１２Ａｃからの光線の違いにより、透明板２がない場合は画像としてｕ1の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像ではｕ1'という異なる位置に写ることが分かる。透明板キャリブレーションとはｕ1'の座標が得られたときに本来写るであろうｕ1に座標を変換する処理である。
以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θgを算出する。
まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(7)〜(9)で表せる。
【００５３】
【数７】
0006645140.tif 000008
【００５４】
ここで、ｅ1：透明板２を透過することによる出射光と光学軸とのズレ[mm]、（Ｘ1'，Ｙ1'）：透明板２なしの場合のマーカのある１地点のカメラ座標系における座標[mm]、（Ｘ1''，Ｙ1''）：ピクセル位置ｕ1'への光線とマーカのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、ｃ：主点座標[pixel]、ｆ：焦点距離[pixel]、ｕ1：透明板２なしの場合のマーカのある１地点のピクセル位置[pixel]、ｕ1'：透明板２ありの場合のマーカのある１地点のピクセル位置[pixel]、θ1：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ01：透明板２なしの場合のマーカのある１地点からカメラへの光線とカメラ光軸との角度（ｕ1'からの光線とカメラ光軸との角度）[rad]、θ1'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。
【００５５】
ここで、（Ｘ1'，Ｙ1'）、（Ｘ1''，Ｙ1''）はどちらもカメラ座標系のため、Ｙ1''＝Ｙ1'、ｕ1'：ｆ＝Ｘ1''：Ｙ1''より、Ｘ1''は以下の式(10)で表される。
【００５６】
【数８】
0006645140.tif 000009
【００５７】
これにより、式(9)において未算出の変数は出射光と光学軸とのズレｅ1だけとなった。ズレｅ1の算出を図１及び図５を用いて説明する。まず、透明板２に垂直な軸と透明板２の出射光とがなす角度θ1[rad]、ｕ1'からの光線とカメラ光軸との角度θ01[rad]、透明板２に垂直な軸と透明板２内の光線とがなす角度θ1'[rad]については以下の式(11)〜(13)で算出できる。
【００５８】
【数９】
0006645140.tif 000010
【００５９】
次に、透明板２内の光線の長さ（以下、光路長）ｂ1を以下の式(14)により求める。
【００６０】
【数１０】
0006645140.tif 000011
【００６１】
この光路長ｂ1を用いて、当該光路長ｂ1のＹ1軸方向の成分ｂ1'を求めると、以下の式(15)のようになる。
【００６２】
【数１１】
0006645140.tif 000012
【００６３】
光路長ｂ及び当該光路長ｂの鉛直方向の成分ｂ1'から図５に示す成分ｅ１，ｅ２（ｅ１＋ｅ２＝ｅ1）を算出する。
【００６４】
【数１２】
0006645140.tif 000013
【００６５】
よって、出射光と光学軸とのズレｅ1は以下の式(18)で表される。
【００６６】
【数１３】
0006645140.tif 000014
【００６７】
ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θg、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(19)の二乗誤差を最小化するｄ，θg，ｎを求める。
【００６８】
【数１４】
0006645140.tif 000015
【００６９】
ここで、Ｎ１は直線マーカ１２Ａの切り替え地点１２Ａｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ1'からの変換結果と透明板２無しの場合のピクセル位置ｕ1との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θg、屈折率ｎが算出される。
【００７０】
次に、キャリブレーション処理部１３ｆにより、計測される透明板２ありの場合のピクセル位置ｕ1'に対して以下の式(20)（式(9)に式(10)と式(18)を代入したもの）を用いることで、透明板２がない場合と同等のピクセル位置ｕ1を算出する（ステップＳ７）。すなわち、求めた透明板パラメータを用いて透明板２ありで撮影した画像から求めた計測座標（ピクセル位置）を、透明板２なしで撮影した状態と同等にするようにキャリブレーションを行う。
【００７１】
【数１５】
0006645140.tif 000016
【００７２】
なお、キャリブレーションにＹ1'という計測対象の高さ（ラインセンサカメラ１１Ａから直線マーカ１２ＡまでのＹ1軸方向の距離）が必要になる。これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離を計測する必要がある。例えば、ラインセンサカメラを二台用いて三角測量を行うことで距離Ｙ1'を求めることが可能である。この場合ピクセル位置ｕ1'を初期値として三角測量を行い、求めた座標から角度θ01及び距離Ｙ1'を算出する。そして求めたピクセル位置ｕ1を用いて再度角度θ01及び距離Ｙ1'を算出することを繰り返すことで最適なｕ座標を算出できる。
【００７３】
このように構成される本実施例に係る画像のキャリブレーション装置及び方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や直線マーカ１２Ａの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と直線マーカ１２Ａのカメラ座標系座標の算出が可能である。
４）ラインセンサカメラ１１Ａでの透明板キャリブレーションが可能である。
【００７４】
なお、本実施例では、直線マーカ１２Ａを、長手方向の長さが既知である白帯（白色領域）１２Ａａと黒帯（黒色領域）１２Ａｂとを長手方向に沿って交互に配したものとして説明したが、直線マーカ１２Ａの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とを長手方向に沿って交互に配するなど、二つの領域の境界が明確に判断できる配色であればよい。
【実施例２】
【００７５】
図３，４及び図６，７を用いて本発明の実施例２に係る画像のキャリブレーション装置及びキャリブレーション方法の詳細を説明する。
【００７６】
図６に示すように、本実施例に係るキャリブレーション装置は、平面マーカ１２Ｂと、一台のエリアカメラ１１Ｂと、表面と裏面が平らで平行な透明板２とを用いて、透明板２の影響を透明板２のエリアカメラ１１Ｂに対する角度θg、厚さｄ、屈折率ｎから求めるものである。なお本実施例に係る画像のキャリブレーション装置は、平面マーカ１２Ｂとエリアカメラ１１Ｂの位置姿勢関係も同時に求めることが可能である。
【００７７】
図７に示すように、平面マーカ１２Ｂは、矩形状に形成された板体からなる。平面マーカ１２Ｂには、大きさが既知である矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとがチェスボード型に配置されている。図７に示す例では、白色領域１２Ｂａ及び黒色領域１２Ｂｂは、それぞれ八つずつ設けられている。
【００７８】
エリアカメラ１１Ｂは、二次元画像の撮影が可能な機器である。エリアカメラ１１Ｂは、平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの境界（白色領域１２Ｂａと白色領域１２Ｂａとの交点、又は黒色領域１２Ｂｂと黒色領域１２Ｂｂとの交点。以下、単に交点という）１２Ｂｃを少なくとも八か所以上撮影するように設置される。
【００７９】
画像処理装置１３の構成は実施例１で説明したものと概ね同様であり、図３に示すように、画像入力部１３ａ、計測座標算出部１３ｂ、外部パラメータ算出部１３ｃ、カメラ座標系変換部１３ｄ、透明板パラメータ算出部１３ｅ、キャリブレーション処理部１３ｆ、及び記憶部１３ｇを備えている。
【００８０】
画像入力部１３ａは、エリアカメラ１１Ｂで取得した画像データ（透明板２ありの場合、及び、透明板２なしの場合）を入力し、記憶部１３ｇに保管する。
計測座標算出部１３ｂは、記憶部１３ｇから読み出した画像データから平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂとを検出し、平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を求め、計測座標データとして記憶部１３ｇに保管する。
【００８１】
外部パラメータ算出部１３ｃは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データと、予め記憶部１３ｇに保管した既知であるエリアカメラ１１Ｂの内部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃのマーカ座標系の座標であるマーカ座標系座標データ（真値座標）に基づいて、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータを求め、これを記憶部１３ｇに保管する。
【００８２】
カメラ座標系変換部１３ｄは、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ及び外部パラメータに基づいて、平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標を算出し、これをカメラ座標系座標データとして記憶部１３ｇに保管する。
【００８３】
透明板パラメータ算出部１３ｅは、記憶部１３ｇから読み出した透明板２あり及び透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びカメラ座標系座標データに基づいて、透明板パラメータを算出し、これを記憶部１３ｇに保管する。
【００８４】
キャリブレーション処理部１３ｆは、エリアカメラ１１Ｂを用いた計測を行う際に、記憶部１３ｇから読み出した透明板２ありの場合の計測座標データ、予め求めた計測対象の高さ（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ2軸方向の距離）、透明板パラメータに基づいて、計測対象の校正済み計測座標を算出し、校正済み計測座標データとして記憶部１３ｇに保管する。
【００８５】
記憶部１３ｇは、エリアカメラ撮像データ、各撮影での平面マーカ１２Ｂの交点１２Ｂｃの計測座標データ、エリアカメラ１１Ｂの内部パラメータ、エリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータ、平面マーカ１２Ｂの交点１２Ｂｃの座標であるマーカ座標系座標、平面マーカ１２Ｂの交点１２Ｂｃの座標のカメラ座標系座標、透明板パラメータ、計測対象の高さ、計測対象のキャリブレーション後の校正済み座標計測座標データ等を保管する。
なお、構成済み計測座標データは図示しない表示部等に出力され、表示部では校正された画像が表示される。
【００８６】
以下、図４を用いて本実施例に係る画像のキャリブレーション装置によるキャリブレーション処理の流れを説明する。
【００８７】
透明板キャリブレーションを行うためには、透明板２の厚さｄ[mm]、屈折率ｎ、角度θg[rad]といったパラメータを求める必要がある。そのために、まず透明板２なしで図７に示すような、白色領域１２Ｂａと黒色領域１２Ｂｂの交点１２Ｂｃの位置が既知である平面マーカ１２Ｂを撮影する（ステップＳ１）。平面マーカ１２Ｂはエリアカメラ１１Ｂからみてほぼ正対するように設置する。
【００８８】
その後、平面マーカ１２Ｂの位置とエリアカメラ１１Ｂの位置を動かさずに平面マーカ１２Ｂとエリアカメラ１１Ｂとの間に透明板２を設置し、透明板２ありの状態で平面マーカ１２Ｂを撮影する（ステップＳ２）。本実施例では、この際に得られる写りの違いを用いて透明板２のパラメータを算出する。ここでエリアカメラ１１Ｂのレンズキャリブレーションはすでに行われており、焦点距離ｆu，ｆv、主点座標ｃu，ｃv、歪み係数といったエリアカメラ１１Ｂの内部パラメータは既知であり、歪みを除去した画像が得られていると仮定する。
【００８９】
続いて、計測座標算出部１３ｂにより、透明板２なしで撮影した画像から平面マーカ１２Ｂの交点１２Ｂｃの画像上の座標を検出する（ステップＳ３）。平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置（計測座標）については二値化処理やエッジ検出といった画像処理手法により検出する。
【００９０】
続いて、外部パラメータ算出部１３ｃにより、記憶部１３ｇから読み出した透明板２なしの場合の計測座標データ、エリアカメラ１１Ｂの内部パラメータ、及びマーカ座標系座標データを用いて、エリアカメラ１１Ｂと平面マーカ１１Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ2を求め（ステップＳ４）、これらの値からカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ2'，Ｙ2'，Ｚ2'）を算出する（ステップＳ５）。
【００９１】
カメラモデルにはピンホールモデルを用いる。この数式モデルを式(21)に示す。三次元空間上のマーカ座標系をＸ2，Ｙ2，Ｚ2軸で、カメラ座標系を光軸方向の軸に直交する二次元平面のｕ2，ｖ2軸で表現している。マーカ座標系とカメラ座標系間の回転行列をＲ（ｒ11〜ｒ33）、並進ベクトルをｔ2（三次元ベクトルでその要素はｔ21，ｔ22，ｔ23）とする。
【００９２】
【数１６】
0006645140.tif 000017
【００９３】
透明板２なしの画像から求めた計測座標から特異値分解を用いてエリアカメラ１１Ｂと平面マーカ１２Ｂとの位置姿勢関係を表す外部パラメータとして回転行列Ｒ及び並進ベクトルｔ2を求める。
【００９４】
また、ｓ2はスケーリング係数、ｆu，ｆvはｕ2，ｖ2それぞれの焦点距離、ｃu，ｃvはｕ2，ｖ2それぞれの主点座標、ｕ2，ｖ2は画像座標系におけるピクセル位置、Ｘ2，Ｙ2，Ｚ2はマーカ座標系における平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置である。なお、この式(21)ではレンズの歪みはすでに校正済みとする。
【００９５】
以下に、エリアカメラ１１Ｂと平面マーカ１２Ｂの位置姿勢関係を表す外部パラメータである回転行列Ｒ及び並進ベクトルｔ2を求める方法について述べる。まず、エリアカメラ１１Ｂにより平面マーカ１２Ｂを撮影しているため、平面マーカ１２ＢのＺ2座標は全て０になる。そこで以下の式(22)が得られる。
【００９６】
【数１７】
0006645140.tif 000018
【００９７】
この式を展開すると、以下の式(23)，(24)となる。
【００９８】
【数１８】
0006645140.tif 000019
【００９９】
これを展開、整理すると、以下の式(25)になる。
【０１００】
【数１９】
0006645140.tif 000020
【０１０１】
ここで、上記の式(25)は、スケールが次数を一つ減らせる性質を利用し、８本以上の同時方程式を立てることで解くことができる。実際には平面マーカ１２Ｂの座標は８点以上（（Ｘ21，Ｙ21），（Ｘ22，Ｙ22），…，（Ｘ2L，Ｙ2L），（ｕ21，ｖ21），（ｕ22，ｖ22），…，（ｕ2L，ｖ2L））（Ｌは８以上の整数）あるが、この場合方程式と未知数の数が一致しない（式(26)）。
【０１０２】
【数２０】
0006645140.tif 000021
【０１０３】
そこで最小二乗法を行う。この形から外部パラメータである回転行列Ｒ及び並進ベクトルｔ2を求める場合、特異値分解を用いることが良く知られているため（非特許文献１）、ここでは特異値分解によって算出する。
【０１０４】
実際の外部パラメータとするためには、スケール不定及び光軸の向きを固定するためベクトルｔ23で正規化を行い、回転行列の性質より回転行列Ｒが直交行列かつ行列式の値が１を使用して回転行列Ｒ及び並進ベクトルｔ2を求める。このように画像上の計測座標（ピクセル位置）、真値座標（平面マーカ１２Ｂの白色領域１２Ｂａと黒色領域１２Ｂｂの大きさ）、焦点距離、主点座標が分かっていれば線形解法で解を求めることができる。
【０１０５】
次に、透明板２なしの画像から求めた計測座標から、特異値分解を用いてカメラ座標系における平面マーカ１２Ｂの交点１２Ｂｃの座標（Ｘ2'，Ｙ2'，Ｚ2'）を求める。この座標（Ｘ2'，Ｙ2'，Ｚ2'）は以下の式(27)で算出することができる。
【０１０６】
【数２１】
0006645140.tif 000022
【０１０７】
次に、透明板パラメータ算出部１３ｅにより、この平面マーカ１２Ｂの交点１２Ｂｃのカメラ座標系の座標と、透明板２を透過して撮像した画像を用いて透明板２のパラメータ（厚さｄ、屈折率ｎ、カメラ光軸に対する角度θg）を算出する（ステップＳ６）。具体的には、透明板２ありの画像から取得した計測座標を用いて、平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置と透明板２なしの画像から取得した平面マーカ１２Ｂの交点１２Ｂｃのピクセル位置との差が小さくなるように、レーベンバーグマーカート法などの最適化手法を用いて透明板２のパラメータを求める。
【０１０８】
図６に、透明板２の有無によるある平面マーカ１２Ｂの交点１２Ｂｃからの光線の違いを示すように、透明板２がない場合、画像として（ｕ2，ｖ2）の位置に写るケースであっても、透明板２がある場合は光の屈折があるため画像では（ｕ2'，ｖ2'）という異なる位置に写ることが分かる。透明板キャリブレーションとは（ｕ2'，ｖ2'）の座標が得られたときに本来写るであろう（ｕ2，ｖ2）に座標を変換する処理である。
【０１０９】
以下では、この変換のためのパラメータとして透明板２の厚さｄ、透明板２の屈折率ｎ、透明板２のカメラ光軸に対する角度θgを算出する。基本的な考え方は実施例１と同じになるが、ここでは対象となる画像が直線ではなく平面である。そこで、ある座標に対して放射状にある一面を区切ると、実施例１と同等の状態とみなせる。ここではこの傾向を利用して透明板２のパラメータを算出する。
【０１１０】
まず、透明板２の表面と裏面が平行であると仮定する。すると、スネルの法則より透明板２の表面への入射光と透明板２の裏面から出る出射光は平行になる。この性質を利用すると光線の変化は以下の式(28)〜(30)で表せる。
【０１１１】
【数２２】
0006645140.tif 000023
【０１１２】
ここで、ｄ：透明板２の厚さ[mm]、ｅ2：透明板２を透過することによる出射光と光学軸とのズレ[mm]、ｎ：透明板２の屈折率、（Ｘ2'，Ｙ2'，Ｚ2'）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のカメラ座標系における座標[mm]、（Ｘ2''，Ｙ2''，Ｚ2''）：ピクセル位置（ｕ2'，ｖ2'）への光線と平面マーカ１２Ｂのある１地点から伸ばした画像平面と平行な軸との交点の座標[mm]、（ｃu，ｃv）：主点座標[pixel]、（ｆu，ｆv）：焦点距離[pixel]、（ｕ2，ｖ2）：透明板２なしの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、（ｕ2'，ｖ2'）：透明板２ありの場合の平面マーカ１２Ｂのある１地点のピクセル位置[pixel]、θ2：透明板２に垂直な軸と透明板２の出射光のなす角度[rad]、θ02：透明板２なしの場合の平面マーカ１２Ｂのある１地点からエリアカメラ１１Ｂへの光線とカメラ光軸との角度（（ｕ2'，ｖ2'）からの光線とカメラ光軸とがなす角）[rad]、θg：カメラ光軸に対する透明板２に垂直な軸の角度[rad]、θ2'：透明板２に垂直な軸と透明板内の光線とのなす角度[rad]である。
ここで、（Ｘ2'，Ｙ2'，Ｚ2'）、（Ｘ2''，Ｙ2''，Ｚ2''）はどちらもカメラ座標系のため、Ｚ2''＝Ｚ2'、ｕ2'：ｆu＝Ｘ2''：Ｚ2''、ｖ2'：ｆv＝Ｙ2''：Ｚ2''より、以下の式(31)が成り立つ。
【０１１３】
【数２３】
0006645140.tif 000024
【０１１４】
これにより、式(30)においてまだ未算出の変数は出射光と光学軸とのズレｅ2だけとなった。以下に、ズレｅ2を算出する手法について説明する。まず、透明板２に垂直な軸と透明板２の出射光のなす角θ2[rad]、（ｕ2'，ｖ2'）からの光線とカメラ光軸とがなす角θ02[rad]、透明板２に垂直な軸と透明板２内の光線とのなす角θ2'[rad]については以下の式(32)〜(34)で算出できる。
【０１１５】
【数２４】
0006645140.tif 000025
【０１１６】
ここで、θ'gは光軸に対して透明板２の光軸中心から光線への直線がどの程度傾いているかを表す角度であり、θgから求めることができる。まず、光軸ベクトルを透明板２に射影したベクトルを求める。次にこのベクトルを透明板２の法線ベクトルに対して回転させ、（Ｘ2'，Ｙ2'，Ｚ2'）を通る光線と交差するベクトルとする。最後にこのベクトルと光軸とのなす角がθ'gとなる。
これ以降については実施例１と同様になる。よって、出射光と光学軸とのズレｅ2は以下の式(35)で表される。
【０１１７】
【数２５】
0006645140.tif 000026
【０１１８】
ここで、透明板２の厚さｄ、透明板２のカメラ光軸に対する角度θg、透明板２の屈折率ｎがまだ未算出のパラメータとなる。そこで次の式(36)の二乗誤差を最小化するｄ，θg，ｎを求める。
【０１１９】
【数２６】
0006645140.tif 000027
【０１２０】
ここで、Ｎ２は平面マーカ１２Ｂの交点１２Ｂｃの数である。この数式は、透明板２ありの場合のピクセル位置ｕ2'からの変換結果と透明板２無しの場合のピクセル位置ｕ2との誤差を最小化するパラメータを算出するという意味になる。これにはレーベンバーグマーカート法などの最適化手法を用いる。
これで、透明板２のパラメータである厚さｄ、角度θg、屈折率ｎが算出される。
【０１２１】
その後、実施例１と同様にキャリブレーション処理部１３ｆにより、計測されるｕ2'から透明板２がない場合と同等のピクセル位置ｕ2を算出する（ステップＳ７）。算出にはＺ2'という撮影対象の距離（エリアカメラ１１Ｂから平面マーカ１２ＢまでのＺ軸方向の距離）が必要になるが、実施例１と同様に、これには撮像するワーキングディスタンスを固定することで解決するか、別の手段で対象物までの距離Ｚ2'を計測する。
【０１２２】
このように構成される本実施例に係る画像のキャリブレーション装置及びキャリブレーション方法によれば、以下の作用効果が得られる。すなわち、
１）透明板２のパラメータを画像データとマーカ座標系座標データの真値のみで算出することが可能である。
２）透明板２や平面マーカ１２Ｂの設置位置の制約が少ないキャリブレーション手法である。
３）透明板パラメータの算出と平面マーカ１２Ｂのカメラ座標系座標の算出が可能である。
４）エリアカメラ１１Ｂでの透明板キャリブレーションが可能である。
【０１２３】
なお、本実施例では、平面マーカ１２Ｂを、矩形状の白色領域１２Ｂａと黒色領域１２Ｂｂとをチェスボード型に配置したものとして説明したが、平面マーカ１２Ｂの配色は上述した実施例に限定されるものではなく、淡色の領域と濃色の領域とをチェスボード型に配置するなど、二つの領域の境界が明確に判断できる配色であればよい。
【産業上の利用可能性】
【０１２４】
本発明は、透明板を介してカメラで撮影した画像を、透明板がない状態と同等の画像に校正する画像のキャリブレーション装置及びキャリブレーション方法に適用することができる。
【符号の説明】
【０１２５】
１  ケース
２  透明板
１１Ａ  ラインセンサカメラ
１１Ｂ  エリアカメラ
１２Ａ  直線マーカ
１２Ａａ  白帯（白色領域）
１２Ａｂ  黒帯（黒色領域）
１２Ａｃ  切り替え地点
１２Ｂ  平面マーカ
１２Ｂａ  白色領域
１２Ｂｂ  黒色領域
１２Ｂｃ  交点
１３  画像処理装置
１３ａ  画像入力部
１３ｂ  計測座標算出部
１３ｃ  外部パラメータ算出部
１３ｄ  カメラ座標系変換部
１３ｅ  透明板パラメータ算出部
１３ｆ  キャリブレーション処理部
１３ｇ  記憶部
【図１】
0006645140.tif 000028
【図２】
0006645140.tif 000029
【図３】
0006645140.tif 000030
【図４】
0006645140.tif 000031
【図５】
0006645140.tif 000032
【図６】
0006645140.tif 000033
【図７】
0006645140.tif 000034
【図８】
0006645140.tif 000035