(57)【要約】  カメラ校正装置（１０）にて外部パラメータ算出部（１３）は、正規化座標変換部（１２）にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、回転ベクトル及び回転行列を算出して出力する。画像平面内法線ベクトルは、世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する。「評価関数」は、世界座標空間における上記の基準平面に対する法線周りの回転パラメータについて過決定となる関数である。
2020188799.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備するカメラ校正装置。
【請求項２】
前記外部パラメータ算出部は、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
前記算出された回転行列を出力すると共に前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとして出力する、
請求項１記載のカメラ校正装置。
【請求項３】
前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
請求項２記載のカメラ校正装置。
【数１】
2020188799.tif 000017
ただし、ｒは、前記回転ベクトルを表し、ｍ１及びｍ１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ２及びｍ２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、//  //は、ノルムを表す。
【請求項４】
前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
請求項２又は３に記載のカメラ校正装置。
【請求項５】
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
請求項４記載のカメラ校正装置。
【請求項６】
前記３次元座標算出部は、次の式に基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する、
請求項５記載のカメラ校正装置。
【数２】
2020188799.tif 000018
ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。
【請求項７】
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
請求項４記載のカメラ校正装置。
【請求項８】
前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
請求項５から７のいずれか１項に記載のカメラ校正装置。
【請求項９】
前記最適化部は、次の式に基づいて、前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標と前記外部パラメータ算出部から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を行うことにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、
請求項８に記載のカメラ校正装置。
【数３】
2020188799.tif 000019
ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ３は、並進ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍｉ及びＭｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘｉ，ｙｉ，ｚｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、//  //は、ノルムを表す。
【請求項１０】
請求項１から９のいずれか１項に記載のカメラ校正装置と、
前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
を具備する、カメラシステム。
【請求項１１】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
カメラ校正方法。
【請求項１２】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
複数のカメラで構成された多視点カメラシステムを用いて３次元的な画像解析を行うために、カメラの光学的な特性及びカメラ同士の位置関係を明らかにすることが必要である。光学的な特性は、個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して「内部パラメータ」と呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。また、カメラ同士の位置関係を表すパラメータは、回転行列及び並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、３次元座標の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方もしくは両方を計算することは、「カメラ校正（カメラキャリブレーション）」と呼ばれる。また、内部パラメータ及び外部パラメータの一方を、又は、これらの両方を区別することなく、単に「カメラパラメータ」と呼ぶことがある。【０００３】
内部パラメータが既知という条件の下でカメラ校正を行う方法はPerspective-N-Point（PnP）問題とも呼ばれる。このＰｎＰ問題を解く方法として、種々の方法が提案されている（例えば、特許文献１）。特許文献１に開示されている技術では、画像から水平面に垂直な線分を検出し、検出した複数の垂直線分を仮想平面に投影し、仮想平面上での各線分の平行性を最小化する評価関数を用いて回転行列を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６０１１５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者は、特許文献１に開示されている技術では、上記の評価関数の最小化において観測線分の増加に伴い未知数の方が多くなる、いわゆる劣決定問題になる可能性があることを見出した。劣決定問題の場合、観測する線分の数を増やしても拘束式の数が常に不足し、理論上の最適解が無限個存在するため、現実的に不可能なカメラパラメータも最適解になってしまう。すなわち、算出される外部パラメータの精度が劣化する可能性がある。【０００６】
本開示の目的は、外部パラメータを精度良く算出できる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【０００７】
第１の態様にかかるカメラ校正装置は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備する。【０００８】
第２の態様にかかるカメラ校正方法は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する。【０００９】
第３の態様にかかる非一時的なコンピュータ可読媒体は、カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラムを格納する。
【発明の効果】
【００１０】
本開示により、外部パラメータを精度良く算出できる、カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態におけるカメラ校正装置の一例を示すブロック図である。
【図２】第２実施形態におけるカメラシステムの一例を示すブロック図である。
【図３】カメラ座標系と世界座標系との関係の説明に供する図である。
【図４】第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
【図５】第３実施形態におけるカメラ校正装置の一例を示すブロック図である。
【図６】第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
【図７】第４実施形態におけるカメラ校正装置の一例を示すブロック図である。
【図８】第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
【図９】カメラ校正装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
【００１３】
＜第１実施形態＞
図１は、第１実施形態におけるカメラ校正装置の一例を示すブロック図である。図１においてカメラ校正装置１０は、取得部１１と、正規化座標変換部１２と、外部パラメータ算出部１３とを有している。
【００１４】
取得部１１は、カメラ（不図示）によって「世界座標空間」が撮影された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。複数の「画像平面内法線ベクトル」は、「世界座標空間」における「基準平面」に対する複数の「世界座標空間内法線ベクトル」にそれぞれ対応する。「世界座標空間」は、世界座標系によって規定される空間である。「基準平面」は、例えば地面又は床等の水平面であってもよい。また、「世界座標空間内法線ベクトル」は、例えば上記の水平面に対して垂直に延びる、ビル又は棚等の辺であってもよい。また、世界座標空間内法線ベクトルの始点及び終点は、基準平面上にあってもよいし基準平面上でなくてもよい。
【００１５】
正規化座標変換部１２は、取得部１１にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である、「画像平面内始点座標」及び「画像平面内終点座標」を、カメラ（不図示）の「内部パラメータ」に基づいて、正規化座標である、「正規化始点座標」及び「正規化終点座標」へ変換する。ここでは、カメラ（不図示）の内部パラメータは、既知であり、正規化座標変換部１２によって取得可能になっている。
【００１６】
外部パラメータ算出部１３は、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出して出力する。ここで、「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。
【００１７】
以上のように第１実施形態によれば、カメラ校正装置１０にて外部パラメータ算出部１３は、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、回転ベクトル及び回転行列を算出して出力する。「評価関数」は、世界座標空間における上記「基準平面」に対する法線周りの回転パラメータについて過決定となる関数である。
【００１８】
このカメラ校正装置１０の構成により、劣決定問題を回避して、外部パラメータを算出することができる。これにより、外部パラメータを精度良く算出することができる。
【００１９】
＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。
【００２０】
＜カメラシステムの概要＞
図２は、第２実施形態におけるカメラシステムの一例を示すブロック図である。図２においてカメラシステム１は、カメラ２０と、画像供給装置３０と、カメラ校正装置４０とを有している。
【００２１】
カメラ２０は、「世界座標系」における撮影対象エリアを撮影して画像Ｐ１を形成する。
【００２２】
ここで、カメラ２０の「カメラ座標系」と「世界座標系」との関係について説明する。図３は、カメラ座標系と世界座標系との関係の説明に供する図である。
【００２３】
図３においてカメラ座標系の原点は、世界座標系のｚ軸上に位置し、世界座標系の座標［０，０，ｈ］（＝ｃ）を有している。すなわち、カメラ２０の位置は、世界座標系のｚ座標の１次元で表すことができ、また、カメラ２０についての並進ベクトルＴも、１次元という少ないパラメータで表現することができる。
【００２４】
また、カメラ座標系のｚｃ軸は、カメラ２０の光軸に対応する。そして、世界座標系のｘｙ平面に対するｚｃ軸の投影は、世界座標系のｙ軸と重なる。すなわち、世界座標系の＋ｚ方向から見たときに、カメラ座標系のｚｃ軸と世界座標系のｙ軸とは重なるようになっている。すなわち、カメラ２０のヨー回転（つまり、ｙｃ軸周りの回転）が制限されている。これにより、カメラ２０の回転行列は、ロール回転（ｚｃ軸周りの回転）及びピッチ回転（ｘｃ軸周りの回転）の２次元で表すことができ、また、カメラ２０の回転行列Ｒも２次元という少ないパラメータで表現することができる。
【００２５】
なお、本実施形態では、世界座標系の３次元座標は明示的には与えられないため、世界座標系とカメラ座標系を任意に定義付けしてよい。そのため、図３に示すように、世界座標系及びカメラ座標系を設定しても、一般性は失われない。
【００２６】
図２の説明に戻り、画像供給装置３０は、カメラ２０にて形成された画像を取得して、取得した画像をカメラ校正装置４０へ供給する。例えば、画像供給装置３０は、取得した画像を、通信部（不図示）を介してカメラ校正装置４０へ送信してもよい。該画像は、ある時刻の１枚の静止画でもよいし、時系列の連続した動画の各フレーム画像でもよいし、時系列の異なる複数の静止画でもよい。
【００２７】
＜カメラ校正装置の構成例＞
図２においてカメラ校正装置４０は、取得部４１と、正規化座標変換部４２と、外部パラメータ算出部４３と、記憶部４４とを有している。
【００２８】
取得部４１は、カメラ校正装置４０から供給された画像の「画像平面」において、複数の「画像平面内法線ベクトル」を取得する。例えば、取得部４１は、カメラ校正装置４０から供給された画像において、ビル又は箱のような、地面と垂直に交わる又は接する人工物の線分を、画像処理により自動的に取得してもよい。又は、取得部４１は、カメラ校正装置４０から供給された動画における特定人物の追跡と関節検出とを組み合わせて各フレーム画像における背骨関節を法線ベクトルとして自動的に取得してもよい。又は、取得部４１は、カメラ校正装置４０から供給された画像に対してユーザが手動入力による「画像平面内法線ベクトル」の指定を受け付けてもよい。なお、取得された複数の画像平面内法線ベクトルに対応する、複数の「世界座標空間内法線ベクトル」の世界座標空間における長さは、互いに異なっていてもよい。また、上記の通り、世界座標空間内法線ベクトルの始点及び終点は、基準平面上にあってもよいし基準平面上でなくてもよい。図３に示した例では、世界座標空間内法線ベクトルの始点は、基準平面上にある。
【００２９】
正規化座標変換部４２は、第１実施形態の正規化座標変換部１２と同様に、取得部４１にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である、「画像平面内始点座標」及び「画像平面内終点座標」を、カメラ２０の「内部パラメータ」に基づいて、正規化座標である、「正規化始点座標」及び「正規化終点座標」へ変換する。カメラ２０の「内部パラメータ」は、記憶部４４に予め記憶されている。ここで、正規化座標変換部４２は、「画像平面内始点座標」及び「画像平面内終点座標」を斉次化する。具体的には、「画像平面内始点座標」及び「画像平面内終点座標」は、図３のｍｉ及びｍｉ’に示すように、３次元に斉次化される。すなわち、「画像平面内始点座標」及び「画像平面内終点座標」は、２次元の画像座標にスケールの不定性を加えた３次元座標で表される。
【００３０】
外部パラメータ算出部４３は、第１実施形態の外部パラメータ算出部１３と同様に、正規化座標変換部１２にて各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出して出力する。
【００３１】
例えば、外部パラメータ算出部４３は、正規化座標変換部４２にて各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２０についての回転行列におけるｚｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、外部パラメータ算出部４３は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚｃ軸周りの回転ベクトルを算出する。そして、外部パラメータ算出部４３は、算出した所望のｚｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、外部パラメータ算出部４３は、算出した回転行列を出力すると共に、算出した所望のｚｃ軸周りの回転ベクトルをカメラ２０についての並進ベクトルとして出力する。ここで、１つの画像平面内法線ベクトルからｚｃ軸周りの回転ベクトルに対する１つの拘束条件が得られる。このため、２つ以上の画像平面内法線ベクトルを用いることにより、ｚｃ軸周りの回転ベクトルが計算可能となる。さらに、上記の通り、ｙｃ軸周りの回転角度は、ゼロとおける。このため、計算されたｚｃ軸周りの回転ベクトルから、ｚｃ軸周りの回転角度及びｘｃ軸周りの回転角度が推定可能であるため、３×３の回転行列の全体を復元することができる。また、図３を参照して説明したカメラ座標系と世界座標系との関係では、カメラ２０の並進ベクトルは、回転行列のzｃ軸周りの回転ベクトルの定数倍に等しい。さらに、世界座標空間内法線ベクトルの３次元座標が未知なことを利用すると、カメラ２０の高さ（ｚ座標）を１としてもよい。すなわち、並進ベクトルは、回転行列の第３列として計算すればよい。なお、この外部パラメータ算出部４３による外部パラメータの算出については、後に詳しく説明する。
【００３２】
＜カメラ校正装置の動作例＞
図４は、第２実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
【００３３】
取得部４１は、カメラ２０で撮影された画像から、複数の画像平面内法線ベクトルを取得する（ステップＳ１１）。
【００３４】
正規化座標変換部４２は、各画像平面内法線ベクトルの画像平面内始点座標及び画像平面内終点座標を、カメラ２０の内部パラメータに基づいて、正規化始点座標及び正規化終点座標へ変換する（ステップＳ１２）。
【００３５】
外部パラメータ算出部４３は、各画像平面内法線ベクトルについて得られた正規化始点座標と正規化終点座標と「評価関数」とを用いて、並進ベクトル及び回転行列を算出する（ステップＳ１３）。
【００３６】
ここで、外部パラメータ算出部４３による外部パラメータの算出について具体例を用いて詳しく説明する。なお、以下の説明では、図３に示した記号を用いる。すなわち、カメラ２０は、世界座標系のｚ軸上のｃ＝［０，０，ｈ］Ｔに位置している。また、世界座標系のｘｙ平面に対するｚｃ軸の投影は、世界座標系のｙ軸と重なっている。また、ｉ番目の世界座標空間内法線ベクトルの始点Ｍｉ＝［ｘｉ，ｙｉ，０］Ｔ及び終点Ｍｉ’＝［ｘｉ，ｙｉ，ｚｉ］Ｔは、それぞれ、画像平面上では、ｍｉ＝［ｕｉ，ｖｉ，１］Ｔ及びｍｉ’＝［ｕｉ’，ｖｉ’，１］Ｔとして観測されている。ここで、ｍｉ及びｍｉ’は、内部パラメータにより正規化された斉次座標系で表されている。また、上添え字のＴは、ベクトル又は行列の転置を表している。
【００３７】
まず、解くべき問題の定義を行うことにする。
【００３８】
カメラ２０の回転行列Ｒは、上記の通り、ｙｃ軸周りの回転角度をゼロとおけるため、ｘｃ軸周りの回転角度θｘ及びｚｃ軸周りの回転角度θｚを用いて、次の式（１）によって表すことができる。
【数１】
2020188799.tif 000003
【００３９】
また、カメラ２０の並進ベクトルtは、カメラ２０の位置ｃと回転行列Ｒとを用いて、次の式２によって表すことができる。
【数２】
2020188799.tif 000004
ここで、ｒｊは、回転行列Ｒの第ｊ列目のベクトルを表している。すなわち、式２は、並進ベクトルtが、ｚｃ軸周りの回転ベクトルの定数倍であることを示している。
【００４０】
上記の式（１）及び式（２）を用いると、ｉ番目の世界座標空間内法線ベクトルと画像平面内法線ベクトルとの射影関係は、次の式（３）によって表される。
【数３】
2020188799.tif 000005
【００４１】
ここで、本実施の形態では、世界座標系を任意に設定できるため、世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘｉ，ｙｉ，ｚｉ（２≦ｉ≦ｎ）とカメラの高さｈとの間には、定数倍の不定性が存在する。すなわち、世界座標空間に対する既知の情報（例えば、ある１つの世界座標空間内法線ベクトルのメートル単位での長さ）が与えられない限り、世界座標空間における絶対的な位置関係は不明で、相対的な位置関係のみが求められる。換言すれば、相対的な大きさは、任意に決定できる。そこで、カメラの高さをｈ＝１とおくと、式（３）は、次の式（４）のように表すことができる。
【数４】
2020188799.tif 000006
【００４２】
式（４）より、ｎ個の画像平面内法線ベクトルを取得できた場合、その未知数の個数は、２＋３ｎ個である（ｘｃ軸周りの回転角度θｘ及びｚｃ軸周りの回転角度θｚ、並びに、各世界座標空間内法線ベクトルの始点及び終点の３次元座標ｘｉ，ｙｉ，ｚｉ）。一方、１つの画像平面内法線ベクトルから得られる条件数は、４個（ｕｉ，ｖｉ，ｕｉ’，ｖｉ’）であるため、ｎ個の画像平面内法線ベクトルを取得できた場合の条件数は、４ｎ個である。すなわち、ｎが２以上のとき、条件数が未知数を上回る（４ｎ＞２＋３ｎ）ことになり、問題を解くことが可能になる。
【００４３】
続いて、式（４）を解くことにより、回転行列Ｒ及び並進ベクトルｔを算出する方法について説明する。
【００４４】
射影的奥行きλ、λ’を用いて、式（４）の両辺の不定性を除くと、次の式（５）で表される。
【数５】
2020188799.tif 000007
【００４５】
式（５）における上式と下式との差分は、次の式（６）によって表される。
【数６】
2020188799.tif 000008
【００４６】
式（６）は、３つのベクトルｍｉ、ｍｉ’及びｒ３が、互いに線形従属であることを示している。すなわち、式（７）に示すように、これら３つのベクトルのスカラー３重積は、ゼロである。
【数７】
2020188799.tif 000009
【００４７】
１つの画像平面内法線ベクトル毎に、式（７）が得られる。
【００４８】
従って、２つの画像平面内法線ベクトルが取得できた場合、ｒ３は、次の式（８）に表すように、ベクトルのクロス積を用いて、算出することができる。
【数８】
2020188799.tif 000010
【００４９】
また、ｎ個の画像平面内法線ベクトルが取得できた場合、次の式（９）に示す最小二乗法によって、ｒ３は算出することができる。
【数９】
2020188799.tif 000011
【００５０】
以上のように、回転行列Ｒの第３列目ｒ３を算出することができる。
【００５１】
上記の式（１）に示したように、回転行列Ｒの第３列目ｒ３は、θｘ及びθｚを用いて陽に表されている。すなわち、ｒ３の各成分から逆三角関数を用いて、θｘ及びθｚを算出することができる。回転行列Ｒは、ｘｃ軸周りの回転及びｚｃ軸周りの回転のみで表されているため、θｘ及びθｚを算出できれば、回転行列Ｒの全成分を算出することができる。
【００５２】
ここで、式（８）及び式（９）は、２つ以上の画像平面内法線ベクトルを取得できれば、回転行列を推定可能であることを示している。また、取得される画像平面内法線ベクトルの数が増えても、その未知数は、回転行列の第３列のみである。式（９）は、数値的に安定な線形最小二乗法であり、nが大きいほど安定する。従って、上記の特許文献１で用いられている評価関数と異なり、取得する画像平面内法線ベクトルの数が多ければ、より高精度に回転行列を求めることができる。
【００５３】
並進ベクトルtは、回転行列Ｒの第３列ｒ３そのものであるから、回転行列Ｒの計算と同時にすでに計算されたことになる。
【００５４】
以上のように第２実施形態によれば、カメラ校正装置４０にて外部パラメータ算出部４３は、正規化座標変換部４２にて各画像平面内法線ベクトルについて得られた正規化始点座標のベクトルと正規化終点座標のベクトルとのクロス積とカメラ２０についての回転行列におけるｚｃ軸周りの回転ベクトルとの内積である、スカラー３重積を、複数の画像平面内法線ベクトルについて算出する。そして、外部パラメータ算出部４３は、算出した複数のスカラー３重積の総和を上記の評価関数として用いて、該総和を最少化することが期待される所望のｚｃ軸周りの回転ベクトルを算出する。そして、外部パラメータ算出部４３は、算出した所望のｚｃ軸周りの回転ベクトルに基づいて回転行列を算出する。そして、外部パラメータ算出部４３は、算出した回転行列を出力すると共に、算出した所望のｚｃ軸周りの回転ベクトルをカメラ２０についての並進ベクトルとして出力する。
【００５５】
このカメラ校正装置４０の構成により、劣決定問題を回避して、外部パラメータを算出することができる。これにより、外部パラメータを精度良く算出することができる。また、３次元座標が未知の条件下で画像情報のみを利用して単眼カメラの校正が可能である。
【００５６】
＜変形例＞
第２実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
【００５７】
＜１＞世界座標系及びカメラ座標系の設定は、上記の設定に限定されない。例えば、ある１つの世界座標空間内法線ベクトルの始点を世界座標系の原点とし、別の世界座標空間内法線ベクトルをｘ軸上に乗るようにしてもよい。その場合、Ｍ１＝［０，０，０］Ｔ、Ｍ１’＝［０，０，ｚ１］Ｔ、Ｍ２＝［０，ｙ２，０］Ｔ、Ｍ１’＝［０、ｙ２，ｚ２］Ｔとなり、並進ベクトルｔは、回転行列の第３列とはならない。しかし、未知数の数は変わらないため、２つ以上の画像平面内法線ベクトルが取得できれば、回転行列及び並進ベクトルを求めることができる。異なる３次元座標系は剛体変換によって一致できるため、原点の設定により解くべき未知数が変わったとしても数学的には等価な問題である。
【００５８】
＜２＞基準平面は、水平面に限定されない。例えば、壁面を基準平面として、床面に平行な線分を世界座標空間内法線ベクトルと定義してもよい。
【００５９】
＜３＞回転行列の表現方法は、上記の式（１）に限定されない。例えば、y軸周りの成分をゼロとした四元数を用いてもよい。
【００６０】
＜４＞回転行列の第３列の計算方法は、式（８）または式（９）に限定されない。式（８）及び式（９）は、画像平面内法線ベクトル同士の交点、つまり、垂直方向の消失点を求めていることに等しい。そのため、垂直方向の消失点を計算する様々な方法を代替に用いてもよい。また、式（９）はいわゆる代数学的誤差を最小化しているが、幾何学的誤差やサンプソン誤差といったより高度な誤差解析方法を用いてもよい。さらに、公知であるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法を式（８）及び式（９）と組み合わせて、誤差の大きい画像平面内法線ベクトルを除去しながら、消失点を計算してもよい。
【００６１】
＜５＞世界座標空間内法線ベクトルの始点のz座標は、ゼロに限定されない。すなわち、世界座標空間内法線ベクトルは必ずしも基準平面に接している必要はない。なぜならば、式（６）から式（７）への導出で示したように、z座標の値は消去されるため、式（８）及び式（９）へ影響を与えないからである。
【００６２】
＜第３実施形態＞
第３実施形態は、画像平面内法線ベクトルと、回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する、実施形態に関する。第３実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第３実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図５に示すカメラ校正装置５０を含んでいる。
【００６３】
＜カメラ校正装置の構成例＞
図５は、第３実施形態におけるカメラ校正装置の一例を示すブロック図である。図５においてカメラ校正装置５０は、３次元座標算出部５１を有している。
【００６４】
３次元座標算出部５１は、取得部４１にて取得された複数の画像平面内法線ベクトルと、外部パラメータ算出部４３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する。
【００６５】
３次元座標算出部５１は、上記の式（４）を変形することによって得られる、次の式（１０）を用いて、上記の３次元座標を算出することができる。
【００６６】
【数１０】
2020188799.tif 000012
ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。
【００６７】
式（１０）は、［ｘｉ，ｙｉ，ｚｉ］Ｔを未知数とする線形連立方程式であるので、容易に解くことができる。
【００６８】
＜カメラ校正装置の動作例＞
図６は、第３実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。図６のフローチャートにおいてステップＳ１１からステップＳ１３は、図４のフローチャートと同じである。
【００６９】
３次元座標算出部５１は、ステップＳ１１にて取得された画像平面内法線ベクトルと、ステップＳ１３にて算出された回転行列及び並進ベクトルとに基づき、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出する（ステップＳ２１）。
【００７０】
＜変形例＞
第３実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
【００７１】
＜１＞各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、世界座標系における２つの３次元座標を算出ために、式（４）を利用したが、これに限定されるものではない。例えば、式（５）を変形した式によって、射影的奥行きも含めて３次元座標を計算してもよい。
【００７２】
＜２＞３次元座標算出部５１は、複数の画像平面内法線ベクトルと回転行列及び並進ベクトルとに加えて、複数の画像平面内法線ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又はカメラ座標系の原点のｚ軸上の座標とに基づき、絶対的な３次元座標を算出してもよい。すなわち、取得した複数の画像平面内法線ベクトルの中で少なくとも１つに対応する世界座標空間内法線ベクトルについて、その絶対的な長さ（例えばメートル単位）が既知である場合、それを利用して、相対的な関係であるカメラ位置や世界座標空間内法線ベクトルの３次元座標を絶対的な関係へと変換できる。例えば、あるｊ番目の世界座標空間内法線ベクトルの終点のｚ座標がｚｊ＝ａと既知である場合、その他の世界座標空間内法線ベクトルの３次元座標とカメラの高さhについて、ａ／ｚｊ倍すればよい。この処理は、３次元座標算出部５１がｚｊ＝ａを入力として受け付けて出力前に３次元座標算出部５１によって実行されてもよいし、カメラ校正装置５０の出力後に後処理として実行されてもよい。
【００７３】
＜第４実施形態＞
第４実施形態は、回転行列、並進ベクトル、及び、３次元座標算出部にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、最適化処理に関する、第４実施形態におけるカメラシステムの基本構成は、第２実施形態におけるカメラシステム１と同じなので、図２を参照して説明する。すなわち、第４実施形態におけるカメラシステム１は、カメラ校正装置４０の代わりに、図７に示すカメラ校正装置６０を含んでいる。
【００７４】
＜カメラ校正装置の構成例＞
図７は、第４実施形態におけるカメラ校正装置の一例を示すブロック図である。図７においてカメラ校正装置６０は、最適化部６１を有している。
【００７５】
最適化部６１は、回転行列、並進ベクトル、及び、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する。例えば、最適化部６１は、「最適化処理」にて、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての上記２つの３次元座標を外部パラメータ算出部４３から出力された回転行列及び並進ベクトルを用いて画像平面に射影した２つの「再投影座標」を算出する。そして、最適化部６１は、算出した各画像平面内法線ベクトルについての２つの「再投影座標」と各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である「再投影誤差」を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の上記２つの３次元座標を求める。これにより、回転行列、並進ベクトル、及び、上記２つの３次元座標が高精度化される。
【００７６】
例えば、最適化部６１は、次の式（１１）に基づいて、３次元座標算出部５１にて算出された各画像平面内法線ベクトルについての上記２つの３次元座標と外部パラメータ算出部４３から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を実行してもよい。
【００７７】
【数１１】
2020188799.tif 000013
ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ３は、並進ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍｉ及びＭｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘｉ，ｙｉ，ｚｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、//  //は、ノルムを表す。
【００７８】
ここで、上記の式（８）〜（１０）は、いわゆる代数的誤差を最小化する線形連立方程式に基づいている。また、回転行列、並進ベクトル、３次元座標と順番に計算していくため、後段になるほど誤差が蓄積する可能性がある。そこで、式（１１）に表されるようないわゆる再投影誤差を最小化することで、パラメータ間の誤差を均質化し、統計的に最適なパラメータを計算することができる。
【００７９】
＜カメラ校正装置の動作例＞
図８は、第４実施形態におけるカメラ校正装置の処理動作の一例を示すフローチャートである。
【００８０】
最適化部６１は、ステップＳ１３にて算出された回転行列及び並進ベクトル、並びに、ステップＳ２１にて算出された各画像平面内法線ベクトルについての２つの３次元座標の、「最適化処理」を実行する（ステップＳ３１）。
【００８１】
＜変形例＞
第４実施形態におけるカメラシステム１に対しては、次の様な変形を施すことができる。
【００８２】
上記の式（１１）において、必ずしもすべてのパラメータを最適化する必要はない。例えば、第３実施形態の変形例＜２＞で述べたように、長さが既知の世界座標空間内法線ベクトルが存在する場合、その法線ベクトルの両端点の３次元座標は変数ではなく固定値としてよい。これにより、未知数の数が減少するため、より安定して式（１１）の最適化を行うことができる。
【００８３】
＜他の実施形態＞
図９は、カメラ校正装置のハードウェア構成例を示す図である。図９においてカメラ校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
【００８４】
第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０は、それぞれ、図９に示したハードウェア構成を有することができる。第１実施形態から第４実施形態のカメラ校正装置１０，４０，５０，６０の取得部１１，４１と、正規化座標変換部１２，４２と、外部パラメータ算出部１３，４３と、３次元座標算出部５１と、最適化部６１とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。記憶部４４は、メモリ１０２によって実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラ校正装置１０，４０，５０，６０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラ校正装置１０，４０，５０，６０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０，４０，５０，６０に供給できる。
【００８５】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８６】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８７】
（付記１）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備するカメラ校正装置。
【００８８】
（付記２）
前記外部パラメータ算出部は、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
前記算出された回転行列を出力すると共に前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとして出力する、
付記１記載のカメラ校正装置。
【００８９】
（付記３）
前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
付記２記載のカメラ校正装置。
【数１２】
2020188799.tif 000014
ただし、ｒは、前記回転ベクトルを表し、ｍ１及びｍ１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ２及びｍ２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、//  //は、ノルムを表す。
【００９０】
（付記４）
前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
付記２又は３に記載のカメラ校正装置。
【００９１】
（付記５）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記４記載のカメラ校正装置。
【００９２】
（付記６）
前記３次元座標算出部は、次の式に基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する、
付記５記載のカメラ校正装置。
【数１３】
2020188799.tif 000015
ただし、ベクトルｒ１，ｒ２，ｒ３は、それぞれ、前記回転行列の列ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、［ｘｉ，ｙｉ，ｚｉ］は、算出対象の３次元座標を表す。
【００９３】
（付記７）
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
付記４記載のカメラ校正装置。
【００９４】
（付記８）
前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
付記５から７のいずれか１項に記載のカメラ校正装置。
【００９５】
（付記９）
前記最適化部は、次の式に基づいて、前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標と前記外部パラメータ算出部から出力された回転行列及び並進ベクトルとを初期値として用いて、非線形最適化を行うことにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、
付記８に記載のカメラ校正装置。
【数１４】
2020188799.tif 000016
ただし、Ｐｒｏｊは、３次元ベクトルの第３成分によって、第１成分及び第２成分のそれぞれを除算して、斉次化座標系へ変換する関数を表し、Ｒは、回転行列を表し、ｒ３は、並進ベクトルを表し、ｍｉ及びｍｉ’は、ｉ番目の画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、Ｍｉ及びＭｉ’は、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、θｚは、前記カメラ座標系の第１軸周りの回転角度を表し、θｘは、前記カメラ座標系の第１軸以外の第２軸周りの回転角度を表し、ｘｉ，ｙｉ，ｚｉは、ｉ番目の画像平面内法線ベクトルの始点及び終点についての２つの３次元座標を表し、//  //は、ノルムを表す。
【００９６】
（付記１０）
付記１から９のいずれか１項に記載のカメラ校正装置と、
前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
を具備する、カメラシステム。
【００９７】
（付記１１）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
カメラ校正方法。
【００９８】
（付記１２）
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【符号の説明】
【００９９】
１  カメラシステム
１０  カメラ校正装置
１１  取得部
１２  正規化座標変換部
１３  外部パラメータ算出部
２０  カメラ
３０  画像供給装置
４０  カメラ校正装置
４１  取得部
４２  正規化座標変換部
４３  外部パラメータ算出部
４４  記憶部
５０  カメラ校正装置
５１  ３次元座標算出部
６０  カメラ校正装置
６１  最適化部
【図１】
2020188799.tif 000020
【図２】
2020188799.tif 000021
【図３】
2020188799.tif 000022
【図４】
2020188799.tif 000023
【図５】
2020188799.tif 000024
【図６】
2020188799.tif 000025
【図７】
2020188799.tif 000026
【図８】
2020188799.tif 000027
【図９】
2020188799.tif 000028
【手続補正書】
【提出日】令和3年8月25日(2021.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得する取得部と、
前記取得部にて取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換する、正規化座標変換部と、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数とを用いて、前記カメラについての並進ベクトル及び回転行列を算出して出力する、外部パラメータ算出部と、
を具備するカメラ校正装置。
【請求項２】
前記外部パラメータ算出部は、
前記正規化座標変換部にて各画像平面内法線ベクトルについて得られた前記正規化始点座標のベクトルと前記正規化終点座標のベクトルとのクロス積と前記カメラについての回転行列におけるカメラ座標系の第１軸についての軸周りの回転ベクトルとの内積である、スカラー３重積を、前記複数の画像平面内法線ベクトルについて算出し、
前記算出された複数のスカラー３重積の総和を前記評価関数として用いて、前記総和を最少化することが期待される所望の前記回転ベクトルを算出すると共に前記算出された所望の回転ベクトルに基づいて前記回転行列を算出し、
前記算出された回転行列を出力すると共に前記算出された所望の回転ベクトルを前記カメラについての並進ベクトルとして出力する、
請求項１記載のカメラ校正装置。
【請求項３】
前記複数の画像平面内法線ベクトルは、第１画像平面内法線ベクトル及び第２画像平面内法線ベクトルであり、
前記外部パラメータ算出部は、次の式に基づいて、前記回転ベクトルを算出する、
請求項２記載のカメラ校正装置。
【数１】
2020188799.tif 000029
ただし、ｒは、前記回転ベクトルを表し、ｍ１及びｍ１’は、前記第１画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、ｍ２及びｍ２’は、前記第２画像平面内法線ベクトルの正規化始点座標及び正規化終点座標を表し、//  //は、ノルムを表す。
【請求項４】
前記カメラ座標系は、前記カメラ座標系の前記第１軸が前記カメラの光軸に対応し、前記カメラ座標系の原点が世界座標系の第１軸上に存在し、且つ、前記世界座標系の第２軸及び第３軸による平面に対する、前記カメラ座標系の前記第１軸の投影が、前記世界座標系の前記第２軸と重なるように、定義されている、
請求項２又は３に記載のカメラ校正装置。
【請求項５】
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルとに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における相対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
請求項４記載のカメラ校正装置。
【請求項６】
前記取得部にて取得された複数の画像平面内法線ベクトルと、前記外部パラメータ算出部にて算出された回転行列及び並進ベクトルと、前記複数の画像平面内ベクトルのうちの少なくとも１つに対応する世界座標空間内法線ベクトルの長さ又は前記カメラ座標系の原点の前記世界座標系の第１軸上の座標とに基づいて、各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標についての、前記世界座標系における絶対的な２つの３次元座標を算出する３次元座標算出部をさらに具備する、
請求項４記載のカメラ校正装置。
【請求項７】
前記３次元座標算出部にて算出された各画像平面内法線ベクトルについての前記２つの３次元座標を前記外部パラメータ算出部から出力された回転行列及び並進ベクトルを用いて前記画像平面に射影した２つの再投影座標と前記各画像平面内法線ベクトルの正規化始点座標及び正規化終点座標との誤差である再投影誤差を最少化することが期待される、調整後の回転行列、調整後の並進ベクトル、及び、調整後の前記２つの３次元座標を求めることにより、前記回転行列、前記並進ベクトル、及び、前記２つの３次元座標を最適化する、最適化部を具備する、
請求項５又は６に記載のカメラ校正装置。
【請求項８】
請求項１から７のいずれか１項に記載のカメラ校正装置と、
前記カメラによって世界座標空間が撮影された画像を前記カメラ校正装置へ供給する画像供給装置と、
を具備する、カメラシステム。
【請求項９】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
カメラ校正方法。
【請求項１０】
カメラによって世界座標空間が撮影された画像の画像平面において、前記世界座標空間における基準平面に対する複数の世界座標空間内法線ベクトルにそれぞれ対応する複数の画像平面内法線ベクトルを取得し、
前記取得された各画像平面内法線ベクトルの始点及び終点についての画像平面内座標である画像平面内始点座標及び画像平面内終点座標を、前記カメラの内部パラメータに基づいて、正規化座標である正規化始点座標及び正規化終点座標へ変換し、
各画像平面内法線ベクトルについて得られた正規化始点座標及び正規化終点座標と、前記世界座標空間における基準平面に対する法線周りの回転パラメータについて過決定となる評価関数を用いて、前記カメラについての並進ベクトル及び回転行列を算出する、
処理を、カメラ校正装置に実行させるプログラム。
【国際調査報告】
2020188799.tif 000030
2020188799.tif 000031