(57)【要約】【課題】レンズと画像センサから構成されるカメラの特性を用いて高精度の画像補正をできるようにする。【解決手段】カメラの焦点距離、画像センサの並進量に加えて、画像センサの傾きをパラメータとして画像センサから得られた画像を補正する。レンズアレイと画像センサから構成されるレンズアレイステレオカメラの場合には、各レンズが同じ方向を向いていること、各レンズの歪み特性が同一であること等を拘束条件として、カメラキャリブレーションを行い画像を補正する。【選択図】図１
2012198031.tif 000002
【特許請求の範囲】
【請求項１】
レンズと画像センサから構成されるカメラで撮像される画像を補正する画像補正方法であって、焦点距離、画像センサの並進量に加えて、画像センサの相対的傾きをパラメータとして、画像センサから得られた画像を補正する画像補正方法。
【請求項２】
前記画像センサの傾きを、画像センサ面の法線ベクトルで記述することを特徴とする請求項１記載の画像補正方法。
【請求項３】
レンズアレイと画像センサから構成されるカメラで撮像される画像を補正する画像補正方法であって、レンズアレイに対する画像センサの相対的傾きと並進、レンズアレイ内の各レンズ共通の歪み係数を補正パラメータとして、画像センサから得られた画像を補正することを特徴とする画像補正方法。
【請求項４】
レンズアレイと画像センサから構成されるカメラで撮像される画像を補正する画像補正方法であって、レンズアレイに対する画像センサの相対的傾きと並進、レンズアレイ内の各レンズ間の距離、各レンズ共通の歪み係数を補正パラメータとして、画像センサから得られた画像を補正することを特徴とする画像補正方法。
【請求項５】
前記画像センサの傾きを、画像センサ面の法線ベクトルおよび、レンズ光軸周りの回転角で表すことを特徴とする請求項３もしくは４記載の画像補正方法。
【請求項６】
前記画像センサの並進を，画像センサ面とレンズアレイ内のひとつのレンズ光軸との交点の座標および当該レンズと前記交点との距離で表すことを特徴とする請求項３もしくは４記載の画像補正方法。
【請求項７】
請求項１もしくは６のいずれか１項に記載の画像補正方法を実施する画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズと画像センサから構成されるカメラで撮像される画像を補正する画像補正方法及び画像補正装置に関する。
【背景技術】
【０００２】
レンズと画像センサから構成されるカメラは、携帯機器、車載機器、医療機器や産業機器等における画像取得手段として有用されているが、このようなカメラを利用して二次元の画像情報のみならず、被写体の三次元形状や被写体までの距離などを高精度に取得する要求が高くなっている。そのためには、カメラから得られた画像を高精度に補正する必要がある。
【０００３】
カメラは、その焦点距離や、画像中心、歪みなどのそれが持つ固有の特性を持ち、それらを検出して、得られた画像を距離測定するのに適した画像に補正することをカメラキャリブレーションという。また、焦点距離や画像中心、歪みなどの固有特性を内部パラメータとも呼ぶ。
【０００４】
カメラキャリブレーションでは、従来から、非特許文献１のTsaiの方式あるいは、非特許文献２のZhangの方式が主流であった。これらの方式はキャリブレーションパターンという特殊なチャートを１枚（Tsaiの方式）あるいは複数枚（Zhangの方式）撮像して、カメラの内部パラメータを推定するものである。これらの方式では、特性の不明なカメラをピンホールカメラというモデルを用いてカメラの内部パラメータを推定する。このピンホールカメラモデルは、レンズとＣＭＯＳセンサやＣＣＤセンサなどの画像センサとが平行つまり、光軸と画像センサ面が垂直であることが前提となっている。
【０００５】
特許文献１では、Tsaiの方式では焦点距離が長いカメラの場合、画像を１枚撮影するだけではキャリブレーションの精度が不十分であるとして、同一の被写体を複数枚撮影してキャリブレーション精度を向上させようとしている。また、特許文献２では、Zhangの方式ではステレオカメラで距離を測定するためには不十分として、キャリブレーションのために撮影する画像に基準尺を設けて、その長さの誤差を最小化させることでカメラの内部パラメータを高精度に推定しようとしている。
【０００６】
このように、従来技術においては、カメラキャリブレーションに使用するのはピンホールカメラモデルであり、光軸と画像センサ面が垂直であることが前提となっている。然るに、カメラの組み立てにおいては、その製造誤差が発生し、光軸と画像センサ面が垂直であるとは限らない。このカメラをキャリブレーションする場合に、従来のカメラモデルを利用していては内部パラメータの高精度推定は不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記のような問題を解決するため、光軸と画像センサ面の傾きをカメラモデルに導入してカメラキャリブレーションを行い、カメラから得られた画像の高精度な補正を可能にすることを目的とする。
【０００８】
また、本発明は、カメラがレンズアレイと画像センサから構成されている場合、簡易にカメラのキャリブレーションが行え、高精度の画像補正を可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、レンズと画像センサから構成されるカメラの場合、焦点距離、画像センサの並進量に加えて、画像センサの相対的傾きをパラメータとして、画像センサから得られた画像を補正することを特徴とする。
【００１０】
また、本発明は、レンズアレイと画像センサから構成されるレンズアレイステレオカメラの場合、レンズアレイに対する画像センサの相対的傾きと並進、レンズアレイ内の各レンズ共通の歪み係数を補正パラメータとして、画像センサから得られた画像を補正することを特徴とする。
【００１１】
さらに、本発明は、レンズアレイと画像センサから構成されるレンズアレイステレオカメラの場合、レンズアレイに対する画像センサの相対的傾きと並進、レンズアレイ内の各レンズ間の距離、各レンズ共通の歪み係数を補正パラメータとして、画像センサから得られた画像を補正することを特徴とする。
【発明の効果】
【００１２】
本発明は、光軸と画像センサ面の傾きをパラメータに加えることで、画像センサからの画像を高精度に補正することができる。また、レンズアレイステレオカメラでは、各カメラで共通のパラメータを拘束条件とすることで、簡易で精度のよい画像補正が可能になる。
【図面の簡単な説明】
【００１３】
【図１】カメラモデルを示す図である。
【図２】歪み補正画素補間１を説明する図である。
【図３】歪み補正画素補間２を説明する図である。
【図４】実施例１の画像補正装置の構成例を示す図である。
【図５】レンズアレイステレオカメラの概略図である。
【図６】レンズアレイステレオカメラの詳細図である。
【図７】レンズアレイステレオカメラで格子チャートを撮像した画像の例を示す図である。
【図８】実施例２の画像補正装置の構成例を示す図である。
【図９】レンズアレイステレオカメラモデルを示す図である。
【図１０】レンズアレイステレオカメラのカメラ座標系と画像座標系の関係を示す図である。
【図１１】実施例３の画像補正装置の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を用いて詳しく説明する。
【実施例１】
【００１５】
本実施例では、光軸と画像センサ面の傾きをカメラモデルに導入してカメラキャブリレーションを行い、画像センサからの画像を補正する。
【００１６】
＜カメラモデル＞
図1はカメラモデルを示す。ワールド座標系で、被写体の座標Ｐw（Ｘw，Ｙw，Ｚw）とする。カメラの座標系から見た、被写体の座標Ｐc（Ｘc，Ｙc，Ｚc）は、カメラの外部パラメータであるところの回転行列Ｒc、並進行列Ｔcとすると、以下のようにあらわすことができる。
【００１７】
【数１】
2012198031.tif 000003
ここで、Ｒcは３ｘ３の行列、Ｔcは３ｘ１の行列である。
【００１８】
次に、ピンホールカメラのうちの、焦点距離が１である正規化カメラを導入する。すると、正規化カメラ上の座標点Ｐn（Ｘn，Ｘn，Ｚn）は、次式であらわすことができる。
【００１９】
【数２】
2012198031.tif 000004
さらに、レンズには半径方向の歪曲が存在するので、ｒ2＝Ｘn2＋Ｙn2とすると、歪曲を含んだ正規化カメラの座標Ｐd（ｘd，ｙd，１）は、distort(r)を歪曲関数として、以下のようにあらわすことができる。
【００２０】
【数３】
2012198031.tif 000005
また、従来からある歪曲モデルではｋ1，ｋ2を歪曲パラメータとして、以下のようにあらわすこともできる。
【００２１】
【数４】
2012198031.tif 000006
ここで、従来のピンホールカメラモデルであれば、カメラの焦点距離ｆ、画像中心Ｃ（ｃx，ｃy）とすると、内部パラメータ行列を
【００２２】
【数５】
2012198031.tif 000007
として、被写体が画像センサ面に映る座標をＰi（ｘi，ｙi，ｚi）とすると、次のようにあらわされる。
【００２３】
【数６】
2012198031.tif 000008
画像センサ面は２次元であるのでｚi（＝１）の値はここでは計算の便宜上の値である。
【００２４】
ところで、本実施例では、光軸と画像センサ面が垂直でないとするので光軸をＺ軸として、画像センサ面の法線ベクトルをｈ＝（ａ，ｂ，１）とおく。光軸と画像センサ面が垂直である場合には、ａ＝０，ｂ＝０である。
【００２５】
このように定義すると、Ｐi（ｘi，ｙi，ｚi）は、画像センサと光軸の交点座標（画像中心）をＣ（ｃx，ｃy，０）として、次式のように記述できる。
【００２６】
【数７】
2012198031.tif 000009
ただし
【００２７】
【数８】
2012198031.tif 000010
【００２８】
【数９】
2012198031.tif 000011
である。
【００２９】
これにより、光軸と画像センサ面が垂直でなくてもより正確なカメラモデルが記述できるようになった。
【００３０】
＜画像補正方法＞
上記のモデルから正規化カメラの座標へ変換するための式を記述する。その手順を下に示す。
１．逆行列を定義する
２．逆行列から、正規化カメラ上での座標を得る
３．歪み補正を行う
４．焦点距離にあわせた画像スケーリング
（６）式より、
Ｐi＝ｓＡ’Ｐd＋Ｃ                          ・・・（９）
とかけるので、
Ｐd＝１／ｓＡ’-1（Ｐi−Ｃ）                ・・・（10）
と変形できる。
さらに（３）式よりＰnを次のように推定できる。
Ｐn＝distort-1（ｒ’）Ｐd                    ・・・（11）
ここでｒ’2＝ｘ2d＋ｙ2d，distort-1（ｒ’）は、distort（ｒ）の逆関数である。
【００３１】
最後に、歪み補正した座標Ｐnから、次式を用いて歪み補正を行った焦点距離ｆのピンホールカメラの画像の座標Ｐf（ｘc，ｙc，ｚc）を得る。
【００３２】
【数１０】
2012198031.tif 000012
【００３３】
図２及び図３は、歪み補正前の画像と歪み補正後の画像の関係を示す。実際には、画像センサから得られる画像はデジタル画像であるので、画素位置は整数に限られる。歪み補正を行った場合に、図２のように、歪み補正前の画像の整数の画素位置（●印の位置）が歪み補正後の画像の整数の画素位置に対応することはほとんどない。この場合は、歪み補正後の画像の整数の画素位置（Ａ）を囲む近傍４点（□印のＥ，Ｆ，Ｇ，Ｈ）の画素位置への距離とその画素値に基づいて歪み補正後の画像の整数の画素位置における画素値を補間して求める必要がある。あるいは、図３のように、逆に歪み補正後の画像の整数の画素位置（●印のＢ）に対応する歪み補正前の画像の画素位置（□印のＣ）を求めて、その周囲の整数の画素位置である４点（●印のＩ，Ｊ，Ｋ，Ｌ）の画素値を補間してＣの位置に相当する画素値を求め、歪み補正後の画像の整数の画素位置（Ｂ）における画素値とする。４点の画素補間に使用する補間アルゴリズムは公知技術のバイリニア補間法で可能である。
【００３４】
図４に、上記の画像補正を行う画像補正装置の構成例を示すがある。式（１０）を実行するには、行列加算器１２０および行列乗算器１１０を利用すれば可能である。また、式（１１）は歪み補正演算器１３０で実行する。歪み補正演算器１３０にはあらかじめ、distort-1（ｒ’）関数を演算する演算器が組み込まれている。例えば多項式を演算する多項式演算器である。最後に式（１２）を行列乗算器１１０が実行する。それにより、歪み補正後の画素位置が決定するので、画素補間器１５０は、歪み補正に必要な歪み補正前の画像の画素位置と対応する画素値を画像メモリ１４０から読み出し、前記した補間演算を行い、歪み補正後の画素値を取得する。最後に画素補間器１５０はその値を歪み補正後の画像の画素位置に対応した画像メモリ１４０の位置に書き出す。
【００３５】
本画像補正装置の上記一連の動作は、ＣＰＵ１００が制御し、演算に必要なパラメータは内部パラメータメモリに格納されている値を読み出す。
【００３６】
＜キャリブレーション方法＞
内部パラメータを求める手順は以下のとおりである。
１．格子チャートの撮影
２．格子点検出
３．初期パラメータ設定
４．非線形最適化（Levenberg-Marquardt法）
５．内部パラメータ、外部パラメータ決定
【００３７】
上記１，２の手順は、例えば、オープンソースの画像処理ライブラリであるＯpenＣＶのユーティリティを使って実施することが可能である。また、上記３，４のカメラキャリブレーションにおいても、すでに公知の技術であり、ワールド座標系の格子点座標Ｐwから、更新中のパラメータを用いて算出した格子点座標Ｐiと、手順２で検出した格子点座標との距離の二乗誤差を評価関数として、パラメータを更新していく。評価関数が極小値になれば収束したと判断して、手順５に移り内部パラメータ、外部パラメータを決定する。手順３，４についてもＯpenＣＶのユーティリティを利用することが可能である。
【実施例２】
【００３８】
本実施例は、本実施例１の考えをレンズアレイを用いたステレオカメラに拡張し、各レンズで共通できるパラメータは共通化してキャリブレーションをするようにする。
【００３９】
レンズアレイステレオカメラでは、レンズアレイが一枚の基板の上に構成されているので、各レンズが同じ方向を向いているし、各レンズの歪み特性も同一と考えてよい。このことは、普通の２台のカメラでステレオカメラを構成し、各々の内部パラメータと、カメラ間の外部パラメータとをキャリブレーションすることに比べて有利な点である。レンズが同じ方向を向いていること、各レンズの歪み特性が同一であることを拘束条件として、カメラキャリブレーションを行えば、簡易にステレオカメラのキャリブレーションが行え、従来より精度のよい画像補正が可能になる。
【００４０】
＜レンズアレイステレオカメラの概略＞
図５は、レンズアレイステレオカメラを正面から見た外観を図示している。レンズアレイステレオカメラは、センサ基板上に画像センサ、レンズ間のクロストークを防止する遮光壁、レンズアレイ、絞り板、筐体等が順に組み付けられて、それぞれが接着されて構成される。図５では、センサ基板１０、レンズアレイ１３、絞り板１４、筐体１５のみが示されている。
【００４１】
図６に本レンズアレイステレオカメラのより詳しい図を示す。図６（ａ）は、カメラを正面から見た筐体部分を省略した図、図６（ｂ）はカメラを横から見た図である。レンズアレイ１３はサーフェス１（Ｓ１）、サーフェス２（Ｓ２）を持つ同一特性のレンズが二組あり、ひとつのガラスあるいはプラスチック基板上に形成されている。二組のレンズはそれぞれが左目、右目の役割を担う。レンズアレイ２３と画像センサ１１の間には異なるレンズを通った光が画像センサ１１上で混じらないように遮光壁１２が設けられている。レンズアレイ１３の前面にはステンレスやアルミニウムなどの金属でできた絞り板１４が配置されている。筐体１５は、レンズアレイ１３、遮光壁１２、絞り板１４を収める部材である。筐体１５、絞り板１４、レンズアレイ１３、遮光壁１２はそれぞれ接着されており、筐体１５とセンサ基板１０も接着されている。
【００４２】
＜共通の内部パラメータ、外部パラメータ＞
レンズアレイを用いたステレオカメラにおいては、図６に示すとおり、共通のレンズ基板や画像センサが用いられている。したがって、二つの独立したカメラをキャリブレーションするというのではなく、センサ共通の内部パラメータ、外部パラメータを持つ拘束条件のついた二つのカメラのキャリブレーションを行うということになる。
【００４３】
レンズの基板が同じであるので、レンズの姿勢が等しい。すなわち、外部パラメータの回転行列Ｒcが共通である。二つのカメラでその位置が異なるので、並進行列Ｔcは異なる。レンズの特性が等しいので、レンズの歪み特性も等しくできてdistrot（ｒ）は共通である。
画像センサは、一枚であり、レンズアレイの光軸は平行であるので画像センサの法線ベクトルｈも共通である。カメラの焦点距離ｆは、画像センサが傾いているかも知れないので異なる値を持つ可能性がある。また、画像中心Ｃは当然ながら異なる。
よって、共通パラメータ、異なるパラメータは下のように整理される。
（ｉ）共通パラメータ
Ｒc，distort（ｒ），ｈ
（ii）異なるパラメータ
Ｔc，ｆ，Ｃ
【００４４】
＜キャリブレーション方法＞
レンズアレイステレオカメラのキャリブレーション手順は普通のカメラと大きく違わない。すなわち、以下のとおりりである。
１．格子チャートの撮影
２．格子点検出
３．初期パラメータ設定
４．非線形最適化（Levenberg-Marquardt法）
５．内部パラメータ、外部パラメータ決定
【００４５】
図７に、レンズアレイステレオカメラで格子チャートを撮影したときの画像の一例を示す。手順１，２においては、画像センサからキャプチャした画像の中に遮光壁の内側に二つの同一サイズの画像が存在しており（図７）、それぞれで格子点検出を行い、検出した座標と格子チャートの中の格子点のワールド座標と対応づける。
【００４６】
手順３では、更新するためのパラメータＲc，disyort（ｒ），ｈ，Ｔcl，ｆｌ，Ｃl，Ｔcr，ｆr，Ｃrの初期値を設定する。ここで、Ｔcl，ｆｌ，Ｃlはそれぞれ、左目の役割を担うカメラの並進行列、焦点距離、画像中心であり、Ｔcr，ｆr，Ｃrはそれぞれ、右目の役割を担うカメラの並進行列、焦点距離、画像中心である。
【００４７】
その後で、手順４，５において、非線形最適化方法を用いてパラメータを決定する。すなわち、外部パラメータ、内部パラメータを用いて、チャートの格子点のワールド座標から左目、右目カメラのそれぞれの画像座標Ｐiへ投影し、その座標と手順２の格子点検出で求めた座標との距離の差分の二乗和を最小にする内部パラメータ、外部パラメータを決定する。
【００４８】
＜画像補正方法＞
レンズアレイステレオカメラにおいても、その画像補正方法は実施例１の画像補正方法と基本的には変わりなく、以下の手順を踏む。ただし、左右のカメラで焦点距離が異なる場合があるので、焦点距離が大きい方にあわせて画像スケーリングを行うと、左右の画像の範囲に画像がなくて対応点がないということがなくなるので、後の対応点探索の時の対応点がない場合の処理を省ける利点がある。
１．逆行列を定義する
２．逆行列から、正規化カメラ上での座標を得る
３．歪み補正を行う
４．大きい焦点距離にあわせた画像スケーリング
（10）式より、左右のカメラに対して次の式がかける。
【００４９】
【数１１】
2012198031.tif 000013
ここで、Ｐil＝（ｘil，ｙil，１），Ｐir＝（ｘir，ｙir，１），Ｃl＝（ｃxl，ｃyl，０），Ｃl＝（ｃxr，ｃyr，０），Ｐdl＝（ｘdl，ｙdl，１），Ｐdr＝（ｘdr，ｙdr，１）である。右下の添え字ｌrは左目、右目カメラに対応しているという意味である。ここで、Ａ’l，Ａ’rはそれぞれ次式であらわされる。
【００５０】
【数１２】
2012198031.tif 000014
【００５１】
さらに（11）式よりＰnl＝（ｘnl，ｙnl，１），Ｐnr＝（ｘnr，ｙnr，１）を推定できて、
Ｐnl＝distort-1（ｒ’）ｐdl
Ｐnr＝distort-1（ｒ’）ｐdr
ここでｒ’2＝ｘ2dl＋ｙ2dlまたはｒ’2＝ｘ2dr＋ｙ2dr。distort-1（ｒ’）は、distort（ｒ）の逆関数である。
【００５２】
最後に、歪み補正した座標Ｐnl，Ｐnrから、次式を用いて歪み補正を行った焦点距離ｆｃ＝max（ｆｌ，ｆｒ）のピンホールカメラの画像座標Ｐｆl（ｘcl，ｙcl，ｚcl），Ｐｆr（ｘcr，ｙcr，ｚcr）を得る。
【００５３】
【数１３】
2012198031.tif 000015
ここで、
【００５４】
【数１４】
2012198031.tif 000016
である。（ｃxc，ｃyc）は、左目、右目カメラから得られる画像領域の中心座標を表す。
【００５５】
図８に、上記のレンズアレイステレオカメラの画像補正を行う画像補正装置の構成例を示す。先の図４と異なる部分は画素位置判定器１７０が存在することである。画素位置判定器１７０は歪み補正前の画像の画素位置(つまり左目画像か右目画像か)に応じて、内部パラメータメモリ１６０から左目用のパラメータを読み出すか、右目用のパラメータを読み出すかをコントロールする。それ以外の演算は、図４の画像補正装置と同様の処理を実行し、最後に歪み補正後の画像の補間した画素値を左目か右目かに応じて画像メモリ１４０の所定の位置に書き出す。
【００５６】
以上のようにして、レンズアレイステレオカメラの高精度の画像補正を行い、被写体の距離を測定するための左右のカメラの画像を得ることができる。この二つの画像から画像マッチングを行って、対応点(視差)を検出し、距離を得る事が可能になる。
【実施例３】
【００５７】
本実施例は、レンズアレイを用いた薄型極小ステレオカメラのキャリブレーションについて、さらに拘束条件をつけてカメラモデルを構築し、ステレオカメラとしてより高精度のキャリブレーションおよび画像補正を行うものである。
【００５８】
＜レンズアレイステレオカメラの概略＞
図５、図６に示したレンズアレイステレオカメラと構成は等しいとする。
【００５９】
＜被写体のワールド座標から画像座標への変換と内部パラメータ、外部パラメータ＞
レンズアレイを用いたステレオカメラにおいては、図５、図６に示したとおり、共通のレンズ基板や画像センサが用いられている。ここで、図９のようにカメラ座標系を定義する。まず、カメラ座標系の原点をレンズアレイの中心におく。そしてカメラ座標系のＸ軸を左右のレンズの中心を通るように設定する。すると、レンズの中心間の距離(ベースライン)Ｂ（＞０）を用いて、左右のレンズ中心のカメラ座標系における座標をそれぞれ、（−Ｂ／２，０，０），（Ｂ／２，０，０）と表現できる。また、このときのカメラ座標系とワールド座標系との関係はＲc，Ｔcで表現する。すると、左右レンズの外部パラメータは、Ｒcが共通で、並進行列がそれぞれＴc＋（Ｂ／２，０，０），Ｔc＋（−Ｂ／２，０，０）となる。これを式で表すと、左のレンズの中心を原点とした座標系では、被写体の座標は（18）式で表される。
【００６０】
【数１５】
2012198031.tif 000017
また、右のレンズの中心を原点とした座標系では、被写体の座標は（19）式で表される。
【００６１】
【数１６】
2012198031.tif 000018
【００６２】
上記のように得られた（Ｘc，Ｙc，Ｚc）は（２），（３）式を用いて歪みを持った正規化カメラ上の座標（ｘd，ｙd，１）に変換される。
【００６３】
次に、図１０を使って、レンズアレイと画像センサのそれぞれの座標系とその関係を定義する。カメラ座標系の原点を新たにレンズアレイの左側のレンズの中心に設定する。そして、右のレンズ中心の方向にＸ軸、レンズアレイの面方向にＹ軸、画像センサの方向にＺ軸を設定する。すると、右のレンズ中心の座標は、（Ｂ，０，０）であらわされる。また、画像センサ面の画像座標系をｕｖ座標系と定義する。このｕｖ座標系に垂直なベクトルは前記した画像センサ面の法線ベクトルｈ＝（ａ，ｂ，１）と平行であり、ｕ軸はｈに垂直で画像センサ面内に存在し、また、ｖ軸はｕ軸、ｈそれぞれに垂直で画像センサ面内に存在する。ｕ軸の単位ベクトル、ｖ軸の単位ベクトルをそれぞれカメラ座標系において、ｅu＝（ｍ，ｎ，ｐ），ｅv＝（ｇ，ｊ，ｋ）と定義すると、ｅu，ｅvは以下のように書き表せる。
【００６４】
【数１７】
2012198031.tif 000019
【００６５】
【数１８】
2012198031.tif 000020
【００６６】
左側のレンズの光軸と画像センサ面との交点のｕｖ座標系における座標をＣl＝（ｃul，ｃvl）、右側のレンズの光軸と画像センサ面との交点のｕｖ座標系における座標をＣr＝（ｃur，ｃvr）とする。そして、左側レンズの中心とＣlとの距離をｆl、右側レンズの中心とＣrとの距離をｆrとする。
【００６７】
以上のように定義すると、被写体上の点は、左のレンズを通り、画像センサ上のｕｖ座標系の点Ｐil＝（ｕil，ｖil）に投影され、歪みを持った正規化カメラ上の座標（ｘd，ｙd，１）を用いて次のように記述できる。
【００６８】
【数１９】
2012198031.tif 000021
同様に、被写体上の点は右のレンズを通り、画像センサ上のｕｖ座標系の点Ｐir＝（ｕir，ｖir）に投影され、歪みを持った正規化カメラ上の座標（ｘd，ｙd，１）を用いて次のように記述できる。
【００６９】
【数２０】
2012198031.tif 000022
ただし、
【００７０】
【数２１】
2012198031.tif 000023
（23）式を斉次座標を使って書き直すと以下のように表せる。
【００７１】
【数２２】
2012198031.tif 000024
ここで、
【００７２】
【数２３】
2012198031.tif 000025
【００７３】
【数２４】
2012198031.tif 000026
【００７４】
【数２５】
2012198031.tif 000027
【００７５】
このようにして、被写体のワールド座標は、レンズアレイを使ったステレオカメラの画像座標に変換される。この変換における独立パラメータは下のように整理される。
【００７６】
よって、独立パラメータは下のように整理される。ここで、ｈとθでレンズアレイに対する画像センサの回転、ｆ1，Ｃ1でレンズアレイに対する画像センサの並進を表している。このようにあらわすことで、カメラの内部状態を記述することができ、撮像画像との関係を容易に把握することが可能になる。
（ｉ）独立パラメータ
Ｒc：カメラ座標系の回転
Ｔc：カメラ座標系の並進
Ｂ  ：レンズアレイのレンズ間距離(基線長)
distort（ｒ）：レンズの歪み関数
ｈ：画像センサ面のカメラ座標系での法線ベクトル
θ：画像センサ面のＺ軸周りの回転角
ｆ1：左レンズの中心と、左レンズの光軸と画像センサ面との交点を結ぶ距離（左カメラの焦点距離）
Ｃl：左レンズの光軸と画像センサ面との交点の画像座標系での座標
【００７７】
＜キャリブレーション方法＞
ここでも、レンズアレイステレオカメラのキャリブレーション手順は普通のカメラと大きく違わない。
１．格子チャートの撮影
２．格子点検出
３．初期パラメータ設定
４．非線形最適化（Levenberg-Marquardt法）
５．内部パラメータ、外部パラメータ決定
手順１，２においては、画像センサからキャプチャした画像の中に遮光壁の内側に二つの同一サイズの画像が存在しており（図７参照）、それぞれで格子点検出を行い、検出した座標と格子チャートの中の格子点のワールド座標と対応づける。
【００７８】
手順３で、更新するためのパラメータＲc，Ｔc，Ｂ，distort（ｒ），ｈ，θ，ｆl，Ｃlの初期値を設定する。
【００７９】
その後、手順４，５で非線形最適化方法を用いてパラメータを決定する。パラメータを用いて、チャートの格子点のワールド座標から左目、右目カメラのそれぞれの画像座標Ｐiへ投影し、その座標と手順２の格子点検出で求めた座標との距離の差分の二乗和を最小にするパラメータを決定する。
【００８０】
＜画像補正方法＞
本実施例のレンズアレイステレオカメラにおいてもその画像補正方法は既述の画像補正方法と基本的には変わりなく、以下の手順を踏む。ただし、左右のカメラで焦点距離が異なる場合があるので、焦点距離が大きい方にあわせて画像スケーリングを行うと、左右の画像の範囲に画像がなくて対応点がないということがなくなるので、後の対応点探索の時の対応点がない場合の処理を省ける利点がある。
１．逆行列を定義する
２．逆行列から、正規化カメラ上での座標を得る
３．歪み補正を行う
４．大きい焦点距離にあわせた画像スケーリング
（25）式より、左右のカメラに対して次の式がかける。
【００８１】
【数２６】
2012198031.tif 000028
ここで、Ｐil＝（ｘil，ｙil，１），Ｐir＝（ｘir，ｙir，１），Ｃl＝（ｃul，ｃvl，０），Ｃr＝（ｃur，ｃvr，０），Ｐdl＝（ｘdl，ｙdl，１），Ｐdr＝（ｘdr，ｙdr，１）である。右下の添え字lrは左目、右目カメラに対応しているという意味である。ここで、Ａl-1，Ａr-1はそれぞれ（26）（27）式の逆行列である。
【００８２】
さらに（11）式よりＰnl＝（ｘnl，ｙnl，１），Ｐnr＝（ｘnr，ｙnr，１）を推定できて、（15）式と同様に
Ｐnl＝distort-1（ｒ’）Ｐdl
Ｐnr＝distort-1（ｒ’）Ｐdr                    ・・・（30）
ここでｒ’2＝ｘ2dl＋ｙ2dlまたはｒ’2＝ｘ2dr＋ｙ2dr。distort-1（ｒ’）は、distort（ｒ）の逆関数である。
【００８３】
最後に、歪み補正した座標Ｐnl，Ｐnrから、式（16）と同様に次式を用いて焦点距離ｆc＝max（ｆl，ｆr）のピンホールカメラの画像座標Ｐfl（ｘcl，ｙcl，ｚcl），Ｐfl（ｘcr，ｙcr，ｚcr）を得る。
【００８４】
【数２７】
2012198031.tif 000029
ここで、
【００８５】
【数２８】
2012198031.tif 000030
である。（ｃxc，ｃyc）は、左右カメラから得られる画像領域の中心座標を表す。
【００８６】
図１１に、上記のレンズアレイステレオカメラの画像補正を行う装置は画像補正装置の構成例を示す。図１１は、図８とほぼ同等の機能を有する。画素位置判定器１７０は歪み補正前の画像の画素位置(つまり左目画像か右目画像か)に応じて、パラメータメモリ１６０から左目用のパラメータを読み出すか、右目用のパラメータを読み出すかをコントロールする。それ以外の演算は図8の画像補正装置と同様の処理を実行し、最後に歪み補正後の画像の補間した画素値を左目か右目かに応じて画像メモリの所定の位置に書き出す。
【００８７】
以上のようにして、レンズアレイステレオカメラの高精度の画像補正を行い、被写体の距離を測定するための左右のカメラの画像を得ることができた。この二つの画像から画像マッチングを行って、対応点(視差)を検出し、距離を得る事が可能になる。
【００８８】
なお、レンズアレイステレオカメラは、レンズが二つの場合だけでなく、三つ以上のレンズアレイの場合にも同様に高精度の画像補正を行うことができる。これにより、高精度な距離測定を行うことも可能である。
【符号の説明】
【００８９】
１０  センサ基板
１１  画像センサ
１２  遮光壁
１３  レンズアレイ
１４  絞り板
１５  筐体
１００  ＣＰＵ
１１０  行列乗算器
１２０  行列加算器
１３０  歪み補正演算器
１４０  画像メモリ
１５０  画素補間器
１６０  内部パラメータメモリ、パラメータメモリ
１７０  画素位置判定器
【先行技術文献】
【特許文献】
【００９０】
【特許文献１】特開２００１−１１６６５６号公報
【特許文献２】特許第４２３４０５９号公報
【非特許文献】
【００９１】
【非特許文献１】RY．Tsai，“A  Versatile  Camera  Calibration  Technique  for  High-Accuracy  3D  Machine  Vision  Metrology  Using  Off-the-Shelf  TV  Cameras  and  Lenses”，IEEE  J．Robotics  and  Automation，vol.3，no.4  pp.323-331，Aug  1987
【非特許文献２】Z．Zhang，“A  flexible  new  technique  for  camera  calibration”，IEEE  Transactions  of  Pattern  Analysis  and  Machine  Intelligence，22(11)：1330-1334，2000．
【図１】
2012198031.tif 000031
【図２】
2012198031.tif 000032
【図３】
2012198031.tif 000033
【図４】
2012198031.tif 000034
【図５】
2012198031.tif 000035
【図６】
2012198031.tif 000036
【図７】
2012198031.tif 000037
【図８】
2012198031.tif 000038
【図９】
2012198031.tif 000039
【図１０】
2012198031.tif 000040
【図１１】
2012198031.tif 000041