(57)【要約】【課題】  魚眼カメラにおいてキャリブレーションを実現することである。【解決手段】  本発明に係る画像処理装置１０は、特徴点抽出部１２１により、魚眼レンズ１１で撮影された画像のうち、魚眼展開画像面に射影されない黒色領域と、当該領域以外の領域である魚眼展開画像との境界位置の座標を境界特徴点として抽出する。曲線係数推定部１２２は、上記抽出された境界特徴点から、最小二乗法を用いて曲線係数（例えばｃｏｎｉｃ係数）を推定する。変換用行列算出部１２３は、上記曲線係数を使用して補正変換用行列を算出する。展開画像生成部１２４は、この補正変換用行列を上記魚眼展開画像面上の座標に乗算することで、補正後の魚眼展開画像を生成する。【選択図】  図１
2005258953.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出手段と、
前記抽出手段により抽出された前記境界特徴点から曲線係数を推定する推定手段と、
前記推定手段により推定された前記曲線係数を使用して、補正変換用行列を算出する算出手段と、
前記算出手段により算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成手段と
を備えることを特徴とする魚眼カメラ。
【請求項２】
前記推定手段は、前記抽出手段により抽出された前記境界特徴点から、最小二乗法により、前記曲線係数としてｃｏｎｉｃ係数を推定することを特徴とする請求項１に記載の魚眼カメラ。
【請求項３】
撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出ステップと、
前記抽出ステップにて抽出された前記境界特徴点から曲線係数を推定する推定ステップと、
前記推定ステップにて推定された前記曲線係数を使用して、補正変換用行列を算出する算出ステップと、
前記算出ステップにて算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成ステップと
を含むことを特徴とする、魚眼カメラにおけるキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにキャリブレーションを施すことで撮影画像の画質を向上する技術に関する。
【背景技術】
【０００２】
従来、所定の規格や基準に適合するように端末装置のパラメータを調整するキャリブレーションに関して、様々な手法が提案されている。特に、カメラにおいては、三次元形状の被写体を二次元画像に変換する際に双方の位置関係の対応付けが必要となることから、焦点距離などの内部変数とカメラ姿勢などの外部変数とを求める処理がキャリブレーションの一プロセスとして実行される。特許文献１には、このようなキャリブレーションを、道路上へのマーカの設置や交通規制を行うことなく監視カメラに適用する技術が開示されている。
【特許文献１】特開２００２−２３２８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術は、ステレオカメラやピンホールカメラを主に想定したものであり、魚眼カメラを対象としたものではなかった。魚眼カメラにおいては、使用環境の変化や経時的劣化を始めとする何らかの要因によって、レンズの光軸中心の位置、あるいは光軸の方向にずれが生じることがある。このようなずれを補正するためには、キャリブレーションの技術を魚眼展開画像面に適用することが有効である。特に、携帯端末を利用した動物体の遠隔モニタリングに際しては、視野角の広い魚眼カメラを撮影装置として使用することが効果的であることから、高画質な画像を提示するためにキャリブレーション技術の開発が望まれていた。
【０００４】
そこで、本発明の課題は、魚眼カメラにおいてキャリブレーションを実現することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る魚眼カメラは、撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出手段と、前記抽出手段により抽出された前記境界特徴点から曲線係数を推定する推定手段と、前記推定手段により推定された前記曲線係数を使用して、補正変換用行列を算出する算出手段と、前記算出手段により算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成手段とを備える。
【０００６】
本発明に係る、魚眼カメラにおけるキャリブレーション方法は、撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出ステップと、前記抽出ステップにて抽出された前記境界特徴点から曲線係数を推定する推定ステップと、前記推定ステップにて推定された前記曲線係数を使用して、補正変換用行列を算出する算出ステップと、前記算出ステップにて算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成ステップとを含む。
【０００７】
これらの発明によれば、魚眼カメラにより撮影された画像のうち、魚眼展開画像面（所謂、ＣＣＤ（Charge-Coupled Device）面）に射影されない領域と、射影される領域との境界位置の座標が求められる。そして、当該座標から推定された、略楕円形状の魚眼展開画像領域を形成する曲線係数から補正変換用行列が算出された後、この行列を用いて撮影画像の補正が行われる。このように、魚眼カメラは、光軸中心が魚眼展開画像面の中心軸となるように補正した後に、魚眼展開画像領域の長軸と短軸とを補正変換用行列を用いて補正する。これにより、魚眼カメラにおけるキャリブレーションを実現する。
【０００８】
本発明に係る魚眼カメラにおいて、前記推定手段は、最小二乗法を用いて、抽出された前記境界特徴点からｃｏｎｉｃ係数を推定するものとしてもよい。本発明によれば、簡便な手法によって平面二次曲線係数を推定するので、キャリブレーションに要する処理時間及び負荷の増大を抑制することができる。
【発明の効果】
【０００９】
本発明によれば、魚眼カメラにおいてキャリブレーションを実現することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、例示のみの為に添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における魚眼カメラ１０の構成について説明する。図１に示すように、魚眼カメラ１０は、魚眼レンズ１１とキャリブレーション部１２と画像提示部１３とを備える。更に、キャリブレーション部１２は、機能的な構成要素として、特徴点抽出部１２１（抽出手段に対応）と、曲線係数推定部１２２（推定手段に対応）と、変換用行列算出部１２３（算出手段に対応）と、展開画像生成部１２４（生成手段に対応）とを備える。これら各部はバスを介して接続されている。
【００１１】
以下、魚眼カメラ１０の各構成要素について詳細に説明する。
魚眼レンズ１１は、１８０度前後の視野を感光面に射影できる屈折レンズにより構成され、射影された画像をキャリブレーション部１２に出力する。射影方式は任意であり、正射影方式、等距離射影方式の他に、平射影方式や等立体角射影方式を採ることもできる。また、魚眼レンズ１１は、反射鏡やプリズムを用いて広視野角を得る光学系レンズであってもよい。
【００１２】
特徴点抽出部１２１は、魚眼展開画像面（ＣＣＤ面）に投影されない黒色領域とそれ以外の領域との境界線上の点をエッジ位置座標として抽出する。
曲線係数推定部１２２は、最小二乗法により、抽出されたエッジ位置座標からｃｏｎｉｃ係数（二次曲線係数）を推定する。
【００１３】
変換用行列算出部１２３は、推定されたｃｏｎｉｃ係数に基づいて、魚眼カメラ１１の補正変換用行列を算出する。算出に際しては、まず、推定されたｃｏｎｉｃ係数が楕円の標準形のｃｏｎｉｃ係数となるような回転角を算定し、この回転角から回転行列を求める。次に、上記楕円の中心と魚眼展開画像面の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列を求める。そして、上記回転行列と当該平行移動行列とを乗算して補正変換用行列を求める。
【００１４】
展開画像生成部１２４は、補正前の魚眼展開画像面上の各座標に上記補正変換用行列を掛け合わせることにより、位置座標を算出する。この座標の集合から魚眼展開画像面を生成する。
【００１５】
画像提示部１３は、魚眼レンズ１１の捉えた被写体の画像にキャリブレーション処理が適用された補正後の画像（魚眼展開画像）を、ディスプレイなどの表示装置に表示させる。表示装置は、魚眼カメラに内蔵のものであってもよいし、魚眼カメラ１０に接続された、これとは別体に構成された表示専用の装置であってもよい。後者の場合には、画像提示部１３は、当該装置に対して提示画像を出力する。
【００１６】
次に、魚眼カメラ１０の動作、併せて、本発明に係るキャリブレーション方法を構成する各ステップについて説明する。説明の前提として、本発明は、魚眼カメラ１０単体、若しくはこれと同様の機能を有する他の魚眼カメラ２０，３０（図示せず）を備えたシステムにも適用可能である。本実施の形態では、特に、後者のシステムを想定し、以下、図２〜図４を参照しながら、複数の魚眼カメラを用いたキャリブレーション処理について説明する。
【００１７】
魚眼カメラ１０〜３０の魚眼レンズの捉えた被写体の画像がキャリブレーション部１８に入力されると（図２のＳ１）、補正変換用行列の算出処理と基礎行列の算出処理との実行が並列に開始される。
【００１８】
まず、補正変換用行列の算出処理を説明する。
特徴点抽出部１２１は、魚眼展開画像面に投影されない黒色領域とそれ以外の領域との境界線上の点（境界特徴点）をエッジ位置座標として抽出する（Ｓ２）。例えば、レンズのずれ角をφ、光軸中心とｘｙ平面との交点座標をＯ’（ｘ’，ｙ’）とする。この場合、図３に示すように、黒色領域Ｂ１〜Ｂ４と楕円状の魚眼展開画像領域Ｄ１との境界線を形成する複数の点Ｅが抽出される。このエッジ抽出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。特徴点抽出部１２１は、例えばソーベルフィルタを有し、取得された画像中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。そして、乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分（境界特徴点に該当）をエッジとして検出する。画素値は例えば輝度である。
【００１９】
Ｓ３では、曲線係数推定部１２２は、最小二乗法により、Ｓ２で抽出されたエッジ位置座標からｃｏｎｉｃ係数（二次曲線係数）を推定する。
変換用行列算出部１２３は、上記推定されたｃｏｎｉｃ係数に基づいて、各魚眼カメラの補正変換用行列Ｒ（＝ＲθＴ）を算出する（Ｓ４）。すなわち、まず、推定されたｃｏｎｉｃ係数が楕円の標準形のｃｏｎｉｃ係数となるような回転角を算定し、この回転角から回転行列Ｒθを求める。更に、上記楕円の中心と魚眼展開画像面（ＣＣＤ面）の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列Ｔを求める。そして、回転行列Ｒθと平行移動行列Ｔとを乗算して補正変換用行列Ｒを求める。この補正変換用行列Ｒは、各魚眼カメラ（本実施の形態ではカメラ１０，２０，３０）に関して算出される（Ｓ５）。
【００２０】
Ｓ６では、オクルージョン回避のための画像合成、あるいは、動物体の検出のために、更に他の魚眼カメラを利用するか否かが判定される。他の魚眼カメラを利用する場合には（Ｓ６；ＹＥＳ）、展開画像生成部１２４は、魚眼レンズ１１により撮影された画像を展開（射影）する時に、Ｓ４で算出された補正変換用行列Ｒ（＝ＲθＴ）からＰ’を算出する。Ｐ’は、魚眼展開画像面の座標Ｐに補正変換用行列Ｒを乗算することで算出される（Ｓ７）。展開画像生成部１２４は、算出された座標の集合により、キャリブレーションが施された魚眼展開画像面（補正後の魚眼展開画像面）を生成する。生成された魚眼展開画像は、提示画像として画像提示部１３に出力される。
【００２１】
続いて、基礎行列の算出処理を説明する。
まず、複数の魚眼カメラ１０，２０，３０の中から任意の２つの魚眼カメラ（例えば、魚眼カメラ１０，２０）が選択される（Ｓ８）。この選択処理は、自動選択であっても手動操作による選択であってもよい。選択された２つの魚眼カメラは、視線方向を変化させることにより複数の特徴点を同時に撮影していき（Ｓ９）、特徴点抽出部により、各魚眼レンズによる撮像データ中の特徴点の位置座標を抽出する（Ｓ１０）。特徴点の抽出は、マウス等の操作による手入力で行うことができる。
【００２２】
Ｓ１１では、Ｓ３と同様の手順で、特徴点の位置座標を入力データとして、最小二乗法に基づく基礎行列Ｆが算出される。選択された２つの魚眼カメラは、射影行列で一致させた画像同士の色分布が同じになるように色空間（ＲＧＢ空間）の規格化を行う（Ｓ１２）。Ｓ９〜Ｓ１２の一連の処理は、Ｓ１３をループ端として、視線方向の可動範囲内で繰り返し実行される。更に、これら一連の処理は、Ｓ１４をループ端として、魚眼カメラの全ての組合せに関して繰り返し実行される。その結果、魚眼カメラ単位の基礎行列Ｆが視点毎に算出される（Ｓ１５）。
【００２３】
Ｓ１６は、Ｓ６にて他の魚眼カメラを利用しないと判定された場合（Ｓ６；ＮＯ）に実行される処理である。展開画像生成部１２４，２２４は、魚眼レンズ１１，２１の捉えた被写体の画像を展開する時に、Ｓ４で算出された補正変換用行列Ｒ（＝ＲθＴ）と、Ｓ１５で算出された基礎行列ＦとからＰ’を算出する（Ｓ１６）。Ｐ’は、魚眼展開画像面の座標Ｐに、基礎行列Ｆと補正変換用行列Ｒの積を乗算することで算出される。展開画像生成部１２４，２２４は、このようにして得られた座標群から魚眼展開画像をそれぞれ生成し、これを提示画像として画像提示部１３に出力する。
【００２４】
魚眼カメラキャリブレーション処理を実行した結果、補正された魚眼展開画像領域Ｄ２の一例を図４に示す。魚眼レンズが完全半球面であり、その屈折率が点（半球中心）対称であると仮定すると、図３に示した魚眼展開画像領域Ｄ１は、その中心がレンズの光軸中心となり、かつ、楕円状の領域の長軸・短軸がそれぞれｘ軸・ｙ軸と平行になるように補正される。その結果、魚眼展開画像領域Ｄ２が得られる。このように、画像処理装置１０は、カメラ１０〜３０に魚眼カメラを使用した場合であっても、適切なキャリブレーションを適用できるので、撮影画像から生成された任意視点画像、ひいては提示画像の質を向上することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る魚眼カメラの機能的構成を示すブロック図である。
【図２】魚眼カメラキャリブレーション処理を説明するためのフローチャートである。
【図３】キャリブレーションによる補正前における魚眼展開画像領域の一例を示す図である。
【図４】キャリブレーションによる補正後における魚眼展開画像領域の一例を示す図である。
【符号の説明】
【００２６】
１０…魚眼カメラ、１１…魚眼レンズ、１２…キャリブレーション部、１２１…特徴点抽出部、１２２…曲線係数推定部、１２３…変換用行列算出部、１２４…展開画像生成部、１３…画像提示部、Ｂ，Ｂ１〜Ｂ４…黒色領域、Ｄ１，Ｄ２…魚眼展開画像領域、Ｅ…境界特徴点
【図１】
2005258953.tif 000003
【図２】
2005258953.tif 000004
【図３】
2005258953.tif 000005
【図４】
2005258953.tif 000006