超広角魚眼レンズカメラ画像からの局所特徴量直接抽出に関する研究
代表研究者

原健

二

九州大学

大学院芸術工学研究院准教授

1 はじめに魚眼レンズカメラは，広視野を一度に撮影することが可能で，監視カメラをはじめとして車両搭載用カメラ，管内壁検査用カメラ，テレビ会議システムなど様々な用途に利用されている．そこで本研究では，魚眼レンズを搭載して広視野を撮影対象とする監視カメラの知能化に対応し，魚眼レンズカメラ画像の認識・理解技術に寄与することを主な目的として，魚眼画像の特徴点抽出アルゴリズムを提案し，その有効性を実験により検証してきた．以下に，本研究の概要を報告する．

2 魚眼画像の解像度不均一性
魚眼レンズの例として，FIT UWC-0195（コンバージョンレンズ）や FUJINON FE185C046HA-1 といった製品が普及しており、これらは等距離射影方式を採用している．そこで本稿においても，等距離射影方式の魚眼レンズの利用を仮定する．魚眼レンズの画角の半分を()、レンズに入射する光の極角を、方位角とおくと、レンズを通過した入射光が投影される魚眼画像の画像座標（以下，魚眼画像座標）(X,Y)は次式のようになる．
(2.2)
ここで、f は焦点距離、(CX, CY) は投影中心の魚眼画像座標である．
いま、極座標から魚眼画像座標(X,Y) への座標変換による面積変化の比率を調べる．このときのヤ
コビアン｜J｜は、式(2.2) より、次式のようになる．

(2.3)

ここで，魚眼画像座標(X,Y)における微小量と光入射方向における微小量を用いて，魚眼画像座標系における微小面積は，光入射方向の微小立体角はと書ける．これらと式(2.3)を組み合わせると，次式の関係が得られる．

(2.4)

これより，光入射方向の単位立体角あたりの魚眼画像平面への投影面積はとなり，関数に反比例する．したがって，この投影面積は極角に関して単調増加することがわかる．
例えば,のときに,のときにとなり，これらの比は倍となる．これは，魚眼画像処理において魚眼画像の空間解像度の不均一性や幾何歪みの存在が無視できないことを示唆している．

（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

3 重合格子法を用いた魚眼画像コーナー検出手法
図 3.1 に、提案手法における魚眼画像のコーナー検出の手順を示す．FIT UWC-0195 や FUJINONFE185C046HA-1など，等距離射影方式の魚眼レンズが広く普及していることから，本稿でも等距離射影方式を採用する．このとき，原点を魚眼レンズカメラの光軸と画像平面の交点とし，Z 軸を光軸，X 軸(Y 軸)を画像座標系の x 軸(y 軸) にそれぞれ平行にとった世界座標系の下で，光入射方向の極角を値とする)，方位角をは次式のように与えられる．

(は n/2 周辺のとおくと，レンズを通過した入射光の画像平面への投影点の画像座標(x, y)(3.1)

ここで，は焦点距離，() は投影中心(世界座標系の原点) の画像座標である．式(3.1)と極座標変換 を 用 い て ， 与 え ら れ た 魚 眼 画 像 の 画 像 座 標 (x,y) の 画 素 値 を 半 球 面 ( 状 の 領 域 ) の 対 応 点() ()にマッピングすることにより，幾何歪みが補正された半球面画像が得られる．この半球面画像に従来のコーナー検出器を適用できるようにする方法として，半球面画像を極角方向を鉛直方向，方位角方向を水平方向とする矩形平面画像（以下，緯度経度画像）に展開することが容易に考えられる．しかし，どの方向を北極に設定しても，半球面画像に極付近の領域が含まれるため，前述の極問題(polar problem) を回避する必要がある．
本手法では，陰陽格子(Yin-Yang grid)[2]を修正して用いる．陰陽格子は，緯度経度格子の低緯度領域からなる陰格子(Yin grid) と，陰格子を高緯度領域を覆うように回転させた陽格子(Yang grid) の二つの格子に，球面を一部重複を許して分割した重合格子である．陰陽格子は球面の格子分割法であるが，半球面の格子分割法に関しても1)格子数をいくつにするか，格子数を陰陽格子と同じ2とする場合でも2)陰格子，陽格子それぞれの極角と方位角の範囲，3)二つの格子をどの程度重複させるか，など無限の組み合わせが考えられる．本稿では，陰陽格子の考え方を踏襲し，1)については計算コストを考慮して最小の2とし，2)については格子間隔の均一性を考慮して半球面上のどの点もその要素格子における緯度が45度以下（方位角については特に条件を定めない）になるようにする．3)については計算コストの点から重複は少ないことが望ましいが，矩形画像を処理対象とするため，重複領域の削除は行わない．このとき，以下の二つの格子分割法は上記の，方位角がの範囲
条件を満たす．ひとつは，1) 陰格子の極座標系における極角がの領域を覆う要素格子と2) 陽格子の極座標系における極角が，方位角がの範囲の領域を覆う要素格子，の二つに半球面を分割する方法である(図3.2(a))．もうひとつは，1) 陰格子の極座標系における極角が，方位角がの範囲の領域を覆う要素格子と2) 陽格子の極座標系における極角が，方位角がの範囲の領域を覆う要素格子の二つに半球面を分割する方法である(図3.2(b))．本稿では，ひとつ目の格子分割法を採用する．その理由は，ひとつ目の格子分割法の方が二つ目と比べて，陰格子よりも格子生成時間がかかる陽格子の面積が小さく，その分全体の格子生成時間が短縮できるためである．以下では，与えられた魚眼画像から，ひとつ目の格子分割法における1) と2) の要素格子にそれぞれ対応する緯度経度画像（以下，それぞれ低緯度画像，高緯度画像）を生成する手順について述べる．

図 3.1

提案手法の手順（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

図 3.2子
ま ず ， 低 緯 度 画 像 は ，半球面上の重合格の サ イ ズ の 緯 度 経 度 画 像 の ((に魚眼画像の() 画 素)画素の画素値をマッピングし，その矩形領域を画像として切り出すことにより得られる(図3.1の下(2))．ここで，は 以下の最大の整数， は 以上の最小の整数であり， と は式(3.1) より次式のように表される(導出は省略)．

(3.2)

次 に ， 高 緯 度 画 像 は ，の サ イ ズ の 緯 度 経 度 画 像 の (()に魚眼画像の() 画 素) 画素の画素値をマッピングし，その矩形領域を画像として切り出すことにより得られる(図3.1の上の(2))．ここで， と は式(3.1) より次式のように表される．

,

(3.3)

（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

ここで， と は，陰陽格子における二つの要素格子間の座標変換式より，次式で与えられる．

(3.4)

以上の手続きで得られた高緯度・低緯度画像は，幾何歪みが補正された矩形の画像なので，既存の任意の画像コーナー検出手法がそのまま適用できる(図 3.1 の上と下の(3))．高緯度・低緯度画像のコーナー検出を行った後，魚眼画像から高緯度・低緯度画像を生成した手順と同じ要領で，魚眼画像の各画素ごとに，高緯度画像または低緯度画像の対応する画素を求める(計算式は省略)．このように対応付けられた高緯度画像または低緯度画像の画素がコーナー点として検出されていれば，魚眼画像の画素もコーナー点と判定する(図3.1 の(4))．

4 実験結果CG で合成した魚眼画像(図4.3 のグラフ内の画像) を入力とし，定量評価を行った．魚眼画像の画素サイズ，焦点距離，画像中心は，後述の3.2.2の実験と同じにした．(1)魚眼画像にそのままShi-Tomasiコーナー検出器を用いる手法(以下，手法(1))，(2)魚眼画像にそのままHarrisコーナー検出器を用いる手法(以下，手法(2))，(3)提案手法の格子分割により得られた高緯度・低緯度画像にShi-Tomasiコーナー検出器を用いる手法(以下，手法(3))，(4)提案手法の格子分割により得られた高緯度・低緯度画像にHarrisコーナー検出器を用いる手法(以下，手法(4))，の計4つのコーナー検出手法の性能比較を行った．本節の実験では，MATLAB の関数cornerを利用した．
コーナー検出の判定基準は，上述の入力画像のコーナー点を目視で抽出した画素の集合を正解集合とし，(1)-(4) の各手法で検出された各コーナー点ごとに，その点が正解集合に属するある画素から一定距離内にある場合は正検出，そうでなければ誤検出とした．検出性能の評価指標として， Precision，Recall，Precision-Recall曲線，MAP（Mean Average Precision），最大F値を用いた．ここで，Precisionは(正しく検出されたコーナー点の個数)/(検出されたコーナー点の個数)，Recallは(正しく検出されたコーナー点の個数)/(正解集合の要素の個数)，Precision-Recall曲線は，検出手法のパラメータの値を変えながら，横軸にRecall，縦軸にPrecisionをプロットした曲線で，Precision-Recall曲線が右上にあるほど検出性能が高いことを表す．ここでは，Precision-Recall曲線を描くため，(1)-(4)の各手法においてcorner関数のパラメータquality levelの値を変化させた．また，手法 (2),(4) において，Harrisコーナー検出器のパラメータsensitivity factorは最もよい値とされている0.04に固定した．MAPはPrecision-Recall曲線の面積に相当する量，F値（F-Measure）はPrecisionとRecallの調和平均(2×Precision×Recall)/(Precision +Recall) であり，最大F値はパラメータを変えたときのF値の最大値である．MAPと最大F値はどちらも値が大きいほど検出性能が高いことを表す．
図4.3 に，上記の実験条件の下で得られたPrecision-Recall曲線を示す．図4.3より，Recallが0.15 付近の値より低いときは手法(1)(手法(2))が手法(3)(手法(4))よりPrecisionが高いが，それ以上にRecallが高いときは手法(3)(手法(4))が手法(1)(手法(2))よりPrecisionが常に高くなっていることがわかる．表1に各手法のMAPと最大F値をまとめる．表3.1では，手法(3)(手法(4))が手法(1)(手法(2))よりMAPと最大F値共に大きな値が得られている．以上のことから，Shi-TomasiとHarrisいずれのコーナー検出器を採用する場合においても，提案手法を用いることにより，従来手法のコーナー検出性能が改善されたことがわかる．
次に，等距離射影方式の魚眼レンズを装着したカメラで実際に撮影した魚眼画像を用いて，提案手法の有効性を検証した．魚眼画像の画素サイズは2048×1536で，画像中心と焦点距離は既存の魚眼画像キャリブレーション手法を用いて推定した．ここで画像のアフィン歪みは考慮しなかったが，必要ならばを参照されたい．3.2.1と同様，本節の実験でも手法(1)-(4)を比較し，MATLAB の関数corner を利用した．図4.4(a)-(d)(図4.5(a)-(d))に，魚眼レンズカメラを鉛直方向(水平方向) に向けて撮影した画像に手法(1)-(4)をそれぞれ適用した結果を示す．ここで，検出コーナー点の画素数が図4.4の実験では約700，図4.5の実験では約1900となるように，パラメータquality levelの値を手動で調整した．手法(1)(手法(2))に対応する図4.4(a)と図4.5(a) (図4.4(b)と図4.5(b))では未検出や誤検出が多く見られるのに対し，手法(3)(手法(4))に対応する図4.4(c)と図4.5(c) (図4.4(d)と図4.5(d))では比較的良好なコーナー検出がなされていることが視覚的に確（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

認できる．前節の結論と同様，実際の魚眼画像を用いた場合においても，提案手法を用いることにより，従来手法の検出性能が改善されたことがわかる．
表4.1 種々のコーナー検出手法の性能比較

図 4.3 種々のコーナー検出手法による Precision-Recall 曲線

図4.4 種々のコーナー検出手法の比較(鉛直方向に撮影した画像)（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

図 4.5 種々のコーナー検出手法の比較(水平方向に撮影した画像)

5 画像再構成を行わない魚眼画像コーナー検出手法
提案手法では，次のように魚眼画像のコーナー検出を行う．1) 魚眼画像を X 方向と Y 方向についてそれぞれ差分演算を行って，歪みを含んだ一階/二階微分画像を生成する．2) 魚眼画像の直交座標系における微分と球面画像の極座標系における微分の関係式に基づき，歪みのない球面画像の一階/二階微分画像を生成す
る．3) 球面画像の一階/二階微分画像とコーナーらしさの尺度を用いて，魚眼画像のコーナー検出を行う．
まず，カメラの内部パラメータを既知とし，とおくと，次式のように表される．
(5.1)
また，魚眼画像を単位球面に写像して得られた球面画像を(x,y)) と表す．このとき，式(4.1)に連鎖律を用いると，次式が得られる．

(5.2)

ここで，式(4.2) から，である．

に関する一階微分と二階微分は，次式のようにまとめられる．

（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

(5.3)

ここで，は上述で定義した通りであり，である．

であることも確認できる．また，一階微分に対しては中央差分，二階微分に対しては二階中央差分を用いて，魚眼画像座標系における一階微分と二階微分を次式のように近似する．

(5.4)

ここで，は魚眼画像 の画素() における画素値である．以上のように，本手法は，まず魚眼画像から歪みなどを考慮しない通常の方法で各微分値を求め（式4.4），次にこれらの微分値同士の非線形結合により歪みや空間解像度の不均一性を考慮した微分値を算出する（式(4.3)）．
次に，あるコーナー検出手法で用いられているコーナーらしさの尺度（以下，コーナー尺度）を極座標系に拡張することを考える．球面画像における勾配ベクトルは，次式のように書ける．

(5.5)

したがって，球面画像 上のある等高線ける曲率 K は，次式で与えられる．の画素位置にお(5.6)（公財）電気通信普及財団 研究調査助成報告書 No.31 2016このとき，コーナー尺度 C [9]は次式のように書ける．

(5.7)

ここで，C は，のとき Kitchen-Rosenfeld corner detector[4]，のとき Zuniga-Haralick cornerdetector[10] ，の と き Lindeberg corner detector[5] に そ れ ぞ れ 対 応 す る ． 後 述 の 実 験 で は ，Kitchen-Rosenfeld corner detector を用いた．

6 実験結果実験で用いた魚眼レンズは等距離射影方式のもので，魚眼画像の画素サイズは2048×1536であった．提案
手法では，画像中心()と焦点距離 をあらかじめ求めておく必要がある．魚眼レンズカメラの校正手法はいくつか知られているが[3][11]，今回の実験では，文献[11]を参考にして，以下の手順に従って，校正を行った．1) A1 サイズの白と黒の横縞格子パターンを魚眼レンズカメラでほぼ垂直な2つの方向から撮影する．
2)各画像ごとに，画像内の曲線上のエッジ画素の集合に楕円当てはめを行うことにより楕円曲線群を抽出す
る．3)楕円曲線間の2つの交点を求め，これらを両端とする線分を求める．このようにして画像中心()と焦点距離 を推定した．なお，ここでは画像のアフィン歪みは考慮していないが，必要ならば[6],[7]などの文献を参照されたい．図6.1(a)は既存のコーナー検出手法のひとつであるKitchen-Rosenfeld cornerdetector[4]（以下，通常画像用の手法）をそのまま魚眼画像に適用した結果を示す．図6.1(b)は，魚眼画像を球面にマッピングした球面画像に対し，[12]の方法を用いて得られた2枚の緯度経度画像に通常画像用の手法をそれぞれ適用した結果を示す（以下，画像再構成を行う手法）. 図6(c)は提案手法を用いた結果を示す．
図6.1(a)-(c)では，いずれも検出されたコーナー点の個数が約1,750 となるようにしきい値を設定した．図6.1(d)-(f)は図6.1(a)-(c)の左下の白い長方形で囲まれた領域（以下，長方形領域），図6.1(g)-(i)は図6.1(a)-(c)の右上の長方形領域を拡大表示したものである．通常画像用の手法を用いて得られた図6(d),(g)では非コーナー点が誤検出されているのに対し，画像再構成を行う手法や提案手法を用いて得られた図6.1(e),(f),(h),(i)ではこのような誤検出が回避されている．上記と同様，図6.1(j)-(l)は図6.1(a)-(c)の左上の長方形領域，図6.1(m)-(o)は図6.1(a)-(c)の右下の長方形領域を拡大表示したものである．通常画像用の手法を用いて得られた図6.1(j),(m)ではコーナー点が検出されていないのに対し，画像再構成を行う手法や提案手法を用いて得られた図6.1(k),(l),(n),(o)ではこのような未検出が回避されている．以上により，魚眼画像のコーナー検出では，通常画像用の手法は不十分であり，提案手法と画像再構成を行う手法は同等の検出性能を持つことが確認された．画像再構成を行う手法と提案手法のファイル入出力を除いた各計算時間は，2.8GHzの計算機でそれぞれ約20 秒，約8 秒であり，処理時間は2.5倍ほど改善された．
提案手法の性能を定量的に評価するためには，コーナー点の明確な真値をもつ画像を用いる必要がある．
そこで，チェッカーフラグパターンを仮想の魚眼レンズカメラで撮影した合成画像を入力として，上記と同様の方法でコーナー検出性能を比較した結果を図6.2に示す．図6.2(a)の左右2枚の画像は通常画像用の手法を用いた結果で，左の画像はKitchen-Rosenfeld corner detector[4]を用いた結果，右の画像は標準的に用いられているコーナー検出器のひとつであるHarris corner detector[1]を用いた結果を示す．これらのコーナー尺度のしきい値や感度係数については，試行錯誤で最もよいと思われる値を選択した．いずれも画像の（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

周辺部にコーナー点の未検出が生じている．これに対し，図4.2(b),(c)に示す画像再構成を行う手法と提案
手法では正しくコーナー検出がなされていることがわかる．

図6.1 従来手法と提案手法の比較（実画像）（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

(a)

(b)

図6.2 従来手法と提案手法の比較（合成画像）：(a)通常手法(c)(b)画像再構成手法(c)提案手法

7 まとめ
本研究では，魚眼画像を対象とした特徴点検出の二手法を提案した．まず，陰陽格子を半球面のために修正した重合格子を用いて一般の画像を対象とするコーナー検出手法を魚眼画像に適用できるように拡張する手法を提案した．次に，歪み補正を伴う微分フィルタを導入することにより，魚眼画像を補正画像や球面画像などに変換することなく，直接かつ高速に魚眼画像のコーナー検出を行う手法を提案した．各手法ごとに合成画像と実画像に用いて，その性能と有効性を確認した．

【参考文献】[1] C. Harris and M. Stephens: “A Combined Corner and Edge Detector”, Proc. Fourth Alvey Vision
Conference, pp.147-151, 1988.
[2] A. Kageyama and T. Sato: “The 'Yin-Yang grid' : An overset grid in spherical geometry”,
Geochem.Geophys. Geosyst., 5, 2004.
[3] K. Kanatani: “Calibration of ultrawide fisheye lens cameras by eigenvalue minimization”, IEEE
Trans. Patt. Anal. Mach. Intell., Vol.35, No.4, pp.813-822, 2013.
[4] L. Kitchen and A. Rosenfeld: “Gray-level corner detection”, Patt. Recog. Lett., Vol.1, No.2,pp.95-102,1982.
[5] T. Lindeberg: Scale-Space Theory in Computer Vision. Kluwer Academic, Boston, 1994.
[6] B. Micusik and T. Pajdla: “Structure from motion with wide circular field of view cameras”,
IEEE Trans. Patt. Anal. Mach. Intell., Vol.28, No.7, pp.1135-1149, 2006.
[7] D. Scaramuzza, A. Martinelli and R. Siegwart: “A toolbox for easy calibrating omnidirectionalcam- eras”, Proc. Int. Conf. Intelligent Robots and Systems, pp.5695-5701, 2006.
[8] J. Shi and C. Tomasi: “Good features to track”, Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern
Recognit., pp.593-600, 1994.
[9] J. Sporring, M. Nielsen, J. Weickert and O.F. Olsen: “A note on differential corner measures”,
Proc. Int. Conf. Pattern Recognition, Vol.I, pp.652-654, 1998.
[10] O.A. Zuniga and R.M. Haralick: “Corner detection using the facet mode”, Proc. IEEE Comput.
Soc. Conf. Comput. Vis. Pattern Recognit., pp.30-37, 1983.
[11] 中野誠士, 李仕剛, 千葉則茂: “球面画像獲得のための魚眼カメラの校正”, 電子情報通信学会論文誌, Vol.J88-DII,No.9, pp.1847-1856, 2005.
[12] 張宇, 原健二, 井上光平, 浦浜喜一: “全方位パノラマ画像のためのラプラシアンフィルタ”, 電子
情報通信学会論文誌, Vol.J96-D, No.9, pp.2003-2006, 2013.

（公財）電気通信普及財団 研究調査助成報告書 No.31 2016

〈発題名Spatially-Variable
LaplacianDetector for Fisheye Images

表資料〉

掲載誌・学会名等
Edge

全天周画像の顕著性マップ
球面画像の重み付き重心ボロノイ分割
A Corner Detection Approach for FisheyeImages
重合格子法を用いた魚眼画像コーナー検出

IWAIT 2015

発表年月
2015. 1Visual Computing/グラフィクスとCAD 合同シンポジウム
Visual Computing/グラフィクスとCAD 合同シンポジウム

2015. 62015. 6IWAIT 20162016.1

電子情報通信学会論文誌

2016. 8（公財）電気通信普及財団 研究調査助成報告書 No.31 2016