画像特徴点のアフィン不変な多次元スケール推定に関する研究
指導教授：藤吉 弘亘
長谷川昂宏

1. はじめに複数の画像から特徴点を検出し画像間を対応付ける場合，様々な幾何学的変化に対して不変な多次元スケールを各特徴点で推定することが重要である．本
研究では異方性 LoG フィルタを特徴点に対して畳み込むことでアフィン不変な多次元スケールを推定する．しかし，異方性 LoG フィルタで多次元スケールを推定する場合，数千種類のフィルタを特徴点ごとに畳み込む必要がある．そこで，あらかじめ生成した異方性 LoG フィルタを特異値分解 (SVD) により固有フィルタと固有関数に分解することで，フィルタの応答値を多項式で近似して多次元スケールを推定する．フィルタの応答値を多項式で近似することで，14 種類の固有フィルタを用いるだけで LoG フィルタの応答値の近似解が得られる．また，フィルタ応答値の極値が 1 つの特徴点から複数得られた場合，それぞれの極値を特徴点の多次元スケールとして採用することで局所解によるスケールの誤推定を減らすことができる．

2. 異方性 LoG フィルタ
LoG によるスケール推定は画像から検出された各特徴点に対してスケールパラメータ σx , σy , θ を変化させながら異方性 LoG フィルタ (式 (1)) を畳み込む．
∂2∂2g(Σ)
+g(Σ)
(1)
∂x2
∂y 2()
1xT Σ−1 x√g(Σ) =exp −22π det Σ[][ 2][]cos θ sin θ σx 0 cos θ − sin θ
Σ=0 σy2 sin θ cos θ− sin θ cos θLoG(σx , σy , θ) =つため，実際に LoG フィルタを近似する際には式 (3)で十分に近似可能である．
14∑LoG(σx , σy , θ) ≈sv n (σx , σy , θ)un(3)n=1sv(σx , σy , θ) はベクトル sv の σx , σy , θ における要素で，ここでは固有関数と呼ぶ．また，ベクトル u は 2次元のフィルタと見なせるため固有フィルタと呼ぶ．
LoG フィルタを SVD により分解することで得られる固有フィルタと固有関数を図 1 に示す．

3.2 LoG フィルタの応答値の近似
LoG フィルタの応答値 LoGres (σx , σy , θ) を近似して求めるには，式 (3) に入力画像 I を畳み込むことで求めることができる．qn = I ∗ un とすると，LoGの応答値は式 (4) のように求めることができる．
LoGres (σx , σy , θ) ≈提案手法では，あらかじめパラメータ σx , σy , θ を変化させて生成した数千種類の LoG フィルタを SVD により固有フィルタと固有関数に分解することで，フィルタの応答値を多項式で近似する．

3.1 SVD による LoG フィルタの分解異なるスケールパラメータ σx , σy , θ で生成した Dピクセルの LoG フィルタ N 個を列ベクトルに並べた
行列 L ∈ RD×N を SVD により分解すると，D 次直交行列 U ∈ RD×D ，N 次直交行列 VT ∈ RN ×N ，対角成分に特異値を持つ行列 S ∈ RD×N に分解できる．

L ≈ USVT(2)

行列 U の列ベクトル u1 , · · · , uD と行列 V の列ベクトル v1 , · · · , vN は行列 L の固有ベクトルとなる．行列
VT と行列 S との積 SVT の行ベクトルを sv 1 , · · · , sv Dとする．行列 S の特異値 diag(s1 , · · · , sN ), s1 > s2 >· · · > sN は s15 以降において 0 に極めて近い値を持sv n (σx , σy , θ)qn (4)n=1

式 (4) から，あらかじめ 14 個の固有フィルタを画像に畳み込んでおけば固有関数の値を変化させるだけで数千種類のスケールパラメータのフィルタ応答値を近似することが可能である．応答値の計算においてフィルタの畳み込みが最も計算コストが高くなるため，式 (4) による応答値の計算は非常に効率的である．図 2 に LoG フィルタの応答値の算出フローを示す．

各 σx , σy , θ における LoG フィルタの畳み込みにより得られる応答値の極値を求めることで特徴点のスケールを決定する．しかし，3 パラメータの異方性 LoGフィルタは数千種類必要となり，畳み込みに多くの処理時間を要する．その問題を解決するため，Spectral
SIFT[1] によるスケール空間の圧縮の考えを基に SVDによりスケール空間の固有解を解く．

3. 提案手法14∑

図 2 : 応答値の算出フロー

3.3 固有関数のフィッティング
14 個の固有フィルタをあらかじめ畳み込んでおくことで効率的に LoG フィルタの応答値を求めることが可能である．しかし，固有関数 sv(σx , σy , θ) は分解前に生成した LoG フィルタのパラメータ数でしか得られないため，任意のスケールパラメータの応答値を求めることができない．そこで，固有関数 sv n (σx , σy , θ)を多項式関数 ϕn (σx , σy , θ) でフィッティングする．未知係数 αnijk , βnijk は最小二乗法により決定する．
ϕn (σx , σy , θ) ≈4 ∑4 ∑5∑(αnijk σxi σyj sin kθ + βnijk σxi σyj cos kθ) (5)i=0 j=0 k=1

応答値の算出は式 (6) のように表され，任意のパラメータで応答値を算出することができる．
14∑LoGresp ≈ϕn (σx , σy , θ)qn(6)n=1

図 1 : 固有フィルタと固有関数

3.4 極値の算出
固有関数を多項式でフィッティングすることで LoGを多項式で解くことが可能となった．LoG 応答値の極値探索は θ ごとに区切った σx , σy の 2 次元平面から全探索により極値を算出する．そして，各 θ から求めた 2 次元平面上の極値から更に θ 方向における極値を求めることで 3 次元空間 σx , σy , θ の極値を決定する．このとき，θ 軸における極値が複数得られた場合，最大応答値の 80%以上の極値を全て特徴点の多次元スケールとして採用する．1 つの特徴点に対して複数のスケール求めることで，局所解による誤推定を減らすことができる．

ケールの重なり面積誤差のしきい値 T を変化させた場合においても，提案手法の性能が向上していることから，高精度な多次元スケールが推定できていると言える．図 4 は各手法で検出された特徴点に対して SIFT 特徴量を記述して 2 画像間の対応付けを行った結果である．提案手法の対応付け結果は従来法である Hessian-Aﬃne と比較して多くの特徴点を対応づけることができ，マッチング率が 3%向上した．

4. 評価実験
提案手法の有効性を確認するため評価実験を行う．

4.1 実験概要
本実験では 2 画像間における特徴点の多次元スケー
ル推定の性能を Repeatability により評価する．Repeatability は検出された特徴点数と対応点数の割合により算出される．このとき，2 画像間で対応する特徴点の多次元スケール (楕円) の重なり面積の誤差がしきい値 T 未満の場合に対応点としてカウントする．
データセットは Aﬃne Covariant Regions Datasets
から Graﬃti，Wall データセットを用いる．Graﬃti，Wall データセットは射影変化が生じた 6 枚の画像で構成される．比較手法はアフィン不変な特徴点検出器である Hessian-Aﬃne[2] と比較する．

4.2 実験結果
Graﬃti データセットの各画像ペアの Repeatability を図 3(a) に，Wall データセットの各画像ペアのRepeatability を図 3(b) に示す．

図 4 : 2 画像間の対応付け結果

5. おわりに本研究では異方性 LoG フィルタによるスケール空間に対して SVD を適用することで，フィルタ応答値をわずか 14 種類の固有フィルタと固有関数で近似することができた．また，フィルタ応答値の極値探索において複数の極値を求めて特徴点の多次元スケールとすることで，視点変化が施された画像に対する性能の向上が確認できた．今後は，σx , σy の 2 次元平面における極値探索を解析的に解くことで高精度な多次元スケールを推定する．

参考文献[1] G. Koutaki and K. Uchimura, Scale-space processing
Using Polynomial Representations , CVPR, pp.27442751, 2014.
[2] K. Mikolajczyk and C. Schmid,
Scale & Aﬃne Invariant Interest Point Detectors , IJCV, vol.60, no.1,pp.63-86, 2004.

研究業績[1] Takahiro Hasegawa, Yuji Yamauchi, Mitsuru Ambai,Yuichi Yoshida and Hironobu Fujiyoshi, Keypoint Detection by Cascaded FAST , ICIP, pp.5611-5615, 2014.

図 3 : Repeatability の比較
図 3 の結果より提案手法の Repeatability が各画像間で向上していることが確認できる．これは LoG
応答値の極値を複数選択して特徴点の多次元スケールとして選択しているため，局所解による誤推定が少ないためと考えられる．また，画像間の多次元ス（他 学会口頭発表 3 件）

受賞
[1] SSII 2013 オーディエンス賞[2] PRMU 2013 アルゴリズムコンテスト 最優秀賞