Coarse-to-Fine 構造を導入した高精度なキーポイントのオリエンテーション推定
指導教授：山下隆義
EP14135 森康彰
1. はじめにFine

キーポイントマッチングでは，画像間に視点や回転の変化が生じても，正しく対応付けすることが求められる．
Learned Invariant Feature Transform(LIFT)[1] は，畳み込みニューラルネットワーク (DCNN) を用いてキーポイントのオリエンテーション推定を実現している．しかし，大きな回転変化が生じると単一の DCNN では対応できない場合がある．そこで本研究では，Coarse-to-Fine 構造を導入した 2 つの DCNN による高精度なオリエンテーション推定法を提案する．

CoarseOrientation

θqc

Estimator

Orientation

Rot

Estimator
Descriptor

CoarseOrientation

θnc

Estimator

Rot

Negativedcn

CoarseDescriptor

Orientation

θpc

Rot

Estimator

dfq

Descriptor

L2 loss

Triplet loss

Descriptor
Fine
Orientation

θpf

Rot

Estimator

PositiveFinedcp

CoarseCoarseRotdcqCoarseQueryθqfFine

dfp

Descriptor

Siamese Network

図 3 : 学習の流れ

2.Learned Invariant Feature Transform
LIFT は，図 1 に示すように特徴点検出，オリエンテー
ション推定，特徴ベクトル抽出をそれぞれ個別の DCNNにて行う．LIFT のオリエンテーション推定は，後段の特徴ベクトル抽出を行う上で重要な処理となっている．
Orientation
Estimator

Detector

Descriptor

d1d2dN

入力画像

特徴点検出

オリエンテーション推定

Triplet loss(dcq , dcp , dcn ) =(max 0, E(dcq , dcp ) − E(dcq , dcn ) + M

特徴ベクトル抽出

L2 loss(dfq , dfp ) = E(dfq , dfp )3.1. オリエンテーション推定の流れ
提案手法は，図 2 に示すように 3 つのステップからなる．
Step1

Step2

θ

c

Grid

Step3

cm(θ )

generator
Fine
OrientationEstimator

Sampler

画像を回転

正規化画像

θfθfを推定

図 2 : 提案手法によるオリエンテーション推定の流れ

Step1：Coarse Orientation Estimator にて，入力画像のオリエンテーション θc を推定する．
Step2：Grid generator 及び Sampler にて，入力画像をθc 方向に回転させる．
Step3：Fine Orientation Estimator にて，オリエンテーションの誤差 θf を推定し，θc + θf を入力画像に対するオリエンテーション θ とする．

3.2.Orientation Estimator の学習
オリエンテーション推定の DCNN は，Siamese Networkを用いて学習を行う．これは，重み w を共有したネットワークに異なる画像を入力し，出力される特徴ベクトル間のユークリッド距離を用いて学習を行う手法である．学習の流れを図 3 に示す．各推定器の DCNN の構造は，畳み込み層 3 層，全結合層 2 層である．
Coarse Orientation Estimator の学習：基準となる特徴点画像 (Query) と同じ特徴点を異なる視点や照明条件にて撮影した画像 (Positive)，異なる特徴点を撮影した画像(Negative) の 3 枚を 1 サンプルとして入力し，Query 及び Positive は正しくマッチングするように，Negative は誤マッチングしないようにオリエンテーションを学習する．
損失関数は，式 (1) の Triplet loss を用いる．ここで，E(·)
はユークリッド距離を示し，M は Negative に対するマージンを示す．本手法では，M = 8.0 に設定する．

提案手法の有効性を評価実験により検証する．

4.1. 実験概要
本実験では，局所画像から抽出した特徴ベクトルを用いて Verification，Matching，Retrieval の 3 つのタスクにて精度を評価する．学習及び評価には，HPatches datasetを用い，1,461,525 ペアを学習に，892,980 ペアを評価に用いた．実験では，LIFT と提案手法を比較する．また，学習時に用いる損失関数による精度も比較する．Descriptor
は，全ての手法において Triplet loss にて学習した畳み込
み層 3 層の DCNN を用いる．

4.2. 実験結果
実験結果を図 4 に示す．Coarse-to-Fine 構造を導入した場合，いずれのタスクにおいても LIFT より精度が向上した．また，Coarse Orientation Estimator の学習のみ
Triplet loss を用いたモデルは，L2 loss を用いたモデルと精度が変わらないが，Fine Orientation Estimator の学習にTriplet loss を用いたモデルは他のモデルより最大 3.1%精度が高い．以上より，Coarse-to-Fine 構造によるオリエンテーション推定は，キーポイントマッチングに有効であるといえる.
100

LIFT90Coarse-to-Fine (L2 loss)

80

Coarse-to-Fine (Triplet loss + L2 loss)

70mAP[%]

提案手法は，入力画像に対して粗にオリエンテーションを推定する Coarse Orientation Estimator 及び，推定したオリエンテーションの誤差を補正する Fine Orientation
Estimator を用いて高精度なオリエンテーションの推定を行う．

θcを推定

(2)

4. 評価実験

3. 提案手法

入力画像(1)

Fine Orientation Estimator の学習：Query 及び Positive の 2 枚を 1 サンプルとして入力し，Triplet loss より正確にマッチングできるようにオリエンテーションを学習する．損失関数には，式 (2) の L2 loss を用いる．

図 1 : LIFT による局所特徴量記述

CoarseOrientation
Estimator)

Coarse-to-Fine (Triplet loss)

60
50403020100

Verification

Matching

Retrieval評価タスク

図 4 : 各タスクにおける mAP

5. おわりに本研究では，Coarse-to-Fine 構造を導入したオリエンテーション推定手法を提案した．Fine Orientation Estimator の導入により，オリエンテーション推定の精度が向上した．今後は，学習方法の変更による精度向上に取り組む．

参考文献[1] M. Kwang, et al., “Learned Invariant Feature Transform”, ECCV, pp. 467-483, 2016.