情報処理学会研究報告
IPSJ SIG Technical Report

AKAZE 特徴点を学習した
SuperPoint による特徴点マッチング
小板弦ノ介11

椋木雅之 1

概要：本研究では、特徴点抽出手法である SuperPoint において、学習の初期に使用する正解データが、特徴点マッチ
ングにどのような影響を与えるか調査する。SuperPoint は学習データに自動生成した幾何図形の画像（幾何画像）を用いて学習を行なっている。しかし、実際に特徴点検出を適用する対象は、自然画像が多い。幾何画像と自然画像では、特徴点の位置や数が異なり、特徴点マッチングの結果に影響が出ると考えた。そこで、本研究では SuperPoint の学習に幾何画像を用いるのではなく、自然画像を用いた。正解データには AKAZE を適用し自然画像から検出された
特徴点を用いた。自然画像を用いることで全体的に平均マッチング成功率を落とすことなく、平均マッチング成功数が増加した。
キーワード：特徴点マッチング、AKAZE、SuperPoint

1. はじめにであり、正解データを自動生成できる。第 2 段階では、第1 段階で学習した特徴点検出器を自然画像に適用し、正解

2 枚の画像間で、固有の点を対応づける特徴点マッチン

データを作成する。まず、与えられた自然画像にホモグラ

グは画像からの 3 次元形状復元、類似画像の検索、移動体

フィ変換という幾何変換を適用した画像を生成する。それの自己位置推定と環境地図作成などコンピュータビジョン

らに対して第 1 段階で学習した特徴点検出器を適用し、特の多くの分野で重要な役割を担っている。そのため多くの徴点を得る。それらの特徴点座標を元画像に逆投影したも研究がされており、SIFT[1]や SURF[2]、KAZE[3]、AKAZE[4]のを全て合わせて正解データとする。これにより、多くのなど多くの手法が提案されている。これらの手法は、画像特徴点を正解データとして自動生成できる上、画像の回転の回転や拡大・縮小の変化、照明の変化に対して強い耐性や拡大・縮小といった幾何変換にも対応できる。第 3 段階あるなど優れた特徴がある。しかし未だに、特徴点マッチ

では、与えられた自然画像とその画像をホモグラフィ変換

ングには研究の余地がある。

した画像から正解データを作成する。第 2 段階で学習した

一方、近年、機械学習の発展手法である深層学習は、コ

特徴点検出器をそれぞれの画像に適用して、特徴点を検出

ンピュータビジョンの様々な分野で大きな成果を挙げておする。適用したホモグラフィ変換は既知なので、逆変換すり、深層学習を特徴点マッチングに取り入れた研究も行わることで 2 つの画像間での特徴点の正しい対応関係がわかれている。深層学習による特徴点マッチングでは、正解デる。第 3 段階では、この正しい対応関係を正解データとしータをどのように与えるのかが大きな問題となる。従来、て、特徴点位置だけではなく対応する特徴点同士が類似し深層学習が適用されていた物体認識や物体検出の問題では、た特徴量を持つよう、特徴量記述も同時に学習する。

画像中の対象物体の種類や位置、範囲を正解データとしてSuperPoint は、このように正解データを段階的に自動生成与え、それと同様の出力が得られるように学習が行われる。

しながら学習することで、多くの特徴点を検出し、正しく一方、特徴点マッチングの問題では、画像中のどのようなマッチングができる高性能な手法である。そのため、その点を特徴点として検出することが正解であるか自明ではな

後の特徴点マッチングに関する研究でも多く参照される手

く、人手で正解データを与えることが難しい。LIFT[5]では、法となっている。

SIFT で検出した特徴点の内、正しくマッチングできた対応

SuperPoint は特徴点マッチングにおいて高い性能を示し点のみを選別して正解データとすることで、この問題に対ているが、このような正解データの与え方が最良であると処している。このように得られた正解データを深層学習のは限らない。本研究では、特に学習の第 1 段階に注目した。

ネットワークで学習することで SIFT より多くの特徴点をSuperPoint では、第 1 段階で幾何画像を用いて学習を行っ検出し、それらを正しくマッチングできている。

ている。しかし、実際に特徴点検出を適用する対象は、自深層学習を用いた特徴点マッチング手法の一つに

然画像が多い。幾何画像中の幾何図形の端点や交点の位置

SuperPoint[6]がある。SuperPoint では、正解データを自動生は明確であるが、そのような点は自然画像中にはあまり現成しながら 3 段階に学習している。第 1 段階では、自動生れない。このように、幾何画像と自然画像では、画像や特成可能な幾何図形の画像（幾何画像）を用いて学習を行う。

徴点の性質、数等が異なる。このことが、特徴点マッチン

正解データとなる特徴点としては、幾何図形の端点や交点

グの結果に影響を与えると考えられる。

を用いる。特徴点の位置は、幾何画像の生成時に計算可能
1 宮崎大学大学院 工学研究科ⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
そこで、本研究では、SuperPoint において、学習の第 1 段

2.2 AKAZE

階で使用する正解データが、特徴点マッチングにどのよう

AKAZE は、特徴点検出と特徴量記述を行う手法である。

な影響を与えるか調査する。具体的には 3 つの観点から実SIFT や SURF の欠点を改善した KAZE をもとにしている。

験を行った。1 つ目は、第 1 段階で使用する画像を自然画

そのため、SIFT や SURF 等の他手法と比較してロバスト性像とすることの影響調査である。2 つ目は、正解データをや処理速度の面で優れている。また、AKAZE は回転、拡評価値の高い特徴点に絞った場合の影響調査である。3 つ大・縮小に強い性能がある。特徴点マッチングを行う 2 枚

目は、LIFT と同様の考え方で、正解データを正しくマッチの画像間で対象物体が異なる大きさや角度で写っていても、ングできた特徴点に絞った場合の影響調査である。自然画

特徴点マッチングに影響しない。特徴点検出では、非線形像からの正解データの作成には、AKAZE を使用する。

スケールスペースでヘッセ行列を適用し、その行列式の値

2. 特徴点マッチング
2.1 特徴点マッチングとはが極大となる点を求める。これにより、様々なスケールを考慮した上で、他と異なる特徴を持つ点を特徴点として検出できる。また、スケールを正規化することで拡大縮小不特徴点マッチングとは、同じ物体が写る 2 枚の画像間で変となる。特徴量記述では、オリエンテーションにより向同じ物体上の同じ点を対応させることである。特徴点マッきの正規化を行うことで、回転不変な特徴量を得ることがチングは特徴点検出、特徴量記述、マッチングの 3 段階かできる。オリエンテーションとは、特徴点における方向でらなる。

あり、勾配の方向、強度により求める。特徴量はバイナリ

特徴点検出は画像中から角、線の交わり等の他と異なるコードで表される。そのためマッチングでは、特徴量間の固有の点の座標を検出する。特徴量記述は検出した特徴点

ハミング距離を計算し、その距離を用いて対応付けを行う。

の固有性をベクトルやバイナリコードなどで表現した値を2.3 SuperPoint

特徴量として算出する。

SuperPoint[6]は、Tone らによって提案された特徴点検出

マッチングは、特徴点の特徴量を比較し、類似度の高い器である。特徴点の正解データを 3 段階に学習することで、特徴点同士を対応付けることである。本論文では、総当た特徴点検出器を作成する。SuperPoint は、特徴点マッチン

りマッチングとクロスチェックを組み合わせた手法を用い

グの 3 つの処理の内、特徴点検出と特徴量記述までを行う。

る。図 1 に総当たりマッチング、図 2 にクロスチェックのTone ら[6]の論文内で、マッチング精度に関して、既存の例を示す。総当たりマッチングでは、画像 1 から検出されSIFT[1]、LIFT[5]、ORB[7]より高い精度を示している。以下、

た各特徴点と画像 2 で検出された全特徴点の特徴量同士のSuperPoint の詳細について述べる。

距離を計算し、類似度の高い特徴点同士を対応付ける。ク

2.3.1 SuperPoint のネットワーク構造

ロスチェックでは、画像 1 と画像 2 の立場を入れ替えて同SuperPoint は完全な畳み込みニューラルネットワークで様に総当たりマッチングを行い、双方の結果が一致するもある。画像が与えられると、画像中の特徴点位置とその特のをマッチングしたとみなす。この 2 つを組み合わせるこ

徴点のもつ特徴量を出力する。SuperPoint のネットワークとで総当たりマッチングの問題である一つの特徴点に対し構造を図 3 に示す。

て複数個の特徴点が対応付くことはなくなり、信頼性の高いマッチング結果を得ることが可能である。

SuperPoint はエンコーダ・デコーダ構造を持つ。エンコーダは、VGG ネットワーク[8]に似た構造を持つ。このエンコーダにより、入力画像の縦横 1/8 のサイズの特徴マップを出力する。デコーダは、特徴点の位置を出力する Interest
Point Decoder と 特 徴 点 の 特 徴 量 を 出 力 す る Descriptor
Decoder の 2 つで構成される。エンコーダで得られた特徴
マップは、これら 2 つのデコーダに入力され、それぞれ処理される。Interest Point Decoder では、Softmax と reshape 処

図 1 総当たりマッチング

理で元の画像サイズでの特徴点位置が出力される。
Descriptor Decoder では共 3 次補完と L2-正規化で特徴点位
置での特徴量が出力される。
SuperPoint のネットワーク構造から、Descriptor Decoderを削除したものを MagicPoint と呼ぶ。MagicPoint では、特徴量記述は行わず、特徴点検出のみが行える。SuperPoint の学習では、まず、特徴点検出を行う MagicPoint を学習した

図 2

クロスチェック

後、それを利用して段階的に特徴点検出の学習を行い、最後に、特徴量記述も含めた SuperPoint の学習を行う。

ⓒ2023 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Reportタ）の組を用いる。幾何画像の例を図 4 に示す。幾何図形には、四角形、三角形、線、立方体、チェッカーボードなどがある。図中の緑の点が正解データとなる特徴点である。
幾何画像と特徴点座標からなる学習データは、様々な見え方のものを自動で無数に生成することができる。幾何画像が入力された時、正解データの特徴点座標が出力されるよ
うに、MagicPoint の学習が行われる。
図 3SuperPoint のネットワーク構造[6]2.3.2 SuperPoint の学習
SuperPoint では、正解データを自動生成しながら、以下の 3 段階で学習を行っている。
Step1 幾何画像を用いた MagicPoint の初期学習
Step2 自然画像から生成した正解データによる MagicPointの改良学習
Step3 自然画像の正解対応点による SuperPoint の特徴点検
出と特徴量記述の学習
Step1 では、単純な幾何図形の写った幾何画像を自動生図 4 幾何画像の例[6]成し、その中の幾何図形の端点や交点を正解データとして

2.3.4 自然画像から生成した正解データによる MagicPoint

特徴点検出の学習を行う。この際、特徴量記述の学習を行の改良学習

わないので、ネットワーク構造としては SuperPoint から学習の第 2 段階では、自然画像を用いて特徴点検出の性Descriptor Decoder を削除した MagicPoint を用いる。Step2

能改善を行う。そのために、自然画像をホモグラフィ変換

では、Step1 で学習済みの MagicPoint を自然画像に適用し、した画像を利用する。ホモグラフィ変換は 8 自由度の幾何

正解データを作成する。与えられた自然画像を様々にホモ変換で、3 次元空間上の 2 次元平面同士の間の見え方の変

グラフィ変換した画像を生成し、それらの画像から換を記述できる。回転や拡大・縮小、平行移動といった 6

MagicPoint で得られた特徴点を合成して正解データとする。

自由度のアフィン変換に加え、奥行き方向の縮小も表現でこの処理を Homographic Adaptation と呼ぶ。Homographic

きる。

Adaptation で得られた正解データを MagicPoint で学習する。

ホモグラフィ変換した自然画像に対して第 1 段階で学習

この処理を 2 回繰り返すことで、MagicPoint の特徴点検出済みの MagicPoint を適用して、特徴点の正解データを作成

性能を向上させる。Step3 では、自然画像とその画像をホモする。この正解データの作成処理のことを Homographic

グラフィ変換した画像に Step2 で学習した MagicPoint を適

Adaptation と呼ぶ。Homographic Adaptation の処理の流れを用し、正しく対応する特徴点の組を抽出して正解データと図 5 に示す。まず、自然画像の大規模なデータセット内のする。この正解データを用いて SuperPoint を学習すること

画像に対し複数パターンのランダムなホモグラフィ変換をで、特徴点検出と特徴量記述を同時に学習する。

行う。全てのパターンに対し MagicPoint を適用して特徴点

特徴点検出の学習では、正解データの特徴点座標と周囲検出を行う。検出した特徴点に対して、逆変換をかけ、元の座標での出力値のクロスエントロピーを損失関数とする

画像上での特徴点座標を求める。全てのパターンで検出さことで、正解データの特徴点座標のみで出力値が高くなる

れた特徴点の元画像上での座標を合成したものを正解デー

よう学習する。特徴量記述の学習では、対応する特徴点のタとして MagicPoint で学習をする。これにより、元の学習

特徴量同士は同じ値をもち、対応しない特徴点同士では異済み MagicPoint よりも多くの特徴点を学習でき、結果としなる値（特徴量べクトルが直交する方向）になるよう学習てより多くの特徴点を検出できるようになる。また、種々する。以下の節で、学習の各段階についての詳細を述べる。

のホモグラフィ変換に対してロバストに安定して特徴点を

2.3.3 幾何画像を用いた MagicPoint の初期学習検出できるようになる。この処理を 2 回行い、MagicPoint

学習の第 1 段階では、特徴点検出の学習を行う。特徴点の特徴点検出性能を向上させる。

検出の学習は、SuperPoint から特徴量記述のためのデコーダである Descriptor Decoder を削除したネットワーク構造（MagicPoint）に対して行う。
学習データには、自動生成した幾何図形が写った幾何画
像と幾何図形の端点や交点を特徴点とした座標（正解デーⓒ2023 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Reportータの与え方が最も良いとは限らない。実際に特徴点検出を適用する対象は自然画像が多い。自然画像中には幾何図
形の端点や交点のような明確な特徴点はあまり現れない。
逆に、自然画像では不規則な濃度変化が多く存在する。このような濃度変化が他の点との違いとなり得るため、それをヒントに特徴点検出が行える。このように、幾何画像と自然画像では、画像や特徴点の性質、数等が異なる。自然画像を対象に特徴点マッチングを行う場合、SuperPoint の学習の第 1 段階から自然画像を用いた方が、自然画像の性
図 5 Homographic Adaptation
2.3.5 自然画像の正解対応点による SuperPoint の特徴点検
出と特徴量記述の同時学習

質に合った特徴点をより多く検出でき、結果的にマッチン
グの性能も向上できる可能性がある。
そこで本研究では、SuperPoint において、学習の第 1 段

学習の第 3 段階では、3 画像間の特徴点の対応関係を正階で使用する正解データが、特徴点マッチングにどのよう解データとして特徴点検出と特徴量記述の学習を行う。こな影響を与えるのか調査する。具体的には 3 つの観点からの学習では、SuperPoint の 2 つのデコーダを用いる。第 3 段

実験を行う。1 つ目は第 1 段階で使用する画像を自然画像

階の学習の流れを図 6 に示す。

とすることの影響調査である。2 つ目は、正解データを評

学習データの生成には、自然画像の大規模な画像データ価値の高い特徴点に絞った場合の影響調査である。3 つ目

セットを用いる。まず、元画像となる自然画像に対して、は、LIFT と同様の考え方で、正解データを正しくマッチン

ランダムなホモグラフィ変換を適用し、Warp 画像を作成すグできる特徴点に絞った場合の影響調査である。以下、調る。次に、元画像と Warp 画像に第 2 段階で学習済みの査手順の詳細を述べる。

MagicPoint を適用し、それぞれの画像から特徴点を検出す

3.2 自然画像による SuperPoint の調査手順る。この際、適用したホモグラフィ変換は既知なので、Warp

本研究では、以下の手順で SuperPoint の学習を行う。

画像の特徴点座標を逆変換することで 2 画像間での特徴点

Step1 自然画像を用いた MagicPoint の初期学習の対応関係がわかる。このようにして得られた元画像とStep2 自然画像から生成した正解データによる MagicPoint

Warp 画像、それぞれの画像の特徴点座標、2 画像間の特徴
点の対応関係を学習データとして用いる。特徴量記述の学
習は、2 画像間で特徴点が対応関係にある場合、それらの特徴点の特徴量同士が近い値になるよう行う。

の改良学習
Step3 自然画像の正解対応点による SuperPoint の特徴点検
出と特徴量記述の同時学習
SuperPoint では Step1 で幾何画像を用いていたが、本研究では自然画像を用いて学習を行う。この自然画像に AKAZEを適用して特徴点を検出する。この自然画像のデータセッ
トと正解データである AKAZE 特徴点を MagicPoint の学習データとして用いる。
幾何画像を学習に用いる利点として、無数の画像を自動生成できる点が挙げられる。自然画像を自動生成することは困難であるが、近年では大規模な自然画像のデータセッ
トが提供されており、学習に用いるのに十分な大量の画像が利用できる。幾何画像を学習に用いるもう一つの利点は、

図 6 第 3 段階の学習[6]3. AKAZE 特徴点を学習した SuperPoint の評
価
3.1 自然画像による SuperPoint の学習

正解データとなる特徴点座標も自動生成できる点である。
これに対しては、既存の特徴点検出手法である AKAZE を利用することで自動化する。AKAZE は、深層学習を用いない画像処理ベースの特徴点検出、特徴量記述手法である。
画像の回転や拡大・縮小等の影響を受けにくく、自然画像

SuperPoint では、学習の第 1 段階で幾何画像を用いてに対して安定して多数の特徴点を検出できる。特徴点マッ

MagicPoint を学習している。幾何画像を用いる利点は、大チングの性能は、近年の深層学習を用いた手法に及ばない

きく 2 つある。1 つ目は、自動で無数の幾何画像を生成で面もあるが、MagicPoint の初期学習のために、自然画像かきること、2 つ目は正解データである特徴点座標も自動生

ら多数の特徴点を抽出する目的には適している。

成できることである。これらによって、MagicPoint を自動

Step2、Step3 は SuperPoint と同じ処理を行う。これらので学習することが可能である。しかし、このような正解デ処理では Step1 と同じ自然画像のデータセットを用いる。

ⓒ2023 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report
学習に用いるデータの影響を調査するために、データセッ

用する場合に比べ、自然画像の特定のシーンにより適応しトや正解データを変えながら評価実験を行う。

た特徴点検出が行えることで、特徴点マッチングの精度が3.3 学習データの違いによる SuperPoint の検出性能の評

特定シーンに対して向上すると考えられる。

価

本研究では、SuperPoint において、学習に用いる正解データが特徴点マッチングにどのような影響を与えるのか調査する。具体的には、3 つの観点から調査を行う。それぞ4. 実験
4.1 実験 1
この実験では、SuperPoint の学習の第 1 段階で使用するれの調査について述べる。

画像を自然画像にすることでどのような影響があるのか調

3.3.1 学習データを自然画像とすることの影響調査査する。

この実験では、SuperPoint の学習の第 1 段階で使用する

4.1.1 実験内容

画像を自然画像にすることによってどのような影響がある

まず、学習用画像と検証用画像を用意する。本実験では、のか調査する。そのために、自然画像のデータセットとし

COCO dataset[9]から 42000 枚の学習用画像と 2000 枚の検て、大規模で多様な自然画像のデータセットを用いる。正証用画像を 640×480 画素の大きさに変更して用いる。こ解データの作成には、AKAZE を用いる。比較対象は幾何画

れらの画像に対して、AKAZE を適用して特徴点検出を行

像を学習した SuperPoint 及び AKAZE とする。

う。次に、画像を 160×120 画素の大きさに変更する。それ

自然画像を学習することで、幾何画像を学習したに合わせて、特徴点の座標も 160×120 画素の大きさに合SuperPoint より自然画像に合ったより多くの特徴点を検出わせて変更する。座標を変更する方法は以下の式(1)(2)を用できると考えられる。また、AKAZE と比較して、より適切いた。

な特徴量記述を学習できるため、特徴点検出の精度が向上

変更後の𝑥座標 =変更前の!座標

変更後の𝑦座標 =変更前の"座標すると考えられる。
3.3.2 正解データを評価値の高い特徴点に絞った場合の影
響調査

元画像の幅

元画像の高さ× 変更後の画像の幅(1)× 変更後の画像の高さ (2)

この実験では、3.3.1 節の実験において、正解データとな

この学習用画像と学習用特徴点の組と検証用画像と検証用る特徴点を評価値の高いもののみに絞った場合の影響を調

特 徴 点 の 組 が SuperPoint の 第 1 段 階 の 学 習 で あ る査する。AKAZE により自然画像から正解データを作成す

MagicPoint の 学 習 用 デ ー タ と 検 証 用 デ ー タ と な る 。

る際に閾値を定め、特徴点の評価値が閾値よりも高いもの

MagicPoint では学習回数を 200000 回、学習率は 0.001 としのみを正解データに加える。評価値としては、AKAZE によた。

る特徴点検出時の反応値（ヘッセ行列の行列式の値）を用SuperPoint の第 2 段階の学習では第 1 段階の学習でも用いる。反応値の高い点ほど、AKAZE の特徴点検出に強く反いた学習用画像と検証用画像を 320×240 画素の大きさに応しており、AKAZE による評価観点でより明確な特徴点

変更して使用する。Homographic Adaptation では、100 個のと言える。評価値が閾値未満の点を除くので、特徴点の数ランダムなホモグラフィ変換を行い特徴点の検出を行う。

は減るが、明確な特徴点のみを正解データとすることがで検出された特徴点を正解データとして MagicPoint を学習すきる。使用するデータセットは、3.3.1 節の実験と同じである。この処理を 2 回行う。

る。

SuperPoint の第 3 段階の学習では、第 2 段階と同じ学習

3.3.1 節の実験と比較して、正解データの数が減るため検用画像と検証用画像（320×240 画素）を用いる。学習回数出される特徴点数は減少するが、特徴点マッチングの精度を 200000 回、学習率は 0.0001 とした。以降、この手法をは向上すると考えられる。

「提案手法」と呼ぶ。

3.3.3 正解データを正しくマッチングできる特徴点に絞った場合の影響調査

この実験では、対象とする自然画像をある程度限定して、比較手法として、SuperPoint の第 1 段階の学習で幾何画像を用いた手法（以下、「従来手法」と呼ぶ）と AKAZE を用いた手法（以下、「AKAZE 手法」と呼ぶ）を用いる。従その種の自然画像において特徴点マッチングがうまく行え

来手法では、第 1 段階の学習で、学習用画像として 90000

た特徴点を正解データとすることの影響を調査する。デー

枚、検証用画像として 1800 枚の幾何画像を生成して利用

タセットとしては、「道路シーン」のような類似した自然画する。第 2 段階、第 3 段階の学習では、COCO dataset から像を用いる。正解データの作成では、元画像と元画像をア

80000 枚の学習用画像と 40000 枚の検証用画像を利用する。

フィン変換した画像間で AKAZE を用いて特徴点マッチン

その他の設定は、提案手法と同じである。AKAZE 手法は、グを行い、正しくマッチングが行えた特徴点のみを使用す

OpenCV4.5.5 を利用して実装した。各種設定は、デフォルる。

トのままにした。

AKAZE で検出した全ての特徴点を正解データとして使ⓒ2023 Information Processing Society of Japan

次に、評価方法について説明する。まずテスト用画像を

5

情報処理学会研究報告
IPSJ SIG Technical Report
50 枚用意する。学習データにも使用した COCO dataset かから多くの特徴点を抽出できたと考えられる。

ら学習用に使用していない画像を選び、画像サイズを 640

提案手法と AKAZE 手法を比べると、平均マッチング成×480 画素の大きさにして用いる。次に、テスト用画像に

功率、平均マッチング成功数とも、50％縮小の際は、AKAZE

対して、アフィン変換で回転や拡大縮小変化させたテスト

手法の方が良い結果を示している。SuperPoint の第 3 段階

用変換画像を作成する。テスト用画像を 10°、30°、45°、の学習では、適用するホモグラフィ変換が極端な変形とな

60°、90°に回転させ、それぞれ 50%、80%、100%、120%、

らないよう制限している。50%縮小は、極端な変形となる

150%の大きさに変換した 25 通りをテスト用変換画像とすため、対応していないことが原因と考えられる。

る。
テスト用画像とテスト用変換画像を用いて、提案手法と従来手法、AKAZE 手法を適用し、特徴点検出、特徴量記述を行う。その後、総当たりマッチングとクロスチェックを組み合わせた手法によりマッチング結果を得る。テスト用
変換画像を生成した際のアフィン変換は既知なので、マッチング結果で正しい対応点が得られたかは、逆変換を適用することで判定できる。具体的には、マッチング結果において、テスト用画像の𝑖番目の特徴点𝑄# とテスト用変換画像の𝑗番目の特徴点𝑃$ が対応している時、𝑃$ に逆変換を適用して得られる点𝑃$% が式(3)を満たすとき、正しい対応点とする。
)𝑄# − 𝑃$% ) < 𝑇

図 7 平均マッチング成功率(%)(3)

ここで𝑇は許容座標誤差である。本研究では、𝑇 = 10画素とする。
評価には、平均マッチング成功率と平均マッチング成功数を用いる。マッチング成功率は、テスト用画像とテスト用変換画像の組毎に、式(4)で求める。
マッチング成功率 =正しい対応点の数得られた対応点の数(4)

平均マッチング成功率と平均マッチング成功数は式(5)(6)で求める。
平均マッチング成功率 =マッチング成功率の総和

平均マッチング成功数 =マッチング成功数の総和

テスト画像の数

テスト画像の数(5)(6)

4.1.2 実験結果
実験結果を図 7、図 8 に示す。図 7 は横軸を拡大縮小率、

図 8 平均マッチング成功数(個)4.2 実験 2
この実験では、提案手法の学習の第 1 段階において、正解データとなる特徴点を評価値の高いもののみに絞った場合の影響を調査する。
4.2.1 実験内容

奥行きを回転角度、縦軸を平均マッチング成功率とする。

学習用画像と検証用画像は実験 1 と同じものを用いる。

図 8 は横軸を拡大縮小率、奥行きを回転角度、縦軸を平均

これらの画像に対して、AKAZE を適用して特徴点検出をマッチング成功数とする。

行う。次に、閾値を設定して学習用画像から検出された各提案手法と従来手法の平均マッチング成功率を比べる

特徴点の評価値と比較し閾値よりも高い特徴点を正解デーと、拡大縮小率が 80%から 120%の間では、いずれの回転タとして使用する。評価値には、AKAZE の反応値（OpenCV

角度でも提案手法の方が高かった。しかし、その差は 1 ポで得られる response の値）を用いる。閾値は 0.005、0.01 のイント程度で、性能として大きな違いは見られなかった。

2 通り行なった。得られた画像あたりの正解データの平均

一方、平均マッチング成功数では、拡大縮小率が 80%から個数を表 1 に示す。

150%の間で、提案手法の方が多かった。従来手法に比べ、

表 1 得られた正解データの平均個数

およそ 2 倍程度の成功数となっている。提案手法では、学学習用データ

検証用データ習の第 1 段階で自然画像を用い、AKAZE を適用して特徴

閾値なし

907.36915.72

点抽出を行っている。これにより、幾何画像を使う従来手

閾値 0.005

197.76

197.86法より多くの特徴点を利用できる。この影響により、最終閾値 0.01

65.79

64.10

的な学習済みの SuperPoint でも、提案手法の方が自然画像ⓒ2023 Information Processing Society of Japan6

情報処理学会研究報告
IPSJ SIG Technical Report
その他の設定については実験 1 と同様である。評価方法

Cityscapes Dataset[10]を用いる。このデータセットは、車にについては、4.1.1 節と同様の評価を行った。

搭載されたカメラから進行方向を撮影した動画を数フレー

4.2.2 実験結果

ム毎に抽出して作成したもので、様々な道路シーンが含ま実験結果を図 9、図 10 に示す。図 9 の座標軸は図 7 と同様である。図 10 の座標軸は図 8 と同様である。

れている。一方で、道路の路面上で道路の方向に沿って撮影されている、撮影時の高さはフロントガラス程度、街中

平均マッチング成功率に注目すると、閾値 0.005 で最良の道路を撮影しており周囲は主にビルや街路樹であるといの場合が多いが、閾値 0.01 や閾値なしと比較して大きくはった共通した性質を持っている。本実験では、Cityscapes

向上していない。閾値により AKAZE の評価観点でより明Dataset の計 5000 枚から 4400 枚の学習用画像と 500 枚の検確な特徴点のみを学習に用いることで、マッチングがしや証用画像を 1024×512 画素の大きさに変更して用いる。次

すい特徴点抽出が行え、マッチング成功率が向上すると予に、学習用画像に対して、アフィン変換で回転させた学習想していたが、そのような傾向は見られなかった。一方、用変換画像を作成する。学習用画像を 30°、45°、60°、90°

平均マッチング成功数に注目すると、閾値なしが最も多く、に回転させた 4 通りのデータセットを作成する。学習用画

次に閾値 0.005、最少が閾値 0.01 となっている。これは、像と学習用変換画像に対して、AKAZE を適用して特徴点学習に用いた特徴点の数に対応している。学習の第 1 段階

検出、特徴量記述及びマッチングを行う。マッチングにはでより多くの特徴点を用いることで、最終的に得られる学総当たりマッチングとクロスチェックを組み合わせた手法

習済みの SuperPoint でより多くの特徴点を検出できるようを用いる。学習用変換画像は、適用した変換が既知であるになると考えられる。しかし、学習の第 1 段階で使用した

ため、各特徴点は逆変換により学習用画像での位置を計算

特徴点の数の差に比べて、平均マッチング成功数の差は小できる。そのため、得られたマッチング結果が正しいか判

さい。これは、学習の第 2 段階で Homographic Adaptation に断できる。各学習用画像において、マッチングが正しく行より検出できる特徴点数を増やしている効果と考えられる。

えた AKAZE 特徴点の座標を求める。検証用画像も学習用
画像同様に行う。4 通りの回転それぞれのデータセットについて、得られた特徴点を正解データとして SuperPoint の
第 1 段階の学習を行う。第 2 段階、第 3 段階の学習でも、同じ学習用画像と検証用画像を用いる。その他の学習時の設定は、実験 1 と同様である。
評 価 時 に も 、 Cityscapes Dataset を 用 い る 。 Cityscapes
Dataset から学習時に使用していない画像 50 枚をテスト用画像とする。評価方法に関するその他の設定は、実験 1 と同様である。
4 通りの回転それぞれのデータセットを用いた学習結果

図 9 平均マッチング成功率(%)

をそれぞれ「提案手法 30°」
「提案手法 45°」
「提案手法 60°」
「提案手法 90°」と呼ぶ。比較手法として、第 1 段階の学
習に Cityscapes Dataset を用いて実験 1 と同様に学習した結果（以下、「提案手法選別なし」と呼ぶ）、実験 1 と同じ従来手法、AKAZE 手法を用いる。従来手法は、実験 1 と同じ
COCO dataset で学習したものである。
4.3.2 実験結果
本稿では、実験結果として、提案手法選別なし、提案手法 45°、提案手法 60°、従来手法の 4 通りを示し、拡大縮小
率 100%の特徴点マッチングの結果を示す。実験結果を図11、図 12 に示す。図 11 は横軸を回転角度、縦軸を平均マ

図 10 平均マッチング成功数(個)4.3 実験 3

ッチング成功率とする。図 12 は横軸を回転角度、縦軸を平均マッチング成功数とする。

この実験では、学習データを特定のシーンに限定するこ

平均マッチング成功率に注目すると、提案手法 60°が最とで、そのようなシーンに適用した学習が行えるか調査す良となっているが、他の手法と比較して、大きな向上は見る。

られない。また、例えば提案手法 60°が、60°回転の画像に

4.3.1 実験内容

対してより平均マッチング成功率が向上するといった傾向

本実験では、特定のシーンの画像データセットとして、ⓒ2023 Information Processing Society of Japanも見られない。さらに、COCO dataset で学習した従来手法

7

情報処理学会研究報告
IPSJ SIG Technical Reportと比較しても、大きな向上は見られない。本実験では、第学習データを自然画像にすることで、自然画像に合った1 段階で使用する学習デー夕を特定のシーンに絞ることで、より多くの特徴点を正解データとして SuperPoint に適用でその特定シーンに適応して平均マッチング成功率が向上すきるため、平均マッチング成功率を大きく落とすことなく、ると想定して実施したが、実験結果からはそのような傾向

平均マッチング成功数が大幅に増加した。正解データを評は見られなかった。

価値の高い特徴点に絞った場合は、はっきりとした特徴点

平均マッチング成功数に注目すると、提案手法 45°が最のみを正解データとして SuperPoint に適用できるため、平多となっている。4 通りの回転で作成したデータセットで

均マッチング成功数は減少し、平均マッチング成功率は増

は、マッチングに成功した特徴点のみを利用している。そ加すると想定していた。しかし、平均マッチング成功数はのため、提案手法選別なしに比べて学習時の特徴点の数が減少したものの、平均マッチング成功率は従来手法の少なくなっている。それにも関わらず、提案手法 45°で最SuperPoint と大差はなかった。正解データを正しくマッチ多となっている。学習時の特徴点数と学習済みのングできる特徴点に絞った場合は、平均マッチング成功率

SuperPoint で検出できる特徴点数の関係について、より深は従来手法の SuperPoint と大差はなかったが、平均マッチ

く検討する必要がある。一方、提案手法と従来手法を比較

ング成功数は増加した。全体を通じて、学習に用いる特徴

すると全般に提案手法の方が、平均マッチング成功数が多点の数が増えると、平均マッチング成功数が増える傾向がくなっている。こちらは、学習時に特定シーンの画像を使見られたが、平均マッチング成功率には大きな変化がなかったことの効果が現れたと考えられる。

った。
今後の課題として、学習データの入力画像のサイズを変更することの影響調査が挙げられる。本研究では、学習データの入力画像のサイズは 160×120 としていたが、入力
画像のサイズをより大きなサイズにすることでより多くの特徴抽出が可能となり、特徴点マッチングの結果に影響すると考えられる。第 2 段階の学習や第 3 段階の学習においても入力画像のサイズをより大きなサイズに変更すること
で特徴点マッチングの結果にどのような影響があるか検討する必要がある。また、本研究では AKAZE を用いた学習
データの特徴点検出しか行えていない。他の特徴点検出手

図 11 平均マッチング成功率(%)

法を適用して SuperPoint の学習データとして学習すること
で、特徴点マッチングの結果に影響すると考えられる。

参考文献

図 12 平均マッチング成功数(個)5. おわりに本研究では、SuperPoint において、学習に用いる正解データが特徴点マッチングにどのように影響するのかについて 3 つの観点から調査した。1 つ目は、SuperPoint の学習の第 1 段階で使用する画像を自然画像にすることの影響調査、
2 つ目は、提案手法の第 1 段階において、正解データとなる特徴点を評価値の高いもののみに絞った場合の影響調査、[1] David G. Lowe, “Distinctive Image Features from Scale-Invariant
Keypoints”, IJCV, (2004), vol60, pp.91-110.
[2] Herbert Bay, Tinne Tuytelaars, Luc Van Gool, “SURF: Speeded Up
Robust Features”, CVPR, (2008), pp.346-359.
[3] Pablo F. Alcantarilla, Adrien Bartoli, Andrew J. Davison, “KAZE
features”, ECCV, (2012), pp.214-227.
[4] Pablo F. Alcantarilla, Jesús Nuevo, Adrien Bartoli, “Fast Explicit
Diffusion for Accelerated Features in Nonlinear Scale Spaces”,
BMVC, (2013), pp.13.1-13.11.
[5] YI Kwang Moo, et.al., “Lift: Learned invariant feature transform”,
ECCV, (2016), pp. 467-483.
[6] Daniel DeTone, Tomasz Malisiewicz, Andrew Rabinovich,“SuperPoint: Self-Supervised Interest Point Detection and
Description”, CVPR, (2018), pp.337-349.
[7] RUBLEE Ethan, et.al., “ORB: An efficient alternative to SIFT or
SURF”, ICCV, (2011), pp. 2564-2571.
[8] Karen SIMONYAN, Andrew ZISSERMAN, “Very deep
convolutional networks for large-scale image recognition”,
arXiv:1409.1556, (2014).
[9] LIN Tsung-Yi, et.al., “Microsoft coco: Common objects in context”,
ECCV, (2014), pp.740-755.
[10] Cityscapes Dataset: https://www.cityscapes-dataset.com

3 つ目は、学習データを特定のシーンに限定することで、そのようなシーンに適用した学習が行えるか調査である。

ⓒ2023 Information Processing Society of Japan

8