CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 26 回 画像の認識・理解シンポジウム

視覚言語事前学習と推論で共通の DNN を用いる
一般化 Few-Shot 物体検出長野 紘士朗1,a)

佐藤 文彬1,b)

概要
本稿では，一般化 Few-Shot 物体検出の従来研究におい八馬 遼1,c)

関井 大気1,d)用における課題解決に取り組む．

1.1 関連研究と課題て応用上拡張性が制限される 2 つの課題，検出対象物体の物体検出のための Few-Shot 学習の従来研究は，メタ学

少数サンプルを Few-Shot 学習するために必要となる特別習ベースの手法と転移学習ベースの手法に大別できる．前な学習コスト，少数サンプルのバリエーションの不足，を者の従来研究の多くは，未知クラスに関する特徴量の条件同時に解決する手法を提案する．具体的には，視覚言語事付けに少数サンプルを用いる [5, 7, 8, 10, 17, 18, 26, 29, 30]．

前学習が適用された DNN の汎化性を活用し，Few-Shot 学

近年では，このような条件付けに注意機構が数多く用いら習時に DNN の更新なしに事前学習時と共通の DNN を用れており，少数サンプルに対する注意機構の出力を，検出いて，対象物体の見えに関する特徴量をモデル化する枠組

対象の入力画像（以降，入力画像）全体から検出した物体みを提案する．実験では，比較的物体の見えの異なる 2 つ

領域候補の特徴量の重み付け [30] や修正 [5] に用いる．この公開データセットを事前学習と Few-Shot 学習に用いて，れに対して，転移学習ベース手法は，未知クラスを含まな従来法と提案法の検出精度を比較することで，先述の課題い大規模なデータセットと未知クラスの少数サンプル両方に対する提案法の有効性を検証する．

1. はじめにに対して DNN を最適化する．近年では，少数サンプルに対する汎化性を獲得するため，Fine-Tuning 時の正則化 [1]や少数サンプルの拡張 [28] が試みられている．以上に述べ

物体検出 [20,21] は，動画像から物体を検出するとともにた従来研究では，少数サンプルの導入に際して，破滅的忘画像上の位置とサイズを求める技術であり，Deep Learning

却 [15, 16] と呼ばれる，未知クラス以外のクラス（事前学技術 [11] の導入以降飛躍的に性能が向上し，自動運転 [27]習した物体クラスなどの既知クラス）に対して検出精度がやロボティクス [9]，医用画像処理 [23] など様々な分野に低下する現象が避けられない．

応用されている．近年では，画像に関する文章を自然言語

この問題に対して，いずれのクラスに対しても汎化性処理技術 [25] を用いて変換した特徴量（以降，文章特徴量）を維持することを目的とした，一般化 Few-Shot 物体検出を活用する視覚言語事前学習 [19] が導入され，ユーザーが（Generalized Few-Shot Object Detection，G-FSOD）と呼文章入力で説明した，事前学習時に未知であった物体クラばれる手法が提案されている．Retentive R-CNN [4] は，ス（以降，未知クラス）を，追加の少数の学習サンプル（以事前学習済みの DNN と，少数サンプルで Fine-Tuning さ降，少数サンプル）を用いることなしに Zero-Shot で検出れた DNN を結合することで，また CFA [6] は，少数サンすることが可能となっている．

プルに対する過学習を抑制するための条件付き最適化を導これに対して，事前学習に用いるデータセットで網羅で入することで，それぞれ破滅的忘却を抑制している．一方，きていない希少な特徴を持つクラスに対しては，少数サン

視覚言語事前学習に基づく Zero-Shot 学習手法 [31] は，破プルを活用する Few-Shot 学習が未だ有効である一方，次滅的忘却なしにユーザーが文章で説明した未知クラスを検節で述べるように，Zero-Shot 学習手法に比べ，応用にお出できる一方，文章で説明できるクラスに検出対象が制限いて学習コストや検出の頑健性に関する複数の課題が残っされる．ている．本稿では物体検出の Few-Shot 学習に着目し，応1a)b)c)d)

コニカミノルタ株式会社
koshiro.nagano@konicaminolta.com
fumiaki.sato1@konicaminolta.com
ryo.hachiuma@konicaminolta.com
taiki.sekii@konicaminolta.com

本研究の着目する G-FSOD の従来研究では，以下に述べるように応用面でいずれかの課題があり，利用できるシーンの拡大や性能の改善に際して拡張性に乏しい．
課題 1. 少数サンプルの学習コスト

Few-Shot 学習のための処理（未知クラス専用の特徴抽1

第 26 回 画像の認識・理解シンポジウム

Few-Shot学習段階
真値の物体領域GLIP𝝁𝑐𝑠

物体候補領域 Visual Encoder出力

推論段階
𝐱GLIP
説明文:
stingray

コサイン類似度 𝑝(𝐴𝑐 |𝑂)（外観スコア）

物体候補領域 Visual Encoder出力

検出スコア
𝑝(𝑂, 𝐴𝑐 , 𝑇𝑐 )Centerness 𝑝(𝑂)Word-Region Alignment Score 𝑝(𝑇𝑐 |𝑂)（意味スコア）

図 1: 提案法の概要．
出器や DNN の更新）に，一定以上の性能のプロセッサや，案法の検出精度を比較することで，先述の課題に対する提DNN を更新するシステムが求められ，計算機コストや開案法の有効性を検証する．

発コストが必要となる．
課題 2. 少数サンプルのバリエーションの不足

本論文の貢献は，前節で述べた Few-Shot 学習の応用上の課題に対して，（1）Few-Shot 学習時に DNN の更新なし

少数サンプルの数が不足している場合，検出対象物体のに事前学習時と共通の DNN を用いる G-FSOD が実現可

見えのパターン数と，既知クラスから学習した特徴表現の能であり，（2）未知クラスの説明文の文章特徴量が，未知影響により，未知クラスの見えに関する情報の不足から検クラスに関する追加の情報として検出の頑健化に有効であ出精度が低下するため，利用できるシーンが制限される．

ることの 2 点を示すことである．

1.2 本研究の概要と貢献

2. 提案法

本研究では，応用における G-FSOD の課題を解決する提案法の概要を図 1 に示す．本研究では，物体検出の基ため，比較的大規模なデータセットを用いた視覚言語事前本的な枠組みとして GLIP [12] を採用する．視覚言語事前学習で得られる DNN の汎化性を活用し，Few-Shot 学習時学習が適用された GLIP を Few-Shot 学習段階から推論段に DNN の更新なしに事前学習時と共通の DNN を用いる階まで共通に用いる．Few-Shot 学習で得られる，未知ク問題設定に取り組む．具体的には，Few-Shot 学習時には，ラスの見えを表現する特徴ベクトルは，ユーザーが入力し未知クラスの物体領域の見えを，少数サンプルから抽出すた未知クラスの説明文とともに，推論時に検出される物体る特徴量をクラスごとに平均した平均ベクトルとしてモデ領域候補のクラス分類に用いられる．

ル化 *1 する．未知クラスごとの平均ベクトルを，推論時に検出される物体候補領域のクラス分類に用いることで，未2.1 Few-Shot 学習段階

知クラス専用の特徴抽出器や重みの更新を排し先述の課題

Few-Shot 学習段階では，クラスラベル付きの物体領域1 に対処する．また，先述の課題 2 に対して，ユーザーが入（バウンディングボックス）の真値がアノテーションされた

力した未知クラスの説明文の文章特徴量もまた物体候補領

少数サンプルの画像に GLIP を適用することにより，物体域のクラス分類の条件付けに用いる．これにより，未知ク候補領域を検出する．次に，これらの物体候補領域を真値ラスに関する情報の不足を補い検出の頑健化を促進する．の物体領域と対応付ける．対応付いた候補領域に対して，実験では，比較的物体の見えの異なる 2 つの公開データ

Visual Encoder から出力された特徴マップ上で該当する位セットを事前学習と Few-Shot 学習に用いて，従来法と提置からチャンネル方向の特徴ベクトルを割り当てる．ただし，真値の物体領域には，IoU（Intersection of Union）が*1

本研究ではこのステップを Few-Shot 学習と位置付ける．

0.9 以上かつ候補の中で最大となる候補領域を対応付ける．

2

第 26 回 画像の認識・理解シンポジウム

特徴マップの各スケール s において，真値と対応付いた候補領域の特徴ベクトルを未知クラス c ごとに平均することにより，スケール・クラスごとの平均ベクトル µsc を得る．

表 1: Aquarium データセットを用いた従来法と提案法の物体検出精度の比較結果．
MethodAP （%）

GLIP w/ Original Prompts [12]17.7

GLIP w/ Manually Designed Prompts [12]18.4

推論段階では，前節同様に GLIP を用いて入力画像からOurs w/o p(Tc |O)

15.5

物体候補領域を求めるとともに，未知クラスごとの平均ベOurs w/ p(Tc |O)

19.5

2.2 推論段階

クトルと未知クラスを説明する文章を用いて，各候補領域に対して次式のように未知クラス c に関する検出スコア

は 365 種類の物体クラスから構成される一方，Aquariump(O, Ac , Tc ) を計算する．

データセットのクラスは 7 種類の海洋生物から成る．

p(O, Ac , Tc ) = p(O)p(Ac |O)p(Tc |O),

Few-Shot 学習段階では，Aquarium データセットに含(1)まれる学習データの画像 448 枚を少数サンプルとして 2.1

ただし，p(O) は候補領域の検出スコア（Centerness [24]）節で述べた平均ベクトル µsc を計算し，また，推論段階でである．p(Ac |O) は，候補領域が未知クラス c の見えに合は，同データセットのテストデータの画像 127 枚を用いる．

致するスコア（以降，外観スコア）であり，次式のように

Few-Shot 学習・推論段階両方において，入力画像はすべてコサイン類似度 Cos(·, ·) を用いて近似する．
{}
p(Ac |O) ∼ max 0, w1 Cos(x, µsc )1/w2 ,アスペクト比を保ったまま 800 × 1, 066 [px2 ] の解像度にリサイズし用いた．

(2)

ただし，x は，前節で述べた µsc の計算と同様の方法で3.2 実装の詳細

Visual Encoder から抽出した候補領域の特徴ベクトルであGLIP の DNN 構造には，Visual Encoder として Swinり，w1 ，w2 はそれぞれ正規化定数，温度パラメータであTransformer（Tiny） [14] が，物体候補領域からの画像特る．p(Tc |O) は，ユーザーが入力した未知クラスの説明に徴量・文章特徴量の Encoder としてそれぞれ DyHead [2]・候補領域の物体が合致しているかを表すスコア（以降，意BERT [3] が，また，GLIP の物体検出全体の枠組みには味スコア）である．本論文では，p(Tc |O) を GLIP で導入

RetinaNet [13] が採用された．DNN の重みは，GLIP の著された Word-Region Alignment Score を用いて近似する．

者らによる実装*2 により事前学習されたものである．

2.1 節で述べた未知クラス c ごとの平均ベクトル µsc を，2.3 提案法の特長

Visual Encoder からの 5 スケール（s ∈ {1, · · · , 5}）の特GLIP を構成する DNN は未知クラスを含まないデータ徴マップそれぞれに対して計算した．また，式 2 におけセットを用いて事前学習済みであり，Few-Shot 学習段階る w1 ，w2s （w2 を s ごとに調整）を検出精度を最大化す

で µsc を計算する際には，DNN が少数サンプルに合わせるよう調整し，それぞれ w1 = 1.0，(w21 , w22 , w23 , w24 , w25 ) =て更新されることはなく，破滅的忘却は原理的に起こらな(1.5, 2.0, 2.0, 1.0, 1.0)（s はスケール順），と定めた．意味スいことが保証される．加えて，推論段階でも同様に GLIPコアの計算に必要となる未知クラスの説明文に関する設定が用いられることを踏まえると，1.1 節の課題 1 で述べたは，従来法の評価方法 [12] と同様である．

Few-Shot 学習のための特別な学習コストは発生しないことがわかる．

3.3 従来法に対する比較実験

また，1.1 節の課題 2 に対して，外観スコアとともに意従来法と提案法の物体検出精度（以下，精度）を比較

味スコアを物体候補領域の検出スコアの条件付けに用いるした結果を表 1 に示す．比較対象の従来法として，提案ことにより，外観スコアの計算に用いる少数サンプルに不法同様，事前学習から推論にかけて共通の DNN を用い足している情報を，意味スコアを通じてユーザーは候補領る GLIP [12] を採用した．意味スコアを利用する提案法

域の検出スコアに反映できる．

（Ours w/ p(Tc |O)）の精度は，認識対象の説明文として未知クラスの名称（例えば，stingray）を用いる従来法

3. 評価実験（GLIP w/ Original Prompts）を +1.8 [%pt] 上回り，さら3.1 データセットに，認識対象の説明文に未知クラスの色や形状などの説明提案法が用いる GLIP の設定にしたがい，DNN の視覚言（例えば，stingray which is flat and round）が追加

語事前学習には比較的大規模なデータセットである Object-された従来法（GLIP w/ Manually Designed Prompts）を365 [22] を，また，Few-Shot 学習の評価には，Object-365+1.1 [%pt] 上回っている．また，意味スコアを利用しないと物体の見えが異なる Aquarium データセット [12] を用場合（Ours w/o p(Tc |O)）であっても，未知クラスの名称いて提案法の有効性を検証する．Object-365 データセット*2

https://github.com/microsoft/GLIP3

第 26 回 画像の認識・理解シンポジウムを用いる従来法（GLIP w/ Original Prompts）との精度の差は数 [%pt] にとどまる．以上の結果を踏まえると，提案法は，1.1 節の課題 1 で述べた学習コストなしに物体の外[7]観特徴を Few-Shot 学習可能であることがわかる．
また，提案法において物体候補領域の検出スコアに意[8]

味スコアを用いる場合（Ours w/ p(Tc |O)）の精度は，意味スコアを用いない場合（Ours w/o p(Tc |O)）の精度を約+4 [%pt] 上回っている．これは，未知クラスの説明文が，[9][10]

1.1 節の課題 2 で述べた未知クラスの見えに関する情報の不足を，意味スコアを通じて補ったことによる効果である．
本実験では，未知クラスの海洋生物と同様の特徴表現を[11]持つ物体が，事前学習用の Object-365 データセットに含まれていると考えられる．提案法が効果を発揮するために[12]は，未知クラスの特徴表現を一定以上獲得できる物体が，事前学習する既知クラスに十分含まれている必要がある．

4. まとめ
本稿では，一般化 Few-Shot 物体検出の従来研究におい[13][14]て応用上拡張性が制限される 2 つの課題，検出対象物体の少数サンプルを Few-Shot 学習するための特別な計算機コストや開発コスト，少数サンプルのバリエーションの不足，を同時に解決する手法を提案した．具体的には，視覚言語[15][16]事前学習が適用された DNN の汎化性を活用し，Few-Shot学習時に DNN の更新なしに事前学習時と共通の DNN を[17]用いて，物体の見えをモデル化する枠組みを提案した．実験では，視覚言語事前学習に用いた Object-365 と物体の見えが異なる Aquarium データセットを用いて，比較対象[18]の従来法である GLIP と提案法の検出精度を比較することにより，先述の課題に対する提案法の有効性を検証した．

[19]

今後の課題として，Few-Shot 学習時に DNN が更新されない提案法の条件を，事前知識として DNN の正則化や帰納バイアスを通じて事前学習に導入することで，DNN 学習[20]を条件付けし汎化を促進する改良があげられる．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Chen, H., Wang, Y., Wang, G. and Qiao, Y.: LSTD: A
Low-Shot Transfer Detector for Object Detection, AAAI(2018).
Dai, X., Chen, Y., Xiao, B., Chen, D., Liu, M., Yuan, L.
and Zhang, L.: Dynamic Head: Unifying Object Detection Heads With Attentions, CVPR (2021).
Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K.:
BERT: Pre-training of deep bidirectional transformers
for language understanding, NAACL (2019).
Fan, Z., Ma, Y., Li, Z. and Sun, J.: Generalized
Few-Shot Object Detection Without Forgetting, CVPR
(2021).
Fan, Z., Yu, J.-G., Liang, Z., Ou, J., Gao, C., Xia, G.-S.
and Li, Y.: FGN: Fully Guided Network for Few-Shot
Instance Segmentation, CVPR (2020).
Guirguis, K., Hendawy, A., Eskandar, G., Abdelsamad,M., Kayser, M. and Beyerer, J.: CFA: Constraint-based

[21]

[22]

[23]

[24]

[25]

[26]
[27]

Finetuning Approach for Generalized Few-Shot Object
Detection, CVPRW (2022).
Hsieh, T.-I., Lo, Y.-C., Chen, H.-T. and Liu, T.-L.:
One-Shot Object Detection with Co-Attention and CoExcitation, NeurIPS (2019).
Kang, B., Liu, Z., Wang, X., Yu, F., Feng, J. and Darrell,T.: Few-Shot Object Detection via Feature Reweighting,
ICCV (2019).
Karaoguz, H. and Jensfelt, P.: Object Detection Approach for Robot Grasp Detection, ICRA (2019).
Karlinsky, L., Shtok, J., Harary, S., Schwartz, E., Aides,A., Feris, R., Giryes, R. and Bronstein, A. M.: RepMet:
Representative-Based Metric Learning for Classiﬁcation
and Few-Shot Object Detection, CVPR (2019).
Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet Classiﬁcation with Deep Convolutional NeuralNetworks, NeurIPS (2012).
Li, L. H., Zhang, P., Zhang, H., Yang, J., Li, C., Zhong,Y., Wang, L., Yuan, L., Zhang, L., Hwang, J.-N., Chang,K.-W. and Gao, J.: Grounded Language-Image PreTraining, CVPR (2022).
Lin, T.-Y., Goyal, P., Girshick, R., He, K. and Dollar, P.:
Focal Loss for Dense Object Detection, ICCV (2017).
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin,S. and Guo, B.: Swin Transformer: Hierarchical Vision
Transformer Using Shifted Windows, ICCV (2021).
Lopez-Paz, D. and Ranzato, M.: Gradient Episodic
Memory for Continual Learning, NeurIPS (2017).
McCloskey, M. and J. Cohen, N.: Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem, Psychology of Learning and Motivation,
Vol. 24, Academic Press, pp. 109–165 (1989).
Michaelis, C., Ustyuzhaninov, I., Matthias, B. andS. Ecker, A.:
One-Shot Instance Segmentation,
arXiv:1811.11507 (2018).
Perez-Rua, J.-M., Zhu, X., Hospedales, T. M. and Xiang, T.: Incremental Few-Shot Object Detection, CVPR
(2020).
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh,G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P.,
Clark, J., Krueger, G. and Sutskever, I.: Learning Transferable Visual Models From Natural Language Supervision, ICML (2021).
Redmon, J., Divvala, S., Girshick, R. and Farhadi, A.:
You Only Look Once: Uniﬁed, Real-Time Object Detection, CVPR (2016).
Ren, S., He, K., Girshick, R. and Sun, J.: Faster R-CNN:
Towards Real-Time Object Detection with Region Proposal Networks, NeurIPS (2015).
Shao, S., Li, Z., Zhang, T., Peng, C., Yu, G., Zhang,X., Li, J. and Sun, J.: Objects365: A Large-Scale, HighQuality Dataset for Object Detection, ICCV (2019).
Sheoran, M., Dani, M., Sharma, M. and Vig, L.: DKMAULD: Domain Knowledge augmented Multi-head Attention based Robust Universal Lesion Detection, BMVC(2021).
Tian, Z., Shen, C., Chen, H. and He, T.: FCOS:Fully Convolutional One-Stage Object Detection, ICCV(2019).
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J.,
Jones, L., Gomez, A. N., Kaiser, L. u. and Polosukhin,
I.: Attention is All you Need, NeurIPS (2017).
Wang, Y.-X., Ramanan, D. and Hebert, M.: MetaLearning to Detect Rare Objects, ICCV (2019).
Wei, J., He, J., Zhou, Y., Chen, K., Tang, Z. and Xiong,4

第 26 回 画像の認識・理解シンポジウム

[28]

[29]

[30]

[31]

Z.: Enhanced Object Detection With Deep Convolutional Neural Networks for Advanced Driving Assistance,IEEE Transactions on Intelligent Transportation Systems, Vol. 21, No. 4, pp. 1572–1583 (2020).
Wu, J., Liu, S., Huang, D. and Wang, Y.: Multi-Scale
Positive Sample Reﬁnement for Few-Shot Object Detection, ECCV (2020).
Xiao, Y. and Marlet, R.: Few-Shot Object Detection andViewpoint Estimation for Objects in the Wild, ECCV(2020).
Yan, X., Chen, Z., Xu, A., Wang, X., Liang, X. and Lin,L.: Meta R-CNN: Towards General Solver for InstanceLevel Low-Shot Learning, ICCV (2019).
Zhang, H., Zhang, P., Hu, X., Chen, Y.-C., Li, L.,
Dai, X., Wang, L., Yuan, L., Hwang, J.-N. and Gao,J.: GLIPv2: Unifying Localization and Vision-Language
Understanding, NeurIPS (2022).

5