参照画像と修正指示文を用いた Multimodal Modulation によるファッション画像検索
植田有咲 †

杉浦孔明 †† 慶應義塾大学
E-mail: arinko31@keio.jp
1 はじめに2 関連研究E コマースの市場規模は年々拡大している. 特に, 日

修正指示文を用いた画像再検索手法として CoSMo,時や場所を問わずオンラインで物の売買ができることは

CIRPLANT [Liu 21], ARTEMIS [Delmas 22] がある.

便利であり, 人々の暮らしを豊かにしている. E コマー

CoSMo はスタイル情報 (色, 柄等) とコンテンツ情報

スにおいて検索性能は重要であり, ユーザーが本当に欲(丈, 長さ等) を分離して学習を行うモデルであり, 提案しい商品を見つけるためにも高度な検索品質は必要不手法のベースライン手法として用いている. ARTEMIS,可欠である. しかしながら, 現状では商品検索においてCIRPLANT はそれぞれ Transformer を用いたモデルでユーザ意図を満たす商品を短いテキスト検索で見つけあり, 高い性能を記録している.

ることは難しい. そのため, 本研究では商品検索においFashion 分野の画像検索分野における標準データセッて, 希望通りの商品が見つからない場合, 商品画像に対トとして Fashion200K [Han 17], Fashion-MNIST [Xiao

して修正指示文を用いることで検索品質を向上させる

17], Shoes [Berg 10] データセットがある. Fashion200Kことを目的として行っている.

は様々なウェブサイトから収集された 200000 枚を超え

本研究の対象タスクは Fashion 分野における画像再るファッション画像と商品の説明情報, 服のバウンディ検索である. 本タスクは単純な画像検索タスクと異なングボックスから構成されている. Shoes データセット

り, 画像と修正指示文を元に新たな画像を再検索するタは 10000 枚の訓練集合と 4658 枚の検証集合から構成スクである. 元画像と言語情報には保持すべき情報とされており, 靴画像と商品の説明情報を含んだデータ

変更すべき情報が色やロゴ, 襟などが様々に存在し, 膨セットである. Fashion-MNIST データセットは 6 万枚大な情報を見分け, 学習することは難しい. 実際に, 既の訓練集合と 1 万枚のテスト集合を含む計 7 万枚で構存手法 [Lee 21] は形状などのコンテンツ情報, 色や柄成されるデータセットである. MNIST 同様 10 種類のなどをスタイル情報を選択的に推論に用いることがでラベル付き画像データセットである. FashionIQ データきるが, 実社会に適応するには性能が不十分である.

セット [Wu 21] は約 8 万枚の服画像で構成されており,そこで本論文では Transformer を用いた画像再検索

Dress, Toptee, Shirt の 3 種類のカテゴリに分割されて手法を提案する. 提案手法は Text Encoder, Source Im-いる. データセット内にはペアとなる参照画像と対象

age Encoder, Modulation Encoder, Candidate Image

画像が存在しており, それぞれのペアに対して 2 文ずつEncoder から構成される. 提案手法と既存手法の違いは修正指示文が与えられているデータセットである.

CoSMo [Lee 21] における Contents Modulator と Style
Modulaotor を代替するため, 参照画像と修正指示文を3 問題設定

扱う Transformer [Vaswani 17] に基づく Modulation

Encoder を導入したことである.

本研究は Fashion 分野における修正指示文を用いた提案手法は Modulation Encoder を用いることで画画像再検索タスクを対象としている. 本タスクでは参像特徴量と修正文の各単語の関係性を学習することが照画像とは異なる対象画像を修正指示文を用いて検索可能なので, 性能向上が期待できる. 特に Modulationすることを目的とする. 視覚言語情報を活用すること

Encoder では Transformer の self-attention 構造を導入

で, よりユーザ意図を反映した検索結果を出力することすることで画像特徴量と修正文の各単語の関係性を学が望ましい. 本研究の代表例を図 1 に示す. 図 1 のよ習することが可能である.

うに薄い紫色の T シャツの参照画像に対して, “darkerin color and more blue” といった修正指示文が与えられた場合に参照画像から対象画像のようなより暗い青色の T シャツを検索結果として出力することが望まし異なり, ResNet50 の事前学習済みモデルの最終層までで構成された Candidate Image Encoder を用いて特徴量抽出を行った.

4.1

Feature Extractor

Source Image Encoder, Candidate Image Encoder
ではそれぞれ xref , xcand を入力とし, ResNet50 を用いて特徴量抽出を行う. Text Encoder では BERT を用いて xtext から特徴量抽出を行う.

図 1

参照画像に対して “darker in color andv

more blue”という修正指示文が与えられた例

t = ftext (xtext )(1)

xr = fimg (xref )(2)∗= fimg(xcand )(3)t

ftext , fimg は Text Encoder, Source Image Encoder をい. 提案手法の入力は参照画像, 候補画像群, 修正指示∗表す. fimg
は Candidate Image Encoder を表す. ここで, Source Image Encoder からの出力は ResNet50文である. 出力は画像と候補画像群をランキングしたの conv5 x 層目からの出力であり, Candidate Image順序集合である.

Encoder からの出力は ResNet50 の最終層からの出力

本論文で使用する用語を以下に定義する.

である. xr ∈ RC×(H×W ) , t ∈ RL×N , v t ∈ R512 であ• 参照画像: 修正を施す前の画像

り, それぞれ符号化された参照画像特徴量, 修正指示文• 対象画像: 参照画像とペアとなる 1 枚の正解画像

特徴量, 候補画像特徴量を表す. ここで C はチャネル• 候補画像: カテゴリごとに存在する対象画像候補数, H, W は画像の高さ, 幅を表す. L は文の単語数, N
は Text Encoder の埋め込みベクトルの次元数である.の画像• 修正指示文: 参照画像から対象画像を検索するための指示文
本研究での評価尺度は Recall@k である.

4.2

Modulation Encoder

Modulation Encoder の入力は xr , t を結合したものである. 画像と言語特徴量を連結した後に Transformerに入力することにより, 画像特徴量と修正指示文の各単語の関係性を学習することが可能であると考えられる.

4 提案手法本手法は CoSMo 等の既存の Fashion 分野における画像検索手法と関連が深い. CoSMo を元となる手法

xr を畳み込み層に入力することで次元数を t の次元数に合わせた.xr の畳み込み層からの出力を ximg とする.
ximg ∈ R1×N である. ここでチャネル方向に ximg , t のとした理由は FashionIQ データセットにおいて良好な結合を行い, 画像言語特徴量 xvl を得る.xvl ∈ R(L+1)×N結果を得ているためである. 元となる手法との違いは

xvl に対し, Positional Encoding を行い, 位置情報の埋めCoSMo における Contents Modulator と Style Mod-込みを行う. Positional Encoding を行った xvl を Multi-ulator を代替するため, 参照画像と修正指示文を扱う

Head Attention 層に入力する. xvl から Attention HeadTransformer に基づく Modulation Encoder を導入し

数 A だけ Query Q, Key K, Value V を生成する.

たことである. 図 2 に提案手法のモデル図を定義する. 提案手法は Text Encoder, Source Image Encoder,
提案手法の入力は

x = {xref , xtext , xcand } である. xref は参照画像, xtext は
修正指示文が複数ある場合は各文章を <SEP> トークンで結合させたものを表す. xcand は候補画像を表す. xref
を ResNet50 [He 16] の事前学習済みモデルの一部により構成された Source Image Encoder を用いて特徴量抽出を行った. xtext は BooksCorpus [Zhu 15] と English

Wikipedia における事前学習済みの BERT [Devlin 19]で構成された Text Encoder を用いてトークンごとの埋め込みを行った. xcand は Source Image Encoder とは(i) (i)(4)(i) (i)
K = WK xvl(i) (i)V (i) = WV xvl

(5)

(i)

Modulation Encoder, Candidate Image Encoder の 4つのモジュールから構成される.

Q(i) = WQ xvl(6)

ここで i = {1, ..., A} である. 以下に示す Multi-HeadAttention の式に基づき, Attention スコア Sattn を算出する. H は隠れ層のサイズを表す.
(1)

(A)

Sattn = fattn , ..., fattn ,(i)fattn = sof tmax(dk =HA

Q(i) K (i)⊤ (i)
√)Vdk

(7)
(8)
(9)

図2

提案手法のモデル図得られた Sattn はドロップアウト層, 正規化層を適用し2080 Ti（メモリ 11GB）x1，64GB-RAM，Intel Corei9

た後, 全結合層と活性化関数による処理が加えられる.

9900K を搭載した計算機上で行った．学習に要した時最後に再びドロップアウト層, 正規化層を適用する. こ間は約 2 時間半である.の一連の処理を Transformer 層の１ブロックとして定表 1 提案手法のハイパーパラメータ設定
BackboneResNet50

義する. 最後の Transformer 層からの出力を hout とする. hout を全結合層に入力することで出力 v ∈ Rc512を得る.

4.3

Transformer#L:8, #H:768, #A:8

Optimizer

RAdam (β1 = 0.9, β2 = 0.999)

Learning Rate

2.0 × 10−4

Weight decay

5.0 × 10−5

Batch size

32

Epochs50

損失関数

損 失 関 数 と し て batch-based classification loss(BBCL) を用いた. 損失関数の式を以下に示す.
1 ∑exp κ(v c,i , v t,i )LBBCL =− log ∑Nc,i t,j
B i=1j=1 exp κ(v , v )B(10)

ここに, v c は提案手法の最終出力を表し, v t は Candi-date Image Encoder からの出力を表す. BBCL を用いて v c と v t の特徴量間の距離が最小となるように学習を行う. κ はコサイン類似度などの任意の類似度関数を表す.

5 実験設定評価実験のデータセットには FashionIQ データセッ
トを用いた. FashionIQ データセットは Fashion 分野
における画像再検索タスクにおいて標準的に用いられ6 実験結果
6.1

定量的結果

本手法とベースライン手法の定量的比較結果を表 2に示す. ベースライン手法として CoSMo [Lee 21] を用いた. CoSMo をベースライン手法として選んだ理由は FashionIQ データセットを含めた Fashion 系データセットにおいて良好な結果が報告されているためである. 評価尺度として標準的に用いられている Recall@kを用いた. Recall@k は以下で定義される.ている. FashionIQ データセットは 77684 枚の Fashion

Recall@k =商品画像から構成されており, Dress, Toptee, Shirt の{xtrg } ∩ Pk{xtrg }(11)三つのカテゴリに分類されている. 各サンプルにつき

ここで {xtrg } は正解となる対象画像群, k は考慮する上

1 枚の参照画像 xref , 対象画像 xtrg , 2 文の修正指示文

位ランキング数, Pk は予測した上位 k 個の画像群を表

xtext で構成されている. 今回は Toptee のみを使用した.

す. ベースライン手法の Recall@10 は 21.07%, 提案手Toptee の総画像枚数は 26329 枚, 訓練集合は 5782 サン法は 22.32%であり, ベースライン手法に比べて 1.30%

プル, テスト集合は 1847 サンプルである. すなわち, 候向上した. Recall@50, Recall@100 についても 44.70%

補画像 xcand の画像枚数は 26329 枚, 参照画像 xref は訓から 46.40%, 57.75%から 58.71%へ向上した.

練集合内に 5782 枚, テスト集合内に 1847 枚存在する.

6.2

修正指示文は Amazon Mechanical Turk によるものである. 訓練集合をモデルのパラメータの学習に, テスト集合をモデルの性能評価に使用した.
表 1 に提案手法の設定を示す. 表 1 の Transformer
における#L は層数, #H は隠れ層の次元数, #A は At-tention Head の数を表す. 提案手法の学習可能なパラメータ数は約 1 億 5000 万である. 学習は GeForce RTX

Ablation study

本研究の ablation 条件を以下に示す.

• Ablation-1 w/o BERT : ベースライン手法で用いられていた Text Encoder を用いた場合の性能への影響を調査するため, Text Encoder に BERT の代
わりに LSTM を使用したモデル• Ablation-2 w/ Transformer #L: 6 : Modulation
Encoder の層数を減少させた場合の性能への影響

表2Method

図3定性的結果 : 提案手法の成功例

図4定性的結果 : 提案手法の失敗例

定量的結果 Recall@kk = 10 k = 50

きていることが分かる. どちらの例についても上位 1 位

k = 100に正解画像を予測できている.
提案手法の失敗例はテストセットの中に合計 1400 サ

CoSMo (reproduced)

21.07

44.70

57.75

ンプル存在した. 提案手法が失敗した例を図 4 に示す.

Ablation-1 (ours)

20.64

44.27

55.86

図 4 の一番左の画像は参照画像, 水色の枠で囲まれた画

Ablation-2 (ours)

21.79

45.23

58.12

像は正解画像, 文章が修正指示文, 右の赤枠の画像が提案

Full (ours)

22.31

46.40

59.39

手法の予測結果の上位 5 枚である. 成功例と同様予測結果は左にいくほど順位が上位の画像である. “sleeves”,を調査するため Modulation Encoder の層数を 6 層に減らしたモデル

Text Encoder に LSTM を用いたモデルは提案手法に比べて約 2 ポイントほど性能が悪い結果が得られた.
この結果より, Text Encoder として BERT を用いた単語ごとの埋め込みを行うことが性能向上に寄与していると考えられる.

6.3

定性的結果

提案手法の成功例を図 3 に示す. 図 3 では一番左側の画像が参照画像, 文章が修正指示文, 右の緑枠または“is black with skull designs”という修正指示文が与えられているが, 提案手法は袖無しのタンクトップを予測結果として出力している. 失敗した原因としては修正指示文の一つが “sleeves” のみであり, 正解例の修正指示文に比べて情報量が少ないため, 袖情報が重視されなかったためと考えられる.

7 結論
本論文では Fashion 分野における画像再検索タスクに焦点を当てた. 本論文の貢献は以下の通りである.

赤枠で囲まれた画像が予測結果の上位 5 枚の画像を表• CoSMo における Contents modulator と Style

す. 緑枠で囲まれた画像は正解画像を表し, 予測結果はmodulator を代替するため、参照画像と修正指示文左にいくほど順位が高い. 図 3 の上の例では鮮やかなピを扱うに基づく Modulation encoder を導入した.

ンクの T シャツに対して,“is brighter colored with no• FashionIQ データセットの Toptee カテゴリにおいbutton”, “has more blue and less buttons”といった修正指示文が与えられることにより, 提案手法は参照画像からより明るい青色のボタンのない T シャツを予測できていることが分かる. 下の例については暗めの薄紫色の半袖の服に対して “The tank top is loose fitting andpurple in color.”, “is sleeveless and is a brighter shadeof purple”といった修正指示文が与えられることで参照
画像から袖がない明るい紫色のタンクトップを予測でて既存手法に比べて性能を向上させた.
将来研究としては性能向上のために骨格検出の導入やOptical Character Recognition (OCR) などの服上の文字についても考慮した予測を行うことが可能であると考えられる.

謝辞
本 研 究 の 一 部 は ，JSPS

科研費

20H04269，

JSTCREST，NEDO の 助 成 を 受 け て 実 施 さ れ たものである．

参考文献[Berg 10] Berg, T. L., Berg, A. C., and Shih, J.: Automatic attribute discovery and characterization fromnoisy web data, in ECCV, pp. 663–676Springer(2010)[Delmas 22] Delmas,
Csurka,G.,

G.,

andAttention-based

Rezende,Larlus,Retrieval

deR.

S.,

D.:

ARTEMIS:with

Text-Explicit

Matching and Implicit Similarity, arXiv preprint
arXiv:2203.08101 (2022)[Devlin 19] Devlin, J., Chang, M.-W., Lee, K., andToutanova, K.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, pp. 4171–4186 (2019)[Han 17] Han, X., Wu, Z., Huang, P. X., Zhang, X.,Zhu, M., Li, Y., Zhao, Y., and Davis, L. S.: Automatic spatially-aware fashion concept discovery, inICCV, pp. 1463–1471 (2017)[He 16] He, K., Zhang, X., Ren, S., and Sun, J.: Deep
residual learning for image recognition, in CVPR,pp. 770–778 (2016)[Lee 21] Lee, S., Kim, D., and Han, B.: CoSMo:
Content-style modulation for image retrieval withtext feedback, in CVPR, pp. 802–812 (2021)[Liu 21] Liu, Z., Rodriguez-Opazo, C., Teney, D., andGould, S.: Image Retrieval on Real-Life Images
With Pre-Trained Vision-and-Language Models, inICCV, pp. 2125–2134 (2021)[Vaswani 17] Vaswani, A., Shazeer, N., Parmar, N.,
Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L.,
and Polosukhin, I.:

Attention is all you need,

NeurIPS, Vol. 30, (2017)[Wu 21] Wu, H., Gao, Y., Guo, X., Al-Halah, Z., Rennie, S., Grauman, K., and Feris, R.: Fashion IQ:
A new dataset towards retrieving images by natural language feedback, in CVPR, pp. 11307–11317(2021)[Xiao 17] Xiao, H., Rasul, K., and Vollgraf, R.:
Fashion-MNIST: a novel image dataset for benchmarkingmachinelearningalgorithms,

arXiv

preprint arXiv:1708.07747 (2017)[Zhu 15] Zhu, Y., Kiros, R., Zemel, R., Salakhutdinov, R., Urtasun, R., Torralba, A., and Fidler, S.:

Aligning books and movies: Towards story-like visual explanations by watching movies and readingbooks, in ICCV, pp. 19–27 (2015)