情報処理学会研究報告
IPSJ SIG Technical Report

複数の形式からなる複合データへのメタデータ付与
鈴木 釈規1,a)

池田 大輔2,b)

概要：近年では，動画，画像及び文章などの複数の形式からなるデータ（複合データ）が増加している．
メタデータにより効率的な参照が可能となるが，メタデータ付与の従来手法は，単一形式のデータを利用した手法に限られる．複合データの豊富な情報活用により，メタデータ付与の正確性を向上することが期待できる．本論文では画像に付与されるメタデータの曖昧性解消と画像へのメタデータ付与の二つの研究課題に取り組む．曖昧性解消では付与されたメタデータと画像分類により取得した画像情報を組み合わせた手法を，画像へのメタデータ付与では，画像からテキスト特徴量への変換とそれに基づく分類手法を提案する．従来手法との比較評価により提案手法の有効性を示す．
キーワード：複合データ，画像，テキスト，メタデータ付与

Assignment of Metadata for Compound Data
Consisting of Multiple Data Formats
Tokinori Suzuki1,a)Daisuke Ikeda2,b)Abstract: In recent years, the amount of multimodal data consisting of multiple data formats such as mixtures of videos, images and texts, which we call the compound data. Although metadata makes it possible
to access such data quickly, most eﬀort of previous studies on automatic assignmennt of metadata have been
devoted to single format of data that cannot make full use of rich information of the coumpound data. In
this paper, we propose a method utilzing the compound data for each of two research tasks: disambiguation of metadata assigned to images and automatic metadata annotation to images. We demonstrate theireﬀectiveness with experiments.
Keywords: Compound Data, Image, Text, Assignment of Metadata

1. はじめに近年，ネット上で共有されるデータが多様化している．
例えばソーシャルメディアサービス（SNS）では複数の対するユーザのコメントからなるデータとみなせる．本論
文では，こうした複数の形式から構成されるデータを複合
データと呼称する．複合データへの効率的な参照とするメ
タデータ付与は重要な課題である．

形式からなデータがコンテンツになる．画像 SNS サイト

メタデータ付与に関する従来研究の多くは，単一形式

Instagram*1 のコンテンツは，投稿画像・動画と，それにデータの利用に限られる．例えば，文章データ中の特定の単語が指し表す実体を特定して，知識体系に対応付けする

1

2

a)
b)
*1

九州大学大学院システム情報科学府
Graduate School of Information Science and Electrical Engineering, Kyushu University
九州大学大学院システム情報科学研究院
Faculty of Information Science and Electrical Engineering,
Kyushu University
suzuki.tokinori.070@s.kyushu-u.ac.jp
daisuke@inf.kyushu-u.ac.jp
https://www.instagram.com/

c 2021 Information Processing Society of Japan⃝

こともメタデータ付与とみることが出来る．特に，知識体系としてウィキペディア*2 が用いられる場合，ウィキフィ
ケーション [1, 2, 11] と呼称される．この課題では主に文章データを利用する手法に限られる．また，画像へのメタデータ付与では，参照用キーワードを割り当てる画像アノ*2

https://www.wikipedia.com/

1情報処理学会研究報告
IPSJ SIG Technical Report
Input: Image + Labels

Input: Image + Labels

Input

OutputtouristImagesLabelsslope
albatrossgalapagos

islandGalápagos islands

Allbatross
Output: Wikipedia article

albatrossmountaingrummanGrumman_HU-16_Albatross
Output: Wikipedia article

Image

Image Annotation
System

Keywords of Image

図 2 画像アノテーション課題の概要
図 1

画像キーワード曖昧性解消の概要

Fig. 2 Task overview of the automaticFig. 1 Task overview of the disambiguation ofimage annotation task.

keywords assigned to images.

２）画像へのメタデータ付与として，画像を説明する
テーション課題 [7, 8, 16, 17] が研究されている．多くの付

キーワードを付与する画像アノテーション課題 [12] に取与手法が提案されているが，それらは画像情報のみの利用

り組む．本課題の概要を図 4 に例示する．図中のハイキンに限られる．

グをしているグループについての入力画像に，“ tourist ”，

複合データは単一形式データよりも豊富な情報を持つ．

“ slope ”，“ mountain ” というキーワードの付与を行う．付

豊富な情報の活用により，メタデータ付与の正確性を向上与されたキーワードによって，画像への効率的な参照が可することが期待できる．しかしながら，複合データの活用能となる．

についてはこれまでに研究がされてこなかった．本論文で多くの既存手法は，画像とキーワード群の組みを訓練

はメタデータ付与に関する課題を具体例として，複合デー

データとする教師有り学習手法である．訓練データに用タを活用方針の検討を行う．研究課題として１）画像に付いられる正解キーワードは人手によって付与されるため，与されるメタデータの曖昧性解消と２）画像へのメタデー

キーワードの揺れが起こりやすい．例えば，人が写る画像

タ付与の二つに取り組む．１）に対しては，単一形式デー

へのキーワードであっても，観光地で記念に撮影された画タを用いる手法に対して，複合データの情報を加える方針，

像では「観光客」，スポーツを楽しむ人たちについての画２）に対しては，複数のデータ形式を利用して，課題に適像であれば「プレイヤー」が付与されたり，より一般的なしたデータを用いる方針の二つに基づく手法を提案する．

「女性」が付与される場合もある．これは訓練データの品

１）上述の様に，画像データは，画像の単一形式という質ではなく，画像を説明するキーワードを付与するというより複合データの形式でウェブ上でやり取りされる．つ

人の主観性に依存する当課題の性質に由来する．訓練デー

まり，画像データはユーザによる説明目的のキーワード

タ中のキーワードの一貫性が低くなり，教師有り学習手法（ユーザラベルと呼ぶ）が付与されている [13]．ユーザラの学習に悪影響を及ぼす．

ベルは，予め決まったキーワードから選ばれる形式ではな

この問題に対して，画像をテキスト特徴量に変換する手

く，ユーザにより自由に記述される．そのために，一部の法を提案する．提案手法では，画像とキーワードの百科事

ユーザラベルは曖昧性を持つ．例えば，図 1 は，画像共有

典文章の組みを教師データとするニューラルネットワーク

サイト Flickr*3 に投稿された写真である．図中の両方の写を定義し，変換器の訓練を行う．この変換器により，上述

真に “ albatross ” というユーザラベルが付与されている．

の「観光客」の画像から「女性」の画像と共通する文脈情“ albatross ” は，左の写真では鳥のアホウドリを示し，右報を持つ特徴量（例えば，「人に関係する」）を学習するこの写真では，飛行機のモデル名を示す．ユーザラベルの曖とが可能になる．このように変換したデータとキーワード

昧性により，同一検索キーワードに対する検索結果に，異の組みを訓練データとして，キーワード付与器を学習する．

なる画像が混在してしまう．

評価実験では，画像アノテーション課題で，提案手法によ

本研究では，ユーザラベルを百科事典の項目に対応づけることにより，曖昧性を解消をすることを目指す．この曖

る変換データを用いた分類では既存手法と比較して，アノテーション性能を F 値で約 0.1 向上した．

昧性解消を，画像とユーザラベルを入力として受け付けて，これ以降の本論文の構成は次の通りである．第 2 節でユーザラベルに対応するウィキペディアの記事を特定するは，上述の二つの研究課題の関連研究を紹介する．第 3 節

課題（画像ラベル曖昧性解消）として取り組む．この課題

では，画像ラベル曖昧性解消についての提案手法と評価実に対して，ユーザラベルと，画像情報を画像分類ラベルと験について説明する [14, 18]．第 4 節では，画像アノテー

して取り出し，両情報から対応項目を特定する手法を提案

ション課題についての提案手法と評価実験について説明すする．評価実験では提案手法は逆順位の尺度で 0.6 を示し，る [15, 19] ．第 5 節では，考察及び今後の研究についてを

従来の単一形式手法より高い値となった．

まとめる．

*3

https://www.ﬂickr.com

c 2021 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

2. 関連研究
本節では，画像ラベル曖昧性解消と適用可能な手法及び，画像アノテーションに対する既存手法を紹介する．

2.1 画像ラベル曖昧性解消の関連研究
画像ラベル曖昧性解消課題に対して，入力画像を画像分

図 3 提案手法の流れ

類することによる曖昧性解消が考えられる．近年では，畳Fig. 3 Workﬂow of the proposed method.

み込みニューラルネットワークを用いた画像分類 [6] の研究が盛んにされており，高い分類性能を達成している．ただ画像分類の本課題へ適用する際には，次の様な制約があ

3. 画像ラベル曖昧性解消

る．様々な視覚的な観点があるラベルの曖昧性解消は困難である．例えば，図 1 の「ガラパゴス諸島」では，島の砂
浜や島全体の鳥瞰図などが考えられる．次に，教師有り学
習による分類器の構築には，大量の訓練データが必要になる．同図で，航空機の “ Grumman HU-16 Albatross ” といった詳細なモデルを表す百科事典項目を網羅する，十分な量の画像データを用意することは現実的に困難である．
ユーザラベルのテキストを対象にした曖昧性解消の手法として考えられる．文章中の特定の単語が指し表す百科事
典項目を特定する課題（ウィキフィケーション）に対して，様々な手法が提案されている．記事中の他ページへのリン

第 2.1 節で紹介した従来手法は大きく画像のみやユーザ
ラベルのみを利用する方策であったが，どちらの方策にも欠点があった．画像とユーザラベル両方を用いることにより，従来手法の欠点を補い有効な曖昧性解消が行える．画
像情報として詳細な物体を網羅する情報ではなくても，予め定義できる情報でも少ないユーザラベルの情報を補える．例えば，図 1 のユーザラベル曖昧性解消では，左の画
像では「鳥」という画像情報は，“ albatross ” がアホウドリへ対応する，右の画像では「飛行機」が同ユーザラベル
が飛行機のモデル名 “ Grumman HU-16 Albatross ” に対応するヒントになる．

ク，アンカーテキストに基づいて，候補への類似度計算手

画像情報を活用するために，画像分類器を用いて分類

法 [2] や，ウィキペディア全体のネットワーク構造を用いキーワード（画像ラベル）として取り出す．ユーザラベル

る手法 [11] が提案されている．また言語的な特徴である，と画像ラベルを組み合わせた類似度計算により，対応する照応関係と固有表現を用いる手法 [1] なども提案されていウィキペディア記事を特定する．本節では，画像ラベル曖る．これらの研究は，新聞記事のような，英単語で数百単語からなる文章を対象にしている．しかしながら本研究が対象にする画像ラベルは，一つの画像につき，数単語であ昧性解消に対して，ユーザラベルと画像の両方を活用して
百科事典項目を特定する手法を提案する．評価実験では，提案手法の性能評価を行う．

り文脈情報が限られる．

3.1 ユーザラベルと画像ラベルを用いた曖昧性解消手法
2.2 画像アノテーションの関連研究
画像アノテーション課題は，ImageCLEF ワークショッ
プ [16] を中心に研究が行われてきた．本節では比較的新しい手法を取り上げて紹介するが，既存手法は画像の単一データを対象にしており，複合データを対象としない．近傍画像からキーワードを特定する検索として，一般的に疎なベクトルとなる画像特徴量をクラスタリングによってグループ化する手法 [17] や，色の分布やテクスチャによる特提案手法は，大きく二段階の検索により，ユーザラベルに対応するウィキペディア記事の特定を行う．図 3 に提案手法の流れを示す．同図 A) で，初めのキーワード検索
により候補記事の取得する．B) では，入力画像について
画像分類を行い，画像ラベルの取得を行う．二回目の検索

C) では，ユーザラベルと画像ラベルを用いて類似度計算
によって候補記事の順位づけを行う．以下，各過程について説明する．

徴量を距離に用いる手法 [8] が提案されている．最近では，
深層学習を用いる半教師有り手法も提案されている [7]．この手法では畳み込みニューラルネット画像分類器と画像の低次元特徴量を用いた分類器（SVM）の二つの分類器を訓練することにより，輪郭などの高次元の特徴と低次元の特徴を組み合わせる．

A) キーワード検索では，曖昧性解消の対象ユーザラベル（クエリ）に対して，ウィキペディア記事候補を取得する．
例えば，図 3 でのクエリは “ llama ” などである．キーワー
ド検索には，Apache Solr*4 検索エンジンを用いて実装し，順位づけには BM25 を用いた．この検索で得られた全ての候補記事を C) の再順位づけに用いる．

B) 入力画像を画像分類することにより，画像ラベルを*4

c 2021 Information Processing Society of Japan⃝

http://lucene.apache.org/solr/3情報処理学会研究報告
IPSJ SIG Technical Report取得する．取得する画像ラベルについて二つの方針を設定

単語ベクトルによる類似度計算によって，第 3.1 節 B) でし，それぞれの画像分類器を構築する．B-1) 一つ目の方針述べた限られた画像ラベルの欠点を補うことが出来る．例

は，画像から 1 件の主要な画像ラベルに分類する．画像ラ

えば，図 3 の画像について，B-2) の画像ラベル “ alp ” がベルは，対象とする画像群が既知であるとしてデータセッ

得られていても，単語マッチ検索では火山 “ chimborazo ”

トのカテゴリを用いる（カテゴリ分類器）．例えば，図 3

記事との間で語彙が異なり類似度計算が出来ないが，単語の画像では，カテゴリである “ llama ” ラベルを取得する．

ベクトルを用いることにより，この問題を解決できる．

この方針では画像ラベル数が比較的少ないため，高い分類

曖昧性解消の対象であるクエリラベルに 1 件について候

性能が期待できる．B-2) 二つ目の方針は，画像中の情報を

補ウィキペディア記事の集合 T とユーザラベルの単語集合

なるべく多くの画像ラベルに分類する（多ラベル分類器）．

Q と画像ラベルの単語集合 L から次の類似度を計算するこ

例えば，図 3 で，カテゴリ画像ラベル “ llama ” に加えてとにより，再順位付けを行う．

“ alp ”（山脈）ラベルが得られれば，“ chimborazo ”（アンデス山脈の火山) クエリの対応記事特定に役立つ．この分

sim(T, Q) =α∑sim(T, wq )wq ∈Q

類器では，一枚の入力画像に対して複数の画像ラベルを取+ (1 − α)得する．

∑

sim(T, wl ),

(1)

wl ∈L

B-1) カテゴリ分類器には，畳み込みニューラルネット
Resnet [6] を用いて分類器を構築する．カテゴリの画像ラ

ここで，wq と wl はそれぞれユーザラベルの単語と画像

ベルに分類するために，評価実験に用いるテストコレク

ラベルの単語を表し，α は，ユーザラベル部と画像ラベル

ションのカテゴリについて分類器を訓練する．大規模画像

部の類似度の重みづけパラメータである．ウィキペディア

認識タスク ILSVRC [12] に定められる 1,000 クラスについ記事の集合 T は，事前実験から記事タイトル部の単語集合て事前学習済みの Resnet モデルを用いて，転移学習を行を用いた．各項の計算を次に説明する．

う．具体的には，ネットワークの最終層の全結合層を，カテゴリ数をサイズとする層で置き換えて訓練を行う．二つのコレクションカテゴリの訓練データを別途収集して分類器の訓練を行う．

B-2) 多ラベル分類器には，ILSVRC タスクの 1,000 ク
ラスについての訓練された分類器を用いる．これらのク
ラスは，クラスの階層関係が整理された画像データベー
ス ImageNet*5 の物体クラスから，あるクラスがその他のクラスの祖先とならない様に選択されている．このクラス体系には動物名やスポーツ，ガジェットなどが含まれる．これらの画像ラベルは，様々な状況を表す画像のユー

sim(T, wl ) =

(2)

wl ∈T

wt はウィキペディア記事の単語を表し，score(wl ) は画像
分類器のソフトマックス関数によって出力される画像ラベルの確率である．これは分類により得られる画像ラベルが必ずしも正しいわけでないので，確率により類似度の重み付けを行う．式 (1) の左辺のユーザラベルの類似度も同様に計算するが，式 (2) の重み付けはない．単語間の類似度
は，単語ベクトルのコサインによって計算する．

sim(w1 , w2 ) = cos(

ザラベルに役立つと考えられる．多ラベル分類器の実装には，ImageNet の合計 120 万件の画像について訓練がされ1 ∑
sim(wt , Wl ) × score(wl ),|T |w1, w2) = |ww11||ww22| ,2 つの単語 w のベクトル表現

w の内積によって計算する．

る Resnet を用いた学習済み分類器を用いた．多ラベル分
類器は，画像について複数ラベルを出力するが，予測確率が高い上位のラベルを画像ラベルとして用いる．B-1,2) 両
分類器の訓練詳細は第 3.2 節にまとめる．

3.2 評価実験
評価実験では，既存手法及び提案手法の性能を比較評価
する．評価には ImageCLEF コレクション [16] と動物名コC) キーワード検索 A) による候補ウィキペディア記事を，レクション（詳細は [14, 17] ）を用いた．表 1 にテストコ

ユーザラベルと画像分類ラベル B) を用いた類似度計算にレクションの基本統計量を示す．ImageCLEF では 1,197

より再度順位付けを行う．キーワード検索過程での候補記

枚の画像に対する 10,573 件のユーザラベル，動物名コレク

事の順位及び類似度は用いない．再順位付けでは，ユーザ

ションでは 450 枚の画像に対する 2,280 件のユーザラベル

ラベル（図 3 で，“ llama ”，“ ecuador ” など）と画像ラベを曖昧性解消の対象とする．同表中の対応記事数はユーザ

ル（同図で，“ llama ”）の単語と，候補記事の単語間の分

ラベルに対応するウィキペディア記事の異なり数を表す．

散表現 [9] における類似度を計算する．

比較手法には提案手法を含めた六つの手法を評価した．

分散表現では，単語の周辺の文脈に基づき近い文脈を持キーワード検索は，第 3.1 節 A) に対応する手法である．

つ単語ほど類似するベクトルとなるように学習がされる．

ウィキフィケーション手法は，テキストを対象にしたウィ
キフィケーション [2] をユーザラベルに適用した手法であ*5

https://www.image-net.org/

c 2021 Information Processing Society of Japan⃝る．word2vec 手法は，第 3.1 節 C) でユーザラベルだけ4

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 テストコレクションの統計量

表 2 動物名コレクションの実験結果

Table 1 Statistics of two test collections

Table 2 Results of the ILW methods

used in the experiments.

on the Animal Name collection.
手法

MRR

R@1

R@10

904

キーワード検索

0.509

0.471

0.577

207

ウィキフィケーション

0.523

0.481

0.601

Word2vec

0.526

0.495

0.581

画像検索手法

0.075

0.037

0.158

提案手法 1*0.609

0.558

0.684

提案手法 2*0.583

0.518

0.679

テストコレクション

画像数

ユーザラベル数

対応記事数

ImageCLEF

1,197

10,573

450

2,280

動物名

を用いて再順位付けを行う手法である．つまり式 (1) 中の右辺第二項の類似度を用いない．以上がユーザラベルのみ
をウィキペディアへの対応付けに用いる手法である．画像
検索手法は，対象の入力画像とウィキペディア記事の見出し画像の類似度を計算することにより順位付けを行う．

表 3

ImageCLEF コレクションの実験結果

Table 3 Results of the ILW methods
on the ImageCLEF collection.

第 3.1 節 B-2) 多ラベル分類器の最終層を画像の特徴ベク
トルとして取り出し [10]，入力画像と記事の画像のベクト

手法

MRR

R@1

R@10

ルのコサイン類似度を計算する．

キーワード検索

0.627

0.595

0.706

ウィキフィケーション

0.628

0.595

0.708

Word2vec

0.714

0.711

0.717

画像検索手法

0.209

0.130

0.384

提案手法 1*0.715

0.711

0.718

提案手法 2*0.719

0.711

0.730

提案手法 1，2 はそれぞれ，第 3.1 節 B-1) と B-2) に対応する．手法 1 のカテゴリ分類器の訓練には，上述の 2 つのコレクションの各カテゴリに対して，ImageNet から収集した 300〜600 件の画像を用いた．分類器の訓練には，収集データの 7 割を訓練用，3 割を検証用に分割して，訓練を行った．ネットワークの訓練設定は，ミニバッチサイズ
を 32，最適化関数には確率的勾配降下法を用いた．初期学
習率，荷重減衰，モーメンタムは，それぞれ 10−4 ，10−6 ，4. 画像アノテーション課題

0.9 とした．手法 2 の出力ラベル数は，それぞれのコレク

本節では，画像アノテーション課題に対する画像データ

ションの平均ユーザラベル数に近い，動物名コレクション

からテキストデータへのデータ変換，及び変換データを利で 5 件，ImageCLEF で 8 件を用いた．

用した分類手法を提案する．図 4 はデータ変換による画像評価尺度には，順位付きリストの評価尺度である平均逆

アノテーションの概要図である．第 2.2 で紹介した画像と順位 (MRR) を用いる．正解ウィキペディア記事が上位にキーワードを組みを訓練データに用いる教師有り学習手法

あるほど，1 に近い高い値となる．また順位付きリストのは，訓練データ中のキーワードの一貫性の低さがアノテー

上位 1 件または 10 件に正解があれば 1 を取る尺度，上位ションの課題であった．例えば，図 4 中の右の画像では，

1，10 件の再現率（R@1，R@10）も計測に用いる．

上の画像には “ tourist ” のキーワードが付与され，下の画実験結果を表 2， 3 に示す．表中の各数値はマクロ平均

像には “ woman ” が付与されている．上の画像の観光客のであり，∗ 印はキーワード検索手法と出力を比較して，1%

団体に女性が含まれているが，“ woman ” キーワードはな

水準の有意差があったことを示す．MRR では，動物名コい．この様なキーワード揺れにより類似するキーワードにレクションで提案手法 1 が 0.609，ImageCLEF コレクショ

関する学習が難しくなる．

ンで提案手法 2 が 0.719 を示している．提案手法が各コレ

訓練データの一貫性が低い問題に対して，提案手法では，クションで一番良い性能を示している．またこれらの値は，

図 4 下段に示す様に，画像をキーワードに対応するウィキ

キーワード検索手法よりも高い値である．word2vec 手法

ペディアのテキストデータに変換を行ことにより，類似すは，二つのコレクションで二番目に高い性能を示している．

るキーワードの特徴量を共有を出来る様にする．図では，特に，表 3 の MRR で 0.714 を示し，手法 2 の 0.719 に近“ tourist ” を持つ画像 1 と “ woman ” を持つ画像 2 の変換

い値である．ユーザラベルのみを用いる三手法（キーワー

データが “ people ” という特徴量を共有する．

ド検索，ウィキフィケーション，word2vec）は，同一のクエリに対して特定の記事を高い順位で出力していた．例え

4.1 データ変換による画像アノテーション手法

ば，“ jaguar ” がクエリの場合では動物の「ヒョウ」の記事

図 5 に提案手法の流れを示す．初めに，データ変換器のを 1 位に，自動車メーカー「ジャガー」の記事を 50 位前後

画像と変換テキストの組みからなる訓練データを用意する．

に出力していた．

同図 A) で，畳み込みニューラルネットワーク (CNN) を用いた画像分類器から画像の特徴量を取り出す．同図 B) で，

c 2021 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report
Inputs

Outputs
Output keywords for image 1

4.1.2 データ変換器

Image
Annotator

Image 1

Image 2

Automatic Image Annotation

touristmountainslope

Output keywords for image 2

Converted texts

Modality
Conversion

Text feature of Image 1 Text feature of Image 2
woman

room

bed
window

Text Classiﬁcation

ワードに対応する記事が存在することが必要である．

by data converting.

図 5 B) の例では，“ tourist ” キーワードを見出しとす

Training phase

るウィキペディア記事である．第 4.2 節の評価実験で用い

Testing phasei A) Feature extraction

Input Image

るテストコレクションについては，全キーワードについてi’の見出し語があることを確認した．キーワードに対して複CNNClassifier
mountainFeature mapxi

tourist数の見出し語がある（ウィキペディア中で，曖昧なページ）

Input layer Hidden layer Output layerhTraining(xi , xt)

場合は，人手で対応関係を判断した．これらの自動化には，
Pseudo-Text
Classifier

Training data
Wikipeida texttB) Pairing an image with Wikipedia articles

xt

徴を反映させるために，内容が充実する百科事典サイト，
ウィキペディア記事を変換対象として用いるには，キー

Fig. 4 Overview of the automatic image annotation

touristトの組みの訓練データとデータ変換器の構成を説明する．

ウィキペディア [3] 記事のテキストを用いた．

図 4 データ変換による画像アノテーションの概要

Training image

図 5 B) 及び C) についての画像とウィキペディアテキス
変換の対象にするテキストデータとして，キーワードの特Text
Classifier

Travel Activity People Woman Female People

率を 0.1，重み減衰値を 10−4 ，モーメンタムを 0.9 とした．

と対応するウィキペディア記事の統計は，表 4 にまとめる．

W1 W2 Pseudo Wikipedia text xt’C) Modality conversion

対応関係特定の手法 [14] の適用が考えられる．キーワード
ここまでに，画像とウィキペディア記事の組みからなる訓練データが用意できた．次に，画像からテキスト特徴量

図 5 データ変換手法の流れ

Fig. 5 Workﬂow of the data converting method.

（擬似テキスト）への変換を学習するデータ変換器を説明する．次元削減などの教師無し課題に用いられる自己符号

画像と変換対象となるウィキペディア記事との対応づけを化器 [4] に着想を得て，本手法のデータ変換器を構成する．

行う．次に，同図 C) ではこれらを訓練データとするデー

類似する構成により画像中の特徴をテキストに対応させる

タ変換器を構成する．最後に，変換データ（擬似テキストことを目指す．データ変換器の構成を図 5 C) に示す．入と呼ぶ）を用いた分類器により，キーワード付与を行う．

力層，隠れ層，出力層からなる 3 層のニューラルネット

4.1.1 画像からの特徴抽出

ワークを用いる．変換器では，画像特徴ベクトル xi を擬

図 5 A) では，CNN を用いた画像分類器から特徴量を取り出す．画像 i が分類器に入力として与えられた時，ニュー
ラルネットワークの最終層の特徴マップ xi ∈R を画像のd

特徴量とする [10]．
本手法での分類器には，CNN の ResNet [6] を用いる．
ネットワークは，224 × 224 ピクセルの画像の入力層とし似テキストベクトル x′t ∈Rl への変換を学習する．

各層のニューロン数は，入力層のサイズは画像特徴の次
元数 n ，隠れ層のサイズ m ，出力層のサイズ l とする．入力層と隠れ層かなる入力部では，次の関数 f によって，xiを低次元の潜在表現ベクトル h ∈Rl に変換する．

て，畳み込み層，活性化，バッチ正規化層から構成される

h = f(i) = ReLU(W1 · xi + b1 ),複数の層をブロックとして，ブロックを複数回繰り返して，

ここで，ReLU() はランプ関数を表し，ReLU(x) = max(0, x)

プーリング層と全結合層というネットワーク構成をとる．

となる．W1 ，b1 は入力部のパラメータであり，それぞれ，各ブロックは，その前の層の出力と共に，前のブロックの重み行列 W1 ，バイアス項 b1 ∈出力（ショートカット）の 2 つを入力にとる．前ブロック

潜在表現ベクトル h を関数 g によりテキストベクトル x′tの入力を明示的に入力とするショートカット構造は，各ブに写像する．

ロックに対応する潜在的な写像を学習するように設計される．

ResNet の実装には，深層学習フレームワーク Keras の実

Rm である．出力部では，

x′t = g(h) = sigmoid(W2 · h + b2 ),ここで，sigmoid はシグモイド関数を表し，W2 ∈R(m × n)R はバイアス項であり，出力部のパラ

装*6 を用いた．ILSVRC 画像認識課題の 1,000 クラス [12]は重み行列，b2 ∈について 100 万枚以上の画像から学習されたモデルをネッ

メータとなる．データ変換器は，入力 xi と出力 x′t の変換

トワークの重みの初期値として用いた．ResNet の最後の誤差を最小化するように学習がされる．変換誤差は，二乗層に，評価用データセットのキーワード数（第 4.2 節参照）

誤差を変換誤差として，損失関数 L を次式とする．

のサイズの全結合層を付け加えてた．最適化には，ミニ
バッチサイズ 32 で，確率的勾配降下法を用いた．初期学習*6https://keras.io/application/#resnet

c 2021 Information Processing Society of Japan⃝n

L = ||xi − x′t ||,損失関数は確率的勾配降下法を用いて最適化を行う．

6

情報処理学会研究報告
IPSJ SIG Technical Report

4.1.3 分類手法

き換えることを目指すため，この手法を上限手法とし第 4.1.2 節で変換した擬似テキストを特徴量とするキー′

ワード分類器を訓練する．入力画像擬 i から変換された擬′て位置付ける．
擬似テキスト分類手法

提案手法であるデータ変換器によ似テキスト t が画像像説明文中のキーワード k ∈ K が割る擬似的なテキストデータを特徴量に用いる手法であり当てられる確率 P (k|t′ ) としてモデル化する．一つの入る．特徴ベクトルの次元数は表 4 の語彙数とする．

力に対して，複数のキーワードが付与されるため，多ラベ

画像アノテーションの評価には，各画像につき手法の出ル分類問題として扱う．出力層に，softmax 関数を用いる

力する分類スコアの高い上位 5 件のキーワードを出力とした精度，再現率とそれらの調和平均による F 値を用い

三層のニューラルネットワークを用いた．

る [8]．また少なくとも一枚の画像を正しくキーワード付

P (k|t′ ) = softmax(Wk · ht′ + bk ),与できたキーワードの数も評価に用いる．精度，再現率のht′ = sigmoid(Hxt′ + bm ),R は 擬 似 テ キ ス ト t の 特 徴 ベ ク ト ル ，行 列
H ∈ Rd×h ，wk ∈ Rd ，バイアス項 bn ∈ Rh ，bk ∈ R はx′t∈

計算は次の通りである．

′

d

分類が正解した画像数,
手法が出力した画像数
分類が正解した画像数
再現率 =.
データセット中の画像数
精度 =

x′t

モデルパラメータである．隠れ層のサイズは h = 1000 とした．

4.2.2 実験結果
4.2 評価実験

表 5 と表 6 に各コレクションでの実験結果を示す．表中

評価実験では提案手法と既存手法について，画像アノの ∗ 印は画像分類手法との比較で，出力に 1%水準の有意差テーション性能を比較評価する．

が確認出来たことを表す．二つのコレクションの結果で，4.2.1 実験設定

テキスト分類手法が一番高い性能示した．IAPR TC-12 と本実験では，画像アノテーション課題評価用の IAPR

ImageCLEF の F 値で 0.816 である．提案手法は，付与性

TC-12 [5] と ImageCLEF [16] の二つのテストコレクショ

能では二番目の結果となった．F 値で，IAPR TC-12 でンを用いた．二つのコレクションともに，図 4 に示す様

0.447，ImageCLEF で 0.623 を示した．提案手法では画像

な人，動物，風景，街，スポーツなど様々な場面の画像を分類手法と比較すると高い性能である．ただテキスト分類

含む．IAPR TC-12 は，20,000 画像からなり，各画像は，手法と比較すると，付与性能に開きがある．

英独西の三言語による画像説明文が付与される．英語の説

次に，キーワードをグループに分けることにより実験結

明文に品詞解析を行い，低頻度語などを除外した名詞を果の分析を行う．キーワードを 5 つのグループ（物と動キーワードとした．291 のキーワードとそれらが付与され物，場所，人，建造物，その他）に分けて，それぞれのグ

た 19,008 画像を評価に用いた．ImageCLEF では，7,291

ループにおける性能を調査する．図 6 に IAPR TC-12 のグ画像のうち，人手でキーワードが付与された 3,124 画像を

ループ毎の F 値を示す．提案手法と画像分類の比較におい評価に用いた．このコレクションにおけるキーワード数はて，最も F 値の向上が高かったグループは，人と建造物で207 である．表 4 には，両コレクションのキーワードに対あり，向上幅はそれぞれ，0.12 と 0.14 であった．例えば，

応するウィキペディア記事の統計量を示す．
表 5 IAPR TC-12 コレクションの実験結果

評価実験では，次の三つの手法を評価した．
画像分類手法Table 5 Results of the AIA methods

第 4.1.1 節で説明した CNN の画像分類器 [6]on the IAPR TC-12 collection.

を用いる手法．
テキスト分類手法 画像のキーワードに対応するウィキペ

手法

精度

再現率

F1

キーワード数

ディア記事のテキストデータ（第 4.1.2 節に対応）の

画像分類手法

0.514

0.325

0.398

207

特徴量を分類に用いる．特徴量はウィキペディア記事

テキスト分類手法

0.774

0.861

*0.816275

擬似テキスト分類手法

0.537

0.383

*0.447

260

中の単語の頻度とする．特徴ベクトルの次元数は表 4の語彙数とする．本研究では，画像からテキストへ置
表 4

表 6

キーワードと対応するウィキペディア記事の統計

ImageCLEF コレクションの実験結果

Table 6 Results of the AIA methods
on the ImageCLEF collection.

Table 4 Statistics of Wikipedia articles withtitles of annotation keywords.
テストコレクション

手法

精度

再現率

画像分類手法

0.674

0.385

0.490

81

テキスト分類手法

0.723

0.936

*0.816

101

0.678

0.577

*0.623101

キーワード

平均キーワード

語彙

IAPR TC-12

291

2,682

37,230

ImageCLEF

207

8,403

41,170

擬似テキスト分類手法

c 2021 Information Processing Society of Japan⃝

F1

キーワード数7

情報処理学会研究報告

F1

IPSJ SIG Technical Report
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

[3]
[4]
[5]

Object &AnimalPeople

IC
図 6

Place

PC

Building

Other

[6]

TC

IAPR TC-12 キーワードのグループ毎の F 値．

[7]

IC：画像分類，PC：擬似テキスト分類，
TC：テキスト分類．
Fig. 6 F1 on each group of annotation keywords[8]

on IAPRTC-12.

人グループのキーワードは，画像のシーンによって変わり[9]

やすい傾向がある．例に用いてきた “ torist ”，“ woman ”
や “ cyclist ” などである．提案手法が揺れが起こりやすい[10]

キーワードに対して，キーワード付与が成功していた．反対に，失敗事例としては，画像分類と比較して性能向上が比較的小さかった，物と動物グループが挙げられる．この[11]

グループのキーワードは，例えば “ bed ” や “ lion ” など，キーワードの物体が写っている訓練データ中の画像に対して一貫性しているものが多い．

5. おわりに
本論文では複合データへのメタデータ付与の具体例とし

[12]

[13]

て，画像メタデータの曖昧性解消と画像へのメタデータ付
与の二つの研究課題に取り組んだ．曖昧性解消では付与されたメタデータと画像分類により取得した画像情報を組み[14]合わせた手法を，画像へのメタデータ付与では，画像からテキスト特徴量への変換手法を提案した．各課題の評価実験では，従来の単一形式データを用いる従来手法と比較して，提案手法の有効性を確認した．

[15]

本研究では，複合データの活用方針として，データを加える方針（テキストと画像の利用）と複数様式を利用したデータを変更する方針（画像からテキスト）を検討した．
今後の課題の一つとして複合データの利用方針や手法の検[16]討が挙げられる．
参考文献
[1]

[2]

Cheng, X. and Roth, D.: Relational inference for wikiﬁcation, Proceedings of the 2013 Conference on Emprical Methods in Natural Language Processing, pp. 1787–
1796, (2013).
Cucerzan, S.: Large-scale named entity disambiguation based on wikipedia data, Proceedings of the 2007
Joint Conference on Emprical Methods in Natural Language Processing and Computational Natural Language
Learning, pp. 708–716, (2007).

c 2021 Information Processing Society of Japan
⃝

[17]

[18]

[19]

Giles, J.: Internet encyclopedias go head to head, Nature, 438, 900–911, (2005).
Goodfellow, I., Bengio, Y. and Courville, A.: Deep
Learning, Cambridge MA, USA (2016).
Grubinger, M. et al.: The iaprtc-12 benchmark: a
new evaluation resource for visual information systems,
Proceedings of the International Workshop OntoImage
2006 Language Resources for Content-Based Image Retrieval, pp. 13–23, (2006).
He, K., Zhang, X., Ren, S. and Sun, J.: Deep residual learning for image recognition, Proceedings of the
29th IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778, (2016).
Li, Z. et al.: Collaborating cnn and svm for automatic
image annotation, Proceedings of the 2019 ACM International Conference on Multimedia Retrieval, pp. 63–
67, (2019).
Makadia, A., Pavlovic, V. and Kumar, S.: Baselines forimage annotation, Int. J. Comput. Vis., 90(1), 88–105,(2010).
Mikolov, T. et al.: Distributed representations of words
and phrases and their compositionality, Proceedings ofthe 26th International Conference on Neural Information Processing Systems, pp. 3111–3119, (2013).
Ng, J. Y.-H., Yang, F. and Davis, L. S.: Exploiting local
features from deep networks for image retrieval, Proceedings of the 28th IEEE Conference on Computer Vision
and Pattern Recognition, pp. 53–61, (2015).
Ratinov, L., Roth, D., Downey, D. and Anderson,
M.: Local and global algorithms for disambiguation to
wikipedia, Proceedings of the 49th Annual Meeting of
the Association for Computational Linguistics: Human
Language Technologies, pp. 1375–1384, (2011).
Russakovsky, O. et al.: ImageNet large scale visual
recognition challenge, Int. J. Comput. Vis., 115(3), 211–
252, (2015).
Sawant, N., Li, J. and Wang, J. Z.: Automatic image
semantic interpretation using social action and tagging
data, Multimedia Tools and Applications, 51(1), 213–
246, (2011).
Suzuki, T., Ikeda, D., Galuščáková, P. and Oard, D.:
Towards automatic cataloging of image and textual collections with wikipedia, Proceedings of the 21st International Conference on Asia-Paciﬁc Digital Libraries,
pp. 167–180, (2019).
Suzuki, T. and Ikeda, D.: A modality converting approach for image annotation to overcome the inconsistent labels in training data, Proceedins of International
Workshop on Content-Based Image Retrieval in conjunction with the 25th International Conference on Pattern Recognition, 8 pages, (2021).
Villegas, M. and Paredes, R.: Overview of the imageclef
2014 scalable concept image annotation task, Working
Notes of CLEF 2014 - Coference and Labs of the Evaluation Forum, pp. 308–328, (2014).
Zhang, S. et al.: Automatic image annotation usinggroup sparsity, Proceedings of the 23rd IEEE Conference on Computer Vision and Pattern Recognition, pp.
3312–3319, (2010).
鈴木釈規，池田大輔：画像認識を用いた画像ラベルの知識体系への対応付手法の構築とその展望，情報処理学会九州支部 2018 年度若手の会セミナー論文集，6 頁，(2018)．
鈴木釈規，池田大輔：画像アノテーション課題からテキスト分類課題へ〜深層学習を用いたモダリティ変換の試
み，火の国情報シンポジウム 2020 論文集，6 頁，(2020)．

8