立石科学技術振興財団

助成研究成果集(第27号) 2018

高次元空間での外れ値検出と教師なし分類によるワードグラウンディング技術の開発
Developing Word Grounding Technology via Unsupervised Learning andOutlier Detection in a High- Dimensional Space2171019

研究代表者

京都大学教育学部

助教

橋本敦

史

多様性も非常に大きい。

[研 究 の 目 的］

また，これらのデータから学習を行うことが本研究では，実社会で展開するサービスによできれば，人のモノづくりの作業状態について，り収集されたテキストと画像 (映像) の組から機械に人と共通の認識を持たせることができる

人手による正解データの作成なしに自動で機械可能性が高い。人と機械が円滑にコミュニケー学習を行うワードグラウンディング技術の開発ションするためには，互いの眼 (機械の場合はを目指した。深層学習技術によって，機械学習カメラ) で観測される現在の状況に対するコンの技術は飛躍的に発展し，人と機械の調和の基センサスは必要不可欠なものであり，この問題盤となる対話技術も大きく向上している。このを解決するための技術の一つとなり得る。

発展は，ImageNet など大量の学習データの存[研究の内容，成果］

在にも大きく支えられており，機械学習技術のさらなる発展のためには，ImageNet よりもさらに充実したデータベースの構築が求められる。

テキストの中には動詞や形容詞など多様な概しかし，人手で学習用の正解データを作成する

念が含まれるが，まずは第一歩として画像中のには限界があり，実社会に存在するアプリケー領域との対応関係が明確に取れる材料に対応すションから自動で学習を行う技術への期待は大る名詞を対象とした学習を行った。
教示テキスト中の名詞は画像中の何らかの物きい。
本研究では，人のモノづくりを対象とした技術開発の一環として，ユーザ投稿型レシピサイ体領域に対応する材料ラベルの候補であると考えられる (図 1)。

トを対象として，料理の教示テキストを元に，また画像中の物体領域の候補も，近年の一般画像中の物体を自動的に学習する技術の構築を物体検出手法などを用いることで推定すること目指した。クックパッドなどのレシピサイトには 100 万単位の大量のテキストと画像が，それぞれ対応付けられて投稿されている。このデータは深層学習に十分な量であるだけでなく，ブログなどと違ってフォーマットが決まっている。
一方で，料理には様々な種類があり，データの― 1 ―

図 1 ラベルと候補領域の取得

立石科学技術振興財団

は可能であると考えられる。一方で，それらラ料ではないと考えられる。

ベル候補と物体領域候補の対応関係は未知であ

このような発想の元に，材料ごとにポジティる。このように考えた場合，本研究の課題は，ブ/ネガティブの 2 値を判定する問題に対して，ラベルと画像領域の候補を，その対応関係を推以下の 2 通りの学習方法を提案し，比較・評価定しながら学習する問題として定義できる。

を行った。

このような問題は，従来から弱教師付き学習として取り扱われてきた。従来対象としていた[手法 1] 第一の手法 [2] では，ネガティブサ典型的な応用では，ラベル候補はユーザが画像

ンプルは見た目が多様で学習を進めても容易にを説明するためにつけられたものであり，画像その特徴量は類似せず，ポジティブサンプルはと全く関係のないラベルが存在することは想定

相対的に早く学習が進むと仮定した。この仮定されてこなかった。これに対して，本研究ではのもとでは，一定量の学習を行ったネットワー

自然言語から抽出した名詞 (材料名) をラベル

クモデルから得られた特徴は，ポジティブクラ候補とする。特に教示文の場合，他の手順で既ス同士は類似し，ネガティブクラス同士は多様に述べられた食材が文中に現れない【ラベル不な特徴を取る。従って，このモデルから得られ足】の事例が，従来よりも頻繁に生じる。また， た特徴量を互いに類似する集合とそれ以外の 2
反対に画像に全く関係のない材料名が文中に現つに分割することで，個別の特徴量に対する判れる【ラベル余り】は人がつけたタグを候補と定結果とは別に，群としての特性からポジティする従来の弱教室機学習の枠組みではこれまでブ/ネガティブの判定をできると考えた。

考えられてこなかった。

実装としては，VGG16 のネットワークに対

このうち【ラベル不足】は多くの場合，初期して一定量の学習を行ったモデルにより特徴の手順で名前が呼ばれた後，省略され続けるこ量を抽出し，外れ値をクラスタとして検出すとになる。これは，作業後半の加工中の材料のる 従 来 研 究 [1] の 理 論 に 基 い て Spectral

外見を学習する上で致命的な情報不足を引き起Clustering により 2 クラスタに分類を行い，そこす可能性が高い。このため，【ラベル不足】

れぞれのクラスタをモデルにおける判定結果のに対しては，自然言語処理によって，手順を遡平均尤度に従ってポジティブ/ネガティブに割り，過去に取り扱われた材料名を全てラベル候り振った。すなわち，Spectral Clustering で得補とすることで対処した。

られるクラスタの一つが外れ値のみから構成さ

この対処方法では，明らかに【ラベル余り】が増加してしまう。この【ラベル余り】に対処れる場合があることを利用し，ネガティブサンプルを外れ値クラスタとして検出した。

するための方法として，ある材料が絶対に含まれない領域，つまり【ネガティブサンプル】の[手法 2] 手法 1 では，候補領域のポジティブ/利用に着眼した。ある材料が絶対に含まれないネガティブ判定のための学習用データのうち，画像は，その材料が使われない作業の画像からネガティブサンプルをランダムに抽出した。し容易に取得することができる。従って，そのよかし，本来は候補領域に類似するネガティブサ

うな画像からえられる物体領域候補は【ネガンプルのみを利用することが望ましい。このよティブサンプル】として利用が可能となる。

うなネガティブサンプルを画像以外のメタ情報

ある材料が【ラベル余り】となっている状況に基いて収集するために，作業に用いられる材とは，その材料が画像中の候補領域と対応付か料集合の類似性に着目した。つまり，ある材料ない状況である。消去法的に考えれば，ネガに対して，その材料が含まれる作業とよく似たティブサンプルとよく似た候補領域は，その材材料集合からなる作業の画像からネガティブサ― 2 ―Tateisi Science and Technology Foundation

ンプルを収集する，という処理を行った。また，
手法 1 ではポジティブサンプルが，その加工状態によらず一つの大きなクラスタを形成すると

表1

人参を対象としたポジティブ/ネガティブ判定の平均適合率

評価データの手順番号 [1-2] [3-4] [5-6]ベースライン手法

[7-]

[all]

0.6850 0.6661 0.6377 0.6839 0.6718

既存手法 (epoch=10) 0.7391 0.7227 0.7288 0.7553 0.7365

仮定した。
これに対して，手法 2[3] では，ポジティブ既存手法 (epoch=25) 0.7242 0.7198 0.7422 0.7267 0.7267
提案手法

0.7391 0.7097 0.7311 0.7089 0.7236

サンプルがその状態に合わせて複数のクラスタを形成している可能性を考慮し，このようなクラスタの形成とポジティブ/ネガティブ判定を同時に学習できないかを考えた。具体的には，学習中に適宜クラスタリングを適用し，クラスタを構成する要素に含まれるネガティブサンプ

表2

ジャガイモを対象としたポジティブ/ネガティブ判定の平均適合率

評価データの手順番号 [1-2] [3-4] [5-6]

[7-]

[all]

ベースライン手法
0.6520 0.6338 0.5704 0.5020 0.5985
既存手法 (epoch=10) 0.5558 0.6161 0.5909 0.6428 0.5981
既存手法 (epoch=25) 0.5219 0.5580 0.5863 0.6591 0.5742
提案手法

0.5247 0.5661 0.5704 0.6081 0.5631

ルの割合を元に，クラスタごとにラベルの信頼度を計算し，信頼度を候補領域がポジティブで教示文が作業の何手順目かを示しており，数字あるという仮説の重みとした学習を行った (図が小さいほど序盤の手順となる。

2)。
なお，各クラスタに含まれるサンプルが互い

特に作業の序盤においては画像中の材料の名に類似するよう，Triplet Loss などを組み合わ前が教示文中に記述されている場合が多く，せてより状態の違いを強調することで，仮説のベースラインの手法が高い精度を達成している。

通り状態ごとに材料の特徴が分かれた構造を持一方で，ベースライン手法は作業後半の識別精つ特徴空間を得ることも可能であると考えられ度が低い。これに対して，手法 1，手法 2 は作るが，研究期間の都合上，そこまでの実装・評業後半の方が高くなった。教示文が既知である価には残念ながら至らなかった。

状況下では，このような手順番号も既知である
ことが大きいため，調理の進捗に合わせてベー

表 1，表 2 ([3] より引用) に人参・じゃがスライン手法と提案手法を統合するなどの工夫

いもの 2 種類に対して，手法 1 (表中の既存手が考えられる。しかし，そもそもポジティブ/法 (学習量 10 epoch，20 epoch の場合)，手法ネガティブの二値判定問題であることを考える

2 (表中の提案手法)，および，【ラベル余り】と，識別精度はかなり低く，残念ながら改善のが含まれるラベルをそのまま学習に使った手法余地が多く残る結果となった。

(表中のベースライン) を適用した結果を，そ[今後の研究の方向，課題］

れぞれ示す。この表において「手順番号」とは本研究では弱教師付き学習でこれまで扱われてこなかったラベル余りの問題に対して検討を行った。ラベル余りに対処することができれば，自然言語処理表現と画像の視覚的要素の学習を膨大な Web 上の資源を利用して学習できるようになる可能性がある。一方で，今回の手法では 2 クラス識別問題としては非常に低い精度しか得られなかったことは大きな問題であると考図 2 逐次的な信頼度更新つき学習えている。これは，そもそも識別機が今回扱っ― 3 ―立石科学技術振興財団

た調理作業中の材料という識別対象を上手く特Hidekazu Kasahara, Mikihiko Mori, Michihiko

徴空間に射影できていないことが原因であるとMinoh : Outlier Cluster Formation in Spectral

考えている。良い特徴空間を得るためには今回

Clustering, CoRR, Vol. abs/1703.01028, 2017の弱教師信号以外にも，オートエンコーダの獲得や文章生成そのものを同時に学習するなど，様々なタスクを同時に学習する方法が必要であろうと考えられる。

[成果の発表，論文等］[2]

AtsushiHashimoto,Takumi

Fujino,JunHarashima, Masaaki Iiyama, Michihiko Minoh :Learning Food Appearance by a Supervision with
Recipe Text, Proc. of CEA2017, pp. 39-44, 2017[3]

[参考文献][1]

伊奈拓郎：対象材料を含まないレシピを用いたラベルの信頼度計算による画像からの材料推定，京都

Takuro Ina, Atsushi Hashimoto, Masaaki Iiyama,― 4 ―大学情報学研究科知能情報学専攻 修士論文，2018