# [12] 人エ知能技術の活用によるメタデータ付与効率化の検証:

画像認識とテキスト分類

○山本純子 1)，濱田陽人 2)，新名佐知子 3)，中里正行 1)

1）凸版印刷株式会社，〒112-8531 東京都文京区水道 1-3-3

2) スポーッ庁 オリンピック・パラリンピック課, 〒100-8959 東京都千代田区霞が関 3 丁目 2 番 2 号

3）秩父宮記念スポーツ博物館，〒120-0005 東京都足立区綾瀬 6-11-17

E-mail: sumiko.yamamoto@toppan.co.jp
## Verification of efficiency of metadata assignment by utilizing artificial intelligence technology: Image recognition and text classification

YAMAMOTO Sumiko ${ }^{1}$, HAMADA Akito $^{2}$, NIINA Sachiko ${ }^{3}$, NAKAZATO Masayuki ${ }^{1 \text { ) }}$

1) Toppan Printing CO., LTD., 1-3-3 Suido, Bunkyo-ku, Tokyo,112-8531, Japan

2) Japan Sports Agency, Kasumigaseki 3-2-2, Chiyoda-ku, Tokyo,100-8959 Japan.

3) Chichibu Memorial Sports Museum, 6-11-17 Ayase, Adachi-ku, Tokyo,120-0005 Japan.

## 【発表概要】

デジタル・アーカイブで画像データを公開する有用性は高いが、画像に有用なメタデータを付与するために、発信者は多大な労力を要している。しかし、近年、人工知能技術による画像認識の進化が目覚ましく、さまざまな成果も報告されていることから、すでに流通している画像認識技術と、ブラックリストとホワイトリストを掛け合わせることで、画像データに対するメタデー 夕付与の省力化の実現性を調查した結果を報告する。検証手法として、スポーツに関連する画像データを先に 50 枚選定し、人工知能技術による流通ソフトに対象画像を認識させ、そこで認識されたラベルから、人手によりスポーツ分野の「ホワイトリスト」「ブラックリスト」を定める。その後、スポーツ関連画像データを読み込ませ、それをブラックリストとホワイトリストの内容に応じて自動振り分けした結果と、今後の発展性を報告する。

## 1. はじめに

デジタル・アーカイブで公開する画像に有用なメタデータを付与することの有用性は高いが、発信者はそのために多大な労力を要している。スポーツ庁が実施するスポーツ・デジタルアーカイブ事業において、近年、幅広く利用されている複数種類の人工知能技術を用いて付与されるタグに対し、ブラックリストによる不採用処理やホワイトリストによるタグ適正分類を設定した自動処理を行い、その結果をもとに今後の画像データにおけるデ一夕付与作業の省力化の可能性を探る。

【検証対象】スポーツ関連画像データ 50 件

## 2. 検証手法

## 2. 1 画像データとタグリストの準備

スポーツ・デジタルアーカイブ事業にて貸与された、50 種類のスポーツ関連の画像デー タからタグを抽出する。

利用した API は下記の 3 種類である。
- Amazon Rekognition
- Google Vision API (label)
- Google Vision API (webentity)

検証対象とする画像データを、写真に写っているものの傾向に応じて、「著名写真」「収蔵品」「文字列」および「カラーとモノクロ」 としてパターン分けし、それぞれのパターンに応じてどのような傾向のタグが付与されるかを確認した。これらの作業により抽出され

たタグリストの例を以下に示す。

表 1.タグリスト例

## 2. 2 ホワイトリスト:ブラックリストの設定
2. 1 で抽出されたタグに対し、ホワイトリストとブラックリストを設定した。

スポーツに関連する可能性のあるタグをピックアップし、スポーツ分野で特に求められる「競技」「イベント」「人名」「チーム名」と、 それ以外である可能性の高い「備考」の 5 項目のどの項目に当てはまるか、人手により予め判定・振り分けた「ホワイトリスト」を設定した。それ以外のスポーツ資料として付与する関連が薄いと思われるタグは「ブラックリスト」として選定した。判定基準としてこれら「ホワイトリスト」「ブラックリスト」を用いて画像データへのメタデータの自動付与を試み、メタデータの項目にどこまでタグが自動置換えできるか検証した。

表2.ホワイトリスト（スポーツ関連）例

表 3.ブラックリスト（スポーツ関連外）例

## 3. 検証結果

## 3. 1 付与タグの傾向 (「文字列」無効時)

対象とするスポーツ関連写真 50 枚を、「(1)著名写真」「(2)収蔵品」「(3)文字列」および 「カラーとモノクロ」のパターンに分け、 API で文字列読み取りを無効としたときに、 それぞれ例としてサンプル画像に付与されたタグ例を下記に示す。

(1) 著名写真 (例)

図 1. 第 18 回オリンピック競技大会（東京）_開会式_空に描かれた五輪

<引用>フォート・キシモト

例として提示した上記の著名写真においては、各 API とも東京オリンピック、2020 年夏季オリンピックといった「イベント名」や、国旗、シンボル、コンサート、ロックコンサ ート、フレアーといった、正誤入り混じった 「備考」の值が抽出された。しかし、「競技名」「人名」等の項目へは、当てはまるラベルなしとして付与されず、比較的、人間と近い認識結果となったといえる。著名写真は公開情報が多いことから、固有の「イベント名」な

どが抽出できる可能性がある。

(2) 収蔵品としての物体（例）

図 2. 東京オリンピックバレーボール

<引用 $>$ 秩父宮記念スポーツ博物館

続いて、博物館で収蔵されていることの多い、ボールのような「物品」の場合、「名称」 のラベルは的確に付与される可能性があるという結果となった。特に「競技名」ラベルに該当するタグが多く付与されたが、例で提示した上記写真においても、「サッカー」等の夕グも出現し、誤認識も多く含む結果となった。

## 3.2 付与タグの傾向 (「文字列」有効時)

文字読み取りを有効とした場合の結果を示す。Google VisionAI を利用し、文字列読取を有効として 5 パターンの画像への付与結果を検証すると、図 4 や図 5 で示したような不定形資料における読取りも、精度は不十分ながら、ある程度文字認識可能との傾向が見られた。読取テキストも合わせて示す。

図 3. 賞状

$<$ 引用 $>$ 秩父宮スポーツ博物館 $\begin{array}{lllll}77 & 0 & 1 & 0 & 1\end{array}$

$\begin{array}{llll}6 & 6 & 1 & 8\end{array}$

賞?

種目走高跳

壹等, 須田博二

右者本團主催第三回體育

競技會二於優勝也 $\mathrm{y}$ 依

テ之賞ス

昭和五年八月三十日

小鹿野

町青年團長高橋義雄

図 4. 色紙

$<$ 引用 $>$ 秩父宮スポーツ博物館

コオリンピック大会ウェイト

リフティングレー

島

す

ねえ

そら

C a s e

海

ム一

日

p 1

六

$889-108$

$2251-8$

## 3. 3 データ精度の違いによる付与タグ傾向

続いて、競技場を撮影した「モノクロ」「劣化データ」「通常データ」データについて、それぞれ 3 種類の API による画像認識検証を行い、その結果を比較した。

いずれの API も、モノクロデータになると
顕著な抽出タグの減少や認識内容の一般化 （スポーツ以外の値）となる傾向が見られる。 カラーのほうが、効率的な自動メタデータ付与ができると言えるであろう。

サンプル写真の例では、モノクロデータは 「アリーナ、モノクローム」等のシンプルなタグが付与されたが、カラーになると、プレ一ヤー、競技大会、サッカー、大会イベントといったもっと幅広い情報のタグが付与された。

図 5. モノクロ

図 6. 通常データ

図7. 劣化データ(画質低)

## 4. おわりに

既存の人工知能技術画像認識技術において、画像からのタグ識別は高度化している。既存人工知能技術を効果的に活用し、画像認識と
タグ付与に対して、

・ブラックリスト

・ホワイトリスト

といった情報をあらかじめ設定してデータを選別し一次情報として自動識別させ、二次的に人がメンテナンスすることで、画像デー タに対するメタデータ作成までの省力化は成し得るであろう。しかし、上記の識別データとなる「ホワイトリスト」「ブラックリスト」 については、いまだオープンデータとして実現されておらず、それが実現したときに、メタデータ付与の省力化にむけて大きく踏み出すことが期待できる。画像種類によって複数のホワイトリストやブラックリストを使い分け、自動的かつ選択的に適応する処理が実現できれば、付与されるタグの高度化や適正化も期待できる。それらの実現を待ちたい。

現時点では、画像から人工知能が付与できるタグで、即時、活用に資する物語のような情報をすぐに付与することは難しく、抽出されたタグを見ながら、人間が情報をまとめ、活用していくことが現実的である。しかし、 テキスト情報からの人工知能技術による物語の制作取組は始まっており、今後に大きく発展する可能性もある。

人工知能技術等の寄与による資料へのメタデータ付与省力化が実現し、スポーツ関連資料の情報公開や連携が促進され、スポーツ分野の活用、発展の一助となることを期待する。

## 参考文献

[1] スポーツ庁オリンピック・パラリンピック課. スポーツ・デジタルアーカイブ・ネットワ一ク構想事業（平成 30 年度）業務実績報告書 2019-03-31.

https://www.mext.go.jp/sports/content/20200 110-spt_oripara-300000892_03.pdf (参照日 2021-02-26).

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。