# [C11] 画像とメタデータの類似性に基づく歴史資料探索 システムの構築

○田中駿平 1 )，奥野拓 ${ }^{2)}$

1) 公立はこだて未来大学大学院システム情報科学研究科, $\bar{\top} 041-8655$ 北海道函館市龟田中野町 116-2

2) 公立はこだて未来大学

E-mail: g2123037@fun.ac.jp
## Development of historical materials search system based on images and metadata similarity

TANAKA Shunpei1), OKUNO Taku²)

1) Graduate School of System Information Science, Future University Hakodate, 116-2

Kameda Nakanocho, Hakodate-shi, Hokkaido 041-8655 Japan

2) Future University Hakodate

## 【発表概要】

デジタルアーカイブには、公開されている資料数が膨大なものがあり、ユーザの興味のある資料を発見することが困難な場合がある。本研究では、公開されている資料を大まかに把握可能にし、興味のある資料の探索を支援することを目的とする。目的を達成するために、資料の画像とメタデータのそれぞれの類似性に基づいて一覧で表示するシステムを構築する。本システムでは、深層学習モデルの一つである Vision Transformer を用いて画像から特徴量を抽出する。そして、主にデータの可視化に用いられるニューラルネットの一つである自己組織化マップで学習を行い、類似する資料が近接するようにタイル状に可視化する。また、タイトルなどのメタデー タの類似度を算出し、内容が類似する資料が近接するように並び替え可能にすることで、関連する資料の探索も支援する。

## 1. はじめに

デジタルアーカイブを利用する際、閲覧したい特定の資料がなく、ブラウジングして興味のある資料を探索する場合がある。この場合、デジタルアーカイブにはどのような資料が公開されているかを把握できていると、興味のある資料の発見が容易になる。しかし、近年のデジタルアーカイブには膨大な資料が公開されているものもあり、すべての資料を把握することは容易ではない。現状のデジタルアーカイブにおいて探索する場合、キーワ一ドによる検索や、カテゴリやタグによる絞り込みが用いられる場合が多い。しかし、キ ーワード検索では、検索対象への事前知識が必要であり、特定の資料を探していない場合は有効ではない。また、カテゴリやタグによる絞り込みでは、大まかにしか絞り込むことができない場合がある。その場合、何ぺージも遷移しながら資料を探索する必要があり、興味のある資料を発見することは容易ではない。

そこで本研究では、資料数が多いデジタル
アーカイブにおいて、どのような資料が公開されているかの把握を容易にし、ユーザが興味のある資料を容易に発見できるよう支援することを目的とする。目的を達成するために、画像資料を対象に、資料を一覧で表示して一度に多くの資料を把握できるシステムを構築することを目標とする。本システムでは、類似する資料を集約し、代表資料群として最初に提示することで、公開されている資料を大まかに把握可能にする。そして、提示した代表資料群から興味のある資料を選択すると、選択した資料の画像と類似する資料群、および資料の内容と類似する資料群を一覧で提示する。本研究では、函館市中央図書館が運営するデジタル資料館 [1] のポスターカテゴリに分類される資料を対象とする。

## 2. 関連研究

画像資料を類似性によって分類して可視化する関連研究として、佐藤がニューラルネットワークを用いて類似性のある資料が近接するよう一覧で可視化するシステムを構築して

いる[2]。このシステムでは、深層胃み込みニユーラルネットの学習済みモデルを用いて画像から特徵べクトルを抽出している。そして、抽出した特徴ベクトルを自己組織化マップ [3] で学習し、類似性のある画像が近くに配置されるように可視化を行っている。自己組織化マップとは、高次元データを任意の低次元に写像できるニューラルネットであり、主に可視化手法として用いられる。関連研究では、平面へ写像することによって可視化を行っている。しかし、平面では、四辺が境界になっているため、学習の過程で境界に寄ってしまい、孤立する資料が見られるという問題がある。

## 3. 提案システム

公開されている資料数が膨大な場合、すべての資料を一画面に表示すると、画面のスクロール量が大きくなる、画像が小さくなり見づらくなるという問題がある。そこで本システムでは、最初に代表資料群を提示することで、公開されている資料を大まかに把握可能にする。そして、代表資料群からいずれかの資料を選択すると、選択した資料の画像と類似する資料群、および内容が類似する資料群へと段階的に探索可能にし、探索を支援する。本章では、システムを構築するための手法について説明する。

## 3.1 画像特徴量の抽出

資料のサムネイル画像から、画像内に含まれる物体の特徴を反映した特徵べクトルを抽出する。本研究では、深層学習モデルである Vision Transformer [4]の学習済みモデルを特徵量抽出器として利用する。Vision Transformer とは、自然言語処理に用いられる Transformer モデルを画像処理に適用したモデルであり、従来使用されていた一般的な畳み込みによる画像処理モデルよりも認識性能が高い [4] 。本研究では、Vision Transformer のモデルから識別器である MLP 層を除いた出力を画像特徴量として採用する。学習済みモデルは、Python のライブラリであ
る PytTorch [5] に公開されているモデルを使用する。これにより、768 次元のベクトルが得られる。このべクトルを用いて、画像間の類似性を求める。

## 3.2 自己組織化マップによる可視化

3.1 で得られた特徴べクトルを用いて自己組織化マップを学習させる。2 で述べたシステムでは、自己組織化マップで平面に写像している。しかし、平面に写像すると、境界があるため、境界付近で資料が孤立する場合がある。そこで本研究では、境界のない立体の表面に写像することで、資料が孤立しないようにする。写像する立体は、トーラスとする。 トーラスは平面の上下、左右のそれぞれをつなげた立体であり、写像した結果を歪ませずに平面へ戻すことができるため（図 1）、画像の一覧表示に適していると考えられる。

自己組織化マップでは、学習させる際に学習回数、学習率、近傍半径といったパラメー タを決定する必要がある。本稿で学習させる際のパラメータは、学習回数を 100 回、学習率を 0.5、近傍半径を 0.3 とした。前述のパラメータで学習した結果を平面に展開したものが図 2 である。図 2 から、着物を着た人物が写っている画像が集まっていることがわかる。 また、図 2 の上辺にも着物を着た人物が写っている画像があることから、上辺と下辺がつながって学習されていることがわかる。

図 1、トーラスの平面への展開方法

## 3.3 メタデータ特徴量の抽出

資料のメタデータから、機械学習を用いて資料の内容の特徴を表す特徴量を抽出する。本研究で対象とするデジタル資料館のポスタ一カテゴリの資料は、メタデータとして、タイトル、内容説明、出版者、出版年、サイズ、請求番号が付与されている。その中から、タ

図 2.トーラス型自己組織化マップの学習結果を平面に展開した図と一部の拡大図

イトルと内容説明を用いて特徴を抽出する。対象とするポスター資料の内容説明は、ポスター内に書かれた人名や日付、キャッチコピ一などを書き出したものであり、どのような資料であるかを表していないものが多い。そのため、本研究では、ポスターの内容を端的に表しているタイトルから特徵量を抽出することを検討している。しかし、タイトルに商品名などの固有名詞が含まれており、特徴量の抽出が困難な資料がある。機械学習を用いて固有名詞から特徴量を抽出するには、固有名詞が含まれている文を大量に作り、追加で学習させる必要があるため、得策ではない。表 1 はタイトルからの特徴量の抽出が困難なメタデータの例である。タイトルが商品名となっており、一般名詞の複合語ではないため、特徴量の抽出が困難である。このような場合、内容説明から特徴量を抽出することを検討している。表 1 の場合は、内容説明から資料を表している「飲料」や「乳酸菌」といった単語を抜き出し、単語から特徴量を抽出することを検討している。より詳しい特徴量の抽出手法については、今後、調査および検討を行う。

表 1. タイトルからの特徴量の抽出が困難なメタデ一夕例

 \\

## 3.4 メタデータ間の類似性に基づく配置

3.3 で抽出した特徴べクトルをもとに、類似する資料が近接するように配置する。 3.2 の画像が類似する配置から、メタデータが類似する配置に並び替えるため、3.2の結果と同様に類似する資料を近接して配置する必要がある。 そこで、選択された資料を中心に類似度が高い資料から順に螺旋状に配置することを検討している。

## 3.5 代表資料の選出

公開されている資料を大まかに把握可能にするために、代表資料群を選出する。代表資料の選出手法は、3.2 の結果から、類似する資料を集約することによって行う。まず、 3.2 の結果を $3 \times 3$ のグリッドに分割する。次に、グリッド内の画像の特徵ベクトルの平均ベクトルを求める。そして、平均べクトルと各画像の特徴べクトルとのコサイン類似度を求め、
最も類似度が高い特徴べクトルの画像を持つ資料を、そのグリッドの代表資料とする。これをすべてのグリッドに対して行うことにより、代表資料群を選出する。

## 3.6 ユーザへの提示

システムでは、ユーザが公開されている資料を大まかに把握できるよう、3.5で選出した代表資料群を最初に提示する（図 3)。いずれかの資料が選択されると、選択された資料の詳細説明画面と、3.2 の結果をもとに選択された資料が中心となるよう配置した類似資料画面を提示する（図 4)。代表資料群と類似資料

図 3. 代表資料群表示画面のイメージ

を表示する画面では、資料群の端からさらに外側にスクロールされると、逆端の資料をつなげて表示することでループさせる。これにより、孤立する資料がないようにする。資料の詳細説明画面には、デジタル資料館のペー ジを表示する。そして、3.4の結果をもとに、 メタデータが類似する資料が近接するように並び替え可能にする。これらより、興味のある資料の探索を支援する。また、表示する画像は、一覧で表示する際に画像サイズの違いにより生じる間隙をなくすために、トリミングして画像の縦横比を揃える。縦横比は黄金比を参考にして $1.62: 1$ とする。

図 4. 類似資料群（左）と詳細説明画面（右）のイメージ

## 4. おわりに

本稿では、資料数が多いデジタルアーカイブにおいて、資料の画像とメタデータの類似性に基づく一覧表示をすることで資料の把握を容易にし、興味のある資料の探索を支援するシステムを提案した。今後は、メタデータの特徴ベクトルの抽出手法についての検討、 システムの構築、システムの有用性の評価を行う。

## 参考文献

[1] 函館市中央図書館. デジタル資料館. http://archives.c.fun.ac.jp (参照 2023-9-20).

[2] 佐藤太郎. DCNN Features による自己組織化マップを用いた歴史資料探索支援システ么の構築. 公立はこだて未来大学卒業論文 (未公刊). 2019.

[3] Teuvo Kohonen. Self-organized formation of topologically correct features maps. Biological Cybernetics. 1982, Vol.43, pp.5969.

[4] Dosovitskiy Alexey. et al. An image is worth 16x16 words: Transformers for image recognition at scale. The Int. Conf. on Learning Representations. 2021.

[5] PyTorch. https://pytorch.org (参照 20239-20).

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。