# [B42] 顔コレデータセット:美術史研究分野における機械学習データセットの構築$\cdot$公開の諸問題

○鈴木親彦 1) 2), 北本朝展 1) 2), Yingtao Tian3)

1) ROIS-DS 人文学オープンデータ共同利用センター，〒101-8430 東京都千代田区一ツ橋 2-1-2

2) 国立情報学研究所

3) Google Brain Tokyo

E-mail:ch_suzuki@nii.ac.jp
## KaoKore Dataset: Issues of creating and releasing machine learning datasets in the art history research

OSUZUKI Chikahiko1) 2), KITAMOTO Asanobu 1) 2), Yingtao Tian ${ }^{3}$

1) ROIS-DS Center for Open Data in the Humanities, 2-1-2 Hitotsubashi, Chiyoda-ku, Tokyo, 101-8430, Japan

2) National Institution of Informatics

${ }^{3)}$ Google Brain Tokyo

## 【発表概要】

本論では、人文学研究目的で収集したデータを機械学習データセットに修正して公開する過程で生じる問題について、美術史学の研究データを機械学習データセットとして再構築した「顔コレデータセット」を事例に解決方法を提案する。「顔コレデータセット」の元となる「顔貌コレクション (顔コレ)」では、美術作品に登場する顔貌をIIIF 画像から収集し、メタデータを付与することで、検索性と再利用性のあるデータを提供している。しかしこれを機械学習データセットとして公開することを考えると、複数の機関が公開する画像を収集する点や、宗教的な内容などを含む点にも配慮する必要が生じる。そこでデータ配布、出展表示、利用ガイドラインを中心に検討を加え、原典画像公開者とデータセット利用者の双方に有益な公開方法を考案した。

## 1. はじめに

本論は、人文学研究データとして収集した画像を機械学習向けのデータセットとして修正・公開する際の問題について、「顔コレデー タセット」の事例に基づき解決方法を提案する。

今日、数多くの人文学資料がデジタル化され、デジタルアーカイブでの利活用が可能となっている。資料へのアクセスが容易になり、研究に利用した元資料を効率的に共有することも可能になるなど、人文学研究の大きな助けとなっている。またデジタル化された資料を活用する手法は、人文情報学分野で日々研究が進められている。

こうした資料を人文学の枠内で研究するだけでなく、他分野の研究でも活用できる興味深い素材として提供できないか、というのが本論の問題意識である。他分野でも同じ資料を活用した研究が進めば、将来的には人文学研究に新しいアイデアや方法論が戻ってくる可能性があるからである。その一例として、「くずし字」に関わる一連のデータセットを取り上げる。

ROIS-DS 人文学オープンデータ共同利用センター（CODH）は、「日本語の歴史的典籍の国際共同研究ネットワーク構築計画」[1]でデジタル化した古典籍画像「日本古典籍デー タセット」を公開した[2]。次に、ここで公開する古典籍を中心に、機械と人間のための学習データとして、くずし字の座標情報などを 「日本古典籍くずし字データセット」として公開した[3]。さらにその派生データセットとして、機械学習研究で著名な MNIST データセット互換の形式に変換した「KMNIST デー タセット」を公開した[4]。このようにデータセット形式を変換することで、機械学習研究者が参入しやすくなり、様々なアルゴリズムの比較や新たなアプリケーションの提案が出

てくるなど、くずし字に関する研究開発を活性化させる成果を上げることができた。

このように機械学習向けのデータセットを構築することには大きな意義がある。しかしそのために考慮すべき課題は、実はデータセット形式の変換だけではない。例えばライセンスの問題や利用ガイドラインの問題などは技術的な問題だけでなく倫理的な側面を含む。 それに加え、画像公開者、データセット構築者、利用者等のステークホルダー間でどのように権利を調整するか、関係機関の貢献をどのように示すかといった問題は、デジタルア一カイブにおける画像公開の促進に影響を与える本質的な課題となる。このように機械学習向けデータセットの構築が提起する新たな課題に解決策を見出す必要がある。

そこで本論では、美術史研究のためにアー カイブを横断的に活用して構築してきた「顔貌コレクション」を、機械学習に利用しやすい形式の「顔コレデータセット」として公開した具体的な事例に基づき、その過程で生じた課題と解決策についてまとめる。

## 2. 顔コレデータセットについて 2.1 顔貌コレクション

まずは。「顔コレデータセット」の元となつた「顔貌コレクション（顔コレ）」について簡単に説明する。これは、美術作品に登場する顔貌表現を収集し、研究活用することを目的とするもので。単に顔貌の画像を集めるだけでなく、「性別」「身分」「(顔の）向き」「原典」 など基礎的なメタデータを付与することで、検索性を高めている点に特長がある（図 1）

[5]。2020 年 2 月現在、国文学研究資料館、慶應義塾大学メディアセンター、京都大学図書館が公開している室町時代末期から近世初期に作られた絵本・絵巻物を原典とした顔貌 5,824 枚の画像を公開している。

「顔コレ」は国際的な画像配信方式 IIIF

( International Image Interoperability Framework） および、IIIF の相互運用性を生かしてユーザーによる画像の一部の切り取り、収集、並べ替え、保存、共有を可能にす
る IIIF Curation Platform を利用して構築を行った。

IIIF Curation Platform の機能により「顔コレ」では付与されているメタデータを一覧化し、メタデータ付与数を含めて定量的に把握することも可能である。また、収集されている顔貌画像を自由に選択して派生的に公開することも可能である。これらの機能により、美術史の様式研究に研究データの検索や再利用と、量的な解析の可能性を提示した [6][7]。

図 1.「顔コレ」より、メタデータ「身分：僧侶」での絞り込み結果。

複数の機関が公開する複数の作品を横断して比較することができる。

## 2.2 顔コレデータセット

「顔コレデータセット（KaoKore Dataset）」 は、「顔コレ」で公開する顔貌画像を、機械学習で利用しやすい形式に整えたデータセットである [8]。具体的には

1. 顔貌画像（画素: $256 \times 256$ ) の所在情報

（URL）をまとめたテキストファイル

2. 専門家が付与した属性情報（メタデータ） をまとめたテキストファイル

3. 機械学習のためのラベルとデータ分割を指定する CSVファイル

を提供する。なお、画像そのものではなく、画像の所在情報をまとめたファイルを配布している理由については、次項で詳しく述べる。 このデータセットは、機械学習研究に対して、日本絵画に登場する顔貌という新たな研究対象を提供することになる。例えば日本絵画風の画像自動生成など、クリエイティブな活動に活用できる。また、機械学習によって日本絵画の顔貌自動抽出や基礎的なメタデー 夕の自動付与が可能になれば、日本のみならず世界各地に存在する未調査の絵画資料を対
象とした美術史研究の効率化が期待できる。

「顔コレ」の顔貌収集とメタデータ付与は美術史研究者の人手で行っている。機械学習による自動抽出が進み、美術史研究者がエラ一のチェックとその後の分析に集中できるようになれば、作業負担の軽減と研究の効率化にもつながる。このように「顔コレデータセット」は、人文学研究と機械学習研究の双方に価値があるデータセットである。

## 3. データセット構築-公開の諸問題 3. 1 問題の整理

「顔コレデータセット」の公開に向けた作業を進める過程で浮上してきた問題を以下に簡単に整理する。

第一の問題は配布方法である。「顔コレ」は複数の機関が公開する IIIF 画像を横断的に利用することで、幅広い作品から顔貌を収集した。これを「顔コレデータセット」として公開するのに最も標準的な方法は、これらの画像をすべてダウンロードした上で、原典画像公開者から切り離したデータセットとして公開する方法である。しかしこの方法では、原典画像公開者の貢献が埋もれてしまう懸念があるため、原典画像公開者とのリンクを保持しながらデータセットを公開することが望ましい。

第二の問題は出典表示である。「顔コレ」で想定していた美術史での研究利用では、論文等で一度に利用する顔貌画像の数には限度があり、キャプションや注を用いて原典画像の出典を個別に表示することが可能だった。しかし、データセットとして機械学習に利用する場合、成果物と個別の画像との関係は複雑であり、機械学習モデルの中に全ての画像が埋め込まれることもある。ゆえに、全ての出典および原典画像公開者を表示することが現実的でない場合も生じてくる。

第三の問題は利用ガイドラインである。「顔コレ」には宗教的な内容を含む作品から収集した多く含まれる。特に『熊野權現縁起』のように、現存する具体的な信仰対象に直接結びつく原典もある。ゆえに、機械学習による画像生成などの利用において、こうした対象を傷つけることに繋がるような利用は可能な限り避けたい。自由な利用を萎縮させないオ ープン性を担保しながらも、利用者に対しては価値観の多様性の尊重を意識してもらう必要がある。

## 3.2 解決方法の提案

上記の 3 つの問題に対して、「顔コレデータセット」では、利用者と原典画像公開者の双方に有益な公開方法を目指し、以下の方法を用いることとした。

配布方法: 2.2 章でも述べたように、今回は顔貌画像データではなく原典画像公開者のサイ卜上での所在情報 URL リストを提供している。 IIIF では画像内の顔貌の座標やサイズなどを URL に指定できるため、このような配布方法が可能となった。利用者はダウンロード作業を自動化するスクリプトなどを用いて、原典画像公開者のサイトにアクセスして画像を手元にダウンロードする。これにより原典画像公開者は、アクセス履歴を通して利用状況を把握できるようになる。

出典表示 : データセットのライセンスは $\mathrm{CC}$ BY-SA を採用した。これにより利用者は出典を表示することが必要となるが、すべての原典画像公開者を表示することは現実的ではない。そこで出典表示としてはデータセットの DOI を用い、そのランディングページおよびデータセット公開ページに原典画像公開者の一覧を表示することで、出典から原典画像公開者をたどれるようにした。また、顔コレデ一タセットから派生した新たなデータセットやソフトウェアを公開する場合は、「原典画像公開者一覧」ファイル配布物に含めるように求めることで、派生的な成果に対しても、原典画像公開者を表示できるようにした。

利用ガイドライン : Europeana Collections の Public Domain Usage Guidelines[9]や、 シンポジウム「デジタル知識基盤におけるパブリックドメイン資料の利用条件をめぐって」 [10] での議論を参考に、ライセンスと利用規約（法的なもの）、ガイドライン（善意に基づくもの）の違いを整理した。そしてガイドラ

インでは利用者の善意に基づき、多様な価値観の尊重と、作者や原典画像公開者など公開に係る様々なステークホルダーの尊重をお願いすることとした。

## 4. おわりに

本論は、「顔コレデータセット」を事例として、デジタルアーカイブの横断利用に基づく機械学習データセットを公開する際の課題と解決策をまとめた。オープン化やライセンス、機械学習の倫理などを巡る議論を踏まえて、 ベストプラクティスは今後も変化していくであろう。その中で、我々としては、「原典画像公開者とデータセット利用者の双方に有益な公開方法」を基本方針とし、公開方法を今後も更新していくことを考えている。

また「顔コレデータセット」の公開を契機に、美術史研究の立場から機械学習にどのような成果を期待するかを考えておく必要があろう。もともと「顔コレ」を立ち上げたのは、美術史研究にデータの再利用性を導入し、議論の整理を促進することが目的だった。機械学習はこの再利用性をさらに推進し、顔貌の自動検出などのレベルでは作業を効率化できる可能性があるが、美術史研究の重要な論点の解決に貢献できるかはまだ不確かである。

例えば複数の流派の影響が見らえる作品の様式研究においては、熟練した美術史研究者の間でも判断が異なり、簡単に答えが出せない議論となる。また主題の特定に関しても、時代や流派など複数の要因から議論がなされる。こうした議論に対して、機械学習の結果をエビデンスとして使うという考え方はやや単純に過ぎる。機械学習はデータセットのバイアスに影響されるため、誤った結論を出す可能性もある。データセットの量と質を高めると同時に、機械学習が解決可能な問題を見極めていくことも、今後の重要な課題である。

## 参考文献

[1] 日本語の歴史的典籍の国際共同研究ネットワーク構築計画（歴史的転籍 NW） https://www.nijl.ac.jp/pages/cijproject/ (閲覧 2020/2/17).

[2] 日本古典籍データセット（国文研等所蔵 $/ \mathrm{CODH}$ 提供)

http://codh.rois.ac.jp/pmjt/ (閲覧 2020/2/17).

[3] 日本古典籍くずし字データセット（国文

研ほか所蔵 / CODH 加工)

http://codh.rois.ac.jp/char-shape/

 (閲覧

2020/2/17

[4] KMNIST データセット（CODH 作成／日本古典籍くずし字データセット（国文研等所蔵）を翻案） http://codh.rois.ac.jp/kmnist/  (閲覧 2020/2/17)

[5] 顔貌コレクション（顔コレ）

http://codh.rois.ac.jp/face/ (閲覧 2020/2/17)

[6] 鈴木親彦,高岸輝,北本朝展.

顔貌コレクション（顔コレ）：精読と遠読を併用した美術史の様式研究に向けて. じんもんこん 2018 論文集. 2018. pp. 249-256

[7] 鈴木親彦. デジタルアーカイブを横断した画像活用による研究実践 : IIIF と IIIF

Curation Platform を軸に. デジタルアーカイブ学会誌. 2019. No.3(2). pp. 223-226

[8] 顔コレデータセット (CODH 作成)

http://codh.rois.ac.jp/face/dataset/

（閲覧

2020/2/17)

[9] Public Domain Usage Guidelines -

Europeana Collection

https://www.europeana.eu/portal/en/rights/p

ublic-domain.html （閲覧 2020/2/17）

[10] デジタル知識基盤におけるパブリックド

メイン資料の利用条件をめぐって。

http://21dzk.l.u-

tokyo.ac.jp/kibana/sympo2019/ (閲覧

2020/2/17)

この記事の著作権は著者に属します。この記事は Creative Commons 4.0 に基づきライセンスされます(http://creativecommons.org/licenses/by/4.0/)。出典を表示することを主な条件とし、複製、改変はもちろん、営利目的での二次利用も許可されています。