第15回CODHセミナー

美術史におけるデータ駆動型人文学研究の展開 - IIIFやAIでどう変わるか？
北本 朝展（ROIS-DS人文学オープンデータ共同利用センター／国立情報学研究所）
http://codh.rois.ac.jp/2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

1

顔貌コレクション（顔コレ）http://codh.rois.ac.jp/face/

1. デジタル画像を切り抜き、メタデータを付与し、網羅的なデータセットを構築する。
2. デジタルツールを用いてデータセットを分析・可視化し、新たな発見につなげる。
3. 単にデジタルデータを使うだけではない。研究手法もデジタル化し、その利点を活用する方向に進化させる。
顔コレ「山伏」の検索結果
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

2

人文学におけるデジタル変革
データ駆動型人文学

人文学ビッグデータ• データを基盤とする新しい手法により、人文学の研究手法を革新する。
• 人文学的に新しい知識を得ることを目標とする。
• データの共有やエビデンスに基づく検証などの新しい文化を人文学に導入する。

• 人文学から生み出される大規模データにより、（非）人文学の研究手法を革新する。
• 定量的またはデータに基づく知識を得ることを目標とする。
• 人文学データに特有の構造化や解釈などの技術を分野を超えて共有する。

2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

3

データ駆動型人文学研究の類型
1. 人文学者のリサーチクエスチョンをきっかけとして、情報学者がデータ化、システム化の手法を練っていく。
2. 情報学者の技術的提案をきっかけとして、人文学者が自分の研究への活用を進め、システムの課題を出していく。
3. 人文学者と情報学者がアイデアを議論しながら、新しい研究課題と技術的な解決策を探していく。
4. 専門人材を含むチーム構成：ソフトウェアエンジニア、データクリエイター、データキュレーター、デザイナーなどとの協働により、データ駆動型人文学研究の質と量を向上させる。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

4

顔コレデータセットの利活用例
http://codh.rois.ac.jp/face/
日本古典籍デー
タセット（国文研蔵ほか）

IIIF Curation Viewer / IIIF
Curation Platform（CODH開発）

顔貌コレクション・デー
タセット（CODH作成）

美術史研究

AI自動顔認識

CODH 鈴木 親彦、東大 髙岸 輝、Google Yingtao Tian、EPFL Alexis Mermetほか
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

機械の創造性（GAN）
5

IIIF（トリプルアイエフ）とは？
International Image
Interoperability
Framework＝国際的な画像配信方式
Web：HTML
画像：IIIF2021/7/29

IIIFサー
ビス1
IIIFサー
ビス2
IIIFサービス3

美術史におけるデータ駆動型人文学研究の展開 #codh15

第14回CODHセミナー IIIF Curation Platform利
活用レシピ100連発
http://codh.rois.ac.jp/seminar/icp-recipe20210218/

IIIFビュー
ア1
IIIFビュー
ア2
6

キュレーションとは？
キュレーションとは、もともと、ミュージアムにおいて、資料の収集や作品の展示などの活動を指すことばである。

1. あるテーマに沿ってコンテンツを集める。
2. 適切な順番（配置）に並べる。
3. 新たなコンテンツとして提示・共有する。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

7キュレーションの作成と公開

不美人の描き方—「末摘花」
http://codh.rois.ac.jp/pmjt/curation/2/
2021/7/29

顔貌データ：イギリスの肖像
http://codh.rois.ac.jp/curation/exhibition/2/

美術史におけるデータ駆動型人文学研究の展開 #codh15

8

IIIF Curation Platformの特徴
1. テーマ別の画像コレクションを利用者が独自に作成し公開できるようにした。
2. 画像提供者以外が公開する画像サービスを利用者が独自に呼び出し使えるようにした。
3. 利用者が独自の付加情報をオーバーレイ表示できるようにした。
4. 利用者が自由に画像を収集し、処理し、公開するワークフ
ロー全体を支援する基盤として、ICPはIIIF画像の新たな利活用を開拓する役割を果たしている。
オープンな画像の利活用を開拓するIIIF Curation Platform, カレントアウェアネス-E, No.398, 2020-09-17,
https://current.ndl.go.jp/e2301/2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

9

IIIF Curation Platformの現状

IIIF Curation Platformのロゴ
http://codh.rois.ac.jp/icp/2021/7/29

1. キュレーションという方法論をIIIFの世界に導入するためのソフトウェア群。
2. ウェブブラウザ上で動作するソフトウェアが7点、特定目的に設計されたアプリが1点、サーバ側で動作するPythonプログラムが3点、導入を支援するDocker設定が1点。いずれもオープンソース。
美術史におけるデータ駆動型人文学研究の展開 #codh15

10機械学習／AIとは？
データセット入力

教師あり学習の場合

深層学習（ディープラーニング）など

正解モデル出力• 教師あり学習／教師なし学習／強化学習などで、学習の進め方が異なるため、目的に応じて使い分ける。
• 教師あり学習では、訓練データセットの「正解」に対する正答率を高めるように、多数のパラメータを自動的に調整する。
• データ駆動型人文学を推進するための強力なツールとなる。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

11

くずし字データセットの利活用例
http://codh.rois.ac.jp/char-shape/
日本古典籍
データセット
（国文研蔵）

くずし字データセット（国文研・CODH作成）

KuroNet
AIくずし字認識
くずし字認識サービス

正解率95%以上（条件がよい場合）

CODH カラーヌワット・タリンほか
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

くずし字認識コンペ

くずし字認識モバイル
アプリ 12

機械学習（AI）による顔検出手法

Alexis Mermet, Asanobu KITAMOTO, Chikahiko
SUZUKI, Akira TAKAGISHI, “Face Detection on
Pre-modern Japanese Artworks using R-CNN
and Image Patching for Semi-AutomaticAnnotation”, Proceedings of the 2nd Workshop
on Structuring and Understanding ofMultimedia heritAge Contents (SUMAC‘20), pp.
23-31, doi:10.1145/3423323.3423412, 2020.
2021/7/29

出典：顔コレ
データセット
美術史におけるデータ駆動型人文学研究の展開 #codh15

13

機械学習（AI）による顔検出の意義
1. 顔コレデータセットを対象とした場合、80%程度の顔を自動検出できた。
2. 顔コレデータセットで学習し、時代が異なる作品に適用した場合でも、70%程度の顔を自動検出できた。
3. 3分の2の検出を機械に任せられれば、人間が顔を切り取る作業量を3分の1に短縮できる。
4. より多くの作品を分析できれば、エビデンスの信頼性が向上し、研究を深めることができる。
2021/7/29美術史におけるデータ駆動型人文学研究の展開 #codh15

14

機械学習（AI）の役割
1. 顔の切り抜き「作業」をAIが支援することで、作業の労力を大幅に軽減できる可能性がある。
2. データの解釈は専門家が行う「精読」に基づくが、従来に比べて規模を大幅に拡大できる。
3. データの解釈も機械が支援する「遠読」については、新たな可能性と方法論の危うさが共存している。
4. AIの結果は学習データに依存。「お告げ」のように盲信し、自分に都合のよいエビデンスとしてはならない。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

15

浮世絵顔データセット
http://codh.rois.ac.jp/ukiyo-e/face-dataset/『ARC浮世絵顔データセット』（Yingtao Tian、ROIS-DS CODH作成、ARCから収集）, https://doi.org/10.20676/00000394
2021/7/29

1. NII-IDRが立命館ARCと協力し、浮世絵データセットを公開。
2. Googleの機械学習研究者が、既存のAPIを活用して顔を切り抜けることを発見。
3. 浮世絵の画像解析研究のための、新たなデータセットを公開。

美術史におけるデータ駆動型人文学研究の展開 #codh15

16

edomi - 江戸をみる／みせるデータポータル
http://codh.rois.ac.jp/edomi/

本日7/29公開
1. キュレーションなどで作成された構造化データを公開するデータポータル。
2. 現代のYahoo!のように、カテゴリごとに江戸データを収集し、整理し、公開する。
3. いずれ「芸能」カテゴリに、浮世絵の役者顔を掲載したい。

2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

17

IIIFとAIで変わる美術史研究
1. IIIFの相互運用性は、組織横断的かつ全球的な大規模データ収集を可能とした。
2. AIの高性能化は、表層的な内容分析や物体抽出の一般化、大規模化を可能とした。
3. 両者の流れが合流し、各種ツールも充実することで、美術史研究でも大規模データが扱えるようになった。
4. 定性的／定量的、精読／遠読など、目的に合った研究手法を使い分ける知識がこれから重要になる。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

18

今後の展望1. 美術史研究の大規模化には、多くのミュージアム・ライブラリなどによる高解像度画像の公開が欠かせない。
データ公開の努力に対する感謝を忘れずに。
2. データ駆動型人文学研究はチーム型。地域・時代・作品等で分担するのではなく、役割で分担するチーム。
3. 人文学側は、リサーチクエスチョンを明確化し、研究の方法論をデジタルに合う形に進化させる。
4. 情報学側は、分野専門家とコミュニケーションし、問題の抽象化と手法の有用性に焦点を合わせる。
2021/7/29

美術史におけるデータ駆動型人文学研究の展開 #codh15

19