「顔貌コレクション」
IIIF Curation Platformを活用した研究基盤の構築と展開
2021/07/26 第15回CODHセミナー

ROIS-DS人文学オープンデータ共同利用センター/国立情報学研究所
特任助教 鈴木親彦

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

本日の内容
1. 自己紹介2. 顔貌コレクション（顔コレ）とは？
3. 顔コレの構築過程と研究活用
4. ICPによる研究基盤構築の様々な展開

4. ICPによる研究基盤構築の様々な展開

2.顔貌コレクション（顔コレ）とは？

1.自己紹介3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

自己紹介
鈴木親彦
所属
• ROIS-DS人文学オープンデータ共同利用センター特任助教• 国立情報学研究所兼務
研究分野• 文化資源学、人文情報学（Digital Humanities）、出版学、美術史

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔貌コレクション（顔コレ）とは
http://codh.rois.ac.jp/face/「顔貌コレクション」は、美術作品に出現する顔の部分を切り取って集め、それを美術史研究（特に様式研究）に活用するプロジェクトです。現在は近世の絵巻・絵入本を中心に収集を行っています。
出典• 日本古典籍データセット（国文学研究資料館・CODH）• 慶應義塾大学メディアセンターデジタルコレクション（慶應義塾大学）• 京都大学貴重資料デジタルアーカイブ（京都大学附属図書館）

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

2.顔貌コレクション（顔コレ）とは？

1.自己紹介3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔貌へのメタデータの付与と検索• 切り取って集めた各顔貌には統一的なメタデータ（データを説明するためのデータ）を付与
• 性別
• 身分
• 向き
• 原典
• 所蔵

• IIIF Curation Finderを利用して、メタデータ検索が可能

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開「向き：後」を検索した結果

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

顔コレの構築過程と研究活用• 顔コレはIIIF Curation Platformを活用して構築• 具体的な構築過程を順を追って説明
1. 作品を読み込む
2. 顔貌を切り抜く
3. 顔貌にメタデータを付与する• この一連の作業を「キュレーション」と呼ぶ

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

作品を読み込む

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

顔貌を切り抜く

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

顔貌にメタデータを付与する

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔コレの活用：顔貌の検索「酒呑童子」を検索した結果

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔コレの活用：定量的な確認• 付与されたメタデータは一覧表示される• 各メタデータが付与された顔貌数も確認できる• 直感的な感覚を数量的に再確認• 顔コレ対象が広がるほど、一般的な傾向が明らかに？

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔コレの活用：現代アートのインスピレーション源

梁亜旋展『古典から再構築へ』1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔コレ手法の研究活用• 特定の作品を詳細に分析することにも利用できる• 特に、大量の顔貌が登場する作品の分析には最適• 『遊行上人縁起絵巻 清浄光寺甲本』（甲本）への手法の適用• 具体的な分析結果は、次の髙岸発表に譲り、ここでは手法について説明1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開『遊行上人縁起絵巻 清浄光寺甲本』（清浄光寺 遊行寺宝物館所蔵）
画像提供 遊行寺宝物館• 非常に多くの登場人物が描かれている• 複数の絵師（絵師工房）の手によって描かれている第三巻第一段「大衆に飲食を施す」

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

甲本の分析
分析のための作業過程
1. 顔貌の切り抜き
2. メタデータの付与
3. 一覧化した顔貌の整理・分析

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

顔貌の切り抜き
• 2,000を超える顔貌が存在• 具体的なゴールを考えると、スピードアップが必要• 機械学習と協力した顔貌切り抜きを実施• 訓練データに「顔コレ」をもとにした「顔コレデータセット」を利用• http://codh.rois.ac.jp/face/dataset/• 70％程度の顔貌を自動検出

論文：
Alexis Mermet, Asanobu Kitamoto, Chikahiko Suzuki, Akira Takagishi. “Face Detection
on Pre-modern Japanese Artworks using R-CNN and Image Patching for SemiAutomatic Annotation”. Proceedings of the 2nd Workshop on Structuring andUnderstanding of Multimedia heritage Contents (SUMAC'20), 2020, p.23–31,
doi:10.1145/3423323.3423412

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

機械学習による顔貌認識『遊行上人縁起絵巻 清浄光寺甲本』（清浄光寺 遊行寺宝物館所蔵）
画像提供 遊行寺宝物館

1.自己紹介2.顔貌コレクション（顔コレ）とは？

メタデータの付与

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

2.顔貌コレクション（顔コレ）とは？

1.自己紹介3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開一覧化した顔貌の整理・分析• IIIF Curation Platformを構成するIIIF Curation Boardの活用• キュレーションを構成する画像を平面上に自由に配置し、グルーピングを補助する機能を提供• 研究上の問い（今回は僧侶・尼僧に関する絵師の様式）に従って顔貌を整理• あ1.自己紹介

2.顔貌コレクション（顔コレ）とは？

全ての僧侶と尼僧の顔貌

3.顔コレの構築過程と研究活用

一部にズームイン

4. ICPによる研究基盤構築の様々な展開

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

手法の展開＝GM法
IIIF Curation Platformを使った分析のための作業
1. 顔貌の切り抜き
2. メタデータの付与
3. 一覧化した顔貌の整理・分析
従来の写真カードを使った研究手法そのもののデジタル化・大規模化＝「GM法」と名付ける※Giovanni Morelliの名前と、Gazing Microcontentsのダブルミーニ
ング

1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

ICPによる研究基盤構築の様々な展開• 今回のメインテーマは美術史と顔コレだが……
• 勿論、顔貌以外にも、美術史以外にもIIIF Curation Platformを活用したGM法は応用可能• 様々な画像を対象にキュレーションを行うことができる。
• 非文字情報（画像）と文字情報（メタデータ）を組み合わせたい場合に有効• ICP Tutorialとして使い方も解説• https://ch-suzuki.com/icpt/1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

展開の例• 江戸に関する様々な画像情報のキュレーション「江戸買物案内」 http://codh.rois.ac.jp/edo-shops/1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

展開の例• 江戸に関する様々な画像情報のキュレーション「江戸観光案内」 http://codh.rois.ac.jp/edo-spots/1.自己紹介2.顔貌コレクション（顔コレ）とは？

3.顔コレの構築過程と研究活用

4. ICPによる研究基盤構築の様々な展開

ご清聴ありがとうございました
ご視聴の皆様の研究で「自分の研究に使えそうな気がする」「このような整理・分析に使えないか」「こういった資料を整理するのには向いているのでは」といったアイデアがありましたら、ディスカッションの際に共有下さると幸いです。