人文学資料マイクロコン
テンツ化による情報学・人文学の共同研究
ROIS-DS人文学オープンデータ共同利用センター
特任助教 鈴木親彦

本日の報告内容
0. CODHの紹介
1. 人文学資料マイクロコンテンツ化とは
2. マイクロコンテンツ化の実践：顔貌コレクション（顔コレ）3. 顔コレを軸とした共同研究事例
4. 研究手法の確立とさらなる展開

人文学オープンデータ共同利用センター（CODH）• http://codh.rois.ac.jp/• 目的：人文学分野におけるデータ駆動型研究の推進と共同利用拠点の形成• メンバー：センター長＋特任助教4名、国立情報学研究所・統計数理研究所の所属研究者

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

CODHで進める研究・二つの柱

人文学研究の変革

データサイエンスに基づく人文学（人文情報学）研究の促進。データサイエンスによる研究支援や、新しい人文学研究手法の確立を目指す。
その一つとして…
「人文学資料マイクロコンテンツ化」

人文学オープンデータの展開

人文学オープンデータを人文学以外の学問分野（情報・災害・気象…）にも利用可能にし、分野を超えた新たな研究・発見につなげる。

人文学オープンデータ

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

人文学資料マイクロコンテンツ化「マイクロコンテンツ」• 電子書籍から、特定の記事や特集のみを切り出して販売されるコンテンツ。興味のある部分だけを安価・手軽に読むことができる。（『デジタル大辞泉』より）「人文学資料マイクロコンテンツ化」• デジタル化された人文学資料から、特定の目的を持って部分を切り出し活用可能にすること（鈴木による造語）• 科学研究費助成「人文学資料マイクロコンテンツ化の実践研究 －江戸の都市空間再構築を通して－」研究代表者：鈴木親彦（20K20141）

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

画像（非文字）資料への注目• テキスト（文字）情報の抽出方法としては、すでに人文情報学のデファクトスタンダードがある• TEI（Text Encoding Initiative)

https://tei-c.org/• 画像（絵画・挿絵 etc.）を対象とした手法は研究段階• しかし、画像を含む資料のデジタル公開は近年盛んになっている• 特に、相互運用性が担保されたIIIF（International ImageInteroperability Framework）に則った画像公開が進展• 組織・公開サイトを横断して画像資料を相互運用可能に• https://iiif.io/画像資料の様々（すべてIIIF準拠で公開されている）

絵画『源氏物語団扇画帖』（日本古典籍データセット・国文学研究資料館蔵）

地図（絵図）「江戸切絵図」（国立国会図書館デジタルコレクション）

絵巻物『大黒舞』（日本古典籍データセット・国文学研究資料館蔵）

絵入本『玉水物語』（京都大学貴重書
デジタルアーカイブ）

浮世絵『俳優似顔東錦絵』（国立国会図書館デジタルコレクション）

名所『江戸名所図会』（日本古典籍データセット・国文学研究資料館撮影／味の素食の文化センター蔵））

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究4.手法の確立と展開

マイクロコンテンツ化実践例：「顔貌コレクション（顔コレ）」• http://codh.rois.ac.jp/face/• マイクロコンテンツの単位＝美術作品に出現する顔貌• 日本の絵巻物を中心として顔貌を収集• メタデータを付与• 299作品・8,845顔貌（2021年2月現在）

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

マイクロコンテンツ化実践例：「顔貌コレクション（顔コレ）」• 美術史研究（特に様式研究）への活用• 描き方に現れる作者や工房の特徴（「様式」）を読み取りやす
いため、顔貌表現は重要な素材描き方をもとに、複数の作品から顔貌を集める『ふんせう』（慶應義塾大学）と『しつか』（国文学研究資料館）

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開「顔コレデータセット」• http://codh.rois.ac.jp/face/dataset/• Google Brain TokyoのYingtao Tianとの協力• 「顔コレ」の顔貌を、機械学習に利用しやすい形式で提供する
データセット• データセット化に伴いいくつかの工夫• 原典は宗教的内容も含むため、多様な価値観を尊重するガイドライン• 原典画像公開者への不利益を避ける工夫1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

顔貌コレクションを軸とした共同研究• 日本中世絵巻における様式および男女の描き分けの研究• 髙岸輝（東京大学美術史学研究室准教授）との共同研究• マイクロコンテンツ化と分析に向いた研究対象• 『遊行上人縁起絵巻』の写本、『清浄光寺甲本』（以下「甲本」）• 時宗開祖一遍智真、二祖他阿真教の事績をまとめた多巻構成（全十巻）の絵巻• 非常に多くの登場人物が描かれている• 複数の絵師（絵師工房）の手によって描かれている

『遊行上人縁起絵巻 清浄光寺甲本』（清浄光寺 遊行寺宝物館所蔵）
画像提供 遊行寺宝物館• 非常に多くの登場人物が描かれている• 複数の絵師（絵師工房）の手によって描かれている第三巻第一段「大衆に飲食を施す」

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

顔貌コレクションを軸とした共同研究• 研究上の問い
1. 様式：複数の絵師の様式の峻別• 複数絵師の様式（描き方の特徴）の違いを網羅的に確認できるか？

2. 図像：僧侶と尼僧の顔貌の分別• 侍や貴族と異なり僧侶と尼僧のコード（衣装・髪型）は共通。ただし、男女の集団が明確に分かれているため、峻別可能• 唯一の特徴である顔貌の描き分けは確認できるか？

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

僧侶と尼僧の共通性と、配置による区別••

侍や貴族と異なり僧侶と尼僧のコード（衣装・髪型）は共通。ただし、男女の集団が明確に分かれているため、峻別可能では唯一の特徴である顔貌の描き分けは確認できるか？
「遊行上人縁起絵巻清浄光寺甲本」（清浄光寺・遊行寺宝物館所蔵）

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

遊行上人顔コレの構築• 「顔コレ」の手法を使い、甲本に登場する顔をすべてマイクロコンテンツ化• 顔貌を比較することで、様式・性差の描き分けを分析する
しかし…
• 全十巻の写本すべてから顔貌を抽出していくのは大きな作業負担になる
そこで…

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

機械学習による顔貌の自動認識• 訓練データとして「顔コレデータセット」を利用• http://codh.rois.ac.jp/face/dataset/

1. R-CNNを用いた顔貌検出器を、顔コレデータセットを訓練データとして学習させる
2. 甲本画像をテストデータとして顔貌検出器に入力し、顔貌領域のXYWHを出力する• NII北本研究室インターンのAlexis Mermet（EcolePolytechnique Fédérale de Lausanne 当時）の協力

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

機械学習による顔貌の自動認識

群衆が重なり合って描かれた場面でも個々の顔貌を認識

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

分析の実践• 機械学習の成果を使用して2,390顔貌を抽出• メタデータを付与
• 性別
• 身分
• 向き
• 原典での登場場面• 明確に判別できる僧侶と尼僧を抽出＝全28場面・579 顔貌• これらをツールIIIF Curation Boardを利用し平面上に再整理• http://codh.rois.ac.jp/software/iiif-curation-board/

4.手法の確立と展開

http://codh.rois.ac.jp/software/iiif-curationboard/demo/?curation=https://mp.ex.nii.ac.jp/api/curation/json/0
66ee1b7-f7cd-4260-b08a-71842b674d9a&lang=ja

全顔貌を整理した状態

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

研究上の問いへの回答１
様式：同一作品における複数の絵師の様式の峻別は可能か？
YES：網羅的に見ても、これまで言われてきた区分は説得性が高い• 先行研究による分担制作＝三人の絵師A・B・Cという仮説（岩橋春樹『遊行上人縁起絵巻』－清浄光寺本について. 仏教芸術, 1989, vol.185, p.51-59.）
1.絵師A（579には該当の顔貌なし）
2.絵師Bの顔貌
濃い彩色
僧侶と尼僧の表現の差異は小さい、同性間の差異は特に少ない
ほぼ全ての僧侶・尼僧で共通して、眉の両端に
1. A
アクセントを置く表現と
2. a
朱を厚めに塗った唇の表現

3.絵師Cの顔貌
淡い彩色
全体として輪郭を描く線にスピード感あり（人物描写に手慣れている）
男女の差異も明確同性を描く場合の差異も明確、人物の描き分けを強調している1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

研究上の問いへの回答２
図像：僧侶と尼僧の描法の分別は可能か？
YES：顔貌による性差の描き分けが認められるが、絵師によって描き分けの差がある
1.絵師Bの僧侶と尼僧• 男女の描き分けは見られるが、共通
絵師C

■

性も高い
• 剃髪跡で男女差を描き分ける
僧侶と尼僧ともに、主に楕円形の滑• 輪郭のバリエーションも豊富
らかな輪郭で描かれる
特に若い人物は男女の見分けが困難

2.絵師Cの僧侶と尼僧男女の描き分けは明確
輪郭のバリエーションも豊富
剃髪跡を描き分けている
同性間の間でもバリエーションが豊富、主人公以外も個性がある

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

マイクロコンテンツを利用した分析
GM法• マイクロコンテンツ化した人文学資料の分析手法として命名• 細部に注目した様式研究者Giovanni Morelliの名前とGazingMicrocontentsの頭文字からの造語• 今後も引き続きブラッシュアップ• ワークフローIIIFに則ってデジタ

資料から部分を抽ル化された資料

出・収集

横断検索・一覧化・メタデータの付与

活用

データセットの構築
分析

1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

顔貌コレクションの別展開• 「顔コレ」を利用した現代アートへの展開• 国文学研究資料館「ないじぇる芸術共創ラボ」
https://www.nijl.ac.jp/pages/nijl/• 参加アーティストである梁亜旋が、「顔コレ」をインスピレーション源として作品制作・ワークショップを実施• ワークショップ「古典籍の“面白い顔”が仮面になる！」• 梁亜旋展『古典から再構築へ』

梁亜旋展『古典から再構築へ』1.人文学資料マイクロコンテンツ化

2.顔貌コレクション（顔コレ）3.顔コレを軸とした共同研究

4.手法の確立と展開

人文学資料マイクロコンテンツ化の展開• データサイエンスに基づく人文学（人文情報学）研究の促進にむけて、様々な人文学研究資料へ応用可能• 「江戸買物案内」「江戸観光案内」• http://codh.rois.ac.jp/edo-shops/• http://codh.rois.ac.jp/edo-spots/• 江戸時代の資料から、商人や名所・観光地に関する画像情報を抽出• 情報空間の中に江戸の要素を再構築していく• 地理情報と結びつけることで、さらなる活用今回の報告に関わる論文• 鈴木 親彦・髙岸 輝・本間 淳・Alexis Mermet・北本 朝展「日本中世絵巻における性差の描き分け－IIIF Curation Platformを活用したGM法による『遊行上人縁起絵巻』の様式分析」『じんもんこん2020論文集 』, pp.67-74, 2020• 鈴木 親彦・北本 朝展・Yingtao Tian「顔コレデータセット：美術史研究分野における機械学習データセットの構築・公開の諸問題」『デジタルアーカイブ学会誌』4(2), pp.191-194, 2020
• Yingtao Tian, Chikahiko Suzuki, Tarin Clanuwat, Mikel BoberIrizar, Alex Lamb, Asanobu Kitamoto, "KaoKore: A Premodern Japanese Art Facial Expression Dataset",arXiv:2002.08595.

ご清聴ありがとうございました
第14回CODHセミナー「IIIF Curation Platform利活用レシピ100連発」
http://codh.rois.ac.jp/seminar/icp-recipe-20210218/
日時：2021年2月18日（木） 15:00-17:30
会場：オンライン（Zoom）
参加費：無料※ただし事前登録をお願いします
IIIF Curation Platformの利活用事例における用途と、ICPの機能との関係を整理した「利活用レシピ」をご紹介します。
100連発で繰り出される多数のレシピから、ご自分のデジタルアーカイブ構築へのヒントをつかんで下さい。