一次史料テキストマイニング・プラットフォーム

Gale Digital Scholar Lab
Galeウェビナー
2022年4月14日

センゲージラーニング株式会社
Gale部門 商品担当
森澤 正樹
masaki.morisawa@cengage.com

本日のアジェンダ• Gale および Gale Primary Sources について
• Gale Digital Scholar Lab とは• Gale Digital Scholar Lab デモンストレーション• 実際の応用例• 質疑応答会社紹介• 米国の教育出版社センゲージ ラーニングの図書館部門• 本部：米国ミシガン州ファーミントン・ヒルズ市• 出版形態
 百科事典・年鑑などのレファレンス書籍
 電子ブック・文学情報・雑誌記事などのデータベース
 一次資料・新聞などのマイクロフォーム
 一次資料・新聞などのデジタル・アーカイブ

Gale Primary Sources•

Gale のデジタル一次史料データベース群の総称•

同データベース群の横断検索プラットフォームの名称•

データベース数400種以上、総ページ数2億ページ以上•

主な商品の例：–

Eighteenth Century Collections Online (ECCO)–

Nineteenth Century Collections Online (NCCO)–

The Times Digital Archive–

The Making of the Modern World (MOMW)–

U.S. Declassified Documents Online–

ほか、多数

原本収蔵機関の例

貴重資料のデジタル化

歴史資料のフルテキスト検索

OCR = 光学文字認識 (Optical Character Recognition)
HTR = 手書き文字認識 (Handwritten Text Recognition)* HTRは一部の最新データベースのみ

文書の背後のOCRテキスト

文書画像

OCRテキストOCRテキストをたくさん集めて、分析できたら？

単語の袋?

２つの異なるワークフロー

検索 → 閲読

データ収集 → 分析

それぞれに最適なプラットフォーム

Gale Primary Sources

Gale Digital Scholar Lab

Gale Digital Scholar Lab
Galeの一次史料テキストマイニング専用プラットフォーム•

Gale Primary Sources データベース群のOCRテキストを搭載•

主要なテキストマイニング・ツール（分析ツール）を内蔵•

OCRクリーニング・ツールを内蔵•

プログラミング等の知識は不要！

Gale Digital Scholar Lab のワークフロー

コンテンツセットの構築

クリーニング設定

分析とダウンロード

Gale Digital Scholar Lab のワークフロー

コンテンツセットの構築

クリーニング設定

分析とダウンロード

現在 Lab で分析可能なデータベース


Amateur Newspapers from the American Antiquarian Society

The Making of the Modern World (MOMW)American Fiction 1774-1920



Mirror Historical Archive 1903-2000

American Historical Periodicals from the American Antiquarian SocietyNineteenth Century Collections Online (NCCO)

Archives Unbound

Nineteenth Century U.S. Newspapers

Archives of Sexuality and GenderNineteenth Century UK Periodicals



Associated Press Collections OnlinePicture Post Historical Archive 1938-1957



Brazilian and Portuguese History and Culture

Political Extremism and Radicalism

British Library Newspapers

Public Health Archives: Public Health in Modern America, 1890-1970

China and the Modern World

Punch Historical Archive 1841-1992

Crime, Punishment, and Popular Culture, 1790-1920



Refugees, Relief, and Resettlement

Daily Mail Historical Archive 1896-2016

Sabin Americana: History of the Americas, 1500-1926



Declassified Documents Online: Twentieth Century British IntelligenceSeventeenth and Eighteenth Century Burney Newspapers Collection

The Economist Historical Archive, 1843-2020

Seventeenth and Eighteenth Century Nichols Newspapers CollectionEighteenth Century Collections Online (ECCO)Slavery and Anti-Slavery: A Transnational Archive

The Illustrated London News Historical Archive 1842-2003

Smithsonian Collections Online

The Independent Historical ArchiveThe Sunday Times Historical Archive 1822-2016

Indigenous Peoples of North America

The Telegraph Historical Archive 1855-2016

International Herald Tribune Historical Archive, 1887-2013



The Times Digital Archive 1785-2019



Liberty Magazine Historical Archive, 1924-1950



The Times Literary Supplement Historical Archive 1902-2019

The Listener Historical Archive, 1929-1991



U.S. Declassified Documents Online



The Making of Modern Law (MOML)

Women's Studies Archive現在 Lab で分析できないデータベース
••
•
•
•
•
•

Financial Times Historical Archive
National Geographic Magazine Archive
Chatham House Online Archive
Gale World Scholar: Latin America & the Caribbean
Early Arabic Printed Books from the British Library
British Literary Manuscripts Online
State Papers Online

主な理由：


権利関係の理由（Financial Times）



プラットフォームが未統合（ National Geographic, Chatham House, Gale World Scholar, Early Arabic Printed Books ）

手稿中心でOCRがない（British Literary Manuscripts、State Papers）

自身のコンテンツをアップロードする• テキストを直接入力する
か、.txt形式のファイルを選んでアップロードする（最大一度に10MBまで）• 著作権・テキストマイニング権のクリアランスはユーザー自身の責任となります。

Gale Digital Scholar Lab のワークフロー

コンテンツセットの構築

クリーニング設定

分析とダウンロード

OCRクリーニング・ツールの設定（任意）• OCRクリーニング設定をすることができる• ストップワード＊、特殊文字の扱い、語句の検索置換など• 作成したクリーニング設定を保存し、分析に適用することができる＊ストップワード（stop words）：あまりに一般的であるため、分析の対象から除外する語。
英語の場合、「a」「the」「of」「in 」等々。

なぜクリーニングが必要か•

OCRテキストに含まれる「ノイズ」を除去する、ありふれた言葉を減らす、等Gale Digital Scholar Lab のワークフロー

コンテンツセットの構築

クリーニング設定

分析とダウンロード

Gale Digital Scholar Lab で現在利用可能な分析ツール
ツール名

主な用途

ライブラリ・ツールキット

Ｎグラム頻度 Ngram

頻出単語・フレーズの抽出

Lucene×

クラスタリング Clustering

文書を類縁性で分類SciKit Learn○

感情分析 Sentiment Analysis

文書内容が肯定的か否定的かを分析

OpenNLP○

固有表現抽出 Named Entity Recognition

固有名詞・数字・日付等の抽出

spaCy

○

トピック・モデリング Topic Modelling

複数の文書に共通するトピックの抽出

Mallet○

品詞タグ付け Parts-of-Speech Tagger

著者ごとに品詞の使用頻度を比較

spaCy

○

オープンソース1. Ｎグラム頻度の分析例

2. クラスタリングの分析例

3. 感情分析の例
否定的

肯定的

4. 固有表現抽出の分析例

固有表現の分類

固有表現の一覧

5. トピックモデリングの分析例

6. 品詞タグ付けの分析例

Gale Digital Scholar Lab デモンストレーション

経済学史・経済史古典文献集成（MOMW）における「奴隷制」• The Making of theModern World, Parts I-IV
• タイトルが「slav*」「negr*」を含む英語の書籍• 年代：17世紀～19世紀

Gale Digital Scholar Lab のワークフロー• 文書の検索• 文書の選択• コンテンツセットの作成（１コンテンツセットあたりの文書数は最大１万件）• コンテンツセットの複製・合体• 自身のテキストをアップロードする（任意）• デフォルトのクリーニング設定を適用する• 自身のクリーニング設定を作る• ストップワードの管理、特殊文字の扱い、検索／置換など• 保存したクリーニング設定を分析に適用する• その場で分析を実行する• 用途に応じた６種類のツール• 分析結果をダウンロードする（画像またはデータ）• コンテンツセットのOCRテキストをダウンロードする（１コンテンツセットあたり最大文書５千件まで）• 分析の実行履歴は保存される

「OCR Confidence」 について

「OCR Confidence」 について•

各文書について表示される「OCR Confidence」とは、OCRプログラムによる自己採点値で、いわゆる「正読率」と同じではありません。

•

多くの場合、OCR Confidence値は原本の状態や挿画・写真等の有無などにより大きく左右されます。

•

一見、低い数値でも、テキスト以外のノイズによることもあり、利用目的によっては十分な品質であることもありえます。

Gale Digital Scholar Lab
Galeの一次史料テキストマイニング専用プラットフォーム•

Gale Primary Sources データベース群のOCRテキストを搭載•

主要なテキストマイニング・ツール（分析ツール）を内蔵•

OCRクリーニング・ツールを内蔵•

プログラミング等の知識は不要！

実際の応用例

41

ワシントン大学「デジタル人文学入門」
2015～2018年に開講した共通科目

ワシントン大学 サラ・ケッチリー先生•

初めての開講、学部生・院生の両方が履修可能•

週２回、各回２時間、単学期（10週）•

受講生の学年、所属学科はさまざま

Sara L. Ketchley, "Introducing Digital Humanities in the Undergraduate Classroom: Strategies, Solutions, and Pedagogical Practices Using theGale Digital Scholar Lab" in Digital Scholarship, Digital Classrooms: New International Perspectives on Research and Teaching, Farmington
Hills, MI: Gale, 2020

ワシントン大学「デジタル人文学入門」
様々な技術的困難：

ワシントン大学 サラ・ケッチリー先生•

ソフトウェアのインストールとトラブル対応で貴重な授業時間が費やされてしまう•

さまざまなプラットフォームがあり、それぞれに癖があるので、使い慣れるまでに時間がかかる•

大学側のITサポートも期待できない
Sara L. Ketchley, "Introducing Digital Humanities in the Undergraduate Classroom: Strategies, Solutions, and Pedagogical Practices Using theGale Digital Scholar Lab" in Digital Scholarship, Digital Classrooms: New International Perspectives on Research and Teaching, Farmington
Hills, MI: Gale, 2020

ワシントン大学「デジタル人文学入門」
Gale Digital Scholar Lab の導入によって：ワシントン大学 サラ・ケッチリー先生•

コーパスの作成、データのキュレーション、分析、視覚化までを一つのプラットフォーム上で行えるようになった。

•

クラウドベースなので、端末の環境に左右されなかった•

研究課題の掘り下げや結果のプレゼンテーションにより注力できるようになった。

Sara L. Ketchley, "Introducing Digital Humanities in the Undergraduate Classroom: Strategies, Solutions, and Pedagogical Practices Using theGale Digital Scholar Lab" in Digital Scholarship, Digital Classrooms: New International Perspectives on Research and Teaching, Farmington
Hills, MI: Gale, 2020

学生による発表の例：「アメリカ人の中華料理に対する態度の変遷」

ワシントン大学 サラ・ケッチリー先生

http://www.newbookdigitaltexts.org/dh-fall2018/exhibits/show/chinese-cuisine

講義を振り返って•学生が批判的思考、分析的推論、効果的なコミュニケーションなどの能力を身につけたのはもちろん、•データとの格闘や管理、プロジェクトの立案と運営、多様な媒体のための文章
執筆、データ分析と視覚化、チーム研究とコラボレーションなどの具体的なスキルを身につけた•ワシントン大学 サラ・ケッチリー先生→ 卒業後も就職や実社会で役に立つと学生自身が実感

Sara L. Ketchley, "Introducing Digital Humanities in the Undergraduate Classroom: Strategies, Solutions, and Pedagogical Practices Using theGale Digital Scholar Lab" in Digital Scholarship, Digital Classrooms: New International Perspectives on Research and Teaching, Farmington
Hills, MI: Gale, 2020

まとめ•

一次資料のデジタル化が可能にする新たな研究 〈検索⇒閲読〉 〈収集⇒分析〉 の２つの異なるワークフロー•

３つのステップに沿った使いやすくも本格的なプラットフォーム
 コーパスの構築からクリーニング、分析までをすべてクラウドベースで•一部の限られた研究者から、より幅広い層へ広がる可能性 デジタル時代の人文学教育に大きな示唆

ご清聴ありがとうございました。
GaleJapan@cengage.com48