データサイエンス・リテラシー（１）AIテキストマイニング演習

宮沢賢治「グスコーブドリの伝記」によるワードクラウド株）ユーザーローカルのAIテキストマイニング利⽤

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング演習

Table of Contents
オープンデータを使った分析演習
AIテキストマイニング
lワードクラウド、共起キーワードなど

グループワーク︓テキストデータの分析
分析結果の発表

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

テキストマイニング
テキストマイニング: ⾃然⾔語処理技術を⽤いて，⾃然⾔語で書かれた⽂章の解析を⾏い，知識を抽出する⽅法
例--------------------------------- --------------------------- -------------------------- ------------------------- ----------------------------

年月日

場所

⽇記
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

事項

⾃然⾔語処理⾃然⾔語: ⼈間が意思疎通をするために⾃然発⽣的にできた⾔語
⽇本語，英語，中国語，スペイン語，...
⾃然でない⾔語: プログラミング⾔語，形式⾔語など，⼈⼯的に作られた⾔語
⾃然⾔語をコンピュータで扱いやすい形にする処理を⾃然⾔語処理という．
形態素解析，構⽂解析，固有表現認識など様々な技術が含まれる．

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

機械翻訳
主な⼿法

He plays the piano.

彼はピアノを弾きます。

ルールベース
⽂章を単語に分解
単語・熟語の役割を確認
構⽂（ルール）を決定

He plays the piano .

彼 は ピアノ を 弾き ます 。
文

文

主語

述語

名詞

動詞

形態素解析

冠詞

目的語

主語

目的語
名詞

述語

名詞 助詞 名詞 助詞 動詞

彼He plays the piano .

は文

ピアノを構⽂解析

助動詞

弾き ます 。

文

ルール
主語

述語

名詞

動詞

目的語
冠詞

名詞

主語

目的語

述語

名詞 助詞 名詞 助詞 動詞

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

助動詞

AIテキストマイニング

AIテキストマイニング演習

分析したいテキストデータを⾒つける

p⻘空⽂庫
l著作権の消滅した作品と、「⾃由に読んでもらってかまわない」とされた作品を、テキストとXHTML（⼀部はHTML）形式に電⼦化l公開されている作品を、「作家別」「作品別」「分野別」で検索可能
l収録作品数︓16075（著作権なし︓15738、著作権あり︓337）(2020/07/17)
lhttps://www.aozora.gr.jp/

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

⻘空⽂庫 ーオープンデータ

作家別、作品別、分野別リストから分析する著作を選定し、「HTMLで読む」で表示された文章から文章を1万字程度コピーする。
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

AIテキストマイニング演習h"ps://textmining.userlocal.jp/①コピーした文章を枠内にペースト

8②1万字以下になるように文章を部分的に削除・調整③「テキストマイニングする」ボタンをクリックして分析実行
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

ワードクラウド

https://textmining.userlocal.jp/

9出現頻度が⾼い単語を選び、頻度に応じた⼤きさで図⽰
⻘⾊︓名詞、⾚⾊︓動詞、緑⾊︓形容詞、灰⾊︓感動詞
l 主⼈公である「下⼈」や「⽼婆」の頻度が⾮常に⾼い。
l 下⼈の特徴である「⾯皰（にきび）」が頻度が⾼く強調されている。
l 舞台である羅⽣⾨と梯⼦、さらに状況を⽰す陰鬱な印象を与える⾔葉が多く使⽤されている。

芥川龍之介 「羅生門」本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

10

単語出現頻度https://textmining.userlocal.jp/

⽂章中に出現する品詞ごとの単語の頻度表「スコア」をクリックすると作品独特な表現を考慮したランキングになる。
（がし）
（なく）

（しがい）
（にきび）

（はしご）

l 主⼈公である「下⼈」や「⽼婆」の頻度が⾮常に⾼い.
l 下⼈の特徴である「⾯皰（にきび）」が頻度が⾼く強調されている.
l 舞台である羅⽣⾨と梯⼦、さらに状況を⽰す陰鬱な印象を与える⾔葉が多く使⽤されている.

芥川龍之介 「羅生門」
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

l⼀般的な「云う」、「上る」の他に鴉が「啼く」や死骸が「棄て」られ流などの退廃的な状況を⽰す⾔葉が上位に現れた.

AIテキストマイニング

11

共起キーワード

https://textmining.userlocal.jp/

⽂章中に出現する単語の出現パターンが似たものを線で結んだ図
l メインキャストの「下⼈」と「⽼婆」とのやり取りで物語が成り⽴っている．
l 下⼈の「頬」にある「⾚い」「⾯皰（にきび）」が何度も現れ強調される．
（「⾯皰」と振り仮名の「にきび」は同時に出てくるため、関係性が強く出ている.）
l ⽼婆の「死⼈」の「髪の⽑」を「抜く」という動作が注⽬されている．
l 「羅⽣⾨」の⾵景として「夜」、「やみ」、「⾬」が特徴的に現れる．

芥川龍之介 「羅生門」
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

階層的クラスタリング

https://textmining.userlocal.jp/

12

芥川龍之介 「羅生門」

⽂章中での出現傾向が似た単語をまとまりとしてとらえられるよう樹形図で表⽰
l 図のように「餓死」するか「盗⼈」になるかの逡巡に関わる⾔葉のまとまりや、羅⽣⾨の周りの状況を描写するような表現がまとまりとして現れているように⾒える。
「餓死」するか「盗⼈」になるかの逡巡l 上記に対して主⼈公たちの対話のパラグラフがまとまっているようである。

⽼婆の⾏動
l 周りの環境と主⼈公の対話の情景が折り重なって現れることで、主⼈公の⼼境を裏づけ、強調していると考えられる。

羅⽣⾨の周りの状況

主⼈公たちのやりとり
単語間の距離本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング演習

Table of Contents
オープンデータを使った分析演習
AIテキストマイニング
lワードクラウド、共起キーワードなど

グループワーク︓テキストデータの分析
分析結果の発表

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング演習（グループ）20分

1. ⻘空⽂庫から分析する著者・作品を選定
2. テキストマイニングのWebツールページに⽂書をペーストし分析実施
3. 分析結果の表やグラフを画⾯キャプチャ等してスライドにペースト、スライドごとの分析の分担を決定

5分

4. それぞれ考察をスプレッドシートに記載（個⼈ワーク）

15分

5. 各メンバーの分析結果をグループで発表・議論しàスプレッドシート
6. 議論の結果をスプレッドシートにまとめる

30分

全体の流れ

7. グループリーダーが発表

詳細は次ページ

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

AIテキストマイニング演習（グループ）「⻘空⽂庫」等から分析するテキストを選定

pリーダーと書記を決定（まだやったことのない⼈）
lClassroomにある第６回講義「AIテキストマイニング」分析シートに記載

p分析する⽂書を「⻘空⽂庫」
https://www.aozora.gr.jp/の⽂書から選定
l上記シートに著者名、作品名を記載
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

AIテキストマイニング演習（グループ）「⻘空⽂庫」等からのテキストを10,000字以内でコピーしてペーストp選定した⽂書をコピーして「分析ページ」にペースト
l分析HP にアクセスして⽂書をペースト①ここにペースト②1万字以下になるように調整

https://textmining.userlocal.jp/

l分析HPにアクセスするのは書記に限定
l10,000⽂字の制限を満たすように適宜⽂書を編集
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

③「テキストマイニングする」のボタンを押す

AIテキストマイニング

AIテキストマイニング演習（グループ）

５つの分析結果からグループで１つを選択
p ５つの表やグラフをzoomで画⾯共有して結果について議論
l ワードクラウドl 単語出現頻度
l 共起キーワード
l ２次元マップl 階層的クラスタリング

è議論の内容はスプレッドシートに記載
p 選択した表・グラフを「AIテキストマイニング」
スライドに貼り付けて考察を記載
画⾯キャプチャは「Win＋Shift＋S」
詳細はClassroom 連絡事項にある「Windowsでの画⾯キャプチャ⽅法」の資料を参照※macOSは「Shift+⌘+4」
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

AIテキストマイニング

AIテキストマイニング演習（グループ）

各メンバーの分析結果を共有し、グループとしてまとめる
p 各メンバーの分析結果を共有① 分析結果に対する各⾃の考察 ç 個⼈ワーク② 共通の考察，独⾃の視点 ç グループ議論
等について議論し、シートに記載③ グループワークでの貢献内容を議論後に記載（⼩テストの代わり）

p グループのまとめ

l 上記、考察のまとめをシートに記載①②

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

テキストマイニング分析結果の発表
p各グループでの分析結果を発表
l各グループのリーダーが説明（１分/グループ）
Ø選択したテキスト（著者・作品名）
Ø特徴的な分析結果や分析結果に共通するポイントなどを説明– （ワードクラウド・単語出現頻度・共起キーワード・階層的クラスタリング）Ø議論した内容（結果についての考察）

lClassroomの質問⽤フォームに質問を記⼊（1⼈１回以上︕）
Ø発表時にできるだけ取り上げたいと思います。
Ø時間がない場合は触れられないかもしれません。悪しからず。
本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

データの収集・可視化

データの収集オープンデータを使った分析演習
AIテキストマイニング
lワードクラウド、共起キーワードなど

グループワーク︓テキストデータの分析
分析結果の発表

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

データの収集・可視化

データの収集オープンデータを使った分析演習
AIテキストマイニング
lワードクラウド、共起キーワードなど

グループワーク︓テキストデータの分析
分析結果の発表

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．

テキストマイニング分析結果の発表
p各グループでの分析結果を発表
l各グループのリーダーが説明（１分/グループ）
Ø選択したテキスト（著者・作品名）
Ø特徴的な分析結果や分析結果に共通するポイントなどを説明– （ワードクラウド・単語出現頻度・共起キーワード・階層的クラスタリング）Ø議論した内容（結果についての考察）

本資料はCC-BYライセンスによって許諾されています．ライセンスの内容を知りたい⽅はhttp://creativecommons.org/licenses/by/4.0/deed.jaでご確認ください．
ただし，出典の表記等によって第三者が権利を有していることを直接的に表⽰・⽰唆している場合は利⽤者の責任において確認し，提供元の利⽤条件に従ってください．