2018/11/19

データ分析とはデータ分析の基本とTETDMの活用法

人間の活動における意思決定の内容および根拠を探る操作
データ分析による意思決定プロセスはコンピュータによる客観的な情報の提示と人間による試行錯誤や判断との組合せ

滋賀県立大学 工学部
砂山渡

人間とコンピュータの協働作業により実現される
2

データ分析による意思決定支援のプロセス
0.蓄積データ

1.分析目的の決定

2. データ収集

分析用
データ

3. データ整形
前処理
入力用
データ

データ分析
5.データ処理 6.データ可視化 プロセス
7.結果の収集

4.ツール選択8.データ絞込み

意思決定

収束

結果の集合

発散

多様な結果を集めるためのインタラクション

10.解釈の整理
知識

分析処理ツール＋
可視化ツール

有効なデータ分析のためには正しいデータ分析のプロセスを理解して人間が分析に関わるデータの意味がわかる，直接データに携わっている現場の人が分析する

9.結果の解釈
解釈の集合

赤字：主に人間が担当するプロセス

知識創発プロセス

ツールの詳細な動作原理よりもツールの出力の意味を理解する41

2018/11/19

テキストマイニングのための統合環境
TETDM

ツールの出力の意味理解とは

Ver.3.5公開中 (Ver.4.0 12月公開予定) http://tetdm.jp/

ツールが何を評価して，何を出力するかを定性的な言葉で理解すること
ツールの出力がどれくらい信頼できるものかを伝聞により理解すること
伝聞によらないツールの信頼性を評価するためには動作原理の詳細な理解が必要– 論文やソースコードを理解する必要があり一般には困難– 厳密さが要求されるものでなければ定性的な理解で十分なことが多い
5

セグメント評価(セグメントにフォーカス)セグメント間，文間，単語間の関連度評価
セグメント情報まとめ 単語抽出（文章評価用）
単語間関連度
段落順序評価（トップダウン）
レポート評価（結果＋意見）
テキスト分類（再帰的クラスタリング）
コミュニケーション要約
テキスト間類似度(独自性)
文評価(文にフォーカス)段落間木構造（類似度，トップダウン）
文情報まとめ 文章要約（展望台）
段落間類似度表示
段落間ネットワーク
意見文抽出 主題関連文評価（光と影）（類似度順，ばねモデル）
類似文抽出 失礼単語抽出 単語冗長文抽出
ツール選択支援
長文抽出 主語抽出 主題関連語評価（川下り） 処
英文読解アプリケーション
単語評価(単語にフォーカス)理 タイピングアプリケーション
TFIDF
単語情報まとめ 単語抽出
ツ テキスト評価アプリケーション
テキスト集合評価アプリケーション
単語頻度リスト 文内キーワード抽出（Yahoo）
文章推敲アプリケーション
専門用語抽出(FLR) 専門用語抽出(C-Value)ル
プロフィールチェック
専門用語ハイライト 文内キーワード抽出（頻度）一
その他
テキスト評価覧 形態素解析(Igo)
Ver.4.0時点
なし
テキスト評価（分析結果まとめ） ＊茶色は可視化ツール 形態素解析サンプル(Igo)
主題語含有率 漢字の割合
辞書（オンライン） 辞書再構築
情報アクセス
タイピング 英文音読
文書整形Webブラウザ
プログラムチェック サンプル１
テキストエディタ 単語置換
URLアクセス
データ送信テスト サンプル２
セットセグメント テキスト２分割
２ちゃんアクセス
連動データ確認（フォーカス）
段落並び替えデータ表示フォーマット
円グラフ 棒グラフ（横向き）折れ線グラフ折れ線グラフ（表示調整可）
レーダーチャート
順位表示（評価値順）

テキスト表示フォーマット
テキスト表示
テキスト表示（カラー）
テキスト表示（HTML）
テキスト表示（２テキスト）
ファイル内容表示
前処理結果を利用した可視化
段落間木構造（トップダウン）
段落間類似度表示
段落間ネットワーク（類似度順）
段落間木構造（類似度）
段落間ネットワーク（ばねモデル）
その他
連動データ表示（フォーカス）サンプル表示１なし
サンプル表示２
タイピング問題（数字）タイピング問題（色）

可視化
ツル
一
覧

Ver.4.0時点

データ選択支援
表形式表示キーワード選択（フォーカス指定）
特定処理ツールの結果の可視化
キーワード表示（展望台）
キーワード集合比較
主題関連語表示（川形式）
単語間関係（関連度）
文内キーワード表示（タグクラウド）
専門用語表示
段落間ネットワーク（評価値順）
テキスト分類表示（地図形式）
段落並び替え2

2018/11/19

プロセス４.から９.の詳細
8.データの絞込み
着目する結果を含むデータに絞り込み

7.結果の収集着目する結果評価結果を確認できる
ツール

単語、文、セグメントに評価値を与えるツール
入力用
データ

処理ツール

可視化ツール

単語、文、セグメント間の関係に評価値を与えるツール

データの傾向を把握できるツール
傾向の把握による
意味理解4.ツールの選択

4.ツールの選択

5.データ処理

6.データ可視化

着目した
結果を事実として記録
背景知識からの意味理解
出力の意味を解釈して記録

8.データの絞込み
着目する情報によるデータの絞込みが可能– 着目する単語を含むセグメント– 着目する文を含むセグメント– 指定の評価値や属性値をもつセグメント

着目している情報を明示するウインドウを用意(Ver.4.0から)

9.結果の解釈

10

結果と解釈の登録インタフェース

9.結果の解釈「結果」と「解釈」をその場で入力できる着目した結果が「なぜ出力されたのか」
出力の意味(根拠)を捉える
1. 可視化ツールを利用して出力データの傾向*2をもとに解釈する
2. データについての背景知識*1をもとに解釈する*1データ分析の専門家が持ち合わせているとは限らない*2傾向を把握するためにもデータについての背景知識が必要となることがある

傾向の把握による意味理解

着目した
結果を事実として記録
背景知識からの意味理解
出力の意味を解釈して記録
9.結果の解釈32018/11/19

知識創発インタフェース

10.解釈の整理
集めた解釈を再帰的に1つに統合してデータからわかることをまとめ，汎用的な知識につなげる（帰納推論）

1. まとめたい「解釈」をマウスで選択

統合解釈X
解釈2
解釈4

解釈1

解釈3
統合解釈A

統合解釈B

解釈5
2. 複数の解釈をまとめた「統合解釈」記入して「結合」ボタンを押す

解釈6

統合解釈C
解釈7

集めた「解釈」を再帰的に統合できる

解釈8

AIツール入門講座のご案内

まとめTETDM（テキストマイニングツール）

データ分析による意思決定の基本プロセスについて説明した– 日時：2019年3月11日（月）10:00-17:00– 場所：早稲田大学（西早稲田キャンパス52号館301号室）– 対象者：これからデータ分析を行ってみたい方，データ分析の必要がある方，データ分析の手順を理解したい方，データ分析ツールの導入を検討している方，自由記述アンケートや業務日誌の簡単な分析を行いたい
方，大学事務職員の方，広い意味でデータ分析に関わる学生の方
通常のツール講座– 参加費：一般会員5000円，学生会員2000円の半額です！
一般非会員8000円，学生非会員3000円＊一般参加者１名につき，同伴学生参加者1名無料

データ分析による意思決定プロセスを支援するツールとしてTETDMの活用方法を説明した

15

164