テキストマイニングを用いたプレゼンテーション評価技術の提案
M2009MM031 山本恭子
指導教員：河野浩之

１ はじめに大学初年次のコンピュータリテラシー教育において，プレゼンテーション教育の重要性は高い．プレゼンテーションの実践では，学生相互に評価を行い，評価結果を迅速にフィードバックすることは，学生のプレゼンテーション能力を向上させる効果がある[5]．
本稿では，学生相互で適切にプレゼンテーションの到達度を評価するため，先行研究や関連書籍で用いられた評価項目を集約し，標準的な評価シートを設計する．次に，評価や集計作業の効率化を図るため，Web 上で回答可能な選択肢と自由記述によるアンケートシステムを構築し，学生相互評価を実施する．そして，選択肢を中心にレーダーチャートを用いた相互評価結果を学生にフィードバックすることで，具体的に修正すべき点を把握させ，プレゼンテーション能力向上につなげる．加えて，自由記述回答に対してテキストマイニング技術[2]の適用を試み，プレゼンテーション評価の印象語を抽出する．
抽出した印象語をもとにコーディングルール・ファイルを作成し，プレゼンテーション評価への活用が可能であることを確認する．さらに回答作業の効率化を目指し，評価項目数の見直しを検討する．

３ プレゼンテーション評価シートの設計
プレゼンテーション能力の評価は，聞き手の直感的判断等，個人差に大きく左右される．また，関連する資格試験はプレゼンテーションソフトウェアの操作技能試験が多く(msbc.odyssey-com.co.jp) ，口頭発表評価試験を含む資格試験は「国際プレゼンテーション協会」(www.npo-presentation.org)主催の「プレ検 1 級・2 級」に留まる．その他，関連する先行研究においても，評価に用いる設問数や分類は多様で，プレゼンテーション評価の標準的項目は定まっていないと考えられる．
そこで，先行研究や関連書籍の評価項目を整理することにより，「主題が明確である」「声の大きさが適切である」「スライドのレイアウトが適切である」などの評価項目を 132 項目抜粋した．次に，評価軸を「内容・構成・表現方法・話し方・態度・時間・スライド資料」に取り，重複項目を整理し 45 項目抽出した．発表形式や受講者数を考慮し集約した結果，27 項目からなる評価シートを設計した(表 5)．さらに，集計作業の効率化を図るため，Web上から回答可能な7段階評価のアンケートフォームを準備した．

２ プレゼンテーション評価手法と関連研究

４ プレゼンテーション評価の実践

酒井ら[4]は，プレゼンテーション能力の到達度をチェックするため，5 段階評価のチェックシートを作成し，評価を行った．そして，収集したデータをもとにプレゼンテーション能力の到達度を計量化し，フィードバックを行った．学生は，プレゼンテーションの回数を経ることで数値の変化を知ることができ，プレゼンテーション能力の上達を数値によって客観的に確認した．
小林ら[3]は，
Web 上の掲示版サイトの個人ユーザの書き込み情報に対して，「対象・属性・評価」の 3 つの要素から共起パターンを利用して，対象名辞書・正例辞書・負例辞書を作成し，属性・評価表現の半自動的収集方法を試みた．属性表現では名詞・未知語，評価表現ではサ変名詞・動詞・形容詞・形容動詞から候補を抽出した．
長谷川ら[1]は，授業満足度調査のアンケート項目を開発するために，学生の自由記述をもとに，KJ 法を用いて調査項目を 62 項目作成し，さらに不良項目を削除した後に因子分析を行い，最終的に 19 項目を採択した．
山本ら[6]は，学生から毎授業時に収集した自由記述文から，授業への動機付けや学修意欲の喚起などの推移を観察し，教育プログラムの有効性を確認した．

4.1 プレゼンテーション評価データの収集
名古屋学芸大学短期大学部現代総合学科 IT ビジネス系
ビジネス実務モデル１年次選択科目『プレゼンテーションＩ』（週１回 90 分×15 回）の 2009 年度後期受講者 46 名（4 クラス）と 2010 年度後期受講者 27 名（2 クラス）を対象に調査した．15 回の授業の第 8 回に「中間プレゼンテーション」（制限時間 2 分），第 12・13 回に「最終プレゼンテーション」（制限時間 5 分）を行った．発表の様子は，次週の授業で確認させるため，ビデオで撮影した．各
学生の発表終了後，表 5 の評価項目を用いた Web 上で回答可能なアンケートフォームから相互評価を実施した．
この時，27 項目の評価を授業時間内に回答する負荷を考慮し，全員が回答する 9 項目(全員)の設問と，一部学生が回答する 6 項目(A,B,C)の計 15 項目からなる 3 パターンの評価シートを準備する．また，自由記述欄は，「内容・構成・表現方法」「話し方・態度・時間」「スライド資料」に関して，1 グループにいずれか 1 項目を割り振り，全グループから「全体的なコメント」が得られるようにする．評価シートへの入力時間は，授業時間を考慮し，発表者 1 名につき 4～5 分とした．

4.2 評価結果のフィードバック
発表翌週の授業で，自身のプレゼンテーションのビデオ映像を確認し自己評価を行った．その後，図 1 に示すように，発表者に他の学生による評価結果（各評価項目の平均点と自由記述）をフィードバックし，自己評価と他者評価の相違点に着目させた．評価者としての責任・自覚を持たせるため，自身が行った相互評価結果には教員のコメントを添えて返却した．他者評価を受けた中間発表後の自由記述から，自身のプレゼンテーションの改善点を具体的に認識でき，次回のプレゼンテーションへの目標設定につながったことが確認できた．同じく最終発表後は，中間発表後に掲げた目標に対する工夫や到達度に関する自由記述が見られ，自らのプレゼンテーショ
ン能力向上のための動機付けを得ることができた．

意味合いの単語，「改善点」から否定的な意味合いの単語を抽出するために，KH Coder を用いて「頻出語リスト（品詞別・出現回数順）」を作成した．抽出する単語の品詞は，「名詞・サ変名詞・形容詞・タグ・動詞・形容動詞・副詞」を選択した．
頻出語リストから出現回数が2回以上の語に対し，
KH
Coder の「コロケーション統計」で近接する語を確認した．例えば，「話し方・態度・時間」の「良い点」で抽出された形容詞「大きい」は，名詞「声」が関連する語として 81 回出現し，そのうち左側 2 つ前の語として 78 回出現した．続いて，「KWIC コンコーダンス」で文脈を確認した結果，「声－大きい」の組み合わせで抽出された81 件すべてが良い評価として使われていた．これにより，「声－大きい」の組み合わせは，「話し方」に関する「良い点」の印象語として判定できる．
表 1 2009 年度受講生 自由記述データ基本情報
総文字数

分類

図 1 相互評価結果（フィードバック資料）抜粋

５ 自由記述文へのテキストマイニング技術の適用

総抽出
語数

異なり
語数
（使用）

1 段落
総文数 平均
文字数

内容
良い点
構成
表現方法 改善点

11,2586,397

532(336)

599

8,727

4,891

500(316)

494

94.9

話し方
態度
時間

良い点

11,0156,362

479(284)

659

119.7

改善点

10,0715,720

521(322)

568

109.5

スライド 良い点
資料
改善点

10,9066,216

543(359)

591

118.5

10,024

5,793

569(370)

546

109.0

全体コメント40,67322,1971,150(805) 1,578

442.1

合計／平均

102,674

57,576 4,294(2,792)

5,035

122.4

159.4

表 2 2010 年度受講生 自由記述データ基本情報
総文総抽出

異なり

1 段落

分類
語数
総文数 平均5.1 自由記述データ基本情報
字数
語数
（使用）
文字数
テキストマイニングのソフトウェアとして，本稿では，
内容
良い点 10,608
5,948525(344)441 196.4
形態素解析と内容分析の諸機能を備え，解析結果の可視構成
8,745
4,899533(358)343 161.9
表現方法 改善点
化が同一ソフトウェア上で実行できるという観点から，話し方 良い点 10,450
5,950496(315)487 193.5
フリーソフトウェアの KH Coder (khc.sourceforge.net)
態度
改善点
8,885
5,113479(316)382 164.5
時間を利用する．
9,965
5,542448(291)418 184.5
スライド 良い点
プレゼンテーションの相互評価で回収した自由記述
資料
改善点
8,832
5,002502(327)346 163.6
文を設問ごとに分類し，発表者 1 名ごとに 1 レコード（段全体コメント
41,099 22,816
1,088(787) 1,379 761.1
落）としてまとめた．さらに文意を損なわない程度に誤合計／平均
98,58455,2704,071(2,738)
3,796 260.8
字・脱字・表記上の誤りを修正した．データの整形を行った結果，2009 年度は総文字数 102,674 字，2010 年度
5.3 コーディングルール・ファイルの作成
は 98,584 字収集できた．自由記述データの基本情報を5.2 から，プレゼンテーションの自由記述データから
表 1・表 2 に示す．表内の数値は，中間発表と最終発表
プレゼンテーション評価に関連する語が抽出できることのデータを合算したものである．
が確認できた．自由記述データからプレゼンテーションの定量的評価を行うために，抽出語の組み合わせからコ
5.2 印象語の抽出
プレゼンテーション相互評価の自由記述設問「内容・ ーディングルール・ファイルを作成する．
表 1 の 2009 年受講生の自由記述データから，抽出語構成・表現方法の良い点／改善点」「話し方・態度・時間をもとにプレゼンテーションの評価に関連する語の組みの良い点／改善点」「スライド資料の良い点／改善点」の合わせ一覧を作成する．これを「KWIC コンコーダンス」
中間発表と最終発表の回答文の，「良い点」から肯定的なで文脈を確認し，プレゼンテーション評価の対象となるングルール・ファイルによるプレゼンテーション評価が組み合わせを選定し，コーディングルールとした．例え可能であることが確認できた．
ば，評価記述「話し方・態度・時間」の「良い点」から
表 4 段階評価結果とｺｰﾃﾞｨﾝｸﾞﾙｰﾙ出現回数との相関抽出した「声－大きい」という語の組み合わせには，「＊09 データからの 09/10 データからの声の大きさ」というコードを与える．これは，「大きな声年
コーディングルール コーディングルール
分類度で発表できていた」「声の大きさが適当であった」という良い点改善点 良い点 改善点
ように，良い評価のコーディングルールとして用いる．
内容・構成・表現方法
0.216-0.2870.233-0.348
中 話し方・態度・時間
その他，
「笑顔」
「アイコンタクト」のような，文脈確認
0.150-0.4800.176-0.489間
時に，他の単語との組み合わせを行なわなくても印象語
スライド資料
0.087
0.004
0.158
0.029
09
内容・構成・表現方法
0.143-0.2740.139-0.268
として判定可能な場合は，１単語のみでコードを与えた．
最 話し方・態度・時間
0.095-0.451
0.099-0.470終
これらの作業を繰り返し，2009 年自由記述データから，スライド資料-0.136-0.173-0.170-0.153「内容・構成・表現方法」の「良い点」37，「改善点」
内容・構成・表現方法
0.413-0.0120.548
0.083
中 話し方・態度・時間
12，「話し方・態度・時間」の「良い点」40，
「改善点」
0.342
-0.5720.370-0.472間
62，「スライド資料」の「良い点」38，「改善点」67，計
スライド資料
0.1260.003
0.263-0.05010
内容・構成・表現方法
0.028
0.111
0.163
-0.090256 個のコーディングルールを生成した(表 3)．
最 話し方・態度・時間
0.475-0.3400.540-0.299終
生成したコーディングルールと表 5 の段階評価で使用
スライド資料
0.075-0.1700.232-0.152
した評価項目を照合した結果，「良い点」では段階評価
27 項目中 22 項目，「改善点」では 23 項目が適合した．
この結果から，概ね段階評価の各質問項目と同じ意味合６ プレゼンテーション評価項目の改良
いのコーディングルールが生成できたと考えられる．
6.1 コーディングルールの追加
コーディングルール・ファイルでの採点の精度を上げ
表 3 コーディングルール・ファイル数の内訳るため，5.3 と同様の手法で 2010 年度の自由記述データ
元データ
分類をもとに新たにコーディングルール・ファイルを作成し2009 年度 2010 年度
た．
「内容・構成・表現方法」の「良い点」16，「改善点」
良い点
37
16
内容・構成・表現方法
6，「話し方・態度・時間」の「良い点」27，「改善点」
改善点
126
14，「スライド資料」の「良い点」15，「改善点」8，合良い点
40
27
話し方・態度・時間
計 86 個のコーディングルールを追加した(表 3)．
改善点
62
14
段階評価の得点とコーディングルール出現回数を集
良い点
38
15
スライド資料
改善点
678
計し，相関係数を求めた．その結果，表 4 の網掛けで示合計
25686
したとおり、「09/10 データからのコーディングルール」
を適用した「良い点」では，2009 年度の最終発表「内容・5.4 コーディングルールによる採点の分析
構成・表現方法」「スライド資料」を除きすべての分類で発表者 1 名ずつを集計単位として，コーディングルー 相関係数が上回り，精度が上昇したことが確認できた．
ル・ファイルを用いて KH Coder の「章・節・段落ごと「改善点」
では，12 項目中 5 項目で相関係数が上回った．の集計」を行った．2009 年度受講者の中間発表と最終発
なお，相関係数が低下した項目については，僅差な減尐
表の自由記述データに対して，コードの出現回数を得点にとどまった．
（コードが適合する文書１箇所につき１点を与える）として集計した．
6.2 プレゼンテーション評価項目数の検討
コーディングルールがプレゼンテーションの採点にコーディングルールが多数回出現する評価項目は，自利用可能か検証するため，発表の機会ごとにプレゼンテ
由記述データからコーディングルール・ファイルを読みーションの段階評価との相関を検証した．プレゼンテー
込み点数化したもので段階評価と同等の評価が得られる
ション評価の分類「内容・構成・表現方法」「話し方・態と考え，現行の評価項目から削除可能な項目を抽出した．
度・時間」「スライド資料」の段階評価の得点とコーディ
削除基準は，①1 コーディングルールに対し出現回数ングルール出現回数をまとめ，相関係数を求めた．
が 10 回以上，②「良い点」「改善点」いずれかに出現す
その結果，表 4 に示すとおり，「良い点」「改善点」と る，③2009 年度，2010 年度ともに該当するとした．
もに相関があることが確認できた．また，コーディング基準に適合する項目として，「興味が持てる発表内容
ルール作成の元データは 2009 年度の自由記述データでである」「話の展開が筋道が通りわかりやすい」「話す速あるが，2010 年度受講者に対しても，2009 年度と同様さが適切である」「声の大きさが適切である」「アイコンに相関があることがわかった．このことから，コーディタクトができている」「最初と最後のあいさつができている」「原稿に頼らず話ができている」「よい姿勢で発表できている」「スライドの文字がフレーズ化されている」「スライドの文字の大きさが適切である」の 10 項目が抽出できた(表 5)．
表 5 プレゼンテーション評価項目
分類

内容
構成
表現方法

プレゼンテーション評価項目
1 伝えたいことが明確になっている

全員

全員

2 興味が持てる発表内容である

全員削除

3 話の展開が筋道が通りわかりやすい全員

削除

4 サンドイッチ構成になっている

分担

6 発表内容についてよく調べられている

A
B
C

7 話す速さが適切である

全員削除

8 声の大きさが適切である

全員削除

9 アイコンタクトができている

全員削除

10 抑揚をつけて話している

分担

18 よい姿勢で発表できている

A
A
B
B
C
C
A
B
C

19 スライドのレイアウトが適切である

全員

全員

20 図表が効果的に使われている

全員

全員

21 スライドの文字がフレーズ化されている

全員削除

22 スライドの文字の大きさが適切である

A
B
C
C
A
B

削除

5 内容にふさわしいタイトルを付けている

11 ﾎﾞﾃﾞｨﾗﾝｹﾞｰｼﾞを有効に使いながら話している
話し方
態度
時間

現行の 改良後の振分け 振分け

12 正しい言葉遣いで話している
13 最初と最後のあいさつができている
14 適切に間をとりながら話している
15 原稿に頼らず話ができている
16 時間配分が適切である
17 プレゼンテーション時間が守られている

スライド
23 スライドの配色が適切である
資料
24 話とスライドの内容が一致している

25 話とｽﾗｲﾄﾞを切り替えるﾀｲﾐﾝｸﾞが合っている
26 引用の記述が正確である27 引用した情報の信頼性が高い

分担
分担

全員分担
削除
分担
削除
分担
分担
削除

分担
分担
分担
分担
分担

全員：全員が回答する項目
A・B・C・分担：該当グループのみが回答する項目
削除：削除対象項目

6.3 プレゼンテーション評価項目振り分けの検討
全員が回答する項目と，該当グループのみが回答する項目の見直しを行う．発表者別に段階評価の設問ごとにExcel を用いて標準偏差を算出する．標準偏差が高い項
目は評価が分散しているため全員が回答する項目とし，標準偏差が低い項目は評価の分散が尐ないため，回答者が尐数でも多人数で評価したものと同等の結果が得られると考え，該当グループのみが回答する項目とした．
評価結果の分散が大きい項目の基準は，①標準偏差1.0 を超える，分散が小さい項目の基準は，①標準偏差0.5 以下，共通する基準は，②受講者数の 25％（2009年度：11 名，2010 年度：6 名）を超える，③2009 年度，2010 年度ともに該当するとした．
算出の結果，表 5「改良後の振分け」欄に示したとおり，全員に回答させる項目は「ボディランゲージを有効に使いながら話している」の 1 項目，該当グループのみが回答する項目は 13 項目(分担)となった．どちらにも該当しない 3 項目は，全員が回答する項目とした．これにより，現行どおり回答者を 3 グループに分けた場合，評価項目数は，全員が回答する 4 項目と該当グループのみが回答する 4～5 項目の、合計 8～9 項目で評価ができると考えられる．従来の評価シート(15 項目)を使用した場合と比較し，3 分の 1 程度作業の軽減が見込める．

７ むすび
本稿では，プレゼンテーション評価に関する自由記述に対してテキストマイニング技術用いて，プレゼンテーションに関する印象語を抽出した．印象語の組み合わせからコーディングルール・ファイルを作成し，コーディングルールの出現回数を点数化したものは，段階評価結果と相関があり，プレゼンテーションの採点に適用可能であることを確認した．コーディングルールを適用した採点技術を導入することで，現在の段階評価 27 項目中10 項目は，コーディングルールによる採点で代用可能であることが確認できた．また，発表者別の採点結果の分散状況に注目し，全員が回答する項目と該当グループのみが回答する項目の見直しを行った．従来の評価方法と同様に回答者を 3 グループに分割した場合，1 グループが回答する評価項目は 15 項目から 9 項目程度に削減できるという知見を得た．
以上の結果を踏まえ、プレゼンテーション評価結果をより効果的に発表者へ提示できるよう，コーディングルール・ファイルの精度の向上と改良した評価シートを用いた採点の実用化を今後の課題としたい．

参考文献[1] 長谷川勝久, 原田由香里：教育系大学の学生を対象とした授業満足度アンケート項目の開発, 日本教育工学会論文誌
30-4, pp.447-452 (2007).
[2] 金明哲：テキストデータの統計科学入門, 岩波書店, (2009).
[3] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一：テ
キストマイニングによる評価表現の収集, 情報処理学会研究報告 154, pp.78-84 (2003).
[4] 酒井晃二, 酒井博之：「学術プレゼンテーションスキルズ」の実践, 京都大学高等教育研究 13, pp.133-147 (2007).
[5] 山本恭子, 河野浩之：学生の相互評価によるプレゼンテーシ
ョン能力向上, 私立大学情報教育協会, ICT 活用教育方法研
究 13, pp.46-50 (2010).
[6] 山本 恭子, 山本 恵, 梅村 信夫：ビジネススキルと IT スキルを融合した実務教育の開発（５）―オフライン型プレゼ
ンテーション教育の実践―」, ビジネス実務学会, ビジネス
実務論集 26, pp.83-90 (2008).