第 6 回実践的 IT 教育シンポジウム (rePiT2020) 論文集

自己評価と客観評価の変化に基づく実践的人材育成
コースにおける教育効果測定の報告
神田 哲也

福安 直樹

市川 昊平

佐伯 幸郎

楠本 真二

PBL に基づく実践的人材育成コースにおける教育効果の測定手法としては，テストやアンケートを用いた受講前後における客観的・主観的な計測がある．これまで我々は，受講前後の客観的な評価に受講後の自己評価を組み合わせることで，教育効果を定量化する試みを行った．本論文では，さらに受講前の自己評価も組み入れ，それら 4 つの指標の関係を明らかにし，また受講前後の差分に着目した分析を実施することでコースとしての教育効果を計測した結果を報告する．
As evaluating the eﬀectiveness of PBL courses, self and objective evaluations using an examination orquestionnaire are conducted. We have previously attempted to quantify the eﬀectiveness by objective evaluations at the beginning and end of the course combined with a self-evaluation at the end of the course.
In this paper, we also conducted a self-evaluation questionnaire at the beginning of the course. We report
the relationship between these four evaluations, and we also report the analysis results of the educationaleﬀectiveness by focusing on the diﬀerences between the results before and after the course.

わせ持った人材の育成を目指している．

1 はじめに

実践的教育の効果測定は，カリキュラムの評価や改社会的な要請の増加に伴い，大学などの教育機関

善のために重要な項目である．また，受講生が自信をにおいて実践的な高度 IT 人材の育成を目的とした持って社会で活躍するためには，受講生自身がそのよPBL を用いた教育プログラムが広く実施されている．

うな能力を身につけたことを実感できることも重要

PBL は，受講生の主体的な活動により，自己組織化である．技術力については，成果物や試験などの評価したチーム活動や試行錯誤を経験することで技術力を通して達成目標への到達度を客観的に評価するこや社会人基礎力の向上に適していると言われているとができ，受講生も自身の成果物に対する評価を容易[9] [11]．例えば enPiT [2] [8] はそのような取り組みのに確認することができる．一方の社会人基礎力につい一つであり，PBL を中心としたカリキュラムを通じては，直接的に評価することは難しい．社会人基礎力て社会に通用する技術力と社会人基礎力の双方を合の客観的な評価手法は存在するものの，成果物を直接A Measurement of Outcomes on PBL using Transitions of Self and Objective Evaluations
Tetsuya Kanda, Shinji Kusumoto, 大阪大学大学院情報科学研究科, Graduate School of Information Scienceand Technology, Osaka University.
Naoki Fukuyasu, 和歌山大学システム工学部, Faculty ofSystems Engineering, Wakayama University.
Kohei Ichikawa, 奈良先端科学技術大学院大学先端科学技術研究科, Graduate School of Science and Technology, Nara Institute of Science and Technology.
Sachio Saiki, 神 戸 大 学 大 学 院 シ ス テ ム 情 報 学 研 究科, Graduate School of System Informatics, Kobe
University.

評価するものではないために受講生自身がどのように考えているかを把握することは容易ではない．
我々は以前，PBL を中心とした実践的な教育プロ
グラムにおいて，社会人基礎力の受講前後の客観評価に受講後の自己評価を組み合わせて，授業の改善にむけた分析手法を提案した [10]．本論文では，これに受講前の自己評価を加え，受講前後の客観評価および受講前後の自己評価の 4 つの指標を用いた分析を行った．特に，受講前後での客観評価および自己評価の差分に着目し，受講生の成長と実感の関係を分析した．

項目を調査した．

2 社会人基礎力に基づく教育効果の測定
社会人基礎力とは，2006 年に経済産業省が提唱した，職場や地域社会で多様な人々と仕事をしていくた

3 PBL 受講前後における評価の差分を用いた分析

めに必要な基礎的な力のことである [7]．社会人基礎

受講生が自信を持って社会で活躍するためには，社力に対応する能力として，大学の専攻・専門に関わら会人基礎力を身につけたという実感が必要であるが，ず，大卒者として社会に求められる汎用的な能力・態

PROG コンピテンシーテストでは社会人基礎力を客度・志向をジェネリックスキルと呼び，これを定量的観的に評価できる一方で，受講生自身の認識についてに測定する手法として PROG というプログラムが開は把握できない．

発，提供されている [4]．

PROG では，リテラシーとコンピテンシーの 2 つの側面からジェネリックスキルの測定を試みる．コンピテンシーとは，周囲の状況に対応するための意思決定・行動指針などの特性と定義されており，実社会で活躍する若手リーダー層の行動特性と比較することで，能力の定量化が行われる．PROG におけるコンピテンシーは，「対課題」「対人」「対自己」の大き我々が以前提案した分析による事例では，受講前後の客観評価と受講後の自己評価を用いて，以下のような分析を行った．

A1 教育プログラムが受講生の社会人基礎力に対する自信に結びついているか

A2 得意な能力・不得意な能力について受講生自身が適切に認識できているか

A3 自己評価に基づく授業評価アンケートの分析

く 3 つに分けられ，それぞれはさらに細かく 3 つの本研究では，これに受講前の自己評価を加え，客観力から構成される（表 1）．以下，この 9 つの能力を評価・自己評価双方で PBL 受講前後の評価を比較す

PROG コンピテンシーと呼ぶ．

ることを提案する．これにより，評価の差分，つまりPROG コンピテンシーは実践的人材育成の取り組みにおける教育効果の測定にも活用されており，大学能力の上昇度合いに着目した以下のような分析が新たに可能になる．

院生を対象とした第 1 期の enPiT およびその取り組

B1 客観評価の上昇が自己評価の上昇に結び付いみを学部学生に展開した第 2 期 enPiT において，受ているか，自己評価の上昇は客観評価の上昇を講前と受講後の受検結果を比較してその教育効果を伴っているかの双方向からの分析

測定している [5] [6] [8]．
我々は以前，PBL を中心とした実践的人材育成のB2 客観評価と自己評価において同一の項目が上昇しているか

教育プログラムにおいて，PROG コンピテンシーテ

また，自己評価の方法についても改善を行った．以ストの客観評価に受講生自身による自己評価を組み

前は PROG コンピテンシーテストの結果と同じ 7 段合わせることで，授業改善に向けた分析を行う手法を階による評価を回答してもらったが，受講生によって提案した [10]．2017 年度の受講生を対象に受講前後

中間の 4 ばかりを回答する，受講生間で尺度の捉え方の客観評価と受講後の自己評価を分析し，客観評価がが異なり細かい差異の解釈が難しい，など分析する上上昇した学生は自己評価が高いことが確認された．どで問題となる点が見受けられた．そこで，本手法ではの項目が得意・不得意とされたかを分析したところ，自己評価については 1（低い）〜4（高い）の 4 段階

客観評価と自己評価の結果に大きな隔たりが見られとし，選択肢を減らし，また中間の選択肢を廃した．

る項目もあった．特に，行動持続力は客観評価の結果において優位な向上が確認できた一方で，受講生自身

4 提案手法による分析事例による自己評価では全体的には低く評価される傾向

4. 1 分析対象が見られた．また，自己評価が低い学生の授業評価ア提案手法による分析事例として，AiBiC 関西がンケートに着目し，授業改善のために利用できそうな実施している教育コース AiBiC Spiral [1] において，

表 1: PROG コンピテンシー
コンピテンシー
対課題基礎力

対人基礎力

対自己基礎力内容
課題発見力

問題の所在を明らかにし，必要な情報分析を行う

計画立案力

問題解決のための効果的な計画を立てる

実践力

効果的な計画に沿った実践行動をとる

親和力

円滑な人間関係を築く

協働力

協力的に仕事を進める

統率力

場をよみ，目標に向かって組織を動かす

感情制御力

気持ちの揺れをコントロールする

自信創出力

ポジティブな考え方やモチベーションを維持する

行動持続力

主体的に動き，良い行動を習慣づける（学習行動を含む）

PROG コンピテンシーテストを用いた客観評価と受されている．つまり受講生は，受講後の評価時点では講生の自己評価とを組み合わせて，PBL に基づく実自身の受講前の客観評価を得ている．

践的人材育成の教育プログラムの教育効果を分析した結果を報告する．

4. 2 評価結果概要

AiBiC Spiral は enPiT におけるビッグデータ・AI

まず，AiBiC Spiral の受講前後における客観評価分野の教育プログラムの 1 つであり，ビッグデータを比較した．受講前後で PROG コンピテンシーテス

処理，人工知能，クラウド技術を融合した現実的な課トを受検した 60 名を対象に各回における 9 つの能題として，スーパーマーケットにおける購買履歴に基力ごとの平均点を図 1 に示す．符号付き順位検定のづく売上予測と自動発注問題を題材とした PBL を実結果，課題発見力および実践力（p < 0.01），親和力施している [3]．2018 年度は，9 大学・2 高専の 63 名（p < 0.05）の 3 つの項目について受講前後で有意なの受講生を対象に実施された．5 月から 8 月にかけて差を確認することができた．

は，PBL に必要な基礎知識の学習を目的とした月 1

また，受講前後における自己評価の結果の比較も回の講義および演習を実施し，9 月にはデータに基づ行った．受講前後で自己評価に解答した 56 名を対象にいた自動発注システムをチームにより構築する PBLした結果を図 2 に示す．符号付き順位検定の結果，すを集中講義形式で実施した．さらに発展的な課題としべての項目について受講前後で有意な差（p < 0.01）て，売れ方の異なる複数の商品を対象に自動発注シを確認することができた．

ステムを構築する PBL を 9 月〜10 月の期間に実施

これらの情報から，受講生全体としては，客観評価し，10 月 13 日に最終成果発表会として各チームの活が上がった項目について自己評価でも上がったと認識

動を報告してもらった．

出来ていることが確認できる．

教育プログラムの効果を客観的に測定するため，5
月初回の講義前と 10 月の最終成果発表会前に PROG

4. 3 評価の差分に基づく分析結果コンピテンシーテストを実施した．また，受講生によ客観評価と自己評価は尺度が違い，また自己評価る自己評価を，初回の講義前と最終成果発表会後には実施した受講生によっても尺度が違うため単純な実施した．自己評価においては，PROG コンピテン比較は難しい．そこで，受講前後における客観評価とシーそれぞれについて，1（低い）〜4（高い）の 4 段

自己評価の上昇幅に着目し，それぞれの傾向にどの階で回答してもらった．なお，初回の PROG コンピような関係があるのかを分析した．今回は，以下の 2

テンシーテストの結果は受講期間中に受講生に開示点に焦点をあてた分析を行った．

受講前** p < 0.01
* p < 0.05

受講後

765**

**

PROG上昇度合上位25%

受講生全体

計画立案力
4
課題発見力

*

43

実践力

32

行動持続力

2親和力

11
行動持続力

自信創出力

感情制御力

統率力

協働力

親和力

実践力

計画立案力

課題発見力

0

自信創出力

協働力

感情制御力

統率力

(a) 受講前

図 1: 受講前後の客観評価の比較（N = 60）
受講前** p < 0.01
* p < 0.05

受講後

54

PROG上昇度合上位25%

受講生全体

計画立案力
4
課題発見力

**

**

**

**

**

**

**

**

32

行動持続力

2親和力

11
行動持続力

自信創出力

感情制御力

統率力

協働力

親和力

実践力計画立案力

課題発見力

0

実践力

3

**

自信創出力

協働力

感情制御力

統率力

(b) 受講後図 2: 受講前後の自己評価の比較（N = 56）
PROG上昇度合上位25%

受講生全体• 客観評価が上昇した能力を受講生自身も上昇し計画立案力
1
課題発見力

たと認識できているか• 自己評価が上昇した受講生の能力は本当に上昇

0.8

実践力

0.6
0.4
0.2

行動持続力

しているのか親和力

0

これら 2 点を分析するために，PBL 受講前後の客観評価自己評価すべての回答を得た 56 名について，客観評価と自己評価それぞれで上昇幅の大きかった上位 25%の受講生と，全体とを比較した．

4. 3. 1 客観評価の差分（上位 25%）に基づく分析
まず，客観評価の上昇と自己評価との関係を分析す

自信創出力

協働力

感情制御力

統率力

(c) 受講前後の差分

図 3: 自己評価るために，客観評価の差分が大きかった上位 25%と受講生全体の 2 群について自己評価の変化を比較しの差分が大きかった群のほうが自己評価が高く出るた．図 3 はその結果を 9 つの能力それぞれについて傾向にある．図 3(c) は受講前後の差分についてレー比較しレーダーチャートにしたものである．受講前

ダーチャートにしたものであり，上位群は計画立案力（図 3(a)）の時点では自己評価について 2 群に顕著なを除いて自己評価が他の受講生に比べて同じ程度か，差は見られないが，受講後（図 3(b)）では客観評価より大きく上昇している．

4. 3. 2 自己評価の差分（上位 25%）に基づく分析
次に，自己評価の上昇と客観評価との関係を分析す

受講生全体自己評価上昇度合上位25%
計画立案力7654321

るために，自己評価の差分が大きかった上位 25%と受講生全体の 2 群について客観評価の変化を比較し課題発見力た．図 4 はその結果を 9 つの能力それぞれについて比較しレーダーチャートにしたものである．受講前

行動持続力

実践力親和力（図 4(a)）の時点では，自己評価の差分が大きかった
受講生は，統率力や感情制御力などいくつかの項目協働力

自信創出力

について受講生全体に比べやや低い評価を得ていた．

感情制御力

統率力

一方受講後（図 4(b)）では，それらの項目はほぼ同(a) 受講前

じ値となっている．図 4(c) は受講前後の差分についてレーダーチャートにしたものであり，ほぼすべての項目について上位群は受講生全体よりも客観評価の受講生全体

自己評価上昇度合上位25%
計画立案力
765
4
321

上昇幅が大きい．特に協働力・統率力・自信創出力・
課題発見力は受講前に比べ平均 1 ポイント以上上昇

課題発見力

している．

4. 3. 3 差分の合計の相関

行動持続力

実践力

親和力

PROG コンピテンシーには 9 つの項目があるが，受講生はそれらすべての項目について自身の成長を自信創出力

的確に実感できているかを確認する．

協働力

感情制御力

統率力

客観評価の上昇幅を全受講生で合計したものと，自(b) 受講後

己評価の上昇幅を全受講生で合計したものの間に相関があるかを，PROG コンピテンシーの各項目およびその合計値について計算した．相関係数を表 2 に示す．項目ごとに見た場合，課題発見力，親和力，統率受講生全体

課題発見力

力には客観評価と自己評価の上昇幅に弱い相関が見られた．しかし，他の項目では相関は見られなかった．

自己評価上昇度合上位25%
計画立案力
1.6
1.2

実践力

0.8
0.4

行動持続力

一方で，各項目の上昇幅を合計すると，客観評価親和力

0と自己評価の上昇幅にはいくらかの相関（相関係数0.423）が見られた．このことから，受講生は具体的な項目としての成長の実感は実際とのずれがあるが，自信創出力

協働力

感情制御力

統率力

社会人基礎力全体としては自身が成長したことをある程度正確に認識できていることが読み取れる．

(c) 受講前後の差分

図 4: PROG コンピテンシー

4. 4 考察
受講前後での自己評価について，全項目で有意な上ない．昨年度の分析で行った得意・不得意の分析につ昇が見られた一方，客観評価において有意な上昇が認いても同様の傾向があり，項目によっては客観評価とめられたのは 3 項目のみであった．差分の合計との自己評価の結果に大きな隔たりが見られた．このこと相関と照らし合わせると，受講生は必ずしも客観的にから，少なくとも我々の講義においては特定の能力の上昇した能力を身に着けたと認識しているとはいえ成長を受講生に正しく実感させるには至っていない．

表 2: 客観評価と自己評価の上昇幅の相関

もとに 2018 年度の AiBiC Spiral の受講生を対象とした分析を行い，総合的には社会人基礎力が客観評価

課題発見力
計画立案力
実践力
親和力
協働力
統率力
感情制御力
自信創出力
行動持続力
合計

0.241
0.030
0.011
0.238
0.105
0.276
-0.061
0.168
0.171
0.423

でも自己評価でも上昇していることを確認した．
今後はこの手法を複数年度にわたって適用し，手法の有用性を評価していきたい．また，客観評価で上昇した能力は実施年度によって異なる傾向が見られたことから，その原因と教育プログラムの改善への発展について詳細な分析を行うことが考えられる．
謝辞 本教育コースの実施にあたりご尽力頂いた

AiBiC 関西参画大学，連携企業の関係者各位ならび一方で，全項目の合計の上昇幅については相関が見に本教育コースの受講生各位に感謝します．

られた．客観評価の上昇した学生は自己評価もおおむね上昇しており，自己評価の上昇した学生は客観評価

参 考 文 献もおおむね上昇していた．このことから，社会人基礎[ 1 ] AiBiC 関西: https://aibic-spiral.enpit.jp/.
[ 2 ] enPiT2 成長分野を支える情報技術人材の育成拠点の形成: http://www.enpit.jp/.
[ 3 ] Saiki, S., Fukuyasu, N., Ichikawa, K., Kanda,T., Nakamura, M., Matsumoto, S., Yoshida, S.,
and Kusumoto, S.: A Study of Practical Education Program on AI, Big Data, and Cloud Computing through Development of Automatic Ordering
System, The 3rd International Conference on Big
Data, Cloud Computing, Data Science Engineering(BCD), Jul. 2018, pp. 31–36.
[ 4 ] リアセック: PROG, http://www.riasec.co.jp/prog_hp/（参照 2020-1-12）.
[ 5 ] 山本雅基, 沢田篤史, 小林隆志, 岡村耕二, 宮地充子,佐藤和彦, 奥野拓, 粂野文洋: 大学学部生を対象とした実践的 IT 人材育成プログラム enPiT2 と評価, 信学技報
（SS2018-82）, Vol. 118, No. 471(2019), pp. 181–186.
[ 6 ] 山本雅基, 小林隆志, 宮地充子, 奥野拓, 粂野文洋, 櫻井浩子, 海上智昭, 春名修介, 井上克郎: enPiT における教育効果測定の実践と評価, コンピュータソフトウェ
ア, Vol. 32, No. 1(2015), pp. 213–219.
[ 7 ] 経済産業省: 社会人基礎力, https://www.meti.go.
jp/policy/kisoryoku/index.html（参照 2019-8-5）.
[ 8 ] 井上克郎: enPiT の成果と今後の展望, コンピュー
タソフトウェア, Vol. 34, No. 1(2017), pp. 3–7.
[ 9 ] 松浦佐江子: 実践的ソフトウェア開発実習によるソフトウェア工学教育, 情報処理学会論文誌, Vol. 48,
No. 8(2007), pp. 2578–2595.
[10] 福安直樹, 佐伯幸郎, 神田哲也, 市川昊平, 吉田真一,中村匡秀, 楠本真二: 実践的人材育成コースにおける自己評価と客観評価にもとづく社会人基礎力の分析, 日本
ソフトウェア科学会 第 36 回大会講演論文集, 2019 年 8月.
[11] 沢田篤史, 小林隆志, 金子伸幸, 中道上, 大久保弘崇,
山本晋一郎: 飛行船制御を題材としたプロジェクト型
ソフトウェア開発実習, 情報処理学会論文誌, Vol. 50,
No. 11(2009), pp. 2677–2689.

力全体としては受講生は自信を伴った成長をしたと考えられる．
また，自己評価のみによる教育効果の測定も，本手法から実現することができる可能性がある．個々の学生の評価や具体的な項目については客観評価との比較が重要であるが，本手法のように自己評価の質問項目において 9 つの項目を提示しそれらを合計した値に着目し，受講前後の差分を見ることで受講前後の相対的な成長を捉えることが出来ると期待できる．
しかし，分析対象が 1 つの PBL プログラムのみであるため，手法としての有効性は継続的な調査分析が必要である．他にも，昨年度の分析結果とは客観評価において上昇した項目が異なるなどの結果が見られたため，その原因を調査するためにプログラムの改善効果と受講生自体の質の変化を計測することも今後検討したい．

5 おわりに実践的人材育成プログラムにおける教育効果測定のための一つの方法として，社会人基礎力について受講前後における客観評価と自己評価を行い，受講前後の差分に着目することで分析を行う手法を提案した．
自己評価の尺度は回答する受講生によっても異なり，また客観評価とも必ずしも一致しないが，差分に着目した分析を行うことで比較が可能となる．提案手法を