日本ソフトウェア科学会第 31 回大会 (2014 年度) 講演論文集

enPiT における教育効果測定の実践と評価
山本 雅基

小林 隆志

宮地 充子

奥野 拓

櫻井 浩子

海上 智昭

春名 修介

井上 克郎

粂野 文洋

本論文では，協働教育の教育効果を測定するための新しい手法について提案して，実証評価する．分野・地域を越えた実践的情報教育協働ネットワーク enPiT では，全国の大学院生に対して，情報技術の実践力を高める教育を実施している．実践力の育成を目的とする教育協働における教育効果の測定には，二つの課題が挙げられる．第一に，実践力は専門知識の定着を問うテストでは測定困難である．第二に，履修カリキュラムが異なる学生を共通の指標で評価することも困難である．本論文では，学習経験を問う質問紙と行動特性を計測するテストを併用することにより，履修カリキュラムが異なる学生の実践力を統一の基準で評価する手法を提案し，enPiT で実証評価した．

The present paper proposes and tests a new method for evaluating educational eﬀect of collaborative education. Education Network for Practical Information Technologies (enPiT) provides a nationwide collaborative graduate education in information science aiming to elevate practical skills. There are two problems
in assessing educational eﬀect of a collaborative education program aiming to raise practical skills. First,
students practical skills are not determinable with questionnaires assessing the level of expertise. Second,
it would be impractical to use common index for graduate students from various curriculums. The authors
combined questionnaire to assess learning experience and behavior characteristics of the participants toprovide a common criteria to assess practical skills of graduate students from various curriculums.

地域を越えた実践的情報教育協働 NW (NetWork)」

1 はじめに(以下 enPiT) が採択された [2]．

我が国が抱える複数の課題を解決するために，高度

enPiT では，4 つの分野 (クラウドコンピューティな IT 技術を適切に適用し，問題解決へ実践する能力

ング，セキュリティ，組込みシステム，ビジネスアプを持った実践的 IT 人材の育成が強く求められているリケーション) において大学および産学間の交流に基[1]．このような背景のもと，文部科学省は 2012 年にづいて，多面的な実践教育を実施している．15 連携大「情報技術人材育成のための実践教育ネットワーク形学の代表で構成される運営委員会を設置し，大学間の成事業」を公募し，15 連携大学が提案した「分野・情報共有や意思決定を行い効率的な効率的に行っていPractice and Evaluation of Educational Measurementof enPiT.
Masaki YAMAMOTO, Tomoaki UNAGAMI, 名古屋大学, Nagoya University.
Takashi KOBAYASHI, 東京工業大学, Tokyo Instituteof Technology.
Atsuko MIYAJI, 北陸先端科学技術大学院大学, Japan
Advanced Institute of Science and Technology.
Taku OKUNO, 公立はこだて未来大学, Future University Hakodate.
Fumihiro KUMENO, 日本工業大学, Nippon Instituteof Technology.
Hiroko SAKURAI, Shusuke HARUNA, Katsuro INOUE, 大阪大学, Osaka University.

る．さらに，運営委員会の下に，評価・産学連携 (以下，評価 WG)，広報，FD (Faculty Development)，教務の合計 4 つの WG (Working Group) を設置して，共通テーマに取り組んでいる．
本稿では，評価 WG が 2013 年度に実施した教育効果測定の枠組みと結果を示し，協働教育における実践教育の効果を評価する．第 2 節では，enPiT の概要と教育効果測定の課題を述べる．第 3 節では，2013年度に実施した教育効果測定の結果を述べる．第 4 節
では，enPiT における実践教育の効果測定を論じる．
第 5 節は結論である．

2 enPiT
2. 1 概要
現在，情報系の大学および大学院の多くでは，情報専門学科におけるカリキュラム標準 J07 に基づいた教育が行われている．J07 は，IEEE/ACM のCC2001-CC2005 を土台として，コンピュータ科学，情報システム，ソフトウェアエンジニアリング，コンピュータエンジニアリング，インフォメーションテク
ノロジの 5 つの領域と，一般情報処理教育についてまとめたカリキュラム標準である [3]．J07 に基づく科目を履修することで，学生は IT の基礎知識を体系的に学修する．しかし，IT の基礎知識を体系的に学修し

図1

教育プログラムのフレームワークただけでは，社会が求める実践力が育成されず，教育機関と産業界にずれが生じていると指摘されている．

2. 2 分散 PBL

そこで文部科学省は，社会の要請に応えるために，実践的情報教育を目指す enPiT では，PBL を主要

2006 年から大学間と産学の壁を越えて教育内容・体な教育手法と位置づけて教育プログラムのフレーム制を強化し，IT の専門的スキルと社会の要請に対処ワークを設定している (図 1)．

できるスキルを持つ人材の育成をねらう教育拠点の形大学で行われる一般的な PBL では，その受講学生成を支援する「先導的 IT スペシャリスト育成推進プや教員は同一の学科もしくは研究科に所属することログラム」を実施した [4]．さらに，2012 年から「情が多い．他方 enPiT では，15 連携大学の他に，複数報技術人材育成のための実践教育ネットワーク形成」の参加大学から学生が参加し，所属の異なる学生や教を目的とした enPiT を実施している [2]．

員が同一チームを形成して PBL に取り組む．

enPiT では専門性の高い IT 技術を，クラウドコン

enPiT における PBL は，図 1 に示すように 2 種類

ピューティング分野，セキュリティ分野，組込みシスある．一つ目は，短期集中合宿で行われる PBL であテム分野，ビジネスアプリケーション分野の 4 分野にる．合宿は分野別に開催され，複数の大学からの受講分けて，それぞれの分野で独自の教育を行う．enPiT学生が一堂に会する．所属大学が異なる複数の学生との主な教育対象者は J07 に基づいた基礎的な教育を教員が同一のチームを形成して，合宿期間内でチーム修了している修士課程生である．enPiT では，IT 技毎に PBL を実施する．

術が活用される分野を 4 つに分けて，各分野で不足二つ目は，合宿後に行われる分散 PBL である．分する基礎科目をさらに履修した上で，分野別に PBL

散 PBL は，地域を越えて実施する PBL を指し，全(Project Based Learning) を行う．これにより，J07

国的な教育協働 NW の構築を目指す enPiT におけるに基づいて修得された基礎的な IT 知識を，問題解決

特徴的な教育手法である．分散 PBL では，まず合宿へ適用し得る実践力に昇華させることを目指す．

中にチーム構築や課題確認，開発スケジュールの作成

enPiT は，15 連携大学以外の大学を参加大学としなどを行う．そして，合宿終了後に各大学へ戻った学て迎え，企業・団体から助言・指導・テーマ提供など

生は，電子メールや TV 会議システムなどを活用しを求める全国的な教育協働 NW の構築を目指していて，分散した環境下で PBL を実施する．以降本論文

る．2013 年度は，合計 62 大学と 87 の企業・団体がでは，enPiT で実施する PBL を総称して分散 PBL

enPiT に参加した [5]．と呼ぶ．

3 教育効果の測定
3. 1 課題と対応方法
2013 年度の enPiT では，15 連携大学の他に延べ47 の参加大学を加えた大学から参加があった．4 種類の情報分野に分かれた enPiT の受講学生は，複数表1

ブルーム・タキソノミーの認知過程次元

1. 記憶する (remember)：長期記憶からの回復
2. 理解する (understand)：説明から意味を構築
3. 適用する (apply)：手順の遂行・活用
4. 分析する (analyze)：構成要素の分析と関係性
5. 評価する (evaluate)：基準や標準に基づいた判断
6. 創造する (create)：新しい構造の構築の異なる大学の学生や教員さらには企業の技術者らと共に分散 PBL に取り組み情報技術の実践力を高め，309 人が修了した．
enPiT 履修生の教育効果を測定するには，履修生が情報技術の実践力を高めることができたか否かを測定をねらった．
我々は，以上の測定を組み合わせることにより最先端の情報技術を実践的に活用し得る人材育成の成否や程度を，総合的に評価することとした．

評価する必要がある．ただし，2 つの課題が挙げられた．第一に，実践力は専門知識の定着を問うテストで

3. 2 教育経験の調査は測定困難であった．第二に，履修カリキュラムが異教育の目標設定や測定を認知領域の分類に対応づなる学生の学習効果を共通の指標で評価することもけて行う試みは，日本技術者教育認定機構 (JABEE)困難であった．

や複数の教育機関で採用されている [7]．表 1 に，教先行事例では，実践力の計測は行動観察で行われ育現場で使用されている認知領域の分類と教育目標ることが多い．たとえば Kirkpatrick は，社会人の教の例として，Anderson と Krathwohl による認知過育評価を (1) 反応水準，(2) 学習水準，(3) 行動水準，程次元の分類を示す．1. 記憶するから，6. 創造する

(4) 結果水準の 4 水準で下すよう提案しているが，実に向けて，順に教育目標の水準が高くなる．

践力に相当する行動水準は，上司らによる行動観察を我々は，実践力の養成という enPiT の教育目標は，求めている [6]．しかし，enPiT では複数の大学や教認知過程次元 (表 1) の「3. 適用する」以上に相当す員が参加するので，教員間で学生評価の水準を合わると考えた．この水準の教育では，レポートの作成せることが困難である．そもそも，2006 年度から実や演習が必要とされる．そこで，クラウドやセキュリ施した先導的 IT スペシャリスト育成推進プログラム

ティなどの 4 分野の専門技術教育に際して，レポー

では，質問紙を用いて受講者に主観評価を求めたが，トの作成や演習が行われているか否か質問紙を用い関係者から「客観性に欠ける」という指摘がなされ，て調査することとした．

評価の客観性の確保が課題とされている．

3. 2. 1 方法

そこで，評価 WG は，以下の 2 種類の測定を行う

enPiT の受講学生を対象者として，2014 年 1 月

ことで，教育協働 NW における実践力の育成におけ

27 日から 2 月 9 日にかけて，HTTPS で保護されたる教育効果測定の客観性を高めることを目指した．第Web を用いて無記名で回答を求めた．

一は，enPiT の教育終了時に，IT の技術要素に対す設問は，問題解決能力に関する講義・演習や，構築る講義や演習規模などに関する enPiT での学習経験能力に関する講義・演習など，6 種類のカテゴリに分を，履修者に質問紙で問い合せる手法である．この手類された合計 39 項目であった．設問項目は，受講生法により，主観を排除した学習経験という事実を収集に習得を期待する技術関連の設問と，その他に分けする．第二は，実践力の養成を目的として実施した分られる．例えば，セキュリティ向けには「システムに散 PBL の受講前後に 1 回ずつ，コンピテンシー (行対する攻撃分析・状況把握」，クラウドとビジネス向動特性) を計測するテストを履修者に実施し，その得けには「Web アプリケーションの設計・構築」とい点差を分析する手法である．これにより，実践力を必う設問が含まれる．39 設問を技術の専門性で分類す

要とする行動をとる特性がどのように変化したかのると，クラウド 20，セキュリティ9，組込みシステム

表2

演習規模と参加者数・時間長の関係

小演習
中演習
大演習

参加者数
1人
複数
○
×○
××
○
×
○

1 コマ○×○×

時間長
2 コマ以上×○×○

10，ビジネスアプリ 13 である．一部の設問は，複数の分野に共通するので，合計が 39 にはならない．
設問項目は，教育の実施形態を 7 肢選択法により

図2

学習経験の回答値 (分野別)回答を求めるものであった．回答の選択肢は，1. 学ばなかった，2. 講義で学んだ，3. テストやレポートをキュラムが多様であるので，画一的な設問を用いて平した，4. 小演習をした，5. 中演習をした，6. 大演習

均的な教育実態を計測することが困難である．今後，をした，7. 大演習を主体的にしたである．演習規模

設問内容の改訂が必要である．

は，参加者と時間長の組み合わせで定めた (表 2)．

質問紙に用意された自由記述欄には，情報技術の実回答の得点が 3 以上の場合，実践力を養成する教践力を高める受講内容を評価する意見が複数記述さ育が行われたと判断する．

3. 2. 2 結果と分析
回答数は 145 (内訳：クラウド 56，セキュリティ44，組込みシステム 29，ビジネスアプリ 16) であった．分
野別に，受講生に習得を期待する技術関連の設問群れていた．以下は，その一部である．

• 問題を単体で解くよりも、複合的な学びを体験することで実践力の強化につながった• チームで作業を行ったことでコミュニケーション力を養えたとその他の設問群に分けて，回答の平均点を求めた．

• 厳しい課題により，遂行力が身についたクラウドでは，習得が期待される設問 (関連設問) の• 実際に自分たちでプロジェクトを立案する貴重

平均点は 4.7，その他の設問の平均点は 1.9 であった．

な機会となった

セキュリティはそれぞれ 3.0 と 1.3，組込みシステム

以上を総合すると，受講者が IT 技術の実践力を高はそれぞれ 3.9 と 1.7，ビジネスアプリはそれぞれ 4.2

める教育を受けて実践力を高めたことが期待される．と 2.2 であった (図 2)．
各分野とも，関連設問の回答値は，3 以上であったことを確認した．他方，各分野で関心を持たないその他の技術に関する回答値は，3 より小さかった．

3. 3 行動特性の測定
enPiT が目指す IT 技術を実践的に活用して社会の問題解決に取り組む人材は，専門性の高い知識を有す

セキュリティ分野の値が他の分野に比べて低いが，ることに加えて，他者とコミュニケーションをとりな

その理由は，セキュリティ分野の分散 PBL の一部でがらリーダーシップを発揮し，計画を立てて自己管理は大演習が行われていないことと，受講者の一部は脆をしながら取り組む必要があるある．これらコミュニ弱性を排除したコーディングを行わないためである．

ケーションやリーダーシップや自己管理などの能力要

その代わりに，攻撃分析やリスク解決方式の検討に対素の重要性は従来から指摘されており，学士力や社会する設問の回答値は平均 4.6, 分散 4.1 であり，これ人基礎力と呼ばれている [8] [9]．

らの要素技術に対しては実践的な教育がなされていることを確認した．

コミュニケーションやリーダーシップなどの能力要素は，コンピテンシー (行動特性) とも呼ばれてお以上から，各分野では実践力を高める教育が計画通り，ルーブリックを用いた自己・他者評価による計測りに実施されていることが確認された．ただし，カリが試みられている [7]．分野・地域を越えて実施され表3

PROG コンピテンシーの能力要素
総合
対人基礎力
親和力
協働力
統率力
対自己基礎力
感情制御力
自信創出力
行動持続力
対課題基礎力
課題発見力
計画立案力
実践力

表4

PROG コンピテンシーの得点変化センターに送られ，採点結果が後日に各大学の担当教員へ返送された．

る enPiT では複数の大学が異なるカリキュラムで教評価 WG は，同一被験者の 1 回目と 2 回目のデー育するので，自己・他者評価の水準を合わせることがタを組みにし，かつ分野別に分類した採点結果をテス困難である．そこで，標準化テストを用いることにトセンターから入手し分析した．なお，入手したデー

し，PROG(Progress Report on Generic skills) テス

タからは大学名と学生名が消去されていた．

ト [10] を採用した．

PROG はリテラシー (知識活用力) とコンピテン

3. 3. 2 結果と分析
1 回目のテストは，2013 年 6 月 21 日から 10 月 1シーを計測する 2 種類のテストで構成される．いず日にかけて行われた．2 回目のテストは，2013 年 12れも実施形態はマーク・記述式であり，前者は 30 問

月 19 日から 2014 年 2 月 14 日にかけて行われた．テを 45 分間で，後者は 251 問を 40 分間で解く．コン

スト実施時期に幅がある理由は，大学毎に分散 PBL

ピテンシーのテストは，産業技術大学院大学の協力を行う時期や期間が異なるためである．のもと開発を始めたものであり，望ましい社会人のモ

1 回目の受検者数が 216 人，2 回目が 173 人であデルとの差異が点数化されるように設計されている．

り， 1 回目と 2 回目を共に受検した修士学生 165 人

PROG では，コンピテンシーを，全体的な能力を表のコンピテンシーの採点結果を分析対象とした．165

す「総合」としてまとめた上で，その下位カテゴリ人の内訳は，クラウド 45 人，セキュリティ37 人，組として対人基礎力，対自己基礎力，対課題基礎力の 3込みシステム 14 人，ビジネスアプリ 69 人であった．

つに分け，さらにその下位に 3 種類ずつの能力要素

コンピテンシーの得点分布に正規性が確認できなかっを配置する構成を取っている (表 3)．各評価項目は，たので，符号付き順位検定を用いた．

1 から 7 の 7 段階 (7 が最高) で採点される．今回は，検定の結果，計画立案力には有意な差が確認できな

PROG のコンピテンシーのみを使用して分析する．

かった．しかし，その他の能力要素では，有意な差が3. 3. 1 方法確認できた (p < 0.01．行動持続力は p < .05)(表 4)．

15 連携大学の教員に依頼して，enPiT 受講生に対以上から，enPiT の受講者全体では，分散 PBL

して 2 回の PROG テスト受検に協力する学生を募集を受講する前に比べて受講後に，計画立案力を除くした．評価 WG は，採点結果を統計処理して取り扱PROG コンピテンシーの能力要素が成長したことをうことを受検者に保証した．

確認した．

テストの実施時期は，enPiT の特徴的な教育で分

次に，全ての分野で総合点が高くなっているかを，散 PBL の始まる前と終了後の 2 回とした．実施場所

同じく符号付き順位検定を用いて検定した (図 3)．各は各大学であり，PROG テストを管理・運営する河分野とも総合の得点は，2 回目の平均値が高くなって合・リアセックテストセンターの指示に従い，教員がおり，組込み分野を除き有意な差が確認できた (p <立ち会いの下で実施した．記入した回答用紙はテスト0.01)．組込み分野で有意な差が確認できなかった理特性の測定を組み合わせる手法を提案した．これにより，多数の教育機関が参加して実践力を育成する教育において，客観性の高い教育効果の測定が可能となった．

2013 年度の enPiT において，本手法を用いて教育効果を測定した．その結果，実践力を養成する教育が行われ，社会が求める行動特性が，受講前に比べて受講後に高くなったことが確認された．
以上により，本手法が enPiT の教育評価に適用可能であることが実証された．さらに，enPiT の教育
図3

分野別 PROG コンピテンシー総合点

フレームが，最先端の情報技術を実践的に活用できる人材育成に効果があると強く推察される．

由は，サンプル数が少なかったためと考えられる．

本手法は，同様の教育フレームにおける教育評価にも適用可能であることが示唆される．今後，測定コス

4 考察

トの削減や測定結果の信頼性向上に取り組み，手法の最先端の情報技術の実践力を高める教育が実施され改良を検討すると共に，教務 WG や FD-WG などとたことを，学習経験を問う学習内容調査で確認した．

連携し測定結果の教育へフィードバックを行う．

さらに，PROG テストを分散 PBL の前後に実施し，受講者の行動特性が有意に向上したことを確認した．
伊藤らは，行動特性の変化に有意に関係する要因は「力を伸ばす実践の有無」であるとしている [11]．このことから，enPiT で行動特性が高くなった要因は，分散 PBL で学んだ知識を実践的に問題解決に適用する体験を繰返したことであったと推察される．
以上から，本測定手法が enPiT における実践教育の効果測定に適用可能であることが実証され，同様の教育フレームにおける教育評価にも適用可能であることが示唆される．

enPiT は，最先端の情報技術を実践的に活用する能力を高める教育であることが推察される．ただし，

enPiT の教育期間内に就職活動が行われており，それにより行動特性が高まる可能性が否定できない．

enPiT の教育効果を確認するためには，enPiT を履修しない同学年の学生を対照群として検証する必要があり，今後の課題として残される．

5 おわりに分野・地域を越えた実践的情報教育において，共通指標を用いた実践力の評価を行う手法として，学習経験の調査と，教育前後におけるテストを用いた行動参 考 文 献[ 1 ] 独立行政法人情報処理推進機構 IT 人材育成本部：IT人材白書 2014, 独立行政法人 情報処理推進機構, 2014.
[ 2 ] 文部科学省情報技術人材育成のための実践教育ネッ
トワーク形成事業：分野・地域を越えた実践的情報教育協働ネットワーク, http://www.enpit.jp/, 2013.
[ 3 ] 情報処理学会：情報専門学科におけるカリキュラ
ム標準 J07, http://www.ipsj.or.jp/12kyoiku/J07/
J0720090407.html, 2010.
[ 4 ] 文部科学省：先導的 IT スペシャリスト育成推進プログ
ラム, http://www.mext.go.jp/a_menu/koutou/it/,2006.
[ 5 ] 大阪大学大学院情報科学研究科 enPiT 運営委員会：
enPiT 平成 25 年度成果報告書. 大阪大学大学院情報科学研究科 enPiT 事務局, 2014.
[ 6 ] Kirkpatrick, D. L. & Kirkpatrick, J. D.：Evaluation training programs the fourth levels, BerrettKoehler Publishers, 2006.
[ 7 ] JABEE, 日工教：学習・教育到達目標設定法とその達成度評価法資料集, www.jabee.org/public_doc/download/?docid=28, 2013.
[ 8 ] 文 部 科 学 省：学 士 過 程 教 育 の 構 築 に 向 けて (答申), http://www.mext.go.jp/b_menu/shingi/
chukyo/chukyo0/toushin/1217067.htm, 2008.
[ 9 ] 経済産業省：社会人基礎力, http://www.meti.go.
jp/policy/kisoryoku/, 2008[10] リアセック：PROG, http://www.riasec.co.jp/prog_hp/, 2014.
[11] 伊藤, 土井, 加藤他：学生の社会人基礎力評価に向けた取り組みと課題, 工学教育研究講演会講演論文集,2014, pp. 688-689.