日本ソフトウェア科学会第 34 回大会 (2017 年度) 講演論文集

能力成熟度モデル統合に基づいた

PBL における定量的学習評価手法の提案
日戸 直紘

伊藤 恵

大場 みち子Project Based Learning（PBL）は，高等教育機関を始め多くの場で学習の有効性が多数報告されており，様々な“学び” を得ることができる．一方で，PBL の学習評価を実施することは困難などの報告も多数あり，特に定量的評価手法は確立されていない．PBL における学習評価は，主に成果物への評価や出席率，個人報告書などから行われている．しかし、これらを用いた学習評価には，定量性あるいは客観性に欠けることや，PBL の “学び” ではなく成果物などの結果を中心とした評価であるなどの問題点があった．以上の背景から本研究では，PBL における定量的な学習評価手法の提案を目的とする．ここでは，PBL の “学び” の定量的な把握が課題であり，これを解決するためにプロジェクトの各プロセスを評価し改善するモデルである能力成熟度モデル統合 (CMMI) を導入する．本稿
では，能力成熟度モデル統合に基づいた定量的学習評価手法を提案し，その有効性の見通しについて述べる．
A lot of eﬀectiveness of the learning are reported at many places including a higher education system, andProject Based Learning (PBL) can get various learning. On the other hand, it is a lot of reports such as
the diﬃculty to carry out a learning evaluation of PBL particularly, particularly quantitative evaluation
technique is not established. Mainly, the learning evaluation in PBL is carried out from an evaluation andthe attendance to works, personal reports. However, for the learning evaluation using them, there were theproblems that it was the evaluation mainly on the results such as works not quantifiability or being lacking
in objectivity and learning of PBL. This research aims for suggestion of quantitative learning evaluation
technique in PBL in this study from the above-mentioned background. Quantitative grasp of the learningof PBL is a problem and to solve the problem, here, we introduces ability maturity degree model unification(CMMI) that is a model to evaluate each process of the project, and to improve. This report suggests
quantitative learning evaluation technique based on ability maturity degree model unification and speaks aprospect of the eﬀectiveness.

解決型学習を指し，学習者が課題解決に向け主体的1 はじめに(あるいは能動的) に取り組む実践的な授業法であり，近年，文部科学省は「IT を高度に活用し，社会の座学等で学んだ体系的知識の定着と利活用の効果な具体的な課題を解決することのできる人材育成」は日ども期待されている．しかし，PBL の学習評価を実本の極めて重要な課題であるとしている [11]．また，施することは困難であるとの報告も多数あり [10]，特IT 需要の拡大にもかかわらず，IT 人材の不足が今後に定量的に PBL の評価を実施することは非常に難し一層深刻化する可能性が高いとの見解も示している

い問題である．また，PBL の “学び” が得られるプロ[11]．このような背景から，高等教育機関において高セスではなく成果物等の結果を中心とした評価になっ

度 IT 人材の育成が求められるなかで，PBL(Projectていることや，出席率など PBL の内容とは直接関係Based Learning) が注目されている．PBL とは課題無い項目のみにより評価を行うなどの問題が生じてSuggestion of the Quantitative Evaluation Technique
Based on Ability Maturity Degree Model Unification in Project Based Learning
Naohiro Hinoto, 公立はこだて未来大学 システム情報科学部 情報アーキテクチャ学科, School of Systems
Information Science, Future University Hakodate..

いる．これらの問題を解決するため，PBL の評価について研究が盛んに行われてきた．
例えば，原ら (2010) は，チーム共通の成果物への評価点と個人の貢献度への評価点を切り離して考え成績が求められる仕組みを，井垣ら (2015) は，アジャイルソフトウェア開発を行う PBL においてチケットれらの課題解決を試みる．

システムを用いた定量的評価手法をそれぞれ提案してPBL のプロセスを定量的に評価し，問題のあるプいる [4] [7]．チーム貢献度合いによる評価や PBL 学ロセスや，より改善できるプロセスを明確にする．そ習者による相互評価，オリジナルのルーブリックを活れにより，教員のメンタリングに貢献し教員負担軽減用した評価等多数の手法が提案されている [3] [8] [9] ．の一助とするほか，PBL 学習者自らがプロセス評価・PBL の評価手法に関しては数多くの研究が行われて改善を行うことで，より多くの “学び” を得る助けときたが，定量的評価手法は確立されておらず，PBLなることを期待する．本評価手法により，より多くのの “学び” が含まれるプロセスに着目した学習評価手“学び” を得られるきっかけを与え，同時に PBL の定法やフレームワークは，ほとんど提案されていない．

量的な評価を行える評価手法の実現を本研究の目的

PBL において，準備にかかるコストや，学生からとして，その有効性を明らかにする．の講義時間外の対応も行うなど様々な面において教

本論文では以下，2 章では CMMI を概説し，用い員の負担増加が問題視されている．河西 (2010) らは，られる評価指標について説明する．3 章では，提案すPBL を実施している理学療法士養成校におけるアンる手法，対象プロセス領域と評価項目について述べ

ケート調査において，PBL 実施における課題ならびる．4 章では提案手法による予備実験結果を述べ，考に問題点の項目で「教員負担の増加」という回答が多察する．5 章では，本研究の結論と今後の課題についく見られたと述べている [5]．て述べる．

ソフトウェア開発を行う PBL では，ソフトウェア開発プロセスに準拠または一部準拠するなどして，よ2 CMMIり実社会に近い学習を行っている PBL が多く存在す

本評価手法は，PBL のプロセスを定量的に評価し，る．しかし，実社会で行われる品質や生産性の向上を改善までを提案するため，CMMI と呼ばれるプロセ狙ったプロセス改善を行っている PBL は，極めて少ス改善モデルを利用する．本章では，CMMI の概要をない．プロセス改善を行うことで品質や生産性の向上「CMMI for Development, Version1.3(CMMI-DEV,だけでなく，実社会で行われるプロセス改善について

V1.3)」 [1] および邦訳版「開発のための CMMI1.3 版

学べるなど，より多くの “学び” が得られる可能性は(CMMI-DEV, V1.3)」 [2] を参照し，概要を述べる．

非常に高い．しかし，プロセス改善を行うことは難し
く，PBL のプロセス改善を行うためのシステム・手

2. 1 CMMI の概要

法などによる支援が必要だが，ほとんど提案されていCMMI とは，システム開発を行う組織がプロセスないのが現状である．

を管理・評価・改善するためのプロセス改善モデルで本研究では，PBL における定量的な学習評価手法ある．現在，ソフトウェアの品質や生産性の向上を目を提案する．ここでの学習評価は，教員または PBL的とするプロセス改善が注目され，品質管理や進捗学習者自らが，各プロセスの現状を評価し，その結果管理などの改善・効率化のためのフレームワークとしを指導や学習支援，プロセス改善に活かし，より良いて，多くの組織において取り入れられ，実践・改善がプロセスを目指すための評価のことである．

進められている．

PBL の定量的評価が難しい，“学び” が結果のみ

日本では，2001 年，官公庁における入札問題を契で評価されている，実社会により近い形で学習する機に設置されたソフトウェア開発・調達プロセス改善

PBL で，実社会で行われているプロセス改善が行わ協議会の報告において [6]，CMM/CMMI が取り上げれていないという課題に着目した．そのため，本研究られ，一時，官公庁調達の基準に採用する動きが出た

では，PBL のプロセスを定量的に評価し改善までをことから，注目されることとなった．

提案する，能力成熟度モデル統合 (CMMI:Capability

本研究では，PBL のプロセスを定量的に評価した

Maturity Mode Integration) を活用することで，こい．そのためプロセスを定量的に評価する CMMI を活用していく．CMMI は，定量的評価だけでなく，プ度レベルに依存しない．これにより特に問題のあるプロセス改善を提案していることや，様々な開発・生産ロセスや，その組織の目標と関連の強い領域など，特業務に対応している．そのため，評価だけでなく改善定のプロセス領域において顕著な改善を期待できる．

策を提案することで多くの “学び” を得られることや，本評価手法では，組織の成熟度レベルを判定するの様々な PBL への適用が期待できることから CMMI

ではなく，特に問題や改善の余地のあるプロセス領域を選択した．

を示したいこと，今後プロセス領域を拡張していく可能性があることから，連続型表現を選択する．

2. 2 CMMI の評価指標
CMMI には，組織の現在の成熟度を表す指標として，2 つの表現方法がある．段階型表現 (成熟度レベル) が組織全体を判定するのに対して，連続型表現(能力度レベル) は，プロセス領域ごとにレベルを判定する．また，段階型表現では成熟度レベルが「1〜5」の 5 段階，連続型表現では能力度レベルが「0〜3」の 4 段階という点も異なる．CMMI を用いたプロセス改善では，組織の目的によって，段階型表現または連続型表現のどちらかを選択する．
段階型表現では，図 1 のような構造で，組織全体のプロセス成熟度を 5 段階で表現する．領域が確立されるため，改善方法が理解しやすいなどのメリットが考えられるが指定されたプロセス領域に従わなければいけないという制約もある．
図2

CMMI 連続型表現の構造

3 提案する評価手法
CMMI を活用することで，学習者自らが PBL のプロセスを定量的に評価し，プロセス改善を行える手法を提案する．
しかし，CMMI をそのまま PBL に適用するだけ
では，適さないプロセス領域も含まれるほか，CMMIの評価項目・基準に含まれる専門的な知識が必要となり，評価を行うための学習コストが発生する．評価者によって評価項目の捉え方の違いや評価基準の差などが生じる問題も発生し，学習評価手法として適切では
図1

CMMI 段階型表現の構造ない．
そこで，本評価手法では，PBL により関連性の高連続型表現では，図 2 のような構造で，4 区分全 25

いプロセス領域を選択，独自の評価項目・基準を設定

個のプロセス領域それぞれに能力度レベルを判定してし，ルーブリックを活用することで，これらの問題解いく．領域を自由に選択することができ，組織の成熟決を試みる．

以下本章では，対象とするプロセス領域や評価項目，評価を実施する流れなどについて解説していく．

3. 1 対象プロセス領域
PBL のプロセス改善に直接的に効果を示せると考え，プロジェクト管理に重点が置かれている成熟度
レベル 2 に含まれる，7 つのプロセス領域を対象とした．図 3 は，7 プロセス領域の名称と概要を示したものである．

図4

プロジェクト計画策定の固有ゴールとプラクティス

ルーブリックとは，成績評価方法のひとつで，評価指標 (具体的な到達目標等) と，評価指標に即した評
価基準 (どの程度達成できればどの評点を与えるかの記述) のマトリクスで示される配点表のことである．
初・中等教育で広く用いられており，高等教育への活
図3

成熟度レベル 2 のプロセス領域名と概要用も期待され，導入の提案・報告も行われている [12]．
本来 CMMI での評価は，各固有ゴールやプラクティスの達成度を数値で表さない．しかし本学習評

これらプロセス領域は，プロセス領域の名前が示す価手法では，各固有プラクティスに対して，Level 0

活動に関連した固有ゴールと固有プラクティスの集合〜3 の 4 段階で評価を行い，Level 0 を達成率 0 ％，である．固有ゴールとはプロセス領域の活動目的を達

Level 3 を達成率 100 ％として，各固有ゴールを評価成するためのもの，固有プラクティスは固有ゴールをしていき，それら固有ゴールの平均達成率によりプロ達成するための具体的な作業である．

セス領域の評価を決定する方法を提案する．これは評

図 4 は，成熟度レベル 2 のプロセス領域の 1 つで価者が CMMI の知識を持たない教員や学生であるこあるプロジェクト計画策定の固有ゴールと固有プラクとを踏まえ，ルーブリックでの評価を実現し，評価をティスの一覧化したものを例としてあげている．図 4

行いやすくするためである．また，固有ゴールごとにの例では，各固有プラクティスである作業を実施し，定量的に評価することにより，評価結果や改善策が明3 つの固有ゴールの達成不達成により，プロセス領域確に提示できると考えた．の能力度レベルを決定する．

3. 3 評価の流れ
3. 2 評価項目と評価基準

本評価手法の流れは次のとおりである．

CMMI は，非常に多くの専門知識や単語が含まれ1. PBL の中間時点もしくは，スプリントなどのている．学習評価を行う教員の負担を減らすことは区切り，最終評価を行う際に，チームまたはプロもちろんのこと，PBL 学習者である学生にも評価をジェクトごとに集合行ってもらうため，出来る限り CMMI の知識に頼ら

2. 本評価項目それぞれに対し，自分たちのプロセない評価手法であることが望ましい．そのため，評価

スはどうだったかを議論・ふりかえりを行いなが項目と評価基準を，ルーブリックを用いて示した．

ら，評価 (レベル判定) を行う

3. 全項目の評価が終了次第，数値およびプロセス

2. PBL の活動中 (スプリント終了時などの区切り改善アドバイスである評価結果が表示されるの良い時期) に本評価を実施することで，PBL の

4. 評価結果を自らのプロセスを評価・改善する一活動に活かすなどプロセス改善が出来ると思うか助とするほか，最終的な学習評価として用いる

3. 7 プロセス領域の中で，PBL の評価や改善を行う評価項目として，適切だと感じた項目はどれか4 評価に関する予備実験
4. 1 予備実験準備
関連する CMMI のプロセス領域の評価指標と評価基準を記載したルーブリックを作成した．図 5 は予備(複数選択可)
4. 7 プロセス領域の中で，PBL の評価や改善を行う評価項目として，不適切だと感じた項目はどれか (複数選択可)実験を行う為に，Excel ファイル形式で開発したルーブリックの一部を抜粋したものである．項目名・項目

4. 3 予備実験の結果

概要と Level 0〜3 の評価基準を用意した．項目概要

表 1 は，予備実験の評価結果を各プロセス領域のと Level 0 の間にある，Level 判定の項目に数値 (0〜達成率，全 7 プロセス領域の平均達成率をチーム A，3) を入力することで評価できるようになっている．各B ごとに比較したものである．

項目のレベルによって，プロセス領域を 0〜100 ％で評価することができ，7 プロセス領域の平均達成率も平均達成率では，チーム間で，16 ポイント以上の差が出る結果となった．

表示できるようにした．
表1

予備実験では，学部 3 年次実施の通年必修科目である PBL(科目名称：システム情報科学実習) の 1 つで予備実験結果

プロセス領域あり 2016 年度実施された，「ミライケータイプロジェ
クト 2016」に参加していた学生に協力を依頼した．
ミライケータイプロジェクト 2016 では，プロジェク
トを 3 チームに分割しており，それぞれをチーム A，チーム B，チーム C とする．
結果，チーム A の学生 3 名，チーム B の学生 2 名の計 5 名の協力が得られた．そのため，ここではチー
ム C は考えないものとする．

要件管理

達成率
チーム A

チーム B

86.67%

73.33%

プロジェクト計画策定

75.00%

76.19%

プロジェクトの監視と制御

100.00%63.33%

供給者合意管理73.33%

0.00%

測定と分析

42.86%

70.83%

プロセスと成果物の品質保証

58.33%

66.67%

構成管理

93.33%

66.67%

平均達成率

75.65%

59.57%

4. 2 予備実験方法
CMMI に基づいた評価手法 (項目) の有効性と，ルーブリックにより CMMI の知識が無くとも評価で4. 4 予備実験結果の考察きるかを検証するため，予備実験を行った．

基本的に，2 チームとも 7 プロセス領域全てのプ

本予備実験は，前節で述べた Excel ファイルを用いロセス評価を行うことができた．これはルーブリッて，本評価システムの評価の流れに従い，実験を行っクにより Level 0〜3 の評価基準が明確になっており，た．予備実験では，最後に予備実験の目的を確認する

CMMI の知識が無くともおおむね評価可能であるこため，評価項目やルーブリックの内容，評価結果などとがわかる．アンケートの 1 つ目の項目において，全に関するアンケートを追加で実施した．ての回答者が理解できたと回答したことが評価できアンケート項目は以下の 4 題である．

たことを裏付けている．しかし，一部のプロセス領域

1. CMMI に基づいた評価項目と判定基準をルーブにおいて，ルーブリック内の単語や評価基準が理解しリックを用いることで理解し，評価できたかづらい項目があったため，筆者の補足説明を行った部図5開発したルーブリック (一部抜粋)分があった．それらが良く理解できたと回答していな

クを採用することで CMMI の知識に頼らない評価手い理由だと推測する．

法を示すことができた．

チーム A，B が PBL を実施していた際，チーム B

今後は，予備実験結果やアンケート結果から評価項に比べチーム A の方が，開発の実績工数が多かった

目の見直し，ルーブリックの修正を行い，PBL のプことや，発生した問題数が少なかった．7 プロセス領

ロセスを定量的に評価し，改善プロセスを表示できる域の平均達成率に差が生じたのは，本学習評価手法のシステムの開発を行っていく．プロセス領域の追加検有効性が高いことを示している可能性が高い．

討や，評価者がその PBL に適した評価を行えるようアンケートの評価，PBL の定量的評価手法において，CMMI の項目を用いた評価を行うことに対し，に，自由にプロセス領域を選択できる手法の検討なども行っていく．

PBL にかなり活かせる・活かせる (改善や，より良くする助けとなる) と回答した人がほとんどだった．そ参 考 文 献のことから，CMMI の評価項目は PBL のプロセス[ 1 ] CMU/SEI: CMMI for Development, Version 1.3,Vol. 1.3(2010).
[ 2 ] CMU/SEI and V1.3 翻訳研究会, 日.: 開発のための CMMI 1.3 版, Vol. 1.3(2010).
[ 3 ] Terhi, K. and Hammouda Imed, Amine, C. M.:
Teaching collaborative software development: A
case study, (2012), pp. 1165–1174.
[ 4 ] 井垣宏, 福安直樹, 佐伯幸郎, 本真佑, 楠本真二: アジャイルソフトウェア開発教育のためのチケットシステ
ムを用いたプロジェクト定量的評価手法の提案, 情報処
理学会論文誌, Vol. 56, No. 2(2015), pp. 701–713.
[ 5 ] 河西理恵, 丸山仁司: 教員アンケート調査からみた理学療法学教育における PBL テュートリアルの現状と課題, No. 25(5)(2010), pp. 747–754.
[ 6 ] 経済産業省商務情報政策局情報処理振興課: 情報シ
ステムに係る政府調達の見直しについて, (2001).
[ 7 ] 原令奈, 八重樫理人．橋浦弘明, 古宮誠一: PBL 参加
者の成績の評価方法−課題達成への貢献度を反映した，参加者ごとに異なる成績を導く方法の提案−, 研究報告改善を行う有効な手段である見通しを確認することができたと考えられる．

5 おわりに
本論文では，PBL の学習評価を定量的に算出できる手法について検討した．PBL の “学び” を評価するために，プロセスに着目し，プロセスを定量的に評価・改善するモデルである，CMMI を用いた手法を提案した．
予備実験の結果から，本学習評価手法の有効性の見通しを確認することが出来た．また，学習者・評価者 (教員) の双方が評価できる実現性を，ルーブリッコンピュータと教育（CE）, Vol. 2010, No. 19(2010),
pp. 1–8.
[ 8 ] 小方博之: プロジェクト型学習における相互評価とその妥当性の検証, 日本ロボット学会誌, Vol. 31,
No. 2(2013), pp. 140–146.
[ 9 ] 青木秀幸, 鎌田元弘, 西崎泰, 山上登久: 建築まちづくり実践教育におけるルーブリックを活用した学習
評価手法の有効性, 工学教育, Vol. 59, No. 2(2011),
pp. 58–65.

[10] 大隅智春, 鴻巣努, 関哲朗, 新井浩志, 西尾雅年: プ
ロジェクトベース教育の効果に関する考察, プロジェ
クトマネジメント学科研究発表大会予稿集, (1999),
pp. 179–180.
[11] 文部科学省: 平成 29 年度大学教育再生戦略推進
費「成長分野を支える情報技術人材の育成拠点の形成（enPiT）」公募要領, (2017), pp. 2.
[12] 沖裕貴: 大学におけるルーブリック評価導入の実際,
立命館高等教育研究, Vol. 14(2014), pp. 71–90.