日本ソフトウェア科学会第 38 回大会 (2021 年度) 講演論文集

CMMI に基づく PBL における学びの質向上のための定量的評価手法の提案
齊藤 大樹伊藤 恵

プロジェクト型学習 (PBL) は，社会・仕事で求められる資質や能力の育成を目的に高等教育機関を始め多くの場で採用されている．一方で，PBL の実践において，プロジェクト実行中の記録が少ないため，教員による正確なフィードバックや，学生によるプロセス評価が難しいケースがある．また，学生が自己評価をした際も，それは教員による評価と比べると甘めで，無相関な評価をしてしまうケースがある．これらにより，学生が PBL の中で経験した学びに気づきにくい問題がある．日戸らによる研究では，学生がプロジェクトの状況を監査・適応することが困難であるという課題を解決するため，学生が PBL の学びを定量的に評価し，プロセス改善につなげることを可能にする，能力成熟度モデル統合 (CMMI) に基づいた評価指標を提案した．日戸らの研究では，学生自身がプロジェクトの状態を検査でき，成熟度を高めていくことが出来たが，学生による自己評価が客観性が低く，妥当ではない評価をしてしまう可能性があるといった課題が残った．以上から，本研究では CMMI に基づいた評価指標を用いたうえで，学生による自己評価の他に，同様の評価指標を用いて教員が評価行い，自己評価とのずれを認識することでより自己評価の客観性や妥当性を高め，学びの質を向上させることを図る評価手法を提案する．

Project Based Learning is adopted in many educational institutions such as higher for developing the quality
and ability required in society and working. On the other hand, in the practice of PBL, there are cases
where it is diﬃcult for teachers to give feedback to students accuracy, and students to evaluate the processes because there are few records such as documents during run the project. In addition, when students
make a self-evaluation, there are cases where self-evaluation is looser and uncorrelated than their teacher’sevaluation. Due to these cases, there are problems that it is diﬃcult for students to notice the learningthat they have experienced in PBL. The study by Hinoto et al. proposed an evaluation index based on
Capability Maturity Model Integration(CMMI) that allows students to quantitatively evaluate learning thatthey have experienced and improve the process in order to solve the problem that it is diﬃcult for students
to audit and adapt the status of the project. In the above study, students were able to inspect the statusof the project and improve maturity of project by themselves, but there remained the problem that theself-evaluation by the students lacked objectivity and there was a possibility that the evaluation would beinappropriate. From the above, in this study, after using the evaluation index based on CMMI, in addition
to the self-evaluation by the students, the teachers evaluate using the same evaluation index that the student
used for self-evaluation. We propose an evaluation method that aims to improve the objectivity and validityof self-evaluation and improve the quality of learning by recognizing the diﬀerence between self-evaluationand evaluation by teachers.

1 はじめに文部科学省は，情報技術を高度に活用して，社会のA Proposal of Quantitative Learning Evaluation
Method Based on CMMI for Improving the Quality of Learning on PBL.
Taiki Saitou, 公立はこだて未来大学システム情報科学部情報アーキテクチャ学科, School of System Information
Science, Future University Hakodate.
Kei Ito, 公 立 は こ だ て 未 来 大 学, Future UniversityHakodate.

具体的な課題を解決することのできる人材の育成は日本の極めて重要な課題であるとしている．そのため，情報技術を高度に活用して社会の具体的な課題を解決できる人材の育成機能の強化のため, 実践教育ネットワーク形成事業 (enPiT) による実践的な教育が推進されてきた [7]．2020 年の enPiT 報告書にも，多くの大学でプロジェクト型学習 (PBL) が実施されている増減には活動が活発になること以外にも，メッセージと書かれている [8]．しかし，実際に大学での PBL で間で意思疎通が出来ず，不必要なメッセージが増長しは，学習よりも成果を求めすぎるあまり，学びを振りてしまうなどの場合もあるため，一概に自己評価の信返られず活動主義に陥ってしまったり [4]，学習者のプ頼性を保証することはできないと考えた．そこで本

ロジェクトや課題解決などの経験が少ないことから，研究では，CMMI に基づいた評価手法を用いて，自プロジェクトを上手く進められないことがあった [5]．

己評価と同様の評価指標を用いて教員が評価を行い，そこで本研究では，プロジェクトで行われるプロセ自己評価とのズレを認識することでより客観性や妥ス毎に定量的に評価することにより，プロセス毎に学当性を高める方法を提案したいと考えた．

びを振り返ることができ，評価後に軌道修正すること

斎藤らの研究 [9] では，歯学系の PBL において，教によりプロジェクトの成功率を高めることができると員による評価と学生による自己評価を比べると，学生考えた．著者らが所属する大学では，学部 3 年通年の自己評価の方がかなり甘めで，無相関な評価をして必修 PBL 科目である「システム情報科学実習」といしまうことを指摘している．これを解決するために，うシステム開発系の PBL を行う講義があるため [6]，歯学系の PBL の中で自己評価に加え教員による評価

本研究ではこの講義での PBL を研究対象とする．

も行い，「教員による評価とのズレ」を認識させ，評価このような取り組みは他の研究でもされてきた．例に関わる概念の理解や自己評価能力を高める研究をえば，日戸らの研究 [3] では，チーム開発やマネジメ行った．結果，自己評価が教員によると比べて辛くなント経験が少ない学生でもプロジェクトの検査を可るなど変化はあったものの，教員による評価と一致す能にするため，プロジェクトの各プロセスを評価し改るようになったわけではなかった．しかし，ズレに対善する能力度成熟モデル統合 (CMMI) に着目し，学してより分析的な考察が出来ているとの記述があり，生が自身のプロセスを自己評価することにより，プロ振り返りの活動を通じて自己評価能力の向上が見受

ジェクトの状況を検査，適応や形成的評価に応用可能けられた．教員の評価は絶対的でないことを加味するな手法を目指した．また，日戸らの研究 [2] では，自と，評価のズレを無くすことよりも自己評価能力の向己評価のデータをより客観的かつ詳細に分析するた上が重要であると考える．この研究では課題として，めに，コミュニケーションツールのログ情報の可視化

特定の歯学系の PBL の授業に置けるパフォーマンスを行った．例えば，研究の実験対象となったプロジェ評価の実践を事例としたものであり，この研究によクトで利用されていた，Slack や Git 等のツールのロる結果の再現や一般化可能性には限度があることと，グ情報を可視化した．これらの研究では，CMMI にこの研究での教員による評価は数値のみであったが，基づく評価手法により，学生自身がプロジェクトの状評価理由などのコメントを挙げた方が振り返りがよ態を検査でき，成熟度を高めていくことが出来た．まり深まり自己評価能力の形成に有効である可能性がた，コミュニケーションツールを可視化することにあることを挙げている．

よって，評価データや報告書からはわからない学生に筆者らが所属する大学では，システム開発によるよるアセスメント効果についての分析が可能である

課題解決を目的とする PBL を実施する講義があるたことがわかった．しかし，コミュニケーションツール

め，教員による評価と学生による評価のズレに関すの可視化には導入にコストがかかり，得られたデータる研究が歯学系の PBL 以外でも有効であるかを検証による分析も，CMMI に基づいた評価手法の信頼性する．

を保証するには十分ではないと考えた．例えば，日戸以上の背景から，本研究では開発系の PBL に焦点らの研究では，Slack のメッセージ数の増加と，各プを置き，CMMI に基づいた評価指標より，学生によロセス領域の自己評価値の向上に相関があったことかる自己評価と教員による評価を行う．上述のように，ら，コミュニケーションツールの分析は学生の自己評自己評価をするにおいて，教員による評価とのズレを価値を客観的に分析できるとしたが，メッセージ数の認識することでズレに対する分析的な考察を促し，自己評価能力を向上させることを目的とする．プロジェ
クトに対する自己評価能力の向上により，プロジェク
トでの軌道修正がより正確になることを目指す．本表1

区分

プロセス領域
組織プロセス重視

論文では以下に，第 2 章では CMMI についての説明

組織プロセス定義を行い，第 3 章では提案する手法や評価項目について述べる．第 4 章では想定している実験を述べ，第 5

CMMI プロセス領域

プロセス管理組織トレーニング
組織プロセス実績

章ではまとめと今後の展望を述べる．

組織改革と展開
プロジェクト計画策定

2 CMMI について

プロジェクトの監視と制御

CMMI も含まれる，CMM(能力成熟度モデル) とは，現実世界の単純化された表現であり，CMM 群は組織におけるプロセス改善に焦点を合わせるために供給差合意管理
プロジェクト管理

要件管理

カーネギーメロン大学のソフトウェアエンジニアリ

リスク管理

ング研究所 (SEI) が定義したものである．CMMI は，統合プロジェクト管理

複数の CMM を使用することの問題を解決するため，定量的プロジェクト管理一連のモデルを統合するために開発された．CMMI

要件開発のモデル群は産業界，政府，および SEI からのメンバを含む成果物チームによって開発された，組織がプエンジニア
リング

技術解検証ロセスを改善することに役立つベストプラクティス妥当性確認を集めたものである．その中でも「開発するための成果物統合CMMI(CMMI-DEV)」は，製品とサービスに適用さ構成管理れる開発の活動を取り上げるベストプラクティスか測定と分析らなる．CMMI-DEV モデルは，開発組織において，支援プロセスと成果物の品質保証

CMMI のベストプラクティスの適用に対する手引き決定分析と解決を提供する．モデルの中のベストプラクティスは，顧原因分析と解決

客および最終利用者のニーズを満たすための高品質の製品とサービスを開発する活動に焦点を合わせてい2. 2 固有ゴールと固有プラクティス

る [10]．本研究では，開発プロジェクトについて対象

各プロセス領域には固有ゴールと固有プラクティスとしているため，CMMI-DEV について取り上げる．

が存在する．それぞれの関係性を図 1 に示す．固有

以下，CMMI-DEV について述べていく．

ゴールは，そのプロセス領域を満たすために存在しな

2. 1 プロセス領域
プロセス領域とは，ある領域における関連するプラクティスのひとまとまりであり，CMMI-DEV-v1.3
では，22 個のプロセス領域が含まれている [10]．これ
らのプロセス領域は，「プロセス管理」，「プロジェクト管理」，「エンジニアリング」，「支援」の 4 つの区分に分けられている．各プロセス領域と対応する区分は，
表 1 に示す．

図1

固有ゴールと固有プラクティス

ければならない独特の特性を記述していて，評定にお表2いて使用され，プロセス領域が満たされているかの能力度レベルおよび成熟度レベル

能力度レベル

成熟度レベルレベル(連続表現)(段階表現)

レベル 0

不完全なレベル 1

実施された

初期

有プラクティスの達成が固有ゴールの評価に，各固有レベル 2

管理された

管理されたゴールの評価がプロセス領域の評価につながる．

レベル 3

定義された

判断を助ける．固有プラクティスは，関連づけられた固有ゴールを達成するにあたって，重要であるとみなされる活動の記述であり，固有ゴールの達成につながることが期待される活動が記述されている [10]．各固

2. 3 表現形式

定義された

レベル 4

定量的に管理されたレベル 5

最適化しているプロセス改善におけるアプローチとして次の 2 つの「表現形式」がある．1 つ目は連続表現 (能力度レる．連続表現は，改善するべき特定のプロセス領域をベル) であり，2 つ目は段階表現 (成熟度レベル) であ選択することと，そのプロセス領域に対して要望される能力度レベルを選択することを重んじている．能力度レベルは 0 ∼ 3 の 4 段階で評価される．段階表現は，成熟度レベルの中で改善するための複数のプロセス領域を選択することを重んじている．成熟度レベルは 1 ∼ 5 の 5 段階で評価される．図 2，3 はそれぞれの表現形式でプロセス領域がどのように使用されているかを示す．表 2 はそれぞれのレベルの評価基準を示す．両方の表現形式は構造こそ違うが，本質的に同一の内容を提供している [10]．ここで留意すべきこととして，常に再考の評価点を目指すのではなく，プロジェクトを円滑に進めるためにどの程度のレベルが必要なのかを選択する必要がある．そのため，評価時にLv.1 であるプロセス領域があった場合でも，Lv.2 を
図2連続表現でのプロセス領域目指すか，そのままでいいかを選択する必要がある．
本研究では，各プロセスでの振り返りや改善を促すことを目指していることと，PBL に適したプロセス領域を選択し評価を行うため，連続表現を用いる．

3 本研究の提案手法
3. 1 選択した対象領域
本研究では，PBL での学びを振り返ることを目的としているため，すでにプロジェクトで実行された活動についてを評価対象としている．そのため，現在の進行状況に応じてのプロセス領域を選択をする必要があると考えた．また，CMMI にはプロジェクトを図3段階表現でのプロセス領域抱える組織目線での活動など，幅広い活動をカバーし

図4

表3

作成したルーブリック (一部抜粋)

選択した対象領域

区分

プロセス領域
プロジェクトの計画策定

プロジェクト管理

プロジェクトの監視と制御
リスク管理

支援

表4

プロセスと成果物の品質保証

各領域の固有ゴールと固有プラクティス数

プロセス領域

固有固有ゴール数

プラクティス数

310

プロジェクトの計画策定

リスク管理

目標及び達成度一覧表

す．選定理由は以下のとおりである．
プロジェクト計画策定

スケジュールや作業成果物などを見積もりなど，PBL での重要なプロジェ

プロジェクトの監視と制御

図5

2

9

クト計画の領域であるため
プロジェクトの監視と制御

37

適切なタイミングで活動を振り返り，プロジェクトの進め方についての軌道修正を可能にするためプロセスと成果物の品質保証

24

リスク管理

プロジェクト初期から活動を行う領域であり，重大なリスクについて適切な対処を行うためているため，PBL に置き換えた際に適さないプロセ

プロセスと成果物の品質保証PBL のプロセスス領域も存在する．学生が自己評価をする際の負担をや作業成果物を客観的に評価することを促し，質軽減するためにも，PBL での重要な活動に焦点を置の高い成果物を作成するためき，4 つのプロセス領域を選択した．また，選択した

日戸らの研究では，プロジェクト計画策定，プロプロセス領域の中にも PBL に適さないと考える固有

ジェクトの監視と制御，プロセスの成果物の品質保証

プラクティスが存在したため，評価対象から外していの他に，日戸らが独自に作成したアジャイル開発手法

る．表 3 は，選択したプロセス領域とその区分を示のうちの一つである，スクラムに焦点を置いたプロセス領域や，「検証」，「測定と分析」のプロセス領域を照らして進捗管理を行っている」とあるが，Lv.2 で選択していたが，本研究では，開発の手法に拘らず多は，Lv.1 に加えて，進捗管理の方法としてメンバー

くの開発系 PBL において評価できる手法を提案したのスキルの獲得や作業成果物など，詳細な点まで進捗いため，スクラムに関する独自領域を除いた．また，管理を行うとし，詳細な点まで進捗管理を行うこと「検証」や「測定と分析」に含まれる固有プラクティにより改善項目が明らかになり，より有意義な進捗管スは，次節で紹介する本研究で作成したルーブリック理となる指針を示している．さらに，Lv.3 では，進による評価指標のうち，Lv.3 の「予め定義され，手捗管理の手順として実績値に基づいて監視し，著し順に沿って実施，制御したこと」に含まれている部分

い逸脱には文書化して管理者に報告するとしている．

が多くあったため，学習者が評価をする際の負担を減

これにより進捗の指標が統一され，客観的な視点かららすため，これらのプロセス領域を評価対象から外進捗の監視をすることができ，進捗の遅れを管理者にした．

報告することで，直ちに適切な対応を求めることができる．このように，より上位のレベルの達成に向けて

3. 2 固有プラクティスに対応したルーブリック行動することが，プロセスの改善につながるように

2. 2 節で解説したように，各プロセス領域には，固なっている．

有ゴールと固有プラクティスが存在する．選択したプ

また，2. 3 節で述べたように，目標とする達成レベロセス領域に対応する固有ゴールと固有プラクティス

ルを設定するために，自己評価値とは別に目標値の入の個数を表 4 に示す．

力欄を作成した．加えて CMMI でも推奨しているよ

日戸らの研究と同じように，より達成度合いを明うに，各プロセス領域の自己評価値 (達成度) と，目確にし，学生や教員が定量的かつ明確に評価を行え標値とを比較する図 (目標及び達成度一覧表) を出し，るように，各固有プラクティスに対応したルーブリッ

現状について視覚化することにより，プロセスの改善

クを作成した．ルーブリックとは，各評価項目の達成につながることを期待している．

度を，表を用いて測定するものである．ルーブリック

目標及び達成度一覧表の例を図 5 に示す．

は可能な限り PBL に沿ったうえ，分かりやすい表現を用い，CMMI に基づいて作成した．

4 評価実験

ルーブリックは，Lv.0∼Lv.3 の 4 段階で作成した．

本研究では，提案する評価手法による学びの質の日戸らの研究では，Lv.1 は測定データが明確，Lv.2向上を実証するために，提案手法の評価実験を行う．

はデータの利用目的が明確，Lv.3 は測定データと利本章では，今後実験を行う上で想定している対象の用目的が明確としてルーブリックを作成していたが，PBL や，実験方法，分析方法について示す．

本研究では CMMI-Dev の能力度レベルの評価点に準拠して，各 Lv の達成基準を Lv.0 は実施していない，

4. 1 対象 PBL

Lv.1 は実施されたこと，Lv.2 は有効活用したこと，著者らが所属する大学の学部 3 年通年必修 PBL 科

Lv.3 は予め定義され，手順に沿って実施，制御した目である「システム情報科学実習」では，毎年約 20ことを基準に評価項目を作成した．作成したルーブ

プロジェクトが実施されている [6]．すべてのプロジェ

リックの一部を図 4 に示す．

クトでシステム開発をしているわけではないが，本作成したルーブリックでは学習者が自己評価をした研究ではそのうちの 1 つの開発プロジェクトを対象

後に今後の改善方法を学習できるように，上位のレベとする．このプロジェクトは 15 名の学部 3 年生が所

ルは下位レベルの達成基準を満たしたうえで，さら属し，5 人ずつ 3 組のチームでそれぞれが異なる課題にプロセスの改善を目指すうえで必要な行動を記述に取り組み，システム開発による解決に取り組んでしている．例えば，図 4 の固有プラクティスの 1 ついる．また，このプロジェクトでは開発手法としてア目 (SP1.1) の行を見ると，Lv.1 は「スケジュールにジャイル開発手法を採用してシステム開発を行う．

4. 2 実験方法

レを認識することによって自己評価能力を高め，プロ対象とするプロジェクトでは，開発プロダクトの方ジェクトのプロセスを改善することを目指している．

向性がおおよそ決まっていて，詳細を今後決めていく

今後は，第 4 章で述べたように対象とするプロジェ段階であるため，3. 1 節で示したように，エンジニアクトで実験を行い実験結果を分析していく．加えて，リングに関するプロセス領域を除いた領域を評価対実験の際のコメントや対象プロジェクトの進捗に応じ象とする．評価の手順は以下のとおりである．て評価項目を更新し，より良い評価手法の提案を目指

1. 作成したルーブリックが記載された評価シーしていく．

トに学生メンバーがそれぞれ評価指標に基づきまた，本研究では，CMMI-Dev-ver1.3 に基づいLv.0∼Lv.3 から選択し，達成値と目標値を記載て評価手法を提案したが，最新のバージョンであるする．

CMMI-ver2.0 [1] については確認していなかったため，

2. メンバー全員が全ての領域を評価後，教員が各こちらの導入も検討していく．

成果物や報告書資料に基づいて達成値のみを記載する．

3. 各メンバーは教員からの評価値をもとに再度評価を見直す．この時，教員からの評価に疑問等があった場合は教員から評価理由を確認する．

4. 各メンバーは評価についての振り返りを記述する．
また，上記手順を繰り返し行うことで自己評価能力を高めることを狙うため，評価時期を複数設定する．
今回はアジャイル開発手法を採用したプロジェクトを対象としているので，各リリース時期に繰り返し評価する．ウォーターフォール開発手法を採用する場合は，要件定義や設計などの各工程終了時に評価することが望ましいと考える．

4. 3 分析方法
評価結果から分析し，プロジェクト活動の改善につなげられたかどうかを調べるために，各評価時期の評価値の推移を調べる．
また，学生の自己評価能力が高められたかを調べるために，教員との評価のズレとの差の平均値や標準偏差を計算し，推移を調べる．加えて，評価に関する振り返りの記述に対してどのような変化があるかをテキストマイニングを通して調べる．

5 まとめと今後の課題
本研究は開発系 PBL において，CMMI に基づく評価手法を用いて学生と教員が評価を行い，評価のズ

参 考 文 献[ 1 ] ISACA: CMMI V2.0 の紹介, https://cmmiinstitute.
com/cmmi-5/ (2021 年 8 月 6 日アクセス).
[ 2 ] 日戸直紘, 伊藤恵, 大場みち子: アジャイルソフト
ウェア開発 PBL における形成的アセスメントの効果測定, 日本ソフトウェア科学会第 36 回大会 (2019 年度) 講演論文集, 日本ソフトウェア科学会, 2019, pp. 35–44.
[ 3 ] 日戸直紘, 伊藤恵, 大場みち子: アジャイルソフト
ウェア開発 PBL のための CMMI に基づいた定量的学
習評価手法とその効果, 第 5 回実践的 IT 教育シンポ
ジウム (rePiT2019) 論文集, 日本ソフトウェア科学会,
2019, pp. 31–40.
[ 4 ] 小山理子, 松村佳世: プロジェクト学習におけるリ
フレクションと学習成果の関連の検討−短期大学のプ
ロジェクト学習におけるリフレクションシートの分析から−, 京都光華女子大学京都光華女子大学短期大学部研究紀要, 2017, pp. 253.
[ 5 ] 松 田 直 浩, 森 幹 彦, 喜 多 一: プ ロ ジェク ト 型
学 習 (PBL) に お け る WBS の 活 用 と そ の 導 入 手
法 の 提 案, Journal of the International Association of Project ＆ Program Management, Vol. 2,No. 1(2007), pp. 129–142.
[ 6 ] 公立はこだて未来大学: プロジェクト学習, https://www.fun.ac.jp/project-learning (2021 年 8 月 6日アクセス).
[ 7 ] 文部科学省: 平成２９年度大学教育再生戦略推進
費成長分野を支える情報技術人材の育成拠点の形成（enPiT）, 公募要領, 文部科学省, 2017, pp. 2.
[ 8 ] 文部科学省: enPiT 成果報告書 2020, 年次報告,2021.
[ 9 ] 斎藤有吾, 小野和宏, 松下佳代: ルーブリックを活用した学生と教員の評価のズレに関する学生の振り返りの分析 - PBL のパフォーマンス評価における学生の自己評価の変容に焦点を当てて -, 大学教育学会誌, Vol. 第39 巻.
[10] CMU/SEI: 開発のための CMMI® 1.3 版, https://resources.sei.cmu.edu/library/asset-view.cfm?
assetid=28776 (2021 年 8 月 6 日アクセス).