お茶の水女子大学 公開 FD セミナー 2015
教育の内部質保証 : その基盤づくりと実際 ̶ 教学 IR をベースにした仕組みの構築と運用
2015年5月15日
13:40-15:00

学生への学修行動調査と学生からの授業アンケート、この2つの調査は教学IRの文脈においてその目的と効用があらたな次元に入り、教育の内部質保証を支える双軸の教学 IR 調査がひらく基幹的営みとして活きるようになってきました。

自然体での教育の内部質保証

この変容はいかにもたらされたか。
そのサステイナブルな進化の条件となった直接経費ゼロ・寡少実務での実施、それでいて従前にない効能発揮をもたらす仕組みの実際の姿と今後に向けたビジョンを提示します。

半田智久（お茶の水女子大学）

なぜ?
大学全入化
大学・教育の質保証

学修行動調査FDより確かな方法への改善①
適切に学び修められているか

大学広報の戦略ツール④②

授業アンケート

継時モニター

的確な learning analytics による入口

出口

内部質保証ツール

教学比較IR・教学の実態把握
・学修環境/支援対応公開

独善的自己点検・評価を回避
benchmarking check

事実データの強みフィードバック

学生の学修動機づけを発揚③

実施意義の高さ

example 1

■ 履修単位数制限(CAP)に拠らない単位制度の実質化を実現
学生による主体的な学修行動に単位の実質化を期待し、促す■ 履修単位数制限(CAP)に拠らない単位制度の実質化
学生による主体的な学修行動に単位の実質化を期待し、促す

そのサポートとしてそのサポートとして① GPAの特性周知（不合格の組入）によって不必要に多い単位履修で学修時間過多になりGPAに悪影響が及ぶ懸念を学生に周知① GPAの特性周知（不合格の組入）によって不必要に多い単位履修で学修時間過多になりGPAに悪影響が及ぶ懸念を学生に周知② 学修成果情報システムalaginによる適切な単位履修（制度の実質化）のガイドラインの提示と個々の学生の履修状況の可視化② 学修成果情報システムalaginによる適切な単位履修（制度の実質化）のガイドラインの提示と個々の学生の履修状況の可視化

検証イン

質の実化ガ

ライド

① 事実データにおいて履修単位数の逓減をモニター

by non cap

制度単位■ 比較IR

外部評価対応と内部質保証の仕組みの確立② 学修行動調査により比較IRにおいて単位制度の実質化が事実上、達成できていることを確認

必要十分な授業時間外学修時間 確保の確認

質問「授業時間外に授業課題や準備学修、復習等をしている時間は週あたり何時間程度ですか?」
percent50

2013年1年生調査

お茶の水女子大学 capなし 201437.5

お茶の水女子大学 capなし
北海道大学（女子のみ） capあり

同志社大学等 capあり

文・教・経で年42、理・工で46

25

玉川大で年32
同志社で文・社で48、法で40
関西学院で48
12.5

0
全然ない

1時間未満

1-2時間

その他6大

3-5時間

北大女子・医除6-10時間お茶大11-15時間

16-20時間

お茶大2014

20時間以上いずれも対象は1年生

Kolmogorov-Smirnov test 2013
お茶大1年生 n1=239
お茶大1年生 n1=239他6大学1年生 n2=9097
Dmax = 0.305958146117415
p<.001****significant
北大1年生・女子（医・獣医除く）n2=220
Dmax = 0.160308101939901
p<.01 border

的確なlearning analyticsの適用

実施意義の高さ

example 2的確なlearning analyticsの適用

GPAが高いということは、どういうことなのか
学修行動調査でGPA上位群下位群の間にあらわれた有意差

上位25% μ3.17

下位25% μ2.1780%「提出期限までに授業課題を完成させる」「授業に欠席しない」「遅刻しない」という3点において明白に異なる自己評価30を示した。
20

これらは真面目な勤務態度、納期を守る姿勢という職業人としての素養を証している。

100
まったくしなかった あまりしなかった

Dmax = 0.4181

ひんぱんにした

p<.001

2.6

2013-14年度
1+3年生
2.42.2
週15時間までは授業時間外学習の時間数が長いという学生ほど、比例的により高い学修成果がもたらされる事実が認められた。
2

1
1
全然ない

修学期間をつうじた学修成果に基づく人材証明

2
2
1時間未満

3
3
1〜2時間

4
4
3〜5時間

5
5
6〜10時間6
6
11〜15時間

7
7
16〜20時間

88
20時間以上

1週間あたりの授業時間外学習時間

学年間で反応傾向に統計的に有意差が認められた設問より2年間の教学成果のあらわれ
70

分析力や問題解決能力
60
60.0

1年生

30
30
20
20

PERCENT

3年生

40
40

1010example 350
50.0

3年生

40
40.0
30
30.0

1年生

20
20.0
10
10.0

00
大きく減った

減った

変化なし

増えた

n1=237 n2=200 Dmax = 0.249135021097046[2014] 0.221302127237566

大きく増えたp<.001 ****significant

301 335 p<.001****significant

0.00
大きく減った 減った

60
60

変化なし

増えた 大きく増えた

n1=238 n2=200 Dmax = 0.211764705882353[2014] 0.239273927392739

p<.001 ****significant

303 336 p<.001****significant

文章表現の能力

他の人と協力して物事を遂行する能力
50.0

5045402014年

7070.050
50

実施意義の高さ

2013年

批判的に考える能力

6060

PERCENTn1=110 n2=110****significant

ときどきした2.8

各選択肢を回答した学生のGPA平均値

GPA下位PERCENTPERCENT40

3

1年生、3年生共にGPA上位群は下位群に比較して、授業に遅刻した
50
GPA上位functional■ 授業時間外の学習時間とGPAの関係分析

3年生40.030.0

1年生

3030

3年生
1年生

20.0

20

15

10.0

1000
大きく減った 減った

0.0

変化なし

増えた 大きく増えた

n1=239 n2=201 Dmax = 0.205270717541997[2014] 0.157045957918051

p<.001 ****significant

301 336 p<.001****significant

大きく減った 減った[2014] 0.193113639722181

変化なし

増えた 大きく増えた

303 335 p<.001****significant

学年間で反応傾向に統計的に有意差が認められた設問

IR連携事業で得た課題

2年間の修学を経て明白に劣ってしまったという自己評価① 調査の分析結果が集計値の相互比較に留まっていては不十2013年

英語力自己評価 書く力
50.0

1年生

入学時

3年生分で、ときに実態誤認を誘導する。実相についての的確な2014年

分析が不可欠。

英語力自己評価

40.0PERCENT

1年生
聞く

1年生入学時

30.0
30.0

読む
話す
書く

3年生
20.0
20.0

表現する
10.0
10.0

0.0
0.0

A1
A1

A2

B1

B2

C1

C2

より高い評価の方向

1年生×3年生 n1=234 n2=199 Dmax = 0.216466950135292

p<.001 ****significant

入学時×1年生

n1=238 n2=234 Dmax = 0.0524312289018172

n.s.

入学時×3年生

n1=238 n2=199 Dmax = 0.203538701912926

p<.001 ****significant

0.200308166409861 295

330 p<.001****significant

IR連携事業で得た課題

検証[問7A] 授業経験：実験、実習、フィールドワークなどを実施し、学生が体験的に学ぶ
2014

いわゆる典型的アクティブ・ラーニングのひとつ

北海道大学50.0

文学部

655

教育学部

183

法学部

697

経済学部

本学のカリキュラムには体験的な学修量に不足がある??

北海道大学
40.0

お茶の水女子大学

30.0

631

理学部

985

医学部

1164

歯学部

文系

25%

261

薬学部

320

工学部

2253

農学部

711

獣医学部

207

水産学部

658

75%
理系

調査全大学
20.0

お茶の水女子大学

10.0

文教育学部

927

理学部

556

生活科学部

577

理系

41%
59%

0.0

まったくなかった

あまりなかった

ときどきあった

ひんぱんにあった

文系

大学間相互比較には的確なlearning analyticsの適用が不可欠

検証[問7A] 授業経験：実験、実習、フィールドワークなどを実施し、学生が体験的に学ぶ
北大のこの設問への結果は理系カリキュラムの典型的な結果を北海道大学
素直に反映したものと読みとれる
北大の文理割合に合わせた
お茶の水女子大学

50.0

北海道大学

40.0

文学部

655

教育学部

183

法学部

697

経済学部

985

医学部

1164

② 調査設問の精緻化・精選

文系

25%

631

理学部
歯学部

30.0

2014

IR連携事業で得た課題

261

薬学部

320

工学部

2253

農学部

711

獣医学部

207

水産学部

658

75%
理系

調査全大学
20.0

文系

お茶の水女子大学

10.0

文教育学部

927

理学部

556

生活科学部

577

25%

北大の理系・文系割合に等しくなるよう回答者を無作為抽出

75%

0.0

まったくなかった

あまりなかった

ときどきあった

ひんぱんにあった

理系

IR連携事業で得た課題

最新のICT : web technologyを適用③ 調査方法を改め大幅なコスト削減と分析を含めた実施
時間の短縮、負荷の軽減が必要

内部質保証の基盤にする上で安定的かつ自律性のある実施継続性能を必要とするため労務/時間/経費におけるコストフリーの実現
最新のICT : web technologyを適用

最新のICT : web technologyを適用得たノウハウを活かして最新

調査期間2014年10月17日〜11月12日

回収率70%

授業アンケート

実質3週間

そのノウハウを捕捉

授業アンケートが抱えていた課題① 実施開始から相当年を経て実施作業はルーチン化したが、反面マンネリも進み、形骸化が免れない状況

抜本的改訂
目的の見直しFDに加えて教育の内部質保証を支える基幹システムへ

内容の見直し学修行動調査との切り分けと、これまでの経験にもとづくコンパクト化

方法の見直し質問紙配布・回収・読み取りから、webベースの電子化とプロセスの自動化

活用の見直し個々の教員へのフィードバックから、データベース・アクセスによる経年比較や公開対応

授業アンケートが抱えていた課題②

費用対効果を考えると効能が見えにくい業務

効果は事前に測り得ないが、この問題は確実に高められる

効果
費用

授業アンケートが抱えていた課題②

費用対効果を考えると効能が見えにくい業務

改善

反応抽出法

効果

リニア・ルーブリック手法

費用

配信・回収

ルーブリックはよいが、いまひとつ…
デジタル的に割り切れないもどかしさ

チームミーティングへの貢献度

そういうこともあるが、いつもか、たいていか、たいていは情報共有のときどきか、ときにはみの場合は ?

か、一度でもか ?

代替案や提案の長所を明確にすることでチームを前進させることに役立っている

チ ーム の 考 えを ま とめるために解決の代替案や方法を提起

新たな提案をしてチー
ムワークを前進させている

考え方は共有するも、チームワークを前進させてはいない

マニュアル的な合理性はあるが、やはりアメリカンTEAMWORK VALUE RUBRIC
for more information, please contact value@aacu.org

Definition
Teamwork is behaviors under the control of individual team members (effort they put into team tasks, their manner of interacting with others on team, and the quantity and quality of contributions they make to team discussions.)
Evaluators are encouraged to assign a zero to any work sample or collection of work that does not meet benchmark (cell one) level performance.
Capstone
4Milestones
3

2

Benchmark1

Contributes to Team Meetings

Helps the team move forward by articulating
the merits of alternative ideas or proposals.

Offers alternative solutions or courses of action Offers new suggestions to advance the work of Shares ideas but does not advance the work ofthat build on the ideas of others.
the group.
the group.

Facilitates the Contributions of Team
Members

Engages team members in ways that facilitate
their contributions to meetings by bothconstructively building upon or synthesizing
the contributions of others as well as noticing
when someone is not participating and inviting
them to engage.

Engages team members in ways that facilitate
their contributions to meetings byconstructively building upon or synthesizing
the contributions of others.

Engages team members in ways that facilitate
their contributions to meetings by restating theviews of other team members and/or asking
questions for clarification.

Engages team members by taking turns andlistening to others without interrupting.

Individual Contributions Outside of Team
Meetings

Completes all assigned tasks by deadline;
work accomplished is thorough,comprehensive, and advances the project.
Proactively helps other team members
complete their assigned tasks to a similar levelof excellence.

Completes all assigned tasks by deadline;
work accomplished is thorough,comprehensive, and advances the project.

Completes all assigned tasks by deadline;
work accomplished advances the project.

Completes all assigned tasks by deadline.

Fosters Constructive Team Climate

Supports a constructive team climate by doing Supports a constructive team climate by
Supports a constructive team climate by
Supports a constructive team climate by doing
all of the following:
doing any three of the following:
doing any two of the following:
any one of the following:• Treats team members respectfully by• Treats team members respectfully by• Treats team members respectfully by• Treats team members respectfully by
being polite and constructive inbeing polite and constructive inbeing polite and constructive inbeing polite and constructive incommunication.
communication.
communication.
communication.
• Uses positive vocal or written tone,• Uses positive vocal or written tone,• Uses positive vocal or written tone,• Uses positive vocal or written tone,
facial expressions, and/or bodyfacial expressions, and/or bodyfacial expressions, and/or bodyfacial expressions, and/or bodylanguage to convey a positive attitude
language to convey a positive attitude
language to convey a positive attitude
language to convey a positive attitude
about the team and its work.
about the team and its work.
about the team and its work.
about the team and its work.
• Motivates teammates by expressing• Motivates teammates by expressing• Motivates teammates by expressing• Motivates teammates by expressing
confidence about the importance ofconfidence about the importance ofconfidence about the importance ofconfidence about the importance ofthe task and the team's ability to
the task and the team's ability to
the task and the team's ability to
the task and the team's ability toaccomplish it.
accomplish it.
accomplish it.
accomplish it.

そこで

アナログ自由尺度でのリニア・ルーブリック手法

本学リーディング大学院でのinitial Qualifying Examination でのLinear Rubric

本学リーディング大学院でのinitial Qualifying Examinationでの採点結果

皆よくがんばってたからAだ
一般ルーブリック的

学生A

学生B

学生C

学生D

学生E

学生F

な段階評定では

4 A
3 B
2 C
1 D
評価者A

評価者B

評価者C

評価者D

評価者E

評価者F

評価者G

評価者H

評価者I

偏差値

本学リーディング大学院でのinitial Qualifying Examinationでの採点結果
リニア・ループリッ

偏差値

クは100段階の事実上の連続量尺度での評価だから、偏差値化が可能
学生A

学生B

学生C

学生D

学生E

学生F

70

このリニア・ルーブリック手法
Z-score60

を授業アンケートにも展開
50

40

30評価者A

評価者B

評価者C

評価者D

評価者E

評価者F

評価者G

評価者H

評価者I

評価者J

評価者K

評価者J

評価者K

-50〜50までの101段階反応抽出・事実上の連続量アナログ尺度
設問ごとに各自の履修授業全体を相対比較
0

48

0-25

0

19

0

000

授業アンケートが抱えていた課題✓✓✓✓① 実施開始から相当年を経て実施作業はルーチン化したが、反面マンネリも進み、形骸化が免れない状況

双軸の教学 IR 調査がひらく
すなわち、自然体での教育の内部質保証

内容・方法の抜本的改訂②

費用対効果を考えると効能が見えにくい業務

著しいコストパフォーマンス改善

学修行動調査授業アンケート③ 個々の授業改善を目的としたFDとして開始されたため、個人へのフィードバックに終わり、組織的な教育改善として現れにくい仕組み
相対評価による組織的文脈のなかでの授業の振り返り

近い将来には結果データベースへの参照による経年チェック

START

④

回答者（学生）への回答負担が大きい割に、結果や成果がみえない（みえにくい）仕組み

web化により回答負担は顕著に軽減・成果に期待お茶の水女子大学 公開 FD セミナー 2015
教育の内部質保証 : その基盤づくりと実際 ̶ 教学 IR をベースにした仕組みの構築と運用
2015年5月15日
16:40-17:10

昨今の教育情報の公表は詳細になり隔世の感あり、ですが、構造化と横断連携

教 学 比 較 I R デ ー タ ベース とに欠け、使い勝手が今ひとつ。大学ポートレートは受験向けのためか広報的観コモンズの育成に向けて点が前面に出すぎ、データの実務性にもの足りなさが。そこで教学比較IRの観点から「使えるdB」の構築に乗り出し、これに上記の双軸調査の実施も協働していく教学比較IRのコモンズ形成を広く学外に向けて提起します。

半田智久（お茶の水女子大学）■ 高機能かつ持続可能な教学比較IRの連携構築

大学間の教学比較IR、とくに学修行動調査の有効性はあきらか。
特別な予算措置を要しない新手法と機能性豊かなシステムを基盤に連携すれば、その有効性をただちに手にできる。

①
教学関連情報のオープンデータベースの構築

その新手法や機能に関するノウハウは構築された。

そこで連携構築により教学リソースの共有知を形成する。
どこの大学もほぼ同じことをかなりの手間をかけすぎておこなっている

教学比較IR

教学比較 IRデータベース
教学改革・改善の実務に必要とされるデータ
すばやく全国の状況をチェックできる教学情報バンク

たとえば本学では昨年度、四学期制を導入するにあたり、構築中のcmpIR webの実際全国の大学の学期構成や学事歴、時間割の状況などを調査
データ更新が必要な情報だが、用が済んだ後、その全データの更新をおこなうことは困難。だが、各大学がこのデータを活用する見返りに自大学のデータを更新していければ互恵的なオープンデータバンクができる。

https://crdeg3.cf.ocha.ac.jp/cmpir

お互いになにかをするときに、そのつど他大学に調査を依頼する手間も省けていく、■ 教学比較IRコモンズ

大学間連携中間組織

便益評価に依拠した寄附金にもとづく運営

教学IRにとって重要な学修行動調査を高品質かつ軽微労務で実施、一括集計と比較、必要な分析②
実施方法の選択による実施経費の調整を可能にする

大学間中間組織: 教学比較IRコモンズの形成

プラン1

学修行動調査の実施と比較

web調査システムをターンキーシステムとしてハードウェアに構築しそのシステム丸ごとを提供。個々の大学で実施要領を共有し、実施、集計し、必要なデータ比較の際に情報を共有。
プラン2

個別大学用の専用web調査システムをコモンズに設定し、実施、集計結果や必要なデータ比較の結果をコモンズから得る。運営経費ゼロ・労務ほとんどゼロでの実施。

■ 教学比較IRコモンズ・学修行動調査2015▶ 両プランともwebシステムを調査コンテンツ含め無償提供■ 実施可能件数
本年度は実施時期の異なる5件程度■ 実施要件① 大学間連携の共有知育成へのご賛同② 本年度中に実施可能③ できるだけ全学規模で実施可能④ プラン1の場合、システム構築に必要な初期実費④ プラン2の場合、現在運用中の学生
個人認証システムを使えること