「未来の教室」実証事業 成果報告書
2021.02.26

1

背景と事業の狙い
背景

事業の狙い

• コロナ休校の影響もあり、浸透しつつある• 現状、学校での評価⼿法となっている 観点別評
価は、その仕組み上、評価する先⽣に依存する部分が⼤きく(特に英語などは） ⼀定の尺度で評価することが難しい。

• EdTechサービス(Qubena)×学校現場(新渡⼾⽂化学園)のオープンイノベーションにより、AIドリルを活⽤した学校での評価 の在り⽅をテーマにして取り組む•

EdTechサービスの更なる普及に向けて、学校現場での意⾒を取り⼊れてEdTech サービスをもう⼀段進化させる

また、ICTを活⽤した学習ソフトについても観点別評価を踏襲し学校での評価までを完全に想定して設計されているものがなく、ソフトでの学習と評価の⼀体運⽤が難しい。

• 上記より、ICTを活⽤した学習ソフトを利⽤して、学習ソフトでの学習状況から観点別評価を⾏うことを試み、学校での評価において⼀定の尺度で評価を⾏う基盤構築を⽬指す。

2

実施概要
Qubena(英語)の学習ログから観点別評価を⾏う

従来の⽅法で教員が観点別評価を⾏う

これらを⽐較分析する

観点別に分類したQubena(英語)の問題を⽣徒が授業の内外で学習する。その後、個々に蓄積された学習ログを分析して、独⾃に観点別評価を⾏う。

新渡⼾⽂化中学校の⼭本崇雄教諭が⽣徒たちの普段の学習への取り組み状況やテストの結果から、従来の⽅法で観点別評価を⾏う。

実施場所︓新渡⼾⽂化中学校
3

実施内容（授業内でQubena活⽤）・Qubena(英語)を活⽤した学習を週に4時限あるうちの1時限で⾏った。
・Qubena(英語)では、主に⽂法と4技能を活⽤した演習問題を学習をした。
・導⼊中に英語科の教員と週⼀回程度の打ち合わせを実施し運⽤の改善を⾏っていった。
4

成果︓概要
達成したい状態

実際の達成度

改善/発展の⽅向性• 従来の⽅法で観点別評価した結果と、Qubena(英語)に蓄積された学習ログを⽤いて独⾃に観点別評価した結果が近似したものになること。

• 「知識・技能」に関して、Qubenaの学習ログによる評価と通常テストによる評価の相関係数が【0.9】を超える結果となり、強い相関を⾒出すことができた。

本実証で得られた結果を踏まえ、以下を次のステップと考える。

• 授業時間外での学習では⾒取ることが難しかった「主体的に学習に取り組む態度」の観点を学習のログから評価し、補完すること。

• 「主体的に学習に取り組む態度」
に関して、学習頻度と学習時間を出⼒することで、評価の材料とすることが可能であることがわかった。

5

・観点別評価出⼒のシステム化
・問題が属する観点項⽬の⾒える化・推定された評価の信頼度の向上
・問題の追加と改善

成果︓Qubena(英語)の観点別評価対応表
Qubena(英語) 対応項⽬
Qubena(英語) ⾮対応項⽬

6

Qubena(英語)の観点別⼩項⽬への分類のプロセス
1.

1~20の観点別⼩項⽬について、⼭本崇雄教諭と杉本薫⽒から従来はどのような問題やテストで評価するのかをヒアリングする。

2.

1でヒアリングした内容に準ずる問題をQubenaから(1学年1,000問以上)抜き出し、観点別⼩項⽬に分類する。

3.

2で分類した問題を上記2名がチェックを⾏い、必要に応じて分類を修正する。

4.

問題毎のグレード（難易度）を吟味し、設定する。

7

問題例（知識・技能 ⼩項⽬2 ⽂法）
Can-Do︓正しい語順や⽂型、語法などの⽂法事項をふまえて、適切な表現にすることができる
Writing

Speaking

Reading

Listening8問題例（知識・技能 ⼩項⽬3 Listening）
Can-Do︓必要な情報を正確に聞き取ることができる［放送⾳声］
This year, young people in Italy will get 500 euros on their 18thbirthday. The teenagers can use the money only for culture. For
example, they can visit a museum or see an opera. Italy hopes
young people will enjoy its great culture. Italy is famous forbeautiful buildings, art and music, and they go all the way backto ancient Rome.
［解答選択肢］

1. They can use it when they visit a hotel.
2. They can use it when they visit a museum.
3. They can use it when they visit a restaurant.

9問題例（知識・技能 ⼩項⽬4 Reading）
Can-Do︓ある分量の英⽂を読んで、必要な情報を正確に読み取ることができる
天気予報の英⽂を読み，右の問題についてそれぞれ最も適切なものを1つずつ選びましょう。
And now for next weekʼs weather. Monday will be aclear day with a high of 18ºC and a low of 10ºC. On
Tuesday we will have clear skies in the morning, butin the afternoon it will be rainy. The rain willcontinue through Wednesday, but we will have clear
skies by Thursday. On Friday it will be cloudy, thewind will pick up and temperatures will drop. The
high will be 10ºC and the low 3ºC, so make sure you
dress warmly! Saturday will be a warm, clear,
beautiful day though, with a high of 18ºC. This
weather will continue into Sunday.

Q1.
How will the weather on Monday be?
A. cloudy
B. fineC. rainy
Q2.
During Tuesday, what will the weather do?
A. It will turn bad.
B. It will turn good.
C. It will not change.

10問題例（知識・技能 ⼩項⽬5 Speaking）
Can-Do︓間違いやすい⾳に留意して、正確な発⾳やアクセントを⽤いて⾳読ができる

11

問題例（知識・技能 ⼩項⽬7 Writing）
Can-Do︓既習の⽂型や語法、適切な⽂章形式をふまえて、英⽂を正確に書くことができる

次の語句を並びかえて⽇本語に合う英⽂を完成させましょう。
私は京都に⾏きたいです。

次の英⽂の「…がある」という表現を参考に，⽇本語を英語に直しましょう。
私たちの学校には多くのクラブがあります。

12

学習ログによる評価の⽅法と結果（知識・技能）
授業で扱った範囲のQubenaの学習ログの⼀部（以下要素）を⽤いて習熟度を独⾃に計算し、評価を推定する。
○ 問題の正誤情報○ ヒント参照の有無○ 問題の難易度（3段階）○ 解答回数○ 類題の正誤情報● 各技能を25点の配点として、合計100点満点で評価。（各技能ごとに30〜50問程度の学習ログを参照）● 授業で扱った範囲のQubenaの問題全てを各⽣徒が解いていることを条件とし、解いていない場合は不正解と同等に扱う。
●

結果は以下の通り
Qubena
⽣徒A
⽣徒B
⽣徒C
⽣徒D
⽣徒E
⽣徒F
⽣徒G
⽣徒H
⽣徒I
⽣徒J
⽣徒K
⽣徒L

Reading
23.5
14.25
13
7
10.75
7.5
10.75
3.75
3.75
3.75
55

Listening
22.5
1712.75
14
15.75
13.5
12
3.75
5.75
5
6.75
5

Writing
21.75
18.5
14.25
14.25
8.25
12
7.75
5.5
6.5
7.5
3.25
0

Speaking
22.25
23.75
19.75
20.75
17.25
18.5
19.5
20.25
147.5
6.75
11.5

合計9073.559.75
565251.5
50
33.25
3023.75
21.75
21.5

13対照となる通常テストによる評価の結果（知識・技能）
・授業で扱った範囲から各技能毎（Reading,Listening,Writing,Speaking）に出題するテストを作成する。
・各技能25点の配点（ Reading6問、Listening6問、Writing10問、Speaking9問）として、合計100点満点。
・制限時間50分
・スピーキングの採点は教員によって⾏われ、採点基準は以下の通りである。
A評価（満点） ︓ 適切な発⾳ができており、なめらかでリズムが良い。
B評価（50%）︓ 適切な発⾳やリズムを⼼がけており、全⽂を読めている。
C評価（0%） ︓ 発⾳が悪く、著しくたどたどしい。また語句を読み⾶ばしている。

結果は以下の通り
通常テスト
⽣徒A
⽣徒B
⽣徒C
⽣徒D
⽣徒E
⽣徒F
⽣徒G
⽣徒H
⽣徒I
⽣徒J
⽣徒K
⽣徒L

Reading
2181713171317044017Listening
172113211721171781388Writing
2023181515
1010310800Speaking
20201818101820
1410307

合計
7771
65
66
586163
3332
27832

14

成果︓Qubena学習ログによる評価と通常テストの結果⽐較1

15

成果︓Qubena学習ログによる評価と通常テストの結果⽐較2
Qubena

通常テスト

⽣徒A

90

77

⽣徒B

73.5

72

⽣徒C

59.75

66

⽣徒D

56

66

⽣徒E

52

59

⽣徒F

51.5

60

⽣徒G

50

64

⽣徒H

33.25

34

⽣徒I

30

34

⽣徒J

23.75

28

⽣徒K

21.75

8

⽣徒L

21.5

33

相関係数

0.916769514

16成果︓学習ログによる評価（主体的に学習に取り組む態度）●

以下のグラフは授業外でQubenaを使って学習した⽇数と総学習時間である。

●

これらを6⾴の表中16,18項⽬の評価材料の⼀つとして利⽤することが可能であると考える。（Qubenaを利⽤しないで学習していることも考えられるため、これらの値の⼤⼩がそのまま評価に直結するわけではない。）●

普段の学習の様⼦と⽣徒⾃⾝の⾃⼰評価などを鑑みて、総合的に評価を⾏う。

集計期間︓2020/10/1~2021/1/22

17

成果︓より広く評価を⾏うための改善案レポート●

観点別評価出⼒のシステム化
今回の実証ではデータベースから直接ダウンロードした学習ログのローデータを⽤いて観点別評価を算出したが、教員⽤の管理ツール上で⾃動的に閲覧できるシステムにすることが求められる。

●

問題が属する観点項⽬の⾒える化問題毎にどの観点に対応するかが教員⽤の管理ツールで確認できると、教員が評価を⾒据えて⽣徒に問題を配信することが容易になり、指導と評価がよりシームレスに⼀体化していくと予想される。

●

推定された評価の信頼度の向上
蓄積されたデータの数によって⽣徒の観点別評価の精度が左右される仕組みのため、算出された⽣徒毎の評価の精度をより⾼めるために膨⼤な量のデータ収集を⾏う必要がある。また推定⽅法そのものに対する改善も継続的に検討していくことが求められ、評価基準や⽅法を実態と照らし合わせながら定期的に⾒直していくべきである。

●

問題の追加と改善
観点「思考⼒・判断⼒・表現⼒」を評価するための問題は、Qubenaの特性上少ないか含まれないため、この観点を評価するためには、問題を追加する必要がある。（今回は評価を⾒送った。）また既に搭載されている問題において、指導の中でより実⽤的なものにしていくため、また学習者の能⼒値を識別する⼒を⾼めるために、継続的に問題の改善を⾏うことが望ましい。
18

成果︓教員からの声
1. Qubenaを使ってみて良かったことはありますか︖●
良かった点は、⽣徒が⾃学できる選択肢が増えたことです。語彙や⽂法事項など、教師が全て教えなくても、理解を進めることができるので、授業で海外との交流など実践的なものを取り⼊れることが出来ています。
2. 学習ログから算出された観点別評価の推定値は、納得感のあるものでしたか︖●
ほぼ授業で私が捉えている⽣徒たちの学習状況や評価と⼀致します。
3. 今回の観点別評価の推定する仕組みを機能として実装したとき、ご⾃⾝にとってどんな利点がありますか︖●
Qubenaで評価できることと教師でなければ評価できないことを明確に意識することで、教師が評価すべき項⽬を絞ることで時短に繋がっています。例えば、⼩テストで測れる語彙や⽂法、リーディングやリスニング、⾳読といった定量的な評価はQubenaに任せ、⾃由度の⾼いスピーチやライティングは教師が評価するように明確に分けています。
4. 今回の観点別評価の推定する仕組みを機能として実装したとき、世の中の先⽣⽅にとって役⽴つと思いますか︖●
まずは、テストの点数だけで評価をするという⽣徒の技能の⼀部しか評価しない事例は少なくなると思います。Qubenaが４技能を意識した設計になっているので、４技能の評価を意識した授業設計をする先⽣が増えることが期待されます。また、定量的な評価をQubenaに任せることで時短に繋がり、その分、ユニークな授業実践が増えることが期待されます。
5. 学習ログから観点別評価の推定値算出にどんな限界があると思いますか︖●
学習ログは、⽣徒の取り組みの姿勢が⾒えないので、真剣に取り組んでいる時と、⼿を抜いている時がわかりません。取り組む時間帯や疲労度や体調なども関係してくるでしょう。あくまで参考に留めながら、Qubenaの問題配信機能を利⽤して教師の前で真剣に取り組む⼩テストを組み合わせることが重要だと思います。
6. 今後継続的に活⽤していくにあたって改善点などはありますか︖●
Qubenaの設計をより実⽤的な英語の習得に向け、レベルをさらに細かく分け、単語レベルまでAIがレベルを認識し、最適な出題ができるようになるといいと感じています。⼀部の問題は、⼀般的な中学⽣には難しい内容があるので、⾃学教材として位置付けるのであれば問題の改善も求められます。

19

成果︓今回の取り組みに対する感想
学校側
1. 事業者と⼀緒にプロダクトの機能改善のプロセスへ参加した感想● 現存のQubenaの問題や機能を活⽤して、観点別評価に⽣かしていく仕組みを考えることで、どのような評価が４技能評価や観点別評価に必要なのかを改めて考えさせられました。その中で、Qubenaの持つ、⾳声認識機能や⽣徒の発話をログとして残す機能は、教師にはなかなかできないことなので、指導や評価の可能性を感じました。
2. 今後こういった取り組みについては積極的に参加したいと思いますか︖● ぜひ参加したいです。機能⾯での可能性は⾒えてきたので、より良い指導や評価につなげるための問題の⼯夫や改善などにぜひ取り組みたいです。
COMPASS側
1. 先⽣⽅と⼀緒にプロダクトの機能改善を⾏った感想● 教育現場の中では指導と評価の両輪がうまく回ることが求められるため、授業で⽤いられるQubenaのような教材にもそれが今後⼀層求められていくと予想される。今回の取り組みでは先⽣⽅と⼀緒にそのモデルを根本から考え、実現に向けて開発の⽅向性を確認できたのは素晴らしい体験だった。
2. 今後こういった取り組みについては積極的に参加したいと思いますか︖● ぜひ参加したい。⽇々、教育現場の最前線で活躍されている先⽣⽅のご意⾒は⼤変貴重であり、そこから得られる先端的な考え⽅を開発に取り⼊れていくことで⽇本の教育の質向上の⼀端を担いたい。
20

補⾜︓今後の研究として●

今回はデータのサンプル数不⾜のため活⽤を断念したが、データを集めることで項⽬反応理論（IRT）※を⽤いた能⼒値推定を⾏うことも可能。※項⽬反応理論（IRT︓Item Response Theory; Item Latent Theory) は、評価項⽬群への応答に基づいて、被験者の特性（認識能⼒、知識等）や、評価項⽬の難易度・識別⼒を測定するための試験理論のこと。

●

これを利⽤することで個別の能⼒値をより精緻に推定することや複数のテスト間の結果の⽐較が容易になる。

●

1パラメタ・ロジスティック・モデル (（2PLMはサンプル数不⾜のため未実施。）
⽣徒A
⽣徒B
⽣徒C
⽣徒D
⽣徒E
⽣徒F
⽣徒G
⽣徒H
⽣徒I
⽣徒J
⽣徒K
⽣徒L
相関係数

通常テスト

IRT

171.15211.39130.26210.2217-0.30210.04170.0917-0.858-0.3913-0.64

8-0.648-1.94) を利⽤してリスニングの個別能⼒値を推定した結果が以下。

0.64038996（相関がある）

問題の困難度と個別能⼒値の関係
21

補⾜︓評価に利⽤する際のガイドライン
今回のスキームを利⽤して観点別評価を推定する場合、以下の点について留意する。
●

指導と評価が⼀貫性を持って⾏われるように、教員はQubenaでの指導のねらいを明確にした上で学習の⽬標と期待する結果、また評価基準（A~C）を⽣徒が理解できるように予め伝えておくこと。

●

Qubenaでの学びが各個⼈に適応していると判断された場合に、評価の参考として⽤いること。（⽣徒の学びに適応していない場合は、取り組み⽅の指導を⾏うか指導と評価の⽅法を柔軟に変更する。）●

あくまで学習ログから算出される観点別評価は推定値であり限界があることに認識し、普段の学習の様⼦と合わせて⽤いること。

●

Qubenaでは指導と評価ができない領域があることを認識し、その部分に関しては通常どおり評価を⾏うこと。（6⾴参照）

22