小泉利恵科研プロジェクト第2回例会 (共催：日本言語テスト学会)

2021年2月14日（日） 午前9時30分～午後4時10分
テーマ】英語スピーキング評価における採点方法の改善（Part 2）【主催】小泉利恵科研プロジェクト（基盤研究(C)20K00894：「高校の英語授業内スピーキング評価における「信頼性確保のための採点指針」の作成」）
1

趣旨説明 9:35～9:45• 小泉利恵科研プロジェクト（基盤研究(C) 20K00894：「高校の英語授業内スピーキング評価における「信頼性確保のための採点指針」の作成」）• 【概要】スピーキング評価 (speaking assessment: SA)
において、タスク・ルーブリック・採点は特に考慮すべき要素です。本例会では、採点者や採点トレーニングなどの採点方法に焦点を当て、国内の教室内評価や大規模テストを含む様々な文脈においてスピーキング評価に携わる方から運用や課題についてお話を伺い、今後の日本のスピーキング評価について議論します。
2

スピーキング評価に関わるもの• テストが満たすべき3要素 (小泉・印南・深澤, 2017)• 1. 妥当性：テストが十分適切に、解釈できるか。
使えるか– 例：指導目標との一致• 2. 信頼性：テスト結果が十分に安定しているか– 大規模テストと違い、授業内テストでは高い信頼性はなくてもよい。中程度は必要– 例：採点者間で同じように採点しているか– 同じ採点者が同じように採点しているか– 同じタスクを行ったときに同じような結果が出るか• 3. 実行可能性 (実用性)：テスト作成・実施・採点・使用が無理なく行えるか4学習評価の方向性
学習評価の在り方ハンドブック（高等学校編）

5

学習評価の方向性
学習評価の在り方ハンドブック（高等学校編）

6

7

使用されるタスク形式
面接型・発表型が多い (文部科学省, 2020に基づく)

8

さまざまなタスク形式の組みあわせが重要• 発表型：プレゼン、スピーチ、教科書内容の再生、要約、意見表明（技能統合型）• やり取り型：面接型、ペア型、グループ型• 採点では、ルーブリック（評価基準）を使用• 測りたい力を明記し、教師と生徒に理解しやすいものにする。事前に示す• テストの採点結果が十分に安定するような方策をとる
9

タスク例：グループ型会話

104名でのディスカッションでのルーブリック例(宇都宮南高校)

11

プロジェクト報告1：
高校の教室内スピーキングテスト
における採点に関する課題
小泉利恵科研プロジェクト第2回例会(共催：日本言語テスト学会)
2021年2月14日（日） 14:40～15:10
小泉利恵（順天堂大学）・渡邉聡代（栃木県立宇都宮南高校）・初澤晋（宮城県石巻高校）・磯部礼奈（宮城県石巻高校）・松岡京一（宮城県石巻高校）
12

学習評価の方向性：学習のための評価(文部科学省・国立教育政策研究所教育課程研究センター, 2019)13学習評価の方向性：学習のための評価(文部科学省・国立教育政策研究所教育課程研究センター,2019)
テストの細目（設計図）を作る
細目に沿ってテストを作る。

テスト結果を生徒にフィードバック。
授業・テストを改善

実際にテストを試して改良。
授業での反応等で修正

実施・採点
14

生徒のS力が高まるようなテスト構成にするための6原則 (Muñoz & Álvarez, 2010に基づく)• １）テスト内のタスク形式や個々のタスクは、指導目標と指導内容と一致させる。コミュニケーション能力の多様な要素を測り、現実でも行うようなタスクを設定する• ２）S力をうまく引き出す指示・手順を考える• ３）ルーブリック（評価基準）は、測りたい力を明記し、教師と生徒に理解しやすいものにする。事前に示す• ４）自己評価と相互評価を奨励する• ５）結果の返却時には、可能な範囲で、具体的で詳細なフィードバックを渡す• ６）継続的に評価を行う
15

生徒のS力が高まるようなテスト構成にするための6原則 (Muñoz & Álvarez, 2010に基づく)• １）テスト内のタスク形式や個々のタスクは、指導目標と指導内容と一致させる。コミュニケーション能力
採点の安定性（信頼性）はの多様な要素を測り、現実でも行うようなタスクを設学習のための評価を支える柱定する• ２）S力をうまく引き出す指示・手順を考える
信頼性：テスト結果が十分に安定しているか• ３）ルーブリック（評価基準）は、測りたい力を明記し、☆大規模テストと違い、授業内テストでは高い教師と生徒に理解しやすいものにする。事前に示す
信頼性はなくてもよい。中程度は必要• ４）自己評価と相互評価を奨励する
例：採点者間で同じように採点しているか
例：同じ採点者が同じように採点しているか• ５）結果の返却時には、可能な範囲で、具体的で詳細なフィードバックを渡す• ６）継続的に評価を行う
16

採点者の影響を減らすための方法• 教員間・教員内の採点の一貫性（信頼性）の確保• 採点前の事前確認・トレーニング– 採点基準や発話例を確認した後、似た状況で行ったビデオや音声を使って、別々に評価。ずれをなくすために話し合う– よくある状況：長時間は取れない• 採点中– （一部でも）2名の採点者によるダブル採点– よくある状況：他の教員に採点が依頼しにくい• 採点後 ずれを確認。話し合ってずれの理由を特定。最終スコアを決定– よくある状況：あまり時間は取れない。時間があってもなぜずれたかが特定できず、修正しにくい17

採点者の影響を減らすための方法• 教員間・教員内の採点の一貫性（信頼性）の確保• 採点前の事前確認・トレーニング– 採点基準や発話例を確認した後、似た状況で行ったビデオや音声を使って、別々に評価。ずれをなくすために話し合う– よくある状況：長時間は取れない• 採点中– 最初の2～3名を独立に評価したところで、得点を見せ合って、基準を調整（宇都宮南高校）– （一部でも）2名の採点者によるダブル採点– よくある状況：他の教員に採点が依頼しにくい• 採点後 ずれを確認。話し合ってずれの理由を特定。最終スコアを決定– よくある状況：あまり時間は取れない。時間があってもなぜずれたかが特定できず、修正しにくい
18

研究課題
• Q1: シンプルなルーブリックを用い、長時間の採点者トレーニングがない場合で、採点者1名の場合に、どの程度の信頼性になるか？
• Q2: 採点者1名で低い信頼性の場合、何名いれば信頼性が確保できるか？
• 十分な信頼性：Φ = .70以上• Koizumi & Watanabe (印刷中)– 事前の打ち合わせ：10分– 最初の2～3名を独立に評価したところで、基準を調整– 3観点、3段階のルーブリック• 小泉・初澤・磯部・松岡 (2021)– 事前の打ち合わせ：10分– 3～4観点、3段階のルーブリック
19

分析•Q1: シンプルなルーブリックを用い、長時間の採点者トレーニングがない場合で、採点者1名の場合に、どの程度の信頼性になるか？
•Q2: 採点者1名で低い信頼性の場合、何名いれば信頼性が確保できるか？
– 多変量一般化可能性理論 (Grabowski & Lin,2019; 小泉, 2018)•他に、採点者やルーブリックの観点も分析したが大きな問題はなし– 多相ラッシュ分析 (Linacre, 2021a, 2021b; 平井・横内・加藤, 2018)20

研究1： Koizumi & Watanabe (印刷中)• 高1 40名3クラス = 120名 116名分析• 精密な採点者トレーニングはできなかった– 10分ほどの事前打ち合わせ。テストの最初の2・3名の採点後に話し合いのみ• その状態でどの程度信頼性（評価者内、評価者間の安定性）が保てるか？
• 評価者– 第2回目：2名 小泉＋担当教員1名– 第3回目：3名 小泉＋担当教員1名＋同校英語教員1名ALT– 第4回目：9名 小泉＋担当教員1名＋同校英語教員7名– 第5回目：8名 小泉＋担当教員1名＋同校英語教員6名
21

実施形態：年6回実施• 1. 教員面接型（2回分 [50*2] 授業）• 2. プレゼンテーション（1回分授業）• 3. グループ型会話（2回分授業）• 4. ペア型会話（2回分授業）• 5. グループ型会話（1回分授業）• 6. 教員面接型（2回分授業）– 2～5：授業内実施・授業内採点• 成績には入れず、形成的に活用• 結果をスコアレポートとして返却。授業で改善点等を解説。自己評価 (Koizumi et al., 2020)22

スコアレポート (第1回目)

23

第1回目解説：多くが苦手だった点• １） 聞かれた質問に答えることはできていても、自分から質問するのは苦手のようでした。受け身でなく、相手に質問する練習を多くするといいですね。
• ２） 好きな食べ物や趣味は答えられても、「それについてもっと話して」と言われると困ってしまう人がいました。好きな物について、いつ、どこで、だれが、何を、なぜ、どのように、という点を加えて話を広げられるように練習するといいですね。 …
• ４） 会話中に、自分の言いたいことが言えない時に、考えて黙ってしまうのでなく、Let me seeやWell, please wait for a while.など、少し考えるよというサインを出す方法を身につけたいですね。また相手の言ったことが聞き取れない時に、Could you say that again?など、もう一度言ってもらうように言えた人も少なかったです。多かったのは、分からなくて黙ってしまうケースでした。気をつけましょう。また、一部できていた人がいましたが、相手が言ったことについて、Oh. I see. Great. OK.など相づちを打つ練習もしたいですね。
24

スコアレポート (第2～5回目)

25

第6回

Score report example (6th)261. & 6. 教員面接型
2. プレゼンテーション

27

28

3. & 5. グループ型会話

29

4名でのディスカッションでのルーブリック例30

4. ペア型会話

31

ペア型タスク（千菊, 2019, pp. 97-111,5種類カード用意）• 1 駅まで歩くか、バスに乗るか• 2 テントと小屋（cabin）どちらにとまるか• 3 修学旅行はグループ単位かクラス単位か• 4 将来子どもは、一人暮らしをするか、一緒に暮らすか• 5 デートの行先は動物園でショー見物か、別の場所にするか• 教科書からは離れた投げ込み教材
32

千菊 (2019) のルーブリック例• 交渉を行うパフォーマンス課題用33

結果・プレゼンとペア型は高い信頼性。1～2名で十分⇒会話がある程度予想できるタスク、別部屋で採点に集中できた場合・グループ型は低い信頼性。3～4名必要

34

グループ型採点が安定しない理由
・ 1) 各採点者は異なるパフォーマンスを採点している（トピック、順序の影響）
・ 2) 認知的負荷が高い（誰がいつ話すか、また発話内容が予想できない中で、1グループ3～4分で4人を同時採点）
・ 3) 騒音、声の大きさの違い・ 4) 最初の議論を、異なるパフォーマンスの採点後に行う
・ 5) 測る力の把握が難しい– C1. 内容 C2. やり取りの適切さ C3. コミュニケーションへの意欲– C1. 会話全部を聞く必要があり、難しい– C2. 話し合いがあまりないと、やり取り力にばらつきが出てくる– C3. 3つ目の観点は抜けがち35

研究2：小泉・初澤・磯部・松岡(2021)• 40名6クラス 225名分析• 精密な採点者トレーニングはできなかった– 10分ほどの事前打ち合わせのみ• その状態でどの程度信頼性（評価者内、評価者間の安定性）が保てるか？
• テスト2回分 Group discussionとGroup debate• 評価者– 生徒1名を2名の教員で採点– 第1～3回目：担当教員1名＋同校英語教員2名
36

実施形態

37

第2回9月ディスカッション• ４人で５分程度。各グループが10回行う。
• Moderator(司会者)は、１回のディスカッション毎に交代し、合計２～３回担当することになる。
• Moderator以外はParticipants(参加者)として意見を述べるが、Moderatorも意見を述べても構わない。
• ★Participantsの発言：１人目→２人目→３人目→(４人目)→１人目の順とする。参加者の１人目も直前の参加者の意見に言及する。

38

Performance Test Evaluation Sheet English Expression Ⅱ[Moderator]
Class:

No.

Name
参加者の発言を別の表現で言い換え、要約できている。

内容

まとめ方

参加者の発言を繰り返すなどして、適宜フィードバックしている。
参加者の発言に言及しようとしているが、不十分である。

発音・音声・ 適切にアイコンタクトやジェスチャーなどを用いており、自然に議論を進行することができてい表現

ノンバーバル 時折アイコンタクトやジェスチャーを用いており、自然な議論の進行に努めている。
コミュニケー アイコンタクトやジェスチャーが不十分であり、議論の進行に滞りがある。

文法・語法のエラーが少なく、既習の表現を活用しながら自分の考えを不足なく伝えられている
技術点

文法・語法 文法・語法について多少のエラーや単純な表現は多いが、自分の考えが伝えられている。
文法・語法のエラーが目立ち、自分の考えが十分に伝えられていない。

[Participant 2]
Class:No.

Name
相手の考えと自分の考えを比較しながら、根拠に基づいた自分の考えを述べている。

内容

考え方

根拠に基づいた自分の考えをわかりやすく述べている。
自分の考えを述べているが、内容がやや不足である。

発音・音声・ 適切にアイコンタクトやジェスチャーなどを用いており、自然な（理解されやすい）表現をして表現39

ノンバーバル 時折アイコンタクトやジェスチャーを用いており、自然な（理解されやすい）表現に努めている

第3回11月ディスカッション• (1) 授業担当者が事前に4人のグループを作成（1クラス約10グループ）• (2) テスト当日、授業担当者が２つのグループとトピック、また肯定側・否定側をくじで決める。
• (3) ２グループの試合形式で、それぞれのチームが以下の順序で議論を進める。（オーディエンスの前で実施）

40

第3回11月ディスカッション• ４人で５分程度。各グループが10回行う。
• Moderator(司会者)は、１回のディスカッション毎に交代し、合計２～３回担当することになる。
• Moderator以外はParticipants(参加者)として意見を述べるが、Moderatorも意見を述べても構わない。
• ★Participantsの発言：１人目→２人目→３人目→(４人目)→１人目の順とする。参加者の１人目も直前の参加者の意見に言及する。

41

グループ名

Performance Test

Evaluation Sheet【肯定側立論

否定側立論】 (Affirmative Constructive Speech

Class:

内容コミュ
姿勢

文法
語法

音量
速度
発音／No.

English Expression Ⅱ／ NName

12

トピックについて、自分の立場に即して考えや意見を理由や具体例を添えて8トピックについて、自分の立場に即して考えや意見を説明している。

4

トピックについて、自分の立場に即して考えや意見を説明しようとしているが、8自然なアイコンタクトやジェスチャーを用いている。積極的に発言して議論の5

アイコンタクトやジェスチャーを用いる努力がある。時々言いよどみながらも議3

アイコンタクトやジェスチャーが不十分である。積極性に欠け、議論への参加

5

理解を妨げるような文法・語法のエラーがほぼなく、自分の考えを不足なく伝3

理解を妨げるような文法・語法のエラーが少しあり、自分の考えが十分に伝1

理解を妨げるような文法・語法のエラーが多く、自分の考えが十分に伝えら

5

話す音量や速さを調整し、また発音にも留意しながら、聞き手が理解しやす3

話す音量や速さを調整し、聞き手が理解しやすいように努めている。

1

話す音量や速さが、聞き手にとって理解しずらいものである。

1２点

We think that Japanese high schools should allow their students to work part-t
school fees, some to buy essential goods for their school life, and others to sup

８点

We think that Japanese high schools should allow their students to work part-t
through working part-time. The experience of part-time job will be helpful for t【質疑】 (Question)
Class:

内容No.

Name

12

相手側の主張を的確に要約した上で、相手側の立論で提起した内容につい8

相手側の立論で提起した内容について質問している。

442
相手側の立論の内容について質問しようとしているが、内容が不明瞭である

8

自然なアイコンタクトやジェスチャーを用いている。積極的に発言して議論の結果・両方とも高い信頼性。1名で十分⇒グループ型でも、話す順番等が決まっているなどで会話がある程度予想できるタスク⇒研究1との相違点：採点者全員が同じ学年、同教材で指導・評価。日ごろからの教材の共有

43

高校の教室内スピーキングテストにおける採点• シンプルなルーブリックを使えば、長時間の評価者トレーニングは必要ない場合もある– 会話の流れや内容が予測可能な場合– 日ごろから教材やタスクを共有し、どの程度の発話を求めるかの共通認識がある場合• それでも、ある程度事前、テストの最初のすり合わせができるとよい• テストの最初に行う利点：前年の生徒のパフォーマンスを使って話し合っても、今回タスクやルーブリッ
クを修正したり、生徒の反応が異なる場合もある• 別な場合での研究分析をしてさらに指針作成に活44
かすプロジェクト報告2：
高校の英語授業内スピーキング評価
における「信頼性確保のための採点指針」の作成に向けて
小泉利恵科研プロジェクト第2回例会(共催：日本言語テスト学会)
2021年2月14日（日） 15:10～15:40
小泉利恵（順天堂大学）・深澤真（琉球大学）・横内裕
一郎（弘前大学）・井上千尋（University ofBedfordshire）
45

科研プロジェクト• 1. 国内外のスピーキング評価の理論や実践のまとめ（特にルーブリックについて）• 2. 日本での教室内スピーキング評価の課題に関する研究– 報告1– スコアレポートのフィードバックの研究 (Koizumi et al.,2020)– 注意点などをまとめた指針の作成• 3. スピーキング評価の情報をまとめたウェブサイトの公開– 採点トレーニングに使えるような情報を充実させる• 4. ウェブサイトの有効性について研究46

3. スピーキング評価の情報をまとめたウェブサイトの公開• 目的• 日本で英語を教える教員が参照できるウェブサイトを作る• 使用例– トレーニング用、参照教材として– 個人で– 学校での英語科会議で– 地域での研修で47

ニーズ分析
• 文科省の調査から• スピーキングテストの実施頻度は、高校は多くない• 使用タスクに偏りがある– やり取りの生徒会話型が少ない• 髙島 (2019)：中学校の教員から：発表よりやり取りの評価に自信がない (自信がない人：やり取りで57.1%)• 金子 (2019)：教員からの声「参照できる資料が欲しい」「中学校では、ALTにまかせている場合が多い」
48

ニーズ分析
• 2つのセミナー参加者対象アンケートから (n = 24,30)

49

ニーズ分析から：課題• コロナ禍前は、テストの採点• コロナ禍では、テストの実施• スピーキング評価の各段階で課題を感じている方あり50

スピーキング評価の情報をまとめたウェブサイト

• 言語：日英• 構成• 1) スピーキング評価全般– 指導用タスクは含めない• 2) オンライン・トレーニング・サイト– タスクとルーブリック、サンプルパフォーマンス
（極力ビデオ）– やり取りタスク、発表タスク– 準備度が高いタスク、即興性が高いタスク– 独立型、技能統合型
51

モデル• Tools to Enhance Assessment Literacy (TEAL).
(2020). TEAL for teachers of English as anadditional language. https://teal.global2.vic.edu.au/

52

53

54

55

56

18. Role play: giving advice to a friend

57

58

59

60

61

62

ウェブサイト作成に向けて• TEALとの違い– スピーキング評価のみ– 日本の小中高で使えるタスク・ルーブリックを意識– タスクの記述等は簡素化• 詳細を載せるときには、クリックすると読める形にする– ルーブリックは、TEALのように観点が決まっていないため、いろいろなあり得て適切なものを掲載– 日本人英語学習者のサンプル、発話書き起こしを載せる• 未定： どんなカテゴリー分けにするか– やり取りタスク（教師面接型、ペア型会話）、発表
タスク（プレゼン、絵描写）などタスク別に– 小中高に分けて
63参考文献• Eckes, T. (2019). Many-facet Rasch measurement: Implications for ratermediated language assessment. In V. Aryadoust & M. Raquel (Eds.),
Quantitative data analysis for language assessment (Vol. I: Fundamentaltechniques; pp. 153–175). New York, NY: Routledge.
• Grabowski, K. C., & Lin, R. (2019). Multivariate generalizability theory inlanguage assessment. In V. Aryadoust & M. Raquel (Eds.), Quantitative
data analysis for language assessment (Vol. I: Fundamental techniques; pp.
54–80). New York, NY: Routledge.
• 平井明代・横内裕一郎・加藤剛史 (2018). 「項目応答理論」 平井明
代 (編著). 『教育・心理・言語系研究のためのデータ分析―研究の幅を広げる統計手法』(pp. 94–137). 東京図書
• 金子淳 (2019). 『中高連携を踏まえた、英語授業におけるアクティヴィティとパフォーマンス・テスト開発に関する調査研究』(公益財団法人やまがた教育振興財団 平成30年度「教員養成に関する調査研 究 事 業 」 調 査 研 究 報 告 書 ).
https://www.gakushubunka.jp/scholarship/kenkyugaiyou_kaneko_h30.pdf
64

参考文献
• 小泉利恵 (2018). 「一般化可能性理論」 平井明代 (編著). 『教育・心理・言語系研究のためのデータ分析―研究の幅を広げる統計手法』(pp. 65–93). 東京図書
• 小泉利恵・初澤晋・磯部礼奈・松岡京一 (2021). 「日本の高校における教室内グループ・ディスカッションとディベートにおける採点者信頼性」 未発表原稿.
• 小泉利恵・印南洋・深澤真 (編著) (2017). 『実例でわかる英語テスト作成ガイド』 大修館書店• Koizumi, R., & Watanabe, A. (in press). Rater reliability in classroom
speaking assessment in a Japanese senior high school. Annual Review ofEnglish Language Education in Japan, 31.
• Koizumi, R., Watanabe, A., Fukazawa, M., & Inoue, C. (2020, November).
Examining learner perception toward test feedback in classroom-based
speaking assessment using a validity framework. Paper presented at theLTRC/ALTAANZ Online Celebratory Event 2020.
65

参考文献
• 国立教育政策研究所 (2020). 『指導と評価の一体化」のための学習
評 価 に 関 す る 参 考 資 料 （ 中 学 校外 国 語 ） 』
https://www.nier.go.jp/kaihatsu/shidousiryou.html• Linacre, J. M. (2021a). A user’s guide to FACETS Rasch-model computer
programs: Program manual 3.83.5. http://www.winsteps.com/manuals.htm• Linacre, J. M. (2021b). FACETS: Many-Facet Rasch-measurement(Version 3.83.5) [Computer software]. Chicago: MESA Press.
• 文部科学省・国立教育政策研究所教育課程研究センター (2019).
「学習評価の在り方ハンドブック（高等学校編）」
https://www.nier.go.jp/kaihatsu/shidousiryou.html• Munóz, A. P., & Álvarez, M. E. (2010). Washback of an oral assessment
system in the EFL classroom. Language Testing, 27, 33 – 49.
https://journals.sagepub.com/doi/10.1177/0265532209347148(Openaccess)

66

参考文献
• 文部科学省 (2019). 「平成30年度「英語教育実施状況調査」の結果について」
https://www.mext.go.jp/a_menu/kokusai/gaikokugo/1418086_00001.htm• 文部科学省 (2020). 「令和元年度「英語教育実施状況調査」の結果について」
https://www.mext.go.jp/a_menu/kokusai/gaikokugo/1415042.htm• 千菊基司 (2019). 『即興的に話す交渉力を高める！中学校英語ス
ピーキング活動アイデア＆ワーク』明治図書• 髙島健治 (2019). 『思考力を働かせる学習サイクルの構築―定型表
現で終わらない［やり取り］の力を育成するために―』平成30年度
千葉県長期研修研究報告書• Tools to Enhance Assessment Literacy (TEAL). (2020). TEAL for teachersof English as an additional language. https://teal.global2.vic.edu.au/

67