C2-2

誤りの可視化フィードバックに対する発話プロトコルを用いた分析方法の提案と分析結果の報告
Proposed Analysis Method Using Thinking Aloud Protocol Analysis andError Visualization System Results of Analysis on Feedback
中村 祐希人*1, 東本 崇仁*2
Yukito NAKAMURA*1, Takahito TOMOTO*2*1
千葉工業大学大学院情報科学研究科*1
Graduate School of Information and Computer Science, Chiba Institute of Technology*2
千葉工業大学情報科学部*2
Faculty of Information and Computer Science, Chiba Institute of Technology
Email: s2381034hr@s.chibakoudai.jp
あらまし：自身の解答の振り返り支援として誤りの可視化が存在する．本研究ではこれまで本研究室で開発されてきた誤りの可視化システムのフィードバックが学習者に正しく伝わるのかを調査するために発話プロトコル分析を用いた分析方法を提案し，実際に調査した．その結果，一部のフィードバック内容について，学習者が適切に認識できていないことが判明したため，その結果を報告する．
キーワード：適応的支援，リフレクション支援，発話プロトコル分析，Error-based Simulation

1.

はじめに学習者が誤った解答をした場合，自身の解答を振り返ることは重要である．学習者に自身の解答の振り返りを促す方法として，誤りの可視化という支援方法がある．しかし，著者らの所属する研究室で開発してきた誤りの可視化システムにおいては学習者が適切に誤りを振り返らない場合も存在した．そこで，本研究では，誤りの可視化システムのフィードバックについて，発話プロトコル分析を用いた分析方法を提案し，実際に調査し，その結果を報告する．

2.

誤りの可視化

誤りの可視化とは，学習者が自身の解答では誤りであると内発的に気づかせるための支援方法(1)である．学習者が誤った解答をした際，学習者の誤答に基づいた結果を見せることで，学習者に自身の解答では誤りであると気づかせている．誤りの可視化の具体例を図 1 に示す．図 1 は，「物体が床に静止している」という問題の例である．学習者はこの問題においてしばしば垂直抗力の存在を理解していない．
このような学習者に対して，誤りの可視化システムは「重力しか働いてないとしたときの振る舞い」をフィードバックする．垂直抗力が存在しない場合，地面があるにもかかわらず自由落下するため，学習者は自らの誤答に気づき，振り返ることになる．

図 1 誤りの可視化具体例

誤りの可視化が効果的に働くためには，顕在性，もっともらしさ，示唆性という 3 つの要素が重要である(1)．顕在性とは，生成されたおかしな挙動と正しい挙動の差の程度を示している．もっともらしさとは，生成された挙動がどれだけ自分の解を反映しているかという妥当性を示している．示唆性とは，顕在化された誤りが，学習者が修正すべき点を適切に示唆しているかどうかを示したものである．

3.

分析方法の提案

本研究では，誤りの可視化システムのフィードバックが学習者にどのように伝わっているかについて発話プロトコル分析を用いた分析方法を提案する．
発話プロトコル分析とは，被験者が課題を遂行中に頭に浮かんだ言葉や考えたことをそのまま即座に口に出し，それを動画などで記録する手法である(4)．本
研究では収集した発話をカテゴライズし，顕在性などの 3 つの指標に対する認識を評価する．
3.1 分析方法
分析の概要を図 2 に示す．本分析は， (1):フィードバック後の発話の収集，(2):収集した発話への属性の付与．(3):付与した属性の組み合わせから顕在性，もっともらしさ，示唆性の 3 つに分類．(4):顕在性，もっともらしさ，示唆性について適切性の評価，の4 つの手順からなる．以降詳細に説明する．
(1)まず，実験の過程で得られた発話のうち，フィードバック後の発話のみを収集し，分析対象とする．
これは誤りの可視化フィードバックに対する認識を得ることを主としているためである．本来，フィードバック前の発話も分析には有益であると想定されるが，複雑になるため今回は除外した．次に，発話から，顕在性，もっともらしさ，示唆性に対する部分を同定するために，(2)発話に属性を付与する．顕― 113 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31

在性とは，「誤答に基づく生成された振る舞い（フィードバック）と「正しい振る舞い」の差であるため，「フィードバック」と「正しい振舞い」の 2 つの属性を導入する．また，もっともらしさとは「自分の解答」に基づいた「フィードバック」についての妥当性であるため，「自分の解答」と「フィードバック」の 2 つの属性を導入する．最後に，「示唆性」とは「自分の解答」と「正しい解答に向けての修正」についての差分の洞察であるため，「自分の解答」と「修正」の 2 つの属性を導入する．以上重複を除く 4 つの属性「フィードバック」「正しい振る舞い」「自分の解答」「修正」を導入する．(2)では発話のうち，上記の属性に該当するものを検出し，属性を付与する．また，同様に(3)では付与された二つの属性を持つ発話の組み合わせから，「顕在性」「もっともらしさ」「示唆性」に関する発話を収集する．たとえば，発話(A)に「フィードバック」，発話(B)に「正しい振舞い」の属性が付与されており，二つの発話が同じフィードバック中の発話である場合，発話(A)(B)の組み合わせを「顕在性」に関する発話とする．最後に， (4)「顕在性」，「もっともらしさ」，「示唆性」に分類された発話について，正誤を評価する．これは，学習者が行った各発話がシステムの可視化が意図した内容に沿っているかにより付与する．
以上の手順により，各フィードバックごとに「顕在性」「もっともらしさ」「示唆性」が「正しい（高い）」「誤っている（低い）」「言及がない」に分類することが可能である．その後，複数の被験者の発話プロトコルから特定のフィードバックについて，3つの指標のうちのどれかについての「言及がない」あるいは「誤っている（低い）」場合，その可視化フィードバックの方法は問題があると予想される．

ステムを対象に 3 つの指標について分析を行った．
結果について紙面の都合で一部報告する．現状は時間の都合で 11 名中 4 名しか終わっておらず，各フィードバックごとの集計はできていない．現状では，被験者ごとに収集しており，EBPP の問題 2 における結果が表 1 のようになっている．詳細な分析は今後行う予定であるが，高低の比率で考えると，顕在性は比較的高いが，もっともらしさや，特に示唆性については低い結果となったといえる．今後は各フィードバックごとに分析結果を収集し，どのフィードバックにおいて低い結果が出ているかを明らかにする．さらに，実際の発話を質的に分析し，どの点が原因であるかを明らかにすることを予定している．
表 1 被験者ごとの分析結果
全フィードバック数高
顕在性
低高
もっともらしさ
低高
示唆性
低5.

A
8621415B
8202304C4110003D2000101

おわりに

本稿では，誤りの可視化システムを対象に，顕在性，もっともらしさ，示唆性の 3 つの指標についての発話プロトコル分析を用いた分析方法を提案した．
現時点では分析の途中であるが，結果として，顕在性は比較的高いが，もっともらしさや特に示唆性に問題があることが分かった．今後は，フィードバックごとに集計を行い，問題が発生しているフィードバックを特定する．さらに，実際の発話プロトコルを質的に分析し，どのようにフィードバックが学習者に受け止められているかを明らかにする．
また，その後，問題のある点を改善したシステムを開発し，結果が改善されたかを分析することで，本手法の妥当性を明らかにする．

謝辞
本 研 究 の 一 部 は JSPS 科 研 費 JP22K12322 ，
JP21H03565，JP20H01730 の助成による．

図 2 分析方法

参考文献

4.

評価実験

本実験では工学部学生 11 名を対象に提案した分析手法を用いた調査を行った．実験では誤りの可視化を用いた場合の数システム(2)と EBPP システム(3)の 2 つを使用した．場合の数システムは，場合の数の文章問題の解き方を支援したものである．EBPP システムは，システムが学習者の入力した誤った解答に対して，「あなたの入力した解答は提示された問題ではなく，この問題を解いていることになる」と学習者の解答に基づいた問題設定を学習者にフィードバックとして提示するものである．以上の二つのシ(1) 平嶋宗, 堀口知也: “「誤りからの学習」を指向した誤り可視化の試み”, 教育システム情報学会誌, Vol.21,
No.3, pp.178-186 （2004)(2) 白戸晟真, 東本崇仁: “問題解決過程の可視化による場合の数学習支援システム”, 電子情報通信学会技術研究報告(ET), Vol.121, No.406, pp.25-30, （2022)(3) 相川野々香, 齊藤寛, 古池謙人, 東本崇仁: 力学における学習者の誤りに基づいた問題提示（Error-basedProblem Posing）システムの開発, 電子情報通信学会論文誌 D, Vol. J106-D, No. 2, pp. 144-155, （2023)(4) 加藤隆: “認知インターフェース”, オーム社出版局（2002)― 114 ―