LLMasaDebateJudge:学習者ディベーターへの自動フィードバック生成

1.1背景と課題批判的思考力1）の育成は高度情報化社会おいて，国家の重要課題となっている．批判的思考力の育成にはディベートをすること，とりわけディベートを行い，ジャッジからのフィーバックを受けることが有効とされている．しかし，高品質なフィードバックを行うエキスパート評価者が必要となり，人的コストが大きい．そこで本研究グループでは人間のディベートジャッジを代替できるLLMエージェントを用いた高品質ディベートジャッジシステムを開発し，この課題を解決を目指す．しかしマルチLLMエージェントシステムを用いた学習者ディベーターへのフィードバックを行った研究は少ないため，教育効果の高い高品質フィードバックを行うことがで1）論理的・客観的で偏りのない思考であり，自分の推論過程を意識的に吟味する反省的思考である[1].きるのか未知数である．さらにLLMエージェントシステムに合わせてデザインされたディベートの評価指標がないという課題もある．1.2本研究の取り組み本研究ではディベートエキスパートらと協力し，ディベートジャッジとしてのディベート評価指標をマルチLLMエージェントシステム用に再構築し提案する．同時にマルチLLMエージェントを用いたディベートジャッジシステム(図1参照)を提案し，本システムのディベートジャッジとしてのフィードバック能力を定量的に評価する．本研究を通して，LLMエージェントシステムの教育応用場面の増加，利用ハードルの低減に繋がることを期待する．1.3貢献•マルチLLMエージェントシステムに合わせた独自のディベート評価指標(表1)を作成した．•本指標をもとに，学習者が行ったディベートに対してサマリー及びフィードバックを提示するディベートジャッジシステムを構築した．.メリット・デメリット評価議題を肯定するメリットはデメリットより大きいか議題を肯定する前後で変化が大きいかメリットを得るためのプランは現実的で実行可能か論理性評価主張の推論過程に飛躍や矛盾がないか各論点が適切に関連付けられているか主張を裏付ける証拠や事例が適切に提示されているか反論への対応評価反論の内容を理解し核心を捉えているか反論に対して直接的に応答しているか反論の問題や限界を適切に指摘しているか反論を受けて，主張を強化また修正しているか再構築された主張は，元主張より説得力が増しているか•人間のエキスパートとシステムのフィードバック品質を比較評価することで．本システムのディベートジャッジとしての活用可能性を示した．•実験で得たディベートデータに，人間のエキスパートのフィードバックとシステムのフィードバックが付されたデータセットを公開した2）．