2024年2月20日（火）第15回産業日本語研究会・シンポジウム
パネルディスカッション

生成AIと言語教育：
研究と実践から見る可能性と課題
水本 篤（関西大学）

Gartner Hype Cycle(3‒5 years)

https://upload.wikimedia.org/wikipedia/commons/9/94/Gartner_Hype_Cycle.svg

ChatGPT• 無料版（GPT-3.5）• テキスト入力のみ• 有料版 ChatGPT Plus（GPT-4）• マルチモーダル（音声、画像の利用が可能）• Webブラウジングが可能• プラグイン機能が利用可能• GPT Builder (GPTs) ‒ オリジナルのチャットボットが作成可能

GPT-4は日本語でも高い性能
日本の医師国家試験に合格

OpenAI (2023)
GPT-4 Technical Report

無料版

有料版

GPTsでこういうことができるという例
生成AIを組み合わせた、英会話の例文とリスニングスクリプト、動画の作成（大阪公立大学工業高等専門学校 谷野 圭亮 先生）

月$20払わなくてもGPT-4を使う方法

https://copilot.microsoft.com/

音声、画像を使うこともできる。

他の無料で使える生成AIサービス

目的に応じた使い方• ChatGPT無料版• 生成AI利用の入り口• ChatGPT有料版やその他の生成AIサービス• 教師が教材・テスト作成に利用• 専門的な内容のサポート

性能比較
2024年1月実施の共通テスト

Copilot（新しいBing）やBardもなかなか使える• BingやBardは無料で使える。
• Bingは年齢制限がないため、生徒に使わせることも可能。
（ChatGPTとBardは18歳以上）

https://oct-kun.net/wp/post-1903/

ChatGPTがあることによるデメリット• 「コピペマインド」の促進。Passive <--> Active• 勉強する気がなくても構わないという誤ったメッセージ。
• 誤解を招く可能性のある情報の無批判な受け入れ。
• 間違えた内容を正しいと思って学習してしまうリスク。
• ChatGPTにばかり頼ってしまうリスク。
• プライバシーとセキュリティの懸念。

「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」 2023年7月文部省

進む教育現場での実践• 大阪府枚方市立長尾中学校「リーディングDXスクール生成AIパイロット校」• 一人1台iPad、ChatGPT（無料版）を入れている。
• 国語や英語の授業内で生成AIを利用。
• 生成AIを使うことが目的ではなく、あくまで授業の一部。
• 生徒がプロンプトを考える。
• 生徒のコメント「専門的な内容は間違いがあるので、ChatGPTは調べるものではなく文章を生成させるものだと思う。」

生成AIはプロンプトが肝要• プログラミング言語ではなく、自然言語（人間が使用する言語）で指示ができるのが普及の大きな要因。

• コミュニケーション能力 = 言語運用能力が必要。
• （GPT-4は）日本語でプロンプトを書いてもうまく動くことが多い。

• 「これが絶対に正しい！」系に注意する。
• 自分の研究や実践でうまく使えるものをストックする。

プロンプトに例を含める方がよりパフォーマンスが上がる。
詳細な説明は例が少ない場合特に重要。

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam,P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R.,Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., … Amodei, D. (2020). Language models are fewshot learners. https://doi.org/10.48550/ARXIV.2005.14165

langtest.jp/me-mo-

自分のプロンプトを保存
他の人と共有サインインしなくても使用可能

ChatGPTの得手不得手を知る• 言語理解のタスクは非常に優れている。
• アシスタント的な使い方。アノテーションのサポート。
• 数を数えたり計算するのは苦手。任せるべきではない。
• 「100語で書く」は正確にはできない。
• 正確な・最新の情報を検索する目的で作られていない。
• 誤りはないが平均的で無難な文生成（人間のフィードバックでトレーニングされているためNGなことは言わない）。

• 最後に「知らんけど」って付いてると思ったほうがよい。

ChatGPTは語数のカウントが正確にできない。
↓実際は121語

記述統計の計算

解き方や計算式は詳しく教えてくれる。

人手によるタグ付け作業からの解放「文中のメタファーを探して。」

Exploring the Potential Use of an AI
Language Model for AutomatedEssay Scoring
エッセイの自動採点におけるAI言語モデル活用の可能性を探る
Mizumoto, A., & Eguchi, M. (2023)
Research Methods in Applied Linguistics,
2(2), 100050.
https://doi.org/10.1016/j.rmal.2023.100050

目的• ChatGPT のような AI（言語モデル）が自動採点に活用できるかを探る。

方法• ETS Corpus of Non-Native Written Englishの12,100人分のエッセイをOpenAIのGPT-3 modelで2022年11月30日に公開されたdavinci-003を使って自動採点する。
• ETS-CNNWEはlow, medium, highというエッセイのスコアレベ
ルが提供されているため、その基準と自動採点の結果を比べる。

ルーブリックとプロンプト• IELTS TASK 2 Writing band descriptors (public version)

https://takeielts.britishcouncil.org/sites/default/files/ielts̲task̲2̲writing̲band̲descriptors.pdf• プロンプト
I would like you to mark an essay written by English as aforeign language (EFL) learners. Each essay is assigned arating of 0 to 9, with 9 being the highest and 0 the lowest.
You donʼt have to give me the reason why you assign thatspecific score. Just report a score only. The essay isscored based on the following rubric:（上記のルーブリックを文字で示す。）
ESSAY: （12,100名のエッセイを1つずつ追加）

結果
lowLeveln = 1,330, M = 5.35, SD = 1.07

mediumn = 6,568, M = 6.29, SD = 0.86

highn = 4,202, M = 6.87, SD = 0.80
01

2

34

Score

56789

わかったこと• (Chat)GPTだけで自動採点すると、まあまあの精度。
• 入試のようなハイステークスなテストに使えるレベルではない。
• 学習や指導、評価のサポート・ツールとしては使える。
• 語彙・文法の多様性、複雑さ、結束性などの言語的特徴量を入れると精度が大幅に上がる。
• (Chat)GPTだけでは精度が高くないので、人間の採点も組み合わせたほうがよい。

ChatGPTによるアノテーション
ChatGPTによるアノテーションは、Amazon Mechanical Turk (MTurk) 上のクラウド・ワーカー（人）よりも精度が高く、模範データとのアノテーションの一致度も高い。

Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT outperforms crowd-workers for
text-annotation tasks (arXiv:2303.15056). arXiv. http://arxiv.org/abs/2303.15056

ノイズの多い（noisy）データの分析
ChatGPTを使うことによって、Social Media の投稿に入っているハッシュタグ、絵文字などを抽出することができる。

Zappavigna, M. (2023). Hack your corpus analysis: How AI can assist corpus linguists
deal with messy social media data. Applied Corpus Linguistics, 3(3), 100067.
https://doi.org/10.1016/j.acorp.2023.100067

言語資料をChatGPTに生成させる
コロケーションの確認のためによくある文をChatGPTに生成させる。
また、その語数のカウントも行って頻度表を作成する。

↑これはできません。

Lin, P. (2023). ChatGPT: Friend or foe (to corpus linguists)? AppliedCorpus Linguistics, 3(3), 100065.

LLMは論文執筆もできる?
しかし、アイデアを生成させて著者の1人として名前を挙げるような使い方はNG。
あくまで校正ツールの一部であり、その使用は論文中で言及する必要がある。

https://www.elsevier.com/about/policies/publishing-ethics

LLMは論文査読ができるのか？
LLMフィードバックと人間によるフィードバックはかなり高い相関（r = .80）
GPT-4が生成した査読コメントの質を人間のものと比較（n = 308)。
82.4％が一部の査読者からのフィードバックよりも有益であると回答。

Liang, W., Zhang, Y., Cao, H., Wang, B., Ding, D., Yang, X., Vodrahalli, K., He, S., Smith,D., Yin, Y., McFarland, D., & Zou, J. (2023). Can large language models provide usefulfeedback on research papers? A large-scale empirical analysis (arXiv:2310.01783).
arXiv. http://arxiv.org/abs/2310.01783

ChatGPTが書いたテキストの区別は可能？
ChatGPTによって生成されたテキストと、人間によって生成された (書き言葉、および話し言葉) テキストとの間の類似度を評価。
線形判別分析で、ChatGPTによって生成されたテキストが、多次元プロファイルに基づいて比較的容易に特定できる。
※しかし、使用しているGPTは、GPT3.5であり、プロンプトがシンプルなため、GPT-4で真似をさせてみるような書かせ方だと結果は異なることが予想される。

Berber Sardinha, T. (2024). AI-generated vs human-authoredtexts: A multidimensional comparison. Applied Corpus
Linguistics, 4(1), 100083.
https://doi.org/10.1016/j.acorp.2023.100083

Allen, T. J., & Mizumoto, A. (under review).
ChatGPT over my friends: Japanese EFL learnersʼ
preferences for editing and proofreading strategies.
アカデミックライティングの書き直しにおいて33名の学習者（大学1年生）が以下の2つを実施。
(1) ライティング・グループによるピア・レビュー活動(2) ChatGPTを使った書き直し実施後に質問紙による学習者の感想を収集。

ピア・レビューには非常にポジティブな反応

ChatGPTを使った校正も非常にポジティブな反応

＜質問＞ピア・レビューとChatGPTを比較して、どちらが効果的だと感じましたか？
・半数以上の学習者が「ChatGPT」を選択。
・「学習者は教師のような権威的な人物からのフィードバックを好む」(Paulus, 1999)
・ChatGPTはクラスメートよりも信頼できるリソースであると感じている。
・授業内では人間によるフィードバックと組み合わせることが重要。

CAF の A (accuracy)
CAFの中で唯一、自動算出ができないが、人間とChatGPTのaccuracy算出の精度は非常に高いことが報告されている（ρ = .94/.97, Pfau et al., 2023）。

Mizumoto et al. (in preparation)
人間エラーコーディングよりも、ChatGPTのほうがライティングスコアと相関が高い。

可能性と課題• かなり知ったかぶりをするけど、なんでも聞けて、言語能力が非常に高い先生/友だち/パートナー。

• 学習者が|に「使わない」「使わせない」という選択肢はない。
• 彼らは「AIが使えて当たり前」の社会にこれから出ていく。
• 学習者も教師も研究者も「AIとの共生」が当たり前になる。
• 長所と短所を理解した上で活用する。特に短所は教育上重要。
• 使い方・使わせ方を常に考える必要性がある。

46