# 学会記事
## NLP2021ワークショップ：文章の評価と品質推定〜人間・機械の「作文」の巧拙をどう見極めるか？～

須藤克仁 ${ }^{\dagger, \dagger \dagger}$ ・小町守 ${ }^{+\dagger} \cdot$ 梶原智之 ${ }^{+\dagger \dagger \dagger}$

## 1 はじめに

ニューラル機械翻訳を端緒として，文書要約，データからの言語生成等の性能がこの数年で大きく改善したと言われている。特にこの 2-3 年の大規模事前学習モデルに基づいて自動生成される文は一見して自動生成と気づかないほどの品質に達することもある。一方で実際の様々な自動生成の事例においては文脈の整合性の問題や事実関係の誤り等重大な問題があることも指摘されており，計算機が望ましい「作文」をできているかどうかの見極めがこれまで以上に重要になってきていると言える.

この問題に対する自然言語処理分野での従来の取り組みとしては, 人手による絶対評価・相対評価に加え，機械翻訳や要約における参照テキストを用いた自動評価が挙げられる。さらに，機械翻訳では後編集やチェックの要否判断を目的とし参照テキストによらない方法である品質推定の方法について検討が進められている。自動評価や品質推定の技術は計算機による言語生成技術の高度化にあわせて進化を続けており，長く用いられてきた表層に基づく単純な手法から，大規模事前学習モデルの活用を中心としてより高いダイナミックレンジでの評価・品質推定を目指す手法に移行しつつある。また，人手評価についてもより精緻な評価に向けて誤りを詳細に分類・採点する評価方法が模索されている。人手評価は自動評価や品質推定の基準でもあるため, 人手評価のデザインは言語生成技術の方向性を決める重要な問題である.

このように計算機が生成するテキストに対する巧出の問題について考えたとき，計算機が生成する文章が人間並みになったということであるのならば，人間の書く文章の巧拙と同じように考えるべきなのではないのか，そして人間の書く文章の評価では今何が問題となっているのか，何か共有できる知見がないのか，という疑問が生じる。人間の書く文章の評価という観点では，ことばの教育という観点で作文添削は非常に重要な問題である。さらに幅を広げると，記述式テストの自動採点が自然言語処理の応用技術として発展してきている.このように計算機が生成したテキストも人間が書いたものと同様に評価される時代，評価されるべき時代が今

後訪れるとして，我々は何をすべきであろうか？

そこで，様々な研究者が集う言語処理学会年次大会の場で関係する議論と情報交換をすることを目的として「文章の評価と品質推定〜人間・機械の「作文」の巧拙をどう見極めるか？」と題したワークショップを提案・開催した．本稿ではワークショップの内容についての簡単な振り返りと今後の展望について述べる。

## 2 ワークショップの概要

本ワークショップは言語処理学会第 27 回年次大会 (NLP2021) のワークショップとして 2021 年 3 月 19 日（金）に実施された. 招待講演 3 件, 一般発表 7 件に加え, グループディスカッション・全体ディスカッションを行った. 参加者数は最大で 120 名程度であり, 盛況であった.

## 2.1 招待講演

言語生成研究とその評価様々な言語生成の研究に取り組まれている高村大也氏（産総研／東工大）に言語生成研究の概観と，言語生成における評価の現状と直面している課題についてご講演いただた。言語生成の評価を「人手評価と自動評価」「内的評価と外的評価」の二つの観点で分類し, 最近の研究における評価の実例が紹介されるとともに, 内的評価におけるBLEU, ROUGE 等の表層的な尺度や言語生成で用いられる RG, CS, CO の限界, 人手評価設計の困難さ，外的評価の重要さと現状の取り組みの不足について議論された。最後に評価は研究の主張を支えるものであり，研究課題や論旨に合わせた評価をデザインすべきである，として評価の重要性がメッセージとして示された.

NLP 言語教育応用と言語評価タスク文法誤り訂正や記述式答案の自動採点の研究に取り組まれてきた水本智也氏（フューチャー／理研 AIP）に，文法誤り訂正における評価方法，および短答式記述問題の自動採点方法についてご講演いただいた。文法誤り訂正の評価は参照テキストの網羅性の問題から参照なし評価が注目されており，最小限の文法誤りの訂正というだでなく流暢性や文意の保存を考慮するような評価の拡張が試みられ，昨今の深層学習技術による訂正傾向の変化や誤り訂正の高度化への対応が進みつつあることが紹介された. 記述問題の採点については単純な回帰問題としてではなく, 採点項目とその根拠に基づいた詳細な採点を行う手法が考案されていること, 日本語でも理研を中心にデータセットの蓄積と研究が進んでいることが紹介された。

翻訳品質と JTF ガイドラインの概要英語翻訳者として活動され, JTF（日本翻訳連盟）の理事も務めている西野竜太郎氏（グローバリゼーションデザイン研究所）に, 翻訳の品質に対する考え方と，西野氏が主導して制定された JTF 翻訳品質評価ガイドラインについてご講演いただいた。一口に翻訳の品質と言っても実際には様々な観点があることから共通認識として共有

することは難しく, 比較的最近になって, 翻訳の専門家の観点, 読者となるユーザの観点, 成果物としての客観的観点, 費用対価値の観点, 仕様適合性の観点の五分類が提唱されたことが紹介された。それを踏まえて，JTF 翻訳品質評価ガイドラインでは成果物としてのエラー評価を行うために，国際的なエラー分類体系との互換性も図りつつそれぞれのエラーの重大性に基づいて評価指標が設計されていること，また，正確さや流暢さのような機械翻訳評価でもよく利用される観点のみならず，スタイルガイドへの適合度や日付等地域特有の表記形式やテキストの見た目等の観点も考慮されていることが紹介された.

## 2.2 一般発表

一般発表についてはワークショップの Web サイト1で募集を行い， 7 件の発表が行われた。予稿の提出は任意とし， 2 件については Web サイトで予稿を公開している。また 2 件については年次大会本会議での発表と同内容で行われ，議論をさらに深める場としてご活用いただいた。一般発表は Zoom のブレイクアウトルームを用いた仮想ポスター形式で行われ，参加者間の活発な議論が行われた。

一般発表では人間が書いたテキストを自動採点・添削する課題に関するものが 3 件と多く, その他は作文能力評価のための分析に関するもの 1 件, 文法誤り訂正の品質推定・機械翻訳の自動評価に関するもの各 1 件，疑似小論文試験データセットに関するもの 1 件，であり，テキストの評価や品質推定の問題に対して広く話題をカバーする内容であったと考えている.

## 2.3 ディスカッション

本ワークショップではテキストの評価や品質推定について, 人間が書くもの, 計算機が生成するもの，という枠に必ずしもとらわれず包括的に議論することを狙っていたことから，講演・発表の他にディスカッションの時間を設けた。ディスカッションは話題ごとにグループ分けを行いそれぞれで深い議論を行っていただくためのグループディスカッションと，それを受けて全体として共有できるものや異なる点等も踏まえて行う全体ディスカッションに分ける形とした.

## 2.3.1 グループディスカッション

グループディスカッションの話題については事前に参加予定者に対するアンケートを行い,以下の 3 つのグループに分かれて Zoom のブレイクアウトルームでそれぞれ議論を行った. また, グループディスカッションではそれぞれの内容に関する研究経験の豊富な方々にディスカッションリーダーを事前に依頼し，議論の牽引と整理を行っていたたいた。

対話ディスカッションリーダーを東中竜一郎氏（名大），杉山弘晃氏 (NTT) に務めていたたいた．対話システムが自然なことばを返せるようになってきたことを受けて，各発話のことばとしての良さよりも，対話によって何がなされるのか，なされるべきなのか，対話でなければならない理由は何か, というような根源的な議論が提起された. これは対話というコミュニケー ションの善し悪しを測るという意味での外的評価の重要性を示すものとも言える.

教育ディスカッションリーダーを三田雅人氏（理研／東北大）に務めていたたいた．教育の研究と自然言語処理の教育への応用の連携に向けての議論から, 両者の注目する箇所の違いが示唆された．例えば自然言語処理では誤り訂正や自動採点において誤りを同定することが重視されているが, 教育においては様々な語彙を活用できるかどうか, 文章が構成できるかどうか, というようなことばの運用能力の評価に軸足が置かれているという違いがある。より高度な作文評価に向けたタスク設計の重要性を示唆する議論と言える.

翻訳ディスカッションリーダーを中澤敏明氏（東大）に務めていたたいた。人手による翻訳のプロセスは単に内容が一致する翻訳をすることに留まらず，仕様との合致やデザインまで含めて考える必要がある，機械翻訳の世界ではそこまで考えられていないという指摘があった。唯一絶対の評価基準ではなく，対象に合わせた基準があるべきという提言は翻訳結果がもたらす価値という外的評価の重要性を示唆するものと言える。例として挙げられたのは，時代・文化・背景のようなテキストの外にある情報の考慮が翻訳では不可欠であるという点で, 非常に重要な問題である.

## 2.3.2 全体ディスカッション

各グループの議論を経た全体ディスカッションでは， すべてのグループで話題となった外的評価の重要性を中心に, 現状の課題と今後の展望についての議論が行われた。

現在の自然言語処理研究では参照テキストとの比較に代表されるような内的評価が中心になっているが，実際には評価対象テキストがどういう役割を果たす／影響を及ぼすのかということが重要であり，それぞれのタスクで適切な外的評価のデザインが必要であるという共通認識が得られた。また, 自然言語処理で現在利用されている自動評価の指標には実用に即した評価とは言いがたいものもあり（例えば機械翻訳の BLEU や文法誤り訂正の $\mathrm{F}_{0.5}$ ），翻訳や教育の専門家の視点も活かして適切な内的評価を設計すべきではないかという提言があった.

もう一つ話題となったのはタスクによる評価観点の違いである。一口に作文の評価といっても, 人間の言語教育の観点と計算機の言語生成評価の観点は大きく異なるし, 言語生成でも対話・要約・翻訳のそれぞれで重視すべきものには違いがある。こうした違いを踏まえつつ，何か共有できる基盤があるかどうか，自然言語処理として何か役に立てることがあるか，という点については今後も議論が必要であろう.

## 2.4 Slack によるワークショップ後の情報交換

年次大会会期中は大会で用意された Slack を用いて情報交換を行っていたが，会期後の大会 Slackの閉鎖を受けて，「文章の評価と品質推定」と題したSlack ワークスペースを開設して議論と情報交換を継続的に実施できるようにしている²，自然言語処理研究者に関わらず，教育，翻訳等ことばを用いる様々な業務に関わる方との開かれた場にしたいと考えている.

## 3 おわりに

本稿では NLP2021 ワークショップ「文章の評価と品質推定〜人間・機械の「作文」の巧拙をどう見極めるか？」について簡単に報告した。提案時の想定よりも多くの方々に, それも様々な立場の方々にご参加いただけたこと, 関連する幅広い話題を集められ活発な議論が行われたこと, から, 非常に意義のあるワークショップであったと考えている. 文章の評価・品質推定は計算機による言語生成と切り離せないものであるだけでなく, 人間も含めた言語の運用に関わる非常に重要な問題である. 今回話題の中心となった適切な外的評価を行えることを大きな目標と捉え, その基盤となる内的評価も含めて今後も研究・議論を続けていければと考えている.

## 謝 辞

本ワークショップの開催にあたりご協力いただいた招待講演者, 発表者, ディスカッションリーダー, そして参加者の皆様に感謝したい。また本寄稿の機会をくださった編集委員会の皆様にも感謝する。本ワークショップの開催については一部 JST さきがけ (JPMJPR1856) の支援を受けた。

## 略歴

須藤克仁 : 2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より奈良先端科学技術大学院大学准教授, 現在に至る. 機械翻訳を中心とした自然言語処理, 音声言語処理の研究に従事. 2018 年より科学技術振興機構さきがけ研究者, 理化学研究所革新知能統合研究センター客員研究員を兼務. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL 各会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大

学院大学情報科学研究科修了. 博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学) システムデザイン学部准教授.大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある.情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.