# NLP2023 テーマセッション「ことばの評価と品質推定」
## 1 はじめに

2010 年代後半以降の計算機による言語生成技術の進展には目を見張るものがある. 特に 2020 年前後から急速に発展した大規模事前学習モデルは, 巨大な生テキストデータと大規模化を続ける計算資源を背景にモデルサイズの増大と応用タスクでの性能向上を続けている。 2022 年 11 月に公開された ChatGPT や続いて 2023 年 3 月に公開された GPT-4 は広く世間一般への認知も高まり，いよいよ計算機による言語生成が身近なものとして拡がる兆しを見せつつある。こうした背景から，今後は社会全体での「ことば」に関する “生産性”が大きく向上していくことが見込まれる。これまでの社会ではともすると人間が発する「ことば」と計算機が生成する「ことば」という二項対立に近い扱いであったものが，計算機の力を借りて人間が紡ぐ「ことば」， もしくは人間が指示を与え計算機が代弁する「ことば」，が無視できない存在になるであろう. そのような時代の到来を見据え，コミュニケーションや記録，そして思考の媒体である「ことば」を正しく用いることは，「ことば」による相互理解の質の担保のためにますます重要性を増していくと考えられる。

自然言語処理においてはこれまで人間が産出する「ことば」を対象とした小論文等の採点, 計算機が生成する「ことば」を対象とした機械翻訳や自動要約等の採点, の双方が扱われてきた.前者においては言語習熟度や文章構成能力といった観点，後者においては原文や参照文との同義性の観点が重視される傾向にあったと言える。この違いは小論文と翻訳や要約との目的の違いによるものであるとともに，後者においてはそもそも計算機が生成する「ことば」の品質が低かったために，高次の品質よりも「ことば」としての自然さや伝達内容の “正解率”，ともすれば表層の一致率のような比較的低次の品質を問わざるを得なかったことの表れでもある．筆者らは, 先に述べたような言語生成技術の進展を受け, 計算機の言語生成においても今後より高次の品質が問われることを見据えて，人間か計算機かを殊更に問わず，幅広く「ことば」の品質を問うための議論の場として, テーマセッション「ことばの評価と品質推定」を企画した.以下本稿ではセッションの内容と，セッションでの議論を受けた筆者らの見解について述べる.


## 2 テーマセッションの内容

本テーマセッションは, ある目的で生み出されたことばが的確であるか, 有用であるか, を評価あるいは推定するという課題に着目し, そのための技術やノウハウ, 実用上の課題, 新たな応用の可能性等を幅広く議論し, 知見の共有と今後の更なる発展に繋げることを狙うものである.企画としては, 前回 NLP2022 のテーマセッション『文章の評価と品質推定』, 前々回 NLP2021 のワークショップ『文章の評価と品質推定～人間・機械の「作文」の巧拙をどう見極めるか?〜』(須藤他 2021), に続くものである¹.

本テーマセッションでは, 9 件の一般発表と最後短時間の総合討論を行った.

## 2.1 一般発表

一般発表の話題は様々な言語生成タスクに対し横断的に自動評価・品質推定を行うもの (星野, 張 2023; 野口，梶原 2023), 計算機が生成する「ことば」を自動評価するもの (山中, 徳永 2023; 黒田他 2023), 人間が産出した「ことば」を自動評価するもの(新保他 2023; 李他 2023),通訳と翻訳の評価観点の違いを問うもの(蒔苗他 2023), 個々の生成結果ではなくモデルの生成傾向を分析するもの (Anantaprayoon 他 2023)，異なる情報媒体に対する人間の情報消化効率を分析するもの (小池, 早矢仕 2023) と多岐に渡った. 既存の共通タスク等のデータに基づて性能改善を目指したり別視点からの分析を与えるものがおよそ半数, その他は独自に評価データセットを作成して新たな観点で評価の課題に取り組んたものであった. なお，テーマセッションでの発表以外でもいくつか関連する内容について扱った研究発表がプログラム内に見られた。

本大会では口頭での質疑時間が限定的だったこともあり, Slackでの質疑へも誘導する形でセッション中の議論を行った．Slackでの質疑は発表内容により多少の濃淡はあったものの，才ンライン参加者も含め活発に行われた。いわゆる質問だけでなく, 感想や雑談という形で意見や情報が共有されたり, 関係する論文が提示できたり, 発表間の関係を活かし，記録を残すという面でも有益であった.

## 2.2 総合討論

総合討論では会場および Slack で質疑応答を行った. 大きくは人間の書いた文章に関する評価に対する話題と，機械的に生成された文章に関する評価に関する話題について議論し，以下のような課題が提起された。総合討論の時間が短く議論が深められなかった面はあったが, これまでの評価や品質推定の枠組みにとらわれず新たな試みが今後行われることを期待したい.

- 大前提として, 何のため, 誰のための評価をするのかということが重要であって, 万能のものはない

-そもそも評価は一次元ではなく，正確さ，用語の的確さ，流暢さ等多面的に捉えるべきものではないか
- 難易度という尺度も単純ではなく，母語話者と第二言語学習者では違いがあることもある
- ChatGPT 等機械が生成することばは当たり障りがない一方, 人間の作文は個々人の特徵やクセ等の尖った部分があることで面白さに繋がっている面があるため, 同じように評価すべきかは自明でない

・評価は改善の指針にもなり得るはずで，フィードバックも含めて役立てるべき

## 3 議論

## 3.1 人間の「ことば」の評価と計算機の「ことば」の評価の関係

今回のテーマセッションに至る一連の企画において筆者らが重視してきたのは, 人間が産出する「ことば」と計算機が生成する「ことば」の評価で知見を共有することであった. 人間の 「ことば」に対する評価は，短文記述問題の回答評価のように正解があるものに限らず，課題に対する自由作文で文章構成力や言語習熟度を問うものや, 知識を総動員させた上で論述力を問うものもあり，非常に多様である．かたやこれまでの計算機の「ことば」に対する評価は，機械翻訳の評価に代表されるように，正解との内容の一致度を測るものであることが多かった.

今後計算機が生成する「ことば」の活用が拡がっていくにつれて, 応用に応じた多様な評価が必要となることは間違いない. それに伴うある応用においてどのような「ことば」が求められているのか, というタスクの定式化, 評価観点や尺度の規定, 検証のためのデータの整備等が今後の重要な課題と言えるだろう。そして，人間が産出する「ことば」に対して教育や能力評価の観点で行われてきた様々な評価の知見が活用されることが期待でき，協働が望まれる.

## 3.2 大規模言語モデル時代の「ことば」の評価

もう一つ議論すべきこととして, 大規模言語モデルによる「ことば」の “生産性” の向上が挙げられる。「ことば」の評価や品質推定の観点でも, 人間が産出する「ことば」, 計算機が生成する「ことば」に加え, 大規模言語モデルの支援を受けた人間が創出する「ことば」が対象に加わる.「ことば」の品質を問うことの重要性はさらに高まると言ってよいであろう.

ここで, 言語モデルに基づく「ことば」の生成とその評価に関して, 以下を考えてみる。言語モデル尤度の高い生成文に対して人間が修正という“摂動”を加えたとして, 修正後の文のほうが「ことば」として望ましい，と安定して評価するためには何が必要たろうか？さらに，「ことば」の “生産性” が今後より向上し, 言語モデルが “平均的” な「ことば」の用法に大きく寄与

するようになったとしたら, 人間の「ことば」の尖った部分はどう扱われるべきなのだろうか？

何かを「ことば」で伝えようとすると，話し手・書き手の意図やその時々の状況等，様々な条件に応じた実行可能解としての「ことば」の表現が許容されるはずである。このような様々な条件は ChatGPT 等の仕組みではプロンプトとして制御ができるようになったと考えることもでき，以前に比べれば格段に豊かな表現が得られるようになったのかもしれない．たた，現在我々が扱っている「ことば」の評価や品質推定の枠組みはまたその見極めには至っていないと考えられる。昨今の評価・品質推定の研究では BERT 等の（広義の）事前学習言語モデルがよく用いられるが 2 , これを非常に単純に捉えると，生成と評価の両面で同様のモデルを利用する状況にあるとも言える。「ことば」の品質を一定程度保証する仕組みとしての言語モデルの有効性を活かしつつ，それのみに留まらない本質的な「ことば」の品質を問う必要があると言えよう.

また，計算機による「ことば」の生成技術や創出支援技術の検証のために評価が果たす役割は大きい。言語モデルの多様性と，研究の再現性の担保のための透明性の高いモデルの利用はトレードオフの関係にあり，個々の言語モデルに関する知見と言語モデルを横断する知見を区別して蓄積することが, 自然言語処理コミュニティとして必要なことであろう.

## 4 おわりに

本稿では, NLP2023 テーマセッション「ことばの評価と品質推定」について簡単に報告し, それを受けた筆者らの見解を述べた。一口に「ことば」の評価と言ってもその範囲は広く，以前のワークショップ・テーマセッションでなかった新たな観点の研究発表もあり, 今後も更に拡がりを見せることが期待される内容であった。冒頭に述べた通り，今後「ことば」を取り巻く情勢は大きく変化し, それに伴ってその評価に求められるものも急速に変容していく可能性が高い，そうした中，様々な場面・用途・対象で用いられる「ことば」の品質を評価・検証する仕組みを構築し，また維持することは自然言語処理の重要な役割であると考える．本テーマセッションおよび本稿が参加者や読者の興味を喚起することに繋がれば幸いである.

## 謝 辞

本テーマセッションおよび年次大会の開催にあたりご尽力くださった大会各委員会の皆様, テーマセッションを盛り上げていただいた発表者および参加者の皆様に感謝する。また本寄稿の機会をくたさった編集委員会の皆様にも感謝する。


## 参考文献

Panatchakorn Anantaprayoon, 金子正弘，岡崎直観 (2023). 下流タスクでの日本語事前学習モデルの性別バイアスの評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1563-1568. [P. Anantaprayoon et al. (2023). Karyu Tasuku deno Nihongo Jizen Gakushu Moderu no Seibetsu Baiasu no Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1563-1568.].

星野翔, 張培楠 (2023). 自然言語生成における夕スク横断自動評価のメ夕分析. 言語処理学会第 29 回年次大会発表論文集, pp. 1267-1271. [S. Hoshino and P. Zhang (2023). Shizen Gengo Seisei niokeru Tasuku Odan Jido Hyoka no Meta Bunseki. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1267-1271.].

Kocmi, T. and Federmann, C. (2023). "Large Language Models Are State-of-the-Art Evaluators of Translation Quality." arXiv preprint 2302.14520 [cs.CL].

小池央晟, 早矢仕晃章 (2023). テキスト・画像による情報消化効率のメディア別構成因子抽出. 言語処理学会第 29 回年次大会発表論文集, pp. 1553-1556. [H. Koike and T. Hayashi (2023). Tekisuto $\cdot$ Gazo niyoru Joho Shoka Koritsu no Mediabetsu Koseiinshi Chushutsu. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1553-1556.].

黒田勇斗, 藤田篤, 梶原智之, 二宮崇 (2023). 疑似訓練データに基づく機械翻訳の教師なし品質推定. 言語処理学会第 29 回年次大会発表論文集, pp. 1283-1287. [Y. Kuroda et al. (2023). Giji Kunren Deta ni Motozuku Kikai Honyaku no Kyoshinashi Hinshitsu Suitei. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1283-1287.].

李在鎬, 長谷部陽一郎，伊集院郁子，青木優子，村田裕美子 (2023)，学習者作文評価システム「jWriter」による習熟度と論理性の自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1569-1573. [J. Lee et al. (2023). Gakushusha Sakubun Hyoka Shisutemu "jWriter" niyoru Shujukudo to Ronrisei no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1569-1573.].

蒔苗茉那, 須藤克仁, 中村哲, 松下佳世, 山田優 (2023). 同時通訳品質評価方法検討のための同時通訳者と翻訳者の評価比較分析. 言語処理学会第 29 回年次大会発表論文集, pp. 1277-1282. [M. Makinae et al. (2023). Doji Tsuyaku Hinshitsu Hyoka Hoho Kento no tameno Doji Tsuyakusha to Honyakusha no Hyoka Hikaku Bunseki. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1277-1282.].

野口夏希, 梶原智之 (2023). 入力文と自然言語処理モデルの相性判定. 言語処理学会第 29 回年
次大会発表論文集, pp. 1288-1292. [N. Noguchi and T. Kajiwara (2023). Nyuryokubun to Shizen Gengo Shori Moderu no Aisho Hantei. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1288-1292.].

新保彰人, 山田寞章, 徳永健伸 (2023). 参照例を使わないキャッチコピーの自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1557-1562. [A. Shimbo et al. (2023). Sanshorei wo Tsukawanai Kyatchikopi no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1557-1562.].

須藤克仁, 小町守, 梶原智之 (2021). NLP2021 ワークショップ：文章の評価と品質推定〜人間$\cdot$機械の「作文」の巧拙をどう見極めるか？～. 自然言語処理, 28 (3), pp. 895-900. [K. Sudoh et al. (2021). NLP2021 Workshop: Evaluation and Quality Estimation of Text-How Do We Judge Human- and Machine-generated Text Good or Bad? Journal of Natural Language Processing, 28 (3), pp. 895-900.].

山中光, 徳永健伸 (2023). 編集操作によるデー夕拡張を用いたテキスト平易化の自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1272-1276. [H. Yamanaka and T. Tokunaga (2023). Henshu Sosa niyoru Deta Kakucho wo Mochiita Tekisuto Heiika no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1272-1276.].

## 略歴

須藤克仁 : 奈良先端科学技術大学院大学准教授. 2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より現職. 機械翻訳を中心とした自然言語処理, 音声言語処理の研究に従事. 2018 年より理化学研究所革新知能統合研究センター客員研究員を兼務. 言語処理学会, 情報処理学会, 日本音響学会,人工知能学会, ACL, ISCA 各会員.

小町守：一橋大学ソーシャル・データサイエンス研究科教授. 2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学).同年同研究科助教. 2013 年首都大学東京 (現東京都立大学) システムデザイン学部准教授, 2022 年教授を経て, 2023 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了.

2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

三田雅人：株式会社サイバーエージェントリサーチサイエンティスト． 2016 年に奈良先端科学技術大学院大学を修了後, 日本マイクロソフトを経て, 2018 年に理化学研究所革新知能統合研究 (AIP) センターに入所. 2021 年に東北大学大学院情報科学研究科博士後期課程修了. 2022 年より現職. 東京都立大学特任助教, 理化学研究所 AIP センター客員研究員を兼任. 博士 (情報科学).言語処理学会, ACL 各会員.