FY2022/2022年度

Natural Language Understanding Team
Kentaro Inui
⾃然⾔語理解チーム

乾 健太郎

説明能⼒を備えた⾔語アセスメントAI（AI×教育）⽬標

期待される効果

学習者の解答・説明・論述を即時的に評価・診断し、説明のフィードバックを返す新
しい「⾔語アセスメントAI」技術群を実現
し、教育/学習の形を⾰新する

学習者 ← 即時的フィードバックで学習効果向上、対話的学習も
教員 ← 添削の負担減、評価の均質化、対⾯指導に注⼒可学校 ← ⾔語データを含むlearning analyticsで個別/最適化
事業者 ← 採点コスト減、AI採点問題集など、新事業/教材へ

⾔語アセスAI技術群

多様な教育事業者と２階建て連携

短中期

中⻑期

英⽂ライティング⽀援（解説付き）英作⽂添削

Beforehow-to-say（⾔語表現）△ since は既知の事実に基づく説明に使います

After

There are two main approaches toThere are two main approaches tobuilding CLIR system. The modular
develop CLIR system. The modular
approach involves a pipeline of two
approach involves a pipeline of two
components: translation (machinecomponents, namely translation (machinetranslation or bilingual dictionary looktranslation or bilingual dictionary look-up)up) and monolingual informationand monolingual information retrieval (IR).
retrieval (IR). These approaches may be These approaches may be subdivided into
further divided into the document
the document translation and querytranslation and query translationtranslation approaches. In the former, allapproaches. In the former, one translates the foreign-language documents are
all foreign-language documents to thetranslated to the language of the userlanguage of the user query prior to IR
query prior to IR indexing, whereas in theindexing; in the latter, one indexes
latter, one indexes the foreign-language
foreign-language documents anddocuments and translates the query. In
translates the query. In both, the idea is both the approaches, the concept is toto solve the translation problem
solve the translation problem so that CLIR
separately, so that CLIR becomes
performs document retrieval in adocument retrieval in the monolingual
monolingual setting.
setting.

(EMNLP2019, NAACL2019, INLG2019,J.CogSci2020, EMNLP2020, ACL2021)

She spoke Japanese fluently since
she had lived in Japan for thirty years.

競争領域

She spoke Japanese very fluently
because she has lived there for 30 years.

✕ 時制をそろえましょう

実証実験
事業に導入

個別の事業者の事業に組込む技術適応を共同開発→ 二者共有の知財として実証実験・事業に導入

社会 特定の事業に組込む
実装 ための技術適応/拡張✕場所を正しく記述しましょう

理研単独の知財(EMNLP2019, ACL2020, EMNLP2020,LREC2020, EMNLP2021, INLG2022)

記述答案項⽬評価
what-to-say（内容・論理）

二者共有の知財論述の対話的指導

協調
領域

実データ
（問題、答案、採点等）

データ
提供

データをオープンにアセスメント技術の研究開発

データ 研究ｺﾐｭﾆﾃｨの拡大
配布

AIP NLUチーム

外部研究機関  問 傍線部(1)「こうした〜築いてきた」とあるが、事業者提供のデータを使ってAIP内部で技術を研究開発→ AIP単独の知財として社会に提供
さらに、データを第三者が研究目的で利用できる仕組みを構築

それはどういうことか。70字以内で説明せよ。

(BEA2019,ACL-SRW2020, JNLP2021)
(AIED 2019, FEVER 2019, Submitted)

教育事業者

2022年度の主要成果① 記述答案⾃動採点AIの品質保証技術を開発（世界初）概要:
記述答案採点タスクを設計、データセット構築・公開
から新技術の開発、実⽤化まで⼀気通貫に実現
22年度は品質保証技術の開発で実⽤化に進展  問 傍線部(1)「こうした〜築いてきた」とあるが、それはどういうことか。70字以内で説明せよ。

問題・採点基準

全答案（10万）

1%を人手採点（3千）⑫

自動採点モデルは人手採点のダブルチェックにも使える

訓練
自動採点モデル

採点⑫︖

確信度上位
80%の答案の採点を確定
（8万）

訓練

⑫⑫

確信度下位20%の答案の一部を人手採点 （2千）自動採点モデル

採点⑫︖

確信度上位の答案の採点を確定（1万）確信度下位の答案を人手採点 （5千）チャレンジ: 低資源設定への耐性、説明性・納得感の保証
今後の展開:• 全体得点の他、評価項⽬ごとの点数を推定（説明性・低資源）（世界初）• 代ゼミとの事業を継続拡⼤• 項⽬毎採点の根拠箇所提⽰で信頼性保証（説明性・納得感・低資源）（世界初） （2021年に商⽤化）
Sato+ Generating Feature Attribution-based Explanations for Automated Short Answer Scoring. AIED 2022
• 他事業者とも導⼊を協議中（2023年度実証開始）• 採点確信度推定で費⽤対効果最適化（説明性・納得性・低資源）（世界初）
Funayama+ Balancing Cost and Quality: An Exploration of Human-in-the-loop Frameworks for Automated Short• ⽂科省MEXCBTへの導⼊もAnswer Scoring. AIED 2022
協議・検討

2022年度の主要成果② 反論のロジックを解析・診断する新タスクを設計（世界初）
10 IAs

Prompt Initial Argument (IA)

(2 topics)
Homework should be abolished because some students
tend to dislike studying. Some students tend to dislike
studying but are obliged to do homework and most ofstudents are not enthusiastic about homework.
…… Being obliged will lead to problems between family.
That's one of the reasons some students tend to dislike
studying. That is why homework should be abolished.

Free-text form

Student Counter Argument (CA)197 CAs(20 CAs/IA)
They said that being obliged will lead to problems
between family. They might believe obliging homework
can trigger family conflicts, but it is not true, rather
it is beneficial for children to have opportunities tocommunicate with their family.. Let us imagine, if
children have some questions about their homework,
they will ask their parent and ……

Diagnostic comments Template-based form

Insufficient explanation of why homework isnecessary for family communication while
there seem to be other ways for the same
purpose as well.
1,028 comments(5 comments/CA)

Template-based form (Translation)[Template-CMP1]
It lacks an explanationof why { homework } is a better way torealize { family communication } over{ other means }.
948 translations(Coverage 92%)

ディベートにおける反論をロジックレベルで診断し、フィードバックコメントを返す
新しい課題「反論診断」を設計、研究⽤データセットを構築• Sultana+, LPAttack: A Feasible Annotation Scheme for Capturing Logic Pattern of Attacks in Arguments. LREC 2022
• Naito+, TYPIC: A Corpus of Template-Based Diagnostic Comments on Argumentation. LREC 2022.
• Singh+, IRAC: A Domain-specific Annotated Corpus of Implicit Reasoning in Arguments. LREC 2022.

Sasaki+ Information Processing & Management, Hanawa+ JNLP, 佐藤+ 自然言語処理, Kudo+ EACL 2023, Aoki+ EACL 2023 Findings, Kavumba & Brassard+
EACL 2023 Findings, Matsumoto+ BlackboxNLP 2022, Dai & Benjamin+ EMNLP 2022, Kuribayashi+ EMNLP 2022, Aoki+ AACL-IJCNLP SRW 2022, Matsumoto+ACL-IJCNLP SRW 2022, Sato+ AACL-IJCNLP SRW 2022, Abe+ Eval4NLP 2022, Kishinami+ COLING 2022, Fujihara+ COLING 2022, Kurita+ COLING 2022, Sato+SIGDIAL 2022, Funayama+ AIED 2022, Sato+ AIED 2022, Naito+ LREC 2022, Sultana+ LREC 2022, Singh+ LREC 2022, Brassard+ LREC 2022, Kato+ Plos One, etc.
文部科学大臣表彰・科学技術賞（研究部門）, 言語処理学会2021年度論文賞, 言語処理学会第28回年次大会 最優秀賞, 同優秀賞×２, 同委員特別賞×5,情報処理学会2022年度山下記念研究賞, 第254回自然言語処理研究会 優秀研究賞, AACL 2022 SRW Best Paper Award, AIED 2022 Best Paper Nominee,