Natural Language Understanding Team
Kentaro Inui
⾃然⾔語理解チーム

乾 健太郎

⾔語アセスメントAI
⽬標

期待される効果

学習者の解答・説明・論述を即時的に評価・診断し、説明のフィードバックを返す新しい「⾔語アセスメントAI」技術群を実現
し、教育/学習の形を⾰新する

学習者 ← 即時的フィードバックで学習効果向上、対話的学習も
教員 ← 添削の負担減、評価の均質化、対⾯指導に注⼒可学校 ← ⾔語データを含むlearning analyticsで個別/最適化
事業者 ← 採点コスト減、AI採点問題集など、新事業/教材へ

⾔語アセスAI技術群

多様な教育事業者と２階建て連携

短中期

中⻑期

英⽂ライティング⽀援（解説付き）英作⽂添削

Beforehow-to-say（⾔語表現）△ since は既知の事実に基づく説明に使います

After

There are two main approaches to
There are two main approaches tobuilding CLIR system. The modulardevelop CLIR system. The modular
approach involves a pipeline of two
approach involves a pipeline of two
components: translation (machinecomponents, namely translation (machinetranslation or bilingual dictionary looktranslation or bilingual dictionary look-up)up) and monolingual informationand monolingual information retrieval (IR).
retrieval (IR). These approaches may be These approaches may be subdivided into
further divided into the document
the document translation and querytranslation and query translationtranslation approaches. In the former, allapproaches. In the former, one translates the foreign-language documents are
all foreign-language documents to thetranslated to the language of the user
language of the user query prior to IR
query prior to IR indexing, whereas in theindexing; in the latter, one indexes
latter, one indexes the foreign-language
foreign-language documents anddocuments and translates the query. Intranslates the query. In both, the idea is both the approaches, the concept is toto solve the translation problem
solve the translation problem so that CLIR
separately, so that CLIR becomes
performs document retrieval in adocument retrieval in the monolingual
monolingual setting.
setting.

(EMNLP2019, NAACL2019, INLG2019,
J.CogSci2020, EMNLP2020, ACL2021)

She spoke Japanese fluently since
she had lived in Japan for thirty years.

競争領域

She spoke Japanese very fluently
because she has lived there for 30 years.

✕ 時制をそろえましょう

実証実験
事業に導入

個別の事業者の事業に組込む技術適応を共同開発→ 二者共有の知財として実証実験・事業に導入

社会 特定の事業に組込む
実装 ための技術適応/拡張✕場所を正しく記述しましょう

理研単独の知財(EMNLP2019, ACL2020, EMNLP2020,LREC2020, EMNLP2021, INLG2022)

記述答案項⽬評価
what-to-say（内容・論理）

二者共有の知財論述の対話的指導

協調領域

実データ
（問題、答案、採点等）

データ
提供

データをオープンにアセスメント技術の研究開発

データ 研究ｺﾐｭﾆﾃｨの拡大
配布

AIP NLUチーム

外部研究機関  問 傍線部(1)「こうした〜築いてきた」とあるが、事業者提供のデータを使ってAIP内部で技術を研究開発→ AIP単独の知財として社会に提供
さらに、データを第三者が研究目的で利用できる仕組みを構築

それはどういうことか。70字以内で説明せよ。

(BEA2019,ACL-SRW2020, JNLP2021)
(AIED 2019, FEVER 2019, Submitted)

教育事業者

2021年度の主要成果① 記述式答案⾃動採点AI技術を商⽤化（世界初）
記述式答案採点

代ゼミ 「記述式をAI採点する現代⽂トレーニング」（2021年7⽉販売開始）

  問 傍線部(1)「こうした〜築いてきた」とあるが、それはどういうことか。70字以内で説明せよ。

今後の展開• 代ゼミは事業継続拡⼤• 他事業者とも導⼊を協議中（2022年度実証開始）• ⽂科省MEXCBTへの導⼊も協議・検討を開始(BEA2019,ACL-SRW2020, JNLP2021)チャレンジ︓低資源設定への耐性、説明性・納得感の保証• 全体得点の他、評価項⽬ごとの点数を推定（説明性・低資源）（世界初）• 項⽬ごとの採点の根拠箇所を提⽰（低資源・説明性・納得感）（世界初）• 採点の信頼性推定で費⽤対効果も最適化（説明性・納得性）

⽂科省e-learningシステム:
GIGAスクール構想で全国⼩中学校に無償提供
潜在ユーザ数1千万⼈

2021年度の主要成果② ⾔語学習のための解説⽣成課題を確⽴（世界初）
⽂法誤り訂正＆解説⽣成△ since は既知の事実に基づく説明に使いますShe spoke Japanese fluently since
she had lived in Japan for thirty years.
She spoke Japanese very fluently
because she has lived there for 30 years.

✕ 時制をそろえましょう✕場所を正しく記述しましょう(EMNLP2019, NAACL2019, EMNLP2019, ACL2020,EMNLP2020, LREC2020, EMNLP2021, INLG2022)

⽂法誤り訂正で初めて解説⽣成課題を設計、世界初のﾃﾞｰﾀｾｯﾄを構築• ⾔語⽣成の中核国際会議 INLG 2022 の Shared Task に採択
Nagata+, Shared Task on Feedback Comment Generation for Language Learners• ⼿法論⽂が⾔語処理のトップ国際会議 EMNLP 2021 に採択

Hanawa+, Exploring Methods for Generating Feedback Comments for Writing Learning

今後の • 教育事業者と英語e副教材の開発を計画（2022年度実証開始）
展開 • 英語ディベートのロジックを診断する技術の開発に発展

Wang+ JNLP 2021, Hanawa+ EMNLP 2021, Sultana+ IEEE/ACM Trans ASLP 2021, Mita+ ACL 2021, 三田+ 自然言語処理 2021, Inoue+ ACL 2021, Heinzerling+ EACL 2021, Dai+ EACL 2021,
Kavumba+ NAACL 2021, Yanaka+ EACL 2021, Yanaka+ ACL 2021, Kuribayashi+ ACL 2021, Kobayashi+ EMNLP 2021, Kiyono+ EMNLP 2021, Fujihara+ ACL-SRW 2021, Hanawa+ ICLR 2021,
Konno+ EMNLP 2021, Takase and Kiyono NAACL 2021, Sasaki+ IEEE/ACM Trans on ASLP 2021, 小林+ 自然言語処理 2021, 藤井+ 自然言語処理 2021, 鈴木+ 自然言語処理 2021, etc.
AAMT長尾賞，言語処理学会第27回年次大会最優秀賞，同優秀賞，同委員特別賞×4，情報処理学会第249回自然言語処理研究会 優秀研究賞