読み書きの支援/診断技術と読み書き
乾 健太郎
東北大学 情報科学研究科
理化学研究所 AIPセンター
第13回産業日本語研究会・シンポジウム （2022年2月22日）

!"#$%&

読み書きの支援/診断技術と読み書き!"#$%&'()*
乾 健太郎
東北大学 情報科学研究科
理化学研究所 AIPセンター
第13回産業日本語研究会・シンポジウム （2022年2月22日）

言語処理技術による執筆の支援
文章生成については過去にも紹介があるので、ここでは主に校正・添削、共同執筆の話をします
文章生成 (draft)

https://cs.stanford.edu/~minalee/pdf/cornell-writing_with_language_models-slides.pdf

隅田英一郎 「2021年の翻訳バンク・ニューラル翻訳」 第12回産業日本語シンポジウム、他多数
岡崎直観 「自然言語処理によるニュース記事執筆の現状と課題」 第11回産業日本語シンポジウム

校正・添削(edit, diagnose)

スペル・文法・スタイルのチェック、言い換え

https://www.path-to-success.net/grammarly共同執筆(co-author)

テキストの自動補完、挿入文の提案

https://arxiv.org/pdf/2201.06796.pdf

現在の技術・サービスは英語が中心だが、要領は日本語も同じ
日本語の執筆支援サービスも近い将来に出てくると予想される

言語処理技術による執筆の支援「AIによる知的執筆支援」 への関心が高まってきている

https://in2writing.glitch.me/ニューラル翻訳・ニューラル言語モデルによる言語生成
データとモデルの大規模化で言語生成がだいぶ流暢になってきた
ニューラル翻訳モデル
入力単語列 （文脈・条件）
Sendai is the capital city of Miyagi
Prefecture, the largest city in theTohoku region.

出力単語列

P(|出力単語列

入力単語列)

仙台は、宮城県の県庁所在地で、東北地方最大の都市です。

ニューラル言語モデル
入力単語列 （文脈・条件）
仙台は、宮城県の県庁_ _ _ _ _出力単語列
所在地で、東北地方最大の都市です。
出力入力
P( 単語列|単語列)

ニューラル翻訳・ニューラル言語モデルによる言語生成
データとモデルの大規模化で言語生成がだいぶ流暢になってきた「人間が作成した文章か機械が生成した文章か」を見分けるのは人間にも難しい• 小説、ニュース、レシピ• 訓練しても限定的（〜55%）• 判断理由もバラバラ• （言語生成の人手評価も工夫を）
Clark et al., All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text, ACL-IJCNLP 2021

言語処理技術による執筆の支援
文章生成については過去にも紹介があるので、ここでは主に校正・添削、共同執筆の話をします
文章生成 (draft)

https://cs.stanford.edu/~minalee/pdf/cornell-writing_with_language_models-slides.pdf

隅田英一郎 「2021年の翻訳バンク・ニューラル翻訳」 第12回産業日本語シンポジウム、他多数
岡崎直観 「自然言語処理によるニュース記事執筆の現状と課題」 第11回産業日本語シンポジウム

校正・添削(edit, diagnose)

スペル・文法・スタイルのチェック、言い換え

https://www.path-to-success.net/grammarly

共同執筆(co-author)

テキストの自動補完、挿入文の提案

https://arxiv.org/pdf/2201.06796.pdf

現在の技術・サービスは英語が中心だが、要領は日本語も同じ
日本語の執筆支援サービスも近い将来に出てくると予想される

スペルチェック・文法チェック

https://www.path-to-success.net/grammarly翻訳としての文法誤り訂正
The system is design to help student.
文法誤り訂正誤りのある文から誤りのない文への「翻訳」

The system is designed to help students.

ニューラル翻訳 （NMT） でさらに性能向上

性能

Wang et al. A comprehensive survey of grammar error correction. arXiv, 2020.

書き換えによる執筆支援
下手な文からきれいな文への翻訳(Ito, Kuribayashi+ INLG 2019, EMNLP 2020, NLP 2021)

稚拙・不完全な文
Our model ??? to the SemEval task and ??? good results.
生成

論文で使える綺麗な文
We applied our model to the SemEval task and obtained good results.
We demonstrate that our model is able to achieve good results on theSemEval task and outperforms other baselines.

(Ito, Kuribayashi+ INLG 2019, EMNLP 2020)

書き換えによる執筆支援
下手な文からきれいな文への翻訳
https://editor.langsmith.co.jp/

2021年5⽉サービスイン書き換えによる執筆支援
下手な文からきれいな文への翻訳(Ito, Kuribayashi+ INLG 2019, EMNLP 2020, NLP 2021)

稚拙・不完全な文
Our model ??? to the SemEval task and ??? good results.
生成

論文で使える綺麗な文
We applied our model to the SemEval task and obtained good results.
We demonstrate that our model is able to achieve good results on theSemEval task and outperforms other baselines.

下手な文

きれいな文
訓練事例の自動生成

下手な文からきれいな文への翻訳の学習文法誤り訂正 + 解説文生成（Nagata+ NLP 2019, EMNLP 2019; Hanawa+ EMNLP 2021）

topic: Gardening
student essay:
I had ever been to gardening.
Becouse my mother’s hobby isgardening. And I beyondgardening club for 11 years …

＜過去完了＞は、ある過去の時点を明示した上で、それまでの行為・状態を表す場合に用いられます。単に「（これまでに）…したことがある」という経験を表す場
合は、＜現在完了＞で表します。

≪have been to≫は「…に行ったことがある」を表します。「ガーデニングをする」という表現で用いられる＜動詞＞を調べてみましょう。

≪beyond≫は＜前置詞＞で「…の向こうで；…を越えて」です。ここは＜動詞＞
belongを用いて「…に所属している」と表してみましょう。

<<have been to>> is used to express``an experience in visiting’’ Useanother verb for ``gardening’’.

<<beyond>> is a < preposition>
meaning ``further away’’ or``outside a limit’’. Use the <verb>``belong’’ instead.

初めての国際コンペ開催へ<Past perfect> is used with a certain
point of time to talk aboutsomething that happened before
that point. Use <present perfect> totalk about experiences.

https://t.co/1YdwpOVeZn言語処理技術による執筆の支援
文章生成については過去にも紹介があるので、ここでは主に校正・添削、共同執筆の話をします
文章生成 (draft)

https://cs.stanford.edu/~minalee/pdf/cornell-writing_with_language_models-slides.pdf

隅田英一郎 「2021年の翻訳バンク・ニューラル翻訳」 第12回産業日本語シンポジウム、他多数
岡崎直観 「自然言語処理によるニュース記事執筆の現状と課題」 第11回産業日本語シンポジウム

校正・添削(edit, diagnose)

スペル・文法・スタイルのチェック、言い換え

https://www.path-to-success.net/grammarly

共同執筆(co-author)

テキストの自動補完、挿入文の提案

https://arxiv.org/pdf/2201.06796.pdf

現在の技術・サービスは英語が中心だが、要領は日本語も同じ
日本語の執筆支援サービスも近い将来に出てくると予想される

文の自動補完
Google: Smart Compose (2018)

Smart Compose: Using Neural Networks to Help Write Emails, Google AI Blog, 2018

文の自動補完
IGA: An Intent-Guided Authoring Assistant (Sun+ EMNLP 2021)

文の自動補完
IGA: An Intent-Guided Authoring Assistant (Sun+ EMNLP 2021)
訓練事例を大規模に自動合成

言語モデルによるドラフトの自動生成
Rytr: “A better, 10x faster way to write”

https://rytr.me/最新情報を反映するテキスト生成
FRUIT: Faithfully Reflecting Updated Information in Text (Logan IV+ arXiv 2021)

言語処理技術による執筆の支援：執筆に与える影響は？
作成したテキストの質？ 執筆者・学習者の態度への影響？
文章生成 (draft)

https://cs.stanford.edu/~minalee/pdf/cornell-writing_with_language_models-slides.pdf

隅田英一郎 「2021年の翻訳バンク・ニューラル翻訳」 第12回産業日本語シンポジウム、他多数
岡崎直観 「自然言語処理によるニュース記事執筆の現状と課題」 第11回産業日本語シンポジウム

校正・添削(edit, diagnose)

スペル・文法・スタイルのチェック、言い換え

https://www.path-to-success.net/grammarly

共同執筆(co-author)

テキストの自動補完、挿入文の提案

https://arxiv.org/pdf/2201.06796.pdf

執筆への影響 （文章の質、執筆者の態度） を評価する試み
機械翻訳の効果の測定はこの2〜3年で増えてきた
例えば、Lee (CALL 2019) The impact of using machine translation on EFL students’ writing• MTは文法誤りを減らすのに役立った• 学習者のライティング戦略に良い影響を与えた• 「プロセスとしてのライティング」の見方を促進• ただし、適切な使い方のガイダンスが必要執筆への影響 （文章の質、執筆者の態度） を評価する試み
執筆支援の文脈での人を入れた評価はまだまだこれから（前頁のLee氏とは別人）

Lee+ (CHI 2022) CoAuthor: A Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilitiesライティングの支援/診断技術とライティングへの影響

ニューラル翻訳・言語モデルの発展・大規模化で言語生成が流暢になってきた流暢になった言語生成技術を執筆支援に応用する試みが広がってきている
執筆支援は英語用の技術やサービスが先行しているが、要領は日本語も同じ
機械による言語生成の理屈を把握した上で人間と機械の共同作業を設計すべき
人間と機械の役割分担の設計とその影響の丁寧な評価・検証はまだまだこれから