北海道地区

教育システム情報学会 2022年度学生研究発表会

AI 話しことばチェッカーを想定した機械学習モデリングの実験
Machine Learning Modeling for “AI Hanashikotoba Checker”
新井田 響*1, 川越 颯亮*1, 山川 広人*1, 山下 由美子*2, 小松川 浩*1

Hibiki NIIDA*1,Sosuke KAWAGOE*1, Hiroto YAMAKAWA*1, Yumiko YAMASHITA*2, Hiroshi KOMATSUGAWA*1*1 公立千歳科学技術大学大学院

理工学研究科*1 Graduate School of Science and Engineering, Chitose Institute of Science and Technology*2 帝京大学

高等教育開発センター*2Center for Teaching and Learning, Teikyo University

Email: m2220180@photon.chitose.ac.jp

あらまし：本研究チームは、大学初年次向けのレポート添削システムとして、学術表現にふさわしくない表現を話しことばとして定義し、これを検出できる「話しことばチェッカー」の開発を行ってきた。この検出には、文章記述の主観・客観性を学術表現として適しているかを判断に組み込む課題がある。今回の発表では、「てしまう」という言葉が含まれた文章を題材に、機械学習技術で主観・客観性が判定できるかの実践結果を報告する。
キーワード：話しことば，グレーゾーン，機械学習

1.

はじめに

#学生のレポート作成において、学術表現に適さない表現（以下，話しことば）を用いることが問題視されている．本研究チームはこれまでに，専門家の監修のもと，ルールベースに基づく検出ロジックで話しことばを検出し，その話しことばの修正例を提示して学生に書きことばの定着を促す「話しことばチェッカー」の開発を進めてきた (1)．しかし，文脈の中で，検出ルールに当てはまらず，話しことばであるかの判定が難しい表現（以下，グレーゾーン）が課題となっている．グレーゾーンは，専門家の間でも判断が異なる場合が多く，一律の判定基準を設定することが難しい(2)．
一方で，機械学習を用いた自然言語処理は，文脈を考慮した文章中の単語の位置関係を理解できるようになった．
また，インターネット上には，無償で利用できる文章や画像データの公開が増えてきている．
本研究では，専門家によって定義されたグレーゾーンの 1 つである「てしまう」を題材に，話しことばチェッカーでは判別が難しい表現に対応できる機械学習モデルを構築し，専門家が作成したデータセットを用いて評価を行い，話しことばチェッカーのAI 化が実現できるかを検証した．

2.

主観文データ

客観文データAmazon1

Reviews Multi

国会会議録 470 件

470 件
Amazon2

Reviews Multi
382 件
Amazon3

Reviews Multi
85 件

A 学会, B 学会, C 学会
計 382 件，査読有無混合
C 学会
計 85 件，査読あり限定
C 学会, D 学会, E 学会

Amazon
4

Reviews Multi
186 件

F 学会, G 学会
計 186 件ショートペーパーまたはフルペーパーに該当するもので査読ありのみ

これらは自然言語処理モデル BERT (BidirectionalEncoder Representations from Transformers) の日本語版事前学習済みモデルのファインチューニング用のデータとして利用した．なお，データセットは文頭から文末のピリオドまたは句点までの 1 文で構成され，各文には必ずグレーゾーンの「てしまう」が含まれている．本研究では，上記で構築した 4 つのデータセットと，本研究チームの山下が作成した「てしまう」データセットでファインチューニングを行った．表 2 に「てしまう」データセットの一例を示
す．
ファインチューニング時の学習データ，検証デー
タ，テストデータの比率は，それぞれ 60%，16%，24%である．

作成したデータセット

本研究では，グレーゾーンが含まれる文章が主観的なものである場合は，そのグレーゾーンは話しことば，客観的なものである場合は書き言葉であると仮定し，主観文として Amazon のカスタマーレビュー，客観文として国会会議録，学会誌に掲載された論文からデータセットを構築した．表 1 に，各データセットで採用した学会論文と件数を示す．
表 1 各検証で使用したデータセット

11北海道地区

3.

教育システム情報学会 2022年度学生研究発表会

現の追加・編集をすることで，正しく分類できる例が存在することがわかった．

検証

3.1 ファインチューニングの結果

表 3 各データセットを用いたモデルの評価
データAccuracy

Precision

RecallF110.702128

0.791411

0.548936

0.64824120.719149

0.8931300.497872

0.639344

30.770213

0.800948

0.719149

0.757848

40.706383

0.864662

0.489362

0.625

セット

4.

考察

5.

今後の展望

データセット 3 を用いたファインチューニングが最も精度よく分類できたことから，Amazon レビュ
ーの文章および C 学会で扱われる文章が山下の作成した「てしまう」データセットの分類と文脈および構造的に近い可能性が示唆される．また，第三者による査読により，論文著者の主観的な意味合いを持
つグレーゾーンが修正され，客観的な意味合いを持つグレーゾーンが残るためと考えられる．
本研究では，データセットとしてグレーゾーン「てしまう」を含む 1 文で作成したが，日本語教育の専門家によると，1 文から文章の主観・客観を判別するのは困難であるとの意見を受けた．実際，既にラベル付けされた文章に対し，後日もう一度読み返すと，自らの観点が変化しており，ラベル付けが不適切であると感じる場合があったとの意見も得られた．
そこで，各データセットを「てしまう」を含む 1 文から前後の文を含む 3 文に拡張してデータセットを作成することにより，前後文の文脈を受けた主観・客観の判断が行えるようになり，モデルのさらなる精度向上が考えられる．

各データセットを用いて生成した各モデルの性能を比較する．表 3 はファインチューニングしたモデ
ルに山下の「てしまう」データセットを推論させた結果である．

本稿では，Accuracy が最も高いデータセット 3 について述べる．データセット 2 では，査読のあり・なしを混合させて作成したデータセットを用いた．
その時の結果を受け，グレーゾーンを含む文章の主観性・客観性を決める要因として，査読の有無が関連していると考え，査読を受けた論文から収集したグレーゾーンを含む文章のみでデータセットを作成した．Accuracy は 77.0%を記録し，F1 値は 75.8%を記録し，主観文・客観文それぞれをバランスよく判別できている結果となった．したがって，論文データから得られたグレーゾーンを含む文章の主観・客観の分類には，論文に対する査読の有無が要因となっている可能性が示唆された．

本研究で作成したグレーゾーン判別モデルを話しことばチェッカーに組み込むことで，従来のルールベースに基づく話しことば検出モデルと，グレーゾーン判別モデルによる，2 段階での話しことば検出が可能なシステムの構築が考えられる．
また，話しことばおよびグレーゾーン事例の機械的な収集に向けた準備や，「てしまう」以外に指摘されたグレーゾーンへの対応に向けた準備を行う．

3.2 追加検証「てしまう」データセットでは客観とされていても，各モデルの推論結果では主観とされる例があり，山下は，客観文の分類を間違える理由として，以下の点を指摘した．
⚫ データセット内の文章に，学術的な文章で使われる「硬い表現」が無い文例がある⚫ モデルが「すべる」「くっつく」のようなAmazon レビューでも使われている可能性のある表現に注目している可能性がある⚫ 分類を誤った文章は文量が少なく，文脈からの判断が難しい
以上より，全てのモデルで推論結果を間違えた客
観文 54 件に対し，「明らかに主観的」「主観的とも客観的ともとれる」「明らかに客観的」の 3 分類を行い，「主観的とも客観的ともとれる」「明らかに主観的」に分類された 21 件について，文脈が変化しないように，文頭・文末への表現の追加および文中の表現の変更を行い，「明らかに客観的」となるようにしたデータセットを作成した．このデータセットを最も精度が高かったデータセット 3 の評価用データとして推論させた．結果は，21 文中 13 文が客観的と正しく推論することができ，文脈が変わらない程度に表参考文献(1) 山下由美子: “話しことばチェッカーの開発と実証評価” 教育システム情報学会, 2019, Vol. 34, p.99-104(2) 山下由美子: “学生のレポートにおける吐ない s 言葉とその出現傾向” 『日本日本語文学』, 2018, Vol. 28,
p.57-7112