千葉大学

大学院工学研究院情報科学コース教授 須鎗弘樹
2022年2月15日

データの観点でみたAI
最近のAIを，データの観点で大きく分けると，画像

言語

本発明
自然言語処理の応用現場のニーズ＝人が書いた文章の評価
最もわかりやすい「人が書いた文章の評価」

記述式問題の答案の採点
実用化が想定される現場＝採点現場• 学校• 模擬試験
• 自宅でのオンライン学習（記述式問題は自己採点が難しい．）

従来技術の問題点(1/2)
AIでは，事前に，大量の学習データが必要．
（試験は未公開なので，学習データの事前準備不可．）

学習データが多いほど，精度は良い．
しかし，学習データの準備に，時間・人などのコスト大．
例：学習データとして，半分（実際よりも少なめ）を仮定．
１．学校：１学年４００名（多めを想定）→ 全部，人が採点した方がトータルとしては早いかも．
２．模擬試験：１万人（多めを想定）→ 学習データの準備に非常に時間がかかる．
参考：大学入試共通テストの場合，毎年５０万人以上の受験者

従来技術の問題点(2/2)
1. 学習データの準備のためのコストが大きい．

（時間と人的コスト）
2. 学習データが正しいとは限らない．
（人の採点ミスが含まれることが多々ある．）

3. 採点者が複数の場合，学習データにバラツキを含む．
（採点者が一人だと，準備に時間がかかる．）
4. 学習データの選択が自動採点の結果に影響あり．

（事前に点数の分布は不明．結局，全部採点の必要有．）など．

採点の現場では，学習データの準備は大きな問題

採点で考慮すべきこと
1. 情報を取り扱うときの３つの重要な視点
自動採点率⇑
1. 効率性 できるだけコストを小さく
採点精度⇑
2. 信頼性 できるだけ誤りなく
ただし，効率性と信頼性は，トレードオフの関係
3. 安全性 漏洩は許されない
2. 本発明（自動採点）で考慮したこと

信頼性を最優先＝採点精度をできるだけ高く．
その範囲で， 自動採点率をできるだけ高く．

本発明の利点
1. 学習データを必要としない．

⇒学習データの準備に関わる諸問題を回避できる．
（必要なもの：答案，模範解答，採点基準）
2. 高い採点精度（最優先）と高い自動採点率（自動採点率：自動採点できる答案の割合）⇒確実に正誤判定できる答案を自動選択・自動採点
3. 一人目の採点者として自動採点を設定できる．
4. 高速に実行できるため，何度でも実行できる．
（それゆえ，採点基準の見直しに対応可能）

本発明の自動採点システムの流れ
採点設定（⇐採点基準，模範解答）
答案データ
自動採点

キーワード，文字数制限，キーフレーズ，NGワード，NGエンドワード，事前置き換えリスト

文字数チェック

事前置き換え自動採点不可採点済み解答比較
キーワード，NGワード，NGエンドワードチェック

手動採点

キーフレーズ比較
表記揺れの補正
類義語の置換

採点終了
自動採点可具体的な適用例（中学理科）
中学生を対象に行われた模試の理科の答案データ
自由記述（字数制限なし） 約1,200人分
問題
イモリやカエルなどのなかまは，子と親とで呼吸のしかたが異なる。
子と親の呼吸のしかたを，それぞれ簡潔に書きなさい。
模範解答例
子はえらで呼吸し，親は肺と皮ふで呼吸する。（21文字）

評価基準
自動採点率（効率性の評価基準）
本発明のシステムで自動採点できた答案の割合

採点精度（信頼性の評価基準，最優先）
自動採点対象となった答案のうち，正しい採点の割合

自動採点の結果（中学理科）
理科

理科

採点精度 100%

採点精度 100%

手動採点
442解答 自動採点
753解答
37.0%
63.0%

採点設定の改善

手動採点
282解答
23.6% 自動採点
913解答
76.4%

どちらも自動採点は，20秒以下の高速採点(Intel 第 6 世代 Core i5-6400, RAM:8GB, 2017年発売のPC)ここからアルゴリズムの説明：

自動採点のための採点設定の準備◼ キーワード

含まれていなければ不正解とする語◼ NGワード
含まれていれば不正解とする語◼ NGエンドワード 文末に含まれていれば不正解とする語◼ 文字数制限
範囲内でなければ不正解とする◼ 事前置換リスト 採点前に表記を置き換える語◼ キーフレーズ
含まれていれば正解とする短文
事前設定ファイルの例

本発明の自動採点システム
採点設定（⇐採点基準，模範解答）
答案データ
文字数チェック
事前置き換え採点済み答案比較

自動採点キーワード，文字数制限，キーフレーズ，NGワード，NGエンドワード，事前置き換えリスト

文字数制限内か？
例：えら，鰓⇒エラで統一化
採点済答案と同じなら，同じ採点結果を返す．

自動採点不可手動採点

キーフレーズ比較
キーワード，NGワード，NGエンドワードチェック

表記揺れの補正
類義語の置換

採点終了
自動採点可キーフレーズ比較
答案の解答文とキーフレーズの比較
1. 形態素解析による分かち書き

例：子はえらで呼吸し，親は肺と皮ふで呼吸する。
⇒子/は/えら/で/呼吸/し/，/親/は/肺/と/皮ふ/で/呼吸/する/。

2. シーケンスアライメントを用いた比較

単語の並びを考慮して比較を行い，一致度を測る．

解答文とキーフレーズにシーケンスアライメントを施した結果

答案の解答文とキーフレーズの比較：
シーケンスアライメントの代表的手法Needleman-Wunsch Algorithmを利用
解答文

子はエラ呼吸キーフレーズ

親は肺呼吸

解答文

子はエラ

キーフレーズーーー

親は皮膚呼吸呼吸親は皮膚呼吸

ー

親は肺呼吸

単語に分かち書きされた配列に応用→ キーフレーズの中から最も一致度の高いものを選択
他，表記揺れの補正・類義語の置換も行う．

本自動採点システムの正誤判定
キーフレーズが完全に含まれている ⇒正解と判定（自動採点済みとして終了）
含まれていない⇒自動採点不可として提示⇒手動採点

具体例
解答A

キーフレーズ
解答B
キーフレーズ子 は エラ 呼吸 親 は 肺 呼吸 ⇒正解と判定
子はエラ呼吸親は肺呼吸（自動採点可）子 は 皮膚 呼吸 親 は 肺 呼吸 ⇒自動採点不可子はエラ呼吸

親は肺呼吸

⇒手動採点

自動採点の結果
国語
採点精度 99.4%

社会
採点精度 98.6%

手動採点 自動採点
530解答
668解答
44.2%

55.8%

手動採点 自動採点
539解答 635解答
45.9%

理科
採点精度 100%
手動採点
442解答 自動採点
753解答
37.0%

63.0%

54.1%

いずれも自動採点は，20秒以下の高速採点(Intel 第 6 世代 Core i5-6400, RAM:8GB, 2017年発売のPC)

採点設定の改善
採点結果付きテストデータがある場合（例：手動採点の採点結果）
1. 解答文をクラスタリング
2. 各クラスタをみて，人手で採点条件を設定・改善
手動採点(不正解)の解答文をベクトル化
例：
子は肺呼吸で親も肺呼吸
親も子も皮膚呼吸をする
子は肺，親も肺呼吸
親も子も肺とえらで呼吸

k-means法などで，クラスタリング

新しいNGワードの抽出と追加

クラスタ１
子は肺呼吸で親も肺呼吸
子は肺，親も肺呼吸

親も肺呼吸

クラスタ２
親も子も皮膚呼吸をする
親も子も肺とえらで呼吸

親も子も採点設定改善後の自動採点の結果
国語
採点精度 99.4% ⇗ 99.9%

社会
採点精度 98.6% ⇗ 99.6%

手動採点
432解答 自動採点
742解答
36.8%
54.1% ⇗ 63.2%

手動採点
425解答 自動採点
35.5% 773解答

理科55.8% ⇗ 64.5% 採点精度 100% ⇒ 100%
手動採点
282解答
23.6% 自動採点

いずれも自動採点は，20秒以下の高速採点(Intel 第 6 世代 Core i5-6400, RAM:8GB,2017年発売のPC)

913解答
63.0% ⇗ 76.4%

実用化に向けた課題
1. 手書き文字から，テキストデータへの変換⇒既存のOCR技術で，対応可能．
2. 部分点への対応．⇒現在，研究中．
3. 大学入試以上の難易度の問題への対応．
⇒現在，研究中．
⇒高校入試(含)までの問題では，ほぼ実現可能．（国語，社会，理科）企業への期待
テキストデータの準備，整備，逐次更新
持続的な実用化にあたって，とても重要．
これさえできれば，現場のニーズに応じた実用化が可能な段階．

採点支援に関する産学連携の経歴⚫2018年-現在

模擬試験の大手運営会社と共同研究継続中⚫2019年-現在
大学入試センターと共同研究継続中

研究実用化
ここに注力中2022年内に，新たに2件の採点支援の特許出願予定．

本技術に関する知的財産権
 発明の名称：記述式試験採点プログラム

及び記述式試験採点方法
 出願番号 ：特願2019-040212
 出願人
：千葉大学
 発明者
：須鎗弘樹，森康久仁，竹谷謙吾，高井浩平

お問い合わせ先
千葉大学 学術研究・イノベーション推進機構
プロジェクト推進部門
ＴＥＬ ０４３－２９０－３０４８
ＦＡＸ ０４３－２９０－３５１９e-mail ccrcu@faculty.chiba-u.jp