報告

教育データを大規模言語モデルに学習させるための社会的環境構築調査
Investigation of Building a Social Environment for Learning Data into a Large-scale Language Model

藤井 政登

佐藤 昌宏

FUJII Masato

SATO Masahiro

デジタルハリウッド大学 教授 学長補佐
Digital Hollywood University, Professor, Advisor to the President

デジタルハリウッド大学大学院 院生
Digital Hollywood University, Graduate School

学びの個別最適化のためには、教育データの利用が必要になる。また、大規模言語モデルの普及に伴い、言語モデルの作成に必要なデータセットの作成が始まっている。しかし、教育データのモデル構築のための試みは未だなされていない。教育データは、スキルセット作成の前提であり、その整備は海外では進んでいるが、国内では社会的な環境に問題を抱えている。この報告では、スキルセットデータを作成するために必要な社会的な環境整備を扱う。個人情報である、教育データと教育用 ID について海外・国内での整備状況の調査を行った。また、スキルセットを構築する際のユースケース検討も併せて継続している。2023 年 1 月に提出した修士論文作成後の継続調査の報告を行う。

1. はじめに(3) チ ーム 編 成 : プ ロジェクトの 成 功 の た め に、 異 な るスキルセットを持つメンバーを組み合わせる際

1.1 大規模言語モデルに教育データは含まれていない(4) 教 育・トレ ー ニング : 個 人 や 組 織 が 必 要 なスキル セットの

近年、ChatGPT などの大規模言語モデルが社会に浸透してきてギャップを特定し、教育プログラムを計画する際いる。その利用方法については各所で解説や議論がされているが、教育の個人最適化を社会性と両立するためには、このようなスキ言語モデル構築のためのデータセットについての議論はあまりされルセットデータの利用が必須であり、またそれを社会に浸透させるていない。

ためには、大規模言語モデル構築のためのスキルデータの作成がそんな中でも、オープンソースの言語モデルの作成やデータ公開急務である。

が続いている。「The Pile」[1] や、Meta の「Llama 2」[2]、東京大学が公開した「Weblab-10B」[3] など、オープンソースのデータセットの1.3 スキルセット作成に必要な個人識別 ID公開が続いている。しかし、データセットが主としてインターネット上のテキストデータから構成されているため、教育データは含まれスキルセットデータを構築するためには、ある個人が学習した学ていない。中でも、スキルセットのデータ構築は遅れている分野と習履歴と、個人の持つとされるスキルや、組織の中でのポジションいえる。などのデータを紐づけてモデルを作る必要がある。この際に個人のデータを扱うための個人識別 ID が必要であり、教育データ活用にも必ず必要になる。

1.2 スキルセットデータとは何か

2023 年 3 月から、教育用の個人識別 ID の調査を開始した。範スキルセットとは、個人が持っている技能や能力の総体を指す言

囲は、海外と国内両面にわたり、継続的な調査を行っている。

葉であり、特定の職務やタスクを遂行するための技術や知識、経験などの組み合わせを指す。プログラミング言語、機械操作、外国語などの具体的なスキルであるハードスキル、人間関係やコミュニケー

2. 既存の教育 ID 調査

ション、問題解決能力、リーダーシップ、時間管理などを扱うソフト

2.1 海外での教育 ID 利用調査
教 育 分 野 で は、 個 人 識 別 ID を、SIS（S t u d e n t I n f o r m a t i o n

スキルの 2 つに大きく分類できる。これをデータ化する場合、どのよSystem）と呼ぶことが多い。2023 年 3 月にインターネットを使っうなデータが対象になるかユースケースを集め 5 つに分類した。

た海外での SIS の利用状況を調査した [4]。ID のあるなし、ID が国(1) 技術スキル : プログラミング言語、デザインツール、機械操

民 IDと同じなのか、独自の教育用 ID を持っているか、LMS（Learning

作など、特定の職務で必要とされる具体的な技術

Management System）と同じ ID での利用が可能かどうか、他のシ(2) ソフトスキル : コミュニケーション、問題解決、リーダーシップ

ステムとのデータ互換性などを考慮に入れているかどうかを「標準化などの人間関係や対人スキル対応」と考え、まとめたものが表 1 である。インドネシアを除きほぼ(3) 専門知識 : 特定の業界や分野における深い知識や経験。例：

全ての国が、教育用の ID を持ち、運営していることがわかる。

金融、法律、医療など(4) 認証や資格 : 必要な資格や認証、許可証など(5) 経験 : 過去の職歴やプロジェクト経験など
分類後、これらのスキルセットが利用できるシーンを教育の観点からユースケースを集め分類した。
(1) 採用 : 企業が求職者のスキルセットと必要な職務の要件を照会する際(2) キャリア開発 : 個人が自身のキャリアパスを計画する際に、必要なスキルセットを把握するため©︎2023 Digital Hollywood University

59

DHU JOURNAL Vol.10 2023

表1：IDシステムを持っていないのは、調査国の内、日本とインドネシアのみ

2.2 米国における SIS システム

2.3 国内教育 ID 利用と学習指導要領コード

米国では、「全米共通学力基準」（Common Core）を制定。2010

個人識別 ID、教育用 ID については、国内には存在しない。インド

年から全米で数学と読解力の共通テストを行っている。NCLB 法のネシアと同じく高等教育機関や、一部の私学で、民間の校務データもと、全米の初等・中等教育課程（6 歳～ 18 歳までの 12 年間）のシステムや、オープンソースのシステムが運用されている。単位の公立学校のデータを集めるシステムとして EDFacts が 2004 年に稼互換などのシステムもない。ただ、校務システムに関するガイドライ働を開始。SIS から州のシステム「SLDS（Statewide Longitudinal

ンのようなものは文部科学省から出されている [6]。しかし、利用はData Systems）」経由で生徒データを収集し、2018 年度の時点で学校単位で、学外を対象としたデータ連携を行えるものではない。

は 1 万 8,617 学区、5,069 万人の生徒の統計データが収蔵されてしかし、学習指導要領コードだけは制定された [7]。 範囲は、幼 ・小・いる。また、一部はオープンデータとして学校ごとの人種別のドロッ中・高・特別支援の全ての教科である。このコードにより、何を学プアウト率や、算数テストの得点などのデータが公開されている [5]。

習したのかをコードとして扱えるようになった。しかし、このデータを個人に紐づけるシステムには、教育用 ID の制定が必要である。

図1：指導内容ごとにコードが振られ学習内容の把握が可能に[7]©2023 Digital Hollywood University

60

DHU JOURNAL Vol.10 2023

3. 大規模言語モデルを使ったモデル構築

National Student Index(NSI)

3.1 Transformer とスキルセット

https://capture.dropbox.com/PtU7Hrk6JMAmMNht
OneSchool

ChatGPT や Google の Bard に 使 わ れ て い る Transformer は、

https://capture.dropbox.com/UcJzmGsi4jHdJm3I

単 語 間 の ベ クトル 距 離 を Attention Mechanism を使って 評 価 す

EEF（Education Endowment Foundation）https://educationen

る。Input と Memory が 同 一 の Attention として 評 価 され るた め、

dowmentfoundation.org.uk/

スキルセットのような曖昧な概念に結びつく単語感の距離評価に最

令和元年度学びと社会の連携促進事業(学習ログ等の活用に向けた適である。

収集すべき標準項目等の素案の作成等)経済産業省教育産業室最終

従来のエキスパートシステムよりも一般化されたスキルセット。

報告書

例えば、「英語が得意」といった曖昧な表現も扱うことができ、モデ

https://www.meti.go.jp/meti_lib/report/2019FY/000191.pdf

ルを構築できる。

What Works Clearinghouse（WWC）

ID により取得された個人のデータ、学習履歴、成績評価などに加https://capture.dropbox.com/u7J8HhKSzXT9PaiY

え、テキストで評価されたスキルなども大規模言語モデルのデータ以上、いずれも(Accessed 2023-03-27)としてモデルを構築できるのではないかと考えている。

[5] EDFacts
https://www2.ed.gov/about/inits/ed/edfacts/index.html

4. おわりに(Accessed 2023-08-22)

Transformer アーキテクチャをベースにした新しいモデルをゼロ[6] 文部科学省

からトレーニングするには、大量の計算リソースとデータが必要で教育の質の向上に向けた効果的なデータ連携・活用のポイントと学校改善事例集ある。しかし、オープンソースのデータセットや、それに関連したラhttps://www.mext.go.jp/content/1387543_02.pdf

イブラリー提供も始まっているため、個人でも数年以内には、モデ[7] 学習指導要領コードについてルの構築が可能になるのではないかと考えている。

術活用推進室

そのため、GPU や大規模言語モデルの学習を集中的に始めている。

初等中等教育局

学びの先端技6頁

https://www.mext.go.jp/content/20201016-mxt_syoto01-

しかし、その前提には教育データが大量にあることが必要であり、000010374_3.pdf

そうした社会構築が進むことを願っている。
参考文献[1] The Pile is a 825 GiB diverse, open source language
modelling data set that consists of 22 smaller, high-quality
datasets combined together.
https://pile.eleuther.ai/ (Accessed 2023-08-22)[2] Meta、新たな大規模言語モデル「Llama 2」 商用利用可でGPT-3.5に匹敵
https://www.watch.impress.co.jp/docs/news/1517245.html(Accessed 2023-08-22)[3] 100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開しました。
https://weblab.t.u-tokyo.ac.jp/100%E5%84%84%E3%83%
91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%BA%E3%83%BB%E
6%97%A5%E8%8B%B12%E3%83%B6%E5%9B%BD%E8%AA%9E%E5%AF%BE%E5%BF%9C%E3%81%AE%E5%A
4%A7%E8%A6%8F%E6%A8%A1/ (Accessed 2023-08-22)[4] Danish Center for Big Data Analytics driven Innovation: DABAI
https://www.dabai.dk/
Kennisnet
https://www.kennisnet.nl/nummervoorziening/
Centre for the Science of Learning & Technology: SLATEhttps://www.uib.no/en/slate
Avain Parempaan Oppimiseen Ammattikorkeakouluissa
https://esignals.fi/kategoria/digitaalisuus/avain-parempaanoppimiseenammattikorkeakouluissa/#190cf42e
Verein Forum Neue Medien in der Lehre Austria https://fnma.at/Spanish Network Of Learning Analytics: SNOLA https://snola.es/Kungliga Tekniska högskolan: KTH https://skr.se/skr.25.html
the METAL project
https://capture.dropbox.com/ezzsH9HjR1LY0FdY
インドネシア国

高等教育・職業教育にかかる情報収集・確認調査

最終報告書（2022年1月独立行政法人国際協力機構（JICA））
https://openjicareport.jica.go.jp/247/247/247_108_12367314.html©︎2023 Digital Hollywood University61

DHU JOURNAL Vol.10 2023