データ基盤から知識基盤へ
黒橋 禎夫

国立情報学研究所 所長／京都大学 特定教授© 2024 National Institute of Informatics

Supercomputing Japan! 2024 (3/12)

問題意識• 環境問題、格差問題、地域紛争など、人類は矛盾に満ちた世界に苦しんでいる• 学術が複合的な社会課題を解決し、真に人々の心の安寧をもたらすためには、人文・社会科学を含む様々な学術研究の協働が必要
NII学術情報基盤⇒ オープンサイエンス• この30年間、情報学が社会および学術界に広範なインパクトを与えてきた（WWW、深層学習、AlphaFold、DeepL、 知識基盤
ChatGPT）
LLM-jp⇒ 生成系AIによる社会変革2023 G7科学技術大臣会合におけるOSの推進

G7科学技術大臣コミュニケ
2023年5月12日-14日（仙台）

科技大臣会合でのNII RDCデモ

1. 科学研究における自由と包摂性の尊重およびオープン・サイエンスの推進
G7は、FAIR原則（Findable = 見つけられる、Accessible = アクセスできる、Interoperable = 相互運用できる、Reusable = 再利用できる）に沿って、科学的知識並びに研究データ及び学術出版物を含む公的資金による研究成果の公平な普及による、オープン・サイエンスの拡大のために協力する。これは、世界中の研究者や人々がその恩恵を受けるとともに、新しい知識の創造、イノベーションの促進、社会による知識へのアクセスの民主化及び地球規模の課題に対する解決策の開発に貢献するためである。これは、より再現性があり、信頼できる研究成果を構築することにも役立つ。

3

参照：https://www8.cao.go.jp/cstp/kokusaiteki/g7_2023/2023.html

国立情報学研究所(NII) のミッション
研究と事業を両輪として情報学による未来価値を創成

研究アーキテクチャ
科学研究系

事業

コンテンツ
科学研究系

学術コンテンツ事業

研究施設

Research

情報学
プリンシプル研究系

研究
大学院
教育

Service

情報社会
相関研究系

事業
学術情報ネットワーク
事業4国立大学法人
京都大学
東京大学．．．

情報学研究科
工学研究科
文学研究科
．．．

大学共同利用機関法人
国立情報学研究所（NII）
情報・システム研究機構
国立極地研究所
人間文化研究機構
統計数理研究所
自然科学研究機構
高エネルギー加速器研究機構 国立遺伝学研究所
国立研究開発法人（独立行政法人）
理化学研究所
産業技術総合研究所
情報通信研究機構

所員・予算所員（2023年4月現在）

研究教育職員

71

事務職員等

69

特任教授等（プロジェクト型）

36

特定有期雇用職員等

301

客員教授等

204

大学院生（インターンシップ生を除く）

138（2023.3時点）

予算 （2023年度）
運営費交付金
受託事業等
雑収入（単位：千円）

12,445,065

ﾐｯｼｮﾝ実現戦略加速化経費等9,513,554

SINET：8,516,943 ｾｷｭﾘﾃｨ：915,388
ｽﾄﾗﾃｼﾞｯｸｻｲﾊﾞｰﾚｼﾞﾘｴﾝｽ研究開発ｾﾝﾀｰ：69,223

1,437,492 （見込）138,073 （見込）6

研究と事業研究
アーキテクチャ
科学研究系

事業

コンテンツ
科学研究系

学術コンテンツ事業

研究施設

Research

情報学
プリンシプル
研究系

研究
大学院
教育Service

情報社会
相関研究系

事業
学術情報ネットワーク
事業

7

４つの研究系

情報学プリンシプル研究系
数理情報, 形式検証, 量子コンピューティング, アルゴリズムデザイン, データマイニング, 人工知
能・機械学習, オントロジー

アーキテクチャ科学研究系
ネットワーク・計算機アーキテクチャ, セキュリ
ティ, ミドルウェア, ソフトウェア工学, プログラ
ム言語

（基盤研究S）● グラフアルゴリズム基盤と最適化：理論研究とアルゴリズム開発（河原林健一教授）●蓮尾メタ数理システムデザインプロジェクト（蓮尾一郎准教授）●記号推論に接続する機械学習（杉山麿人准教授）●形式検証とシステムソフトウェアの協働によるゼロトラスト
IoT（竹房あつ子教授）

コンテンツ科学研究系
テキスト・自然言語処理, マシンビジョン, コン
ピュータグラフィックス, バーチャルリアリ
ティ・パターン認識●VoicePersonae：声のアイデンティティクローニングと保護(山岸順一教授)●納得感のある人間‐AI協調意思決定を目指す信頼インタラク
ションデザインの基盤構築(山田誠二教授)

情報社会相関研究系
学術情報, 図書館情報学, 情報検索, 情報技術と社会, 情報制度

●インフォデミックを克服するソーシャル情報基盤技術(越前功教授)8

研究と事業研究アーキテクチャ科学研究系

事業

コンテンツ科学研究系

学術コンテンツ事業

研究施設

Research

情報学
プリンシプル研究系

研究
大学院教育

Service

情報社会
相関研究系

事業
学術情報ネットワーク
事業9

NII事業の全体像• 超高速ネットワーク、研究データ基盤、サイバーセキュリティ、クラウド、認証に関するサービスを提供し、全国の大学や研究機関等の研究教育環境を高度化

10ネットワーク基盤 - SINET6• 2022年4月より、新しいネットワーク基盤 SINET6 の運用を開始• SINET6では、①全国400Gbps化と接続点の拡大、②5Gと400Gbpsの融合、③エッジ機能配備とサービス拡大、④国際回線の増強等を実現

加入機関数
（加入率）

国立大学

公立大学

私立大学

短期大学

86

96

441

90

(100%)（2024年1月末時点）

(94%)

(71%)

高等専門学 大学共同利 研究を目的とする組織
校
用機関

56

(30%)

(97%)

全国各地 HPCI 12拠点 商用43拠点
大型実験施設スパコン

合計

231 1,016

16(100%)

旭川
札幌

海外

クラウド

ローカル5G

室蘭函館

北見

帯広

：SINET DC（既存）：SINET DC（新設）青森

アクセス回線（最大400Gbps）

セキュアモバイル網

上北共同研究

大学

研究機関

秋田

企業等

５GモバイルSINET
福岡

広島
松山

長崎

金沢
福井
神岡

姫路

高松

高知
鹿児島

岡山

大分

熊本

山形

新潟
鳥取

北九州 宇部

佐賀

宜野座：100Gbps国際回線

盛岡

松江

那覇

：400Gbps国内回線：100Gbps国内回線

徳島

神戸
大阪
和歌山

京都

岐阜

大津

彦根
奈良

津

シンガポール

長岡

長野
松本

福島
郡山

前橋
甲府

さいたま

静岡 相模原岡崎

沼津 横浜

アムステルダム

宇都宮
水戸

名古屋

浜松

宮崎

仙台

富山柏

つくば千葉

グアム

ロサンゼルス

ニューヨーク11

研究データ基盤 - NII Research Data Cloud
2017年から開発開始 ⇒ 2021年から運用開始• データ収集装置や解析用計算機とも連携• 研究遂行中の研究データなどを共同研究者間やラボ内で共有・管理• 組織が提供するストレージに接続した利用が可能

海外の
研究データ
公開基盤

アクセスコントロール

実験データ収集装置直結

解析用計算機

データ管理基盤

Hot
StorageHot
Storage

Cold
Storage

HotStorage

Cold
Storage

Cold
Storage

Cold
Storage

長期保存対応ストレージ領域

管理・保存

分野別リポジトリ

Hot
Storageby
メタデータ集約・管理
知識ベースの構築

検索・利用

公開・蓄積

研究データ

機関向け研究データ管理

データ公開基盤

データ検索基盤• 機関リポジトリ＋分野別リポジトリやデータリポジトリとも連携• 研究者や機関、研究プロジェクトの情報と関連付けた知識ベースを形成• 研究者による発見プロセスをサポート

成果論文

ORCID

DOI

外部ID発行サービス

ISNI• データ管理基盤における簡便な操作で研究成果の公開が可能• 図書館員やデータキュレータによる、メタデータや公開レベル統計情報などの管理機能の提供

12

機関リポジトリのクラウドサービス JAIRO Cloud• 機関リポジトリ（研究成果を収集・保存・発信する器）のクラウドサービスJAIRO Cloudを提供• 大学でのシステム運用負荷の軽減により、機関リポジトリ数が拡大• 必要な機能を備えたシステムをクラウド上で提供することで全体を効率化• 学術情報のオープンアクセスを推進

700

800

600

JAIRO Cloudで公開予定

1000900

日本の機関リポジトリ構築数
独自構築とJAIRO Cloud利用機関

機関がJAIRO Cloudを利用

800

500

独自構築

357

400
300
200
100022101058101

14414458 101

193

228

260 73260
193 228

838 844 52

JAIRO Cloud
構築中

396 498 558 609 642 681 714 748

JAIRO Cloud
利用機関

681
526

JAIRO Cloud利用

431
130

210

910

754

818
786 811598

288

284 301 316 310 285 256

228 202176 157 130110

独自構築機関2005.3 2006.3 2007.3 2008.3 2009.3 2010.3 2011.3 2012.3 2013.3 2014.3 2015.3 2016.3 2017.3 2018.3 2019.3 2020.3 2021.3 2022.3 2023.3 2024.1

2024年1月末時点

13

0
Nov-23

Sep-23

Jul-23May-23Mar-23Jan-23

Nov-22

Sep-22

Jul-22

May-22Mar-22

Jan-22(2024年2月現在)

Jan-24

医学

Nov-21

Sep-21

Jul-21

May-21

人文社会

Mar-21

Jan-21

Nov-20

Sep-20

理工Jul-20

May-20Mar-20Jan-20

総合

Nov-19Sep-19Jul-1980

May-19100

Mar-19Jan-19

GakuNin RDMの利用機関数の増加
120

101機関
企業研究部門60

40

20『GakuNin RDM 利用機関数』
https://support.rdm.nii.ac.jp/about/#a2

14

AI 等の活用を推進する
研究データエコシステム構築事業（2022年度～）• 我が国の研究力の飛躍的発展を図るため、各分野・機関の研究データをつなぐ全国的な研究データ基盤の構築・高度化・実装と、AI解析等の研究データ基盤の活用に資する環境の整備を行う、研究DXの中核機関群を支援する●全国的研究データ基盤の構築・高度化・実装とデータの利活用• ユーザーニーズを踏まえながら、研究データの管理・蓄積・利活用・流通といった点で適切かつ実用的な機能を確保した全国的な研究データ基盤を整備し、AI・データ駆動型研究を推進• 構築が進む各機関・各分野のリポジトリやデータプラットフォームとの連携・接続●研究データ基盤の活用に係る環境の整備• 効率的なAI活用のための、機械可読データの統一化や標準化等を含めたルール・ガイドライン整備、データマネジメント人材育成支援等、ユーザー視点に立って研究データ基盤を最大限に活用するための環境整備
15

ユースケース創出事業 - 採択課題一覧(2024年1月現在)• 「全国的な研究データ基盤を活用し、異なる分野間でのデータ連携を前提とした AI・データ駆動型研究のシーズ・ユースケースの創出」にかかる課題提案を募集
https://www.nii.ac.jp/creded/nii_ac_jp_creded.html
代表者

所属機関

課題名原 正一郎

京都大学

人文学DXを指向する情報基盤の構築

安岡 孝一

京都大学

形態素解析・係り受け解析AIにおけるデータ管理とデモ環境の統合

蕭 耕偉郎

九州大学

都心部における人流変容メカニズムの解明と予測モデルの構築

小財 正義

情報・システム研究機構

分野横断型データベースAMIDERの活用による次世代型データ利活用スキームの構築

喜屋武 亨

琉球大学

擬似人流データを用いた身体活動量の推定と地理的・社会経済的環境から見た地理的地域特性の解明：地域住民の健康増進に向けた活動量シミュレーションシステムの開発

吉岡 京子

東京大学

乳児の股関節脱臼の見落としゼロを目指す異常判別AIとコミュニティスクリーニングシステムの開発

大向 一輝

東京大学

人文学研究における「読み」を共有するためのデジタルアーカイブ構築・AI活用ワークフローの確立

尾上 陽介

東京大学

異分野共創による史料学DX の確立

小野 寛太

大阪大学

大規模実験データの計測・解析・共有・公開を通じた知の創出のためのエコシステム構築

木村 映善

愛媛大学

国際的なRWD 研究を実現する医療情報分析基盤の検討

菊池 信彦

国文学研究資料館

古典籍テキストデータを活用したデータ駆動型人文学のための研究資源構築プロジェクト

山下 俊介

北海道大学

地域文化資源データの共創のための汎用プラットフォームの開発

中西 秀哉

核融合科学研究所

核融合研究データのオープンな利活用基盤「プラズマ・核融合クラウド」の構築と整備

林 美加子

大阪大学

健康医療データの質を保証する安全安心な医療AIサービスプラットフォームの構築

松平 拓也

金沢大学

コアファシリティにおける研究データ管理アーキテクチャの構築

徳地 直子

京都大学

地域デザインのためのインクルーシブ・データプラットフォームの構築

中村 覚

東京大学

Archivematica を用いた人文学データのキュレーションプロセスの自動化に関する試み

佐藤 琴

山形大学

地域資料データの継承とオープン化を目指した地域横断型データ共有基盤の構築

岡田 知久

京都大学

マルチスピーシーズ霊⻑類脳画像の知識型データ共有エコシステムの構築:データ駆動型脳科学を推進する共創型国際研究基盤

能勢 正仁

名古屋市立大学

研究データの可視化・検索性の向上を目指したメタデータ変換システムの開発と実装

佐藤 和信

大阪公立大学

ESR装置群を基軸とする研究データ流通･利活用エコシステムの構築

山田 裕久

奈良工業高等専門学校

高専における分析データ集約･配信モデルシステム構築

2024年度分現在も随時応募受付中！

16オープンサイエンス時代の研究データ基盤構築に向けた国内の政策動向•••••••••••••••••

2015年3月：内閣府「国際的動向を踏まえたオープンサイエンスに関する検討会」報告書
2016年1月：政府「第5期科学技術基本計画」
2016年2月：文部科学省 科学技術・学術審議会 学術分科会 学術情報委員会 「学術情報のオープン化の推進について」
2016年5月：G7茨城・つくば科学技術大臣会合 つくばコミュニケ（共同声明）
2016年5月：政府「科学技術イノベーション総合戦略2016」2016年7月：日本学術会議「オープンイノベーションに資するオープンサイエンスのあり方に関する提言」(提言)2017年6月：政府「科学技術イノベーション総合戦略2017」2018年6月：政府「統合イノベーション戦略」
2019年6月：政府「統合イノベーション戦略2019」2020年6月：日本学術会議「オープンサイエンスの深化と推進に向けて」 (提言)2020年7月：政府「統合イノベーション戦略2020」2021年3月：政府「第6期科学技術・イノベーション基本計画」
2021年4月：政府「公的資金による研究データ管理・利活用に関する基本的な考え方について」
2021年6月：政府「統合イノベーション戦略2021」
2022年6月：政府「統合イノベーション戦略2022」
2023年5月：G7科学技術大臣会合
2023年6月：政府「統合イノベーション戦略2023」

統合イノベーション戦略2023 （2023年6月）（公的資金による研究データの管理・利活用の推進）「公的資金による研究データの管理・利活用に関する基本的な考え方」（令和3年4月27日統合イノベーション戦略推進会議決定）において、公的資金による研究データに関する概要情報（メタデータ）を中核的な基盤である研究データ基盤システム（NII Research Data Cloud）上で検索可能とし、オープン・アンド・クローズ戦略に基づく研究データの管理・利活用を推進するビジョンを示した。ここでは、公募型の研究資金の全ての新規公募分についてメタデータ付与を行う仕組みを2023年度までに導入するとともに、大学等の研究開発を行う機関においてデータポリシーの策定と機関リポジトリへの研究データの収載等を進めることとしている。….また、2022年度に開始された「ＡＩ等の活用を推進する研究データエコシステム構築事業」
において、引き続き各分野・機関の研究データをつなぐ全国的な研究データ基盤の高度化や、研究機関・研究者に対する研究データ基盤の利活用に向けた普及・広報活動を推進する。

（学術論文等のオープンアクセス化の推進）
また、本年５月に日本で開催されたG７広島サミット及びＧ７
仙台科学技術大臣会合を踏まえ、我が国の競争的研究費制度における2025年度新規公募分からの学術論文等の即時オープンア
クセスの実現に向けた国の方針を策定する。
17

オープンかつ日本語に強い大規模言語モデルの構築とその原理解明に取り組む組織横断プロジェクト

LLM-jp© 2024 National Institute of Informatics

ChatGPT• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model, LLM) に基づくチャットボット• OpenAIは2015年末にサム・アルトマン、イーロン・マスクらによって設立されたAI研究所。マイクロソフトも出資• 自然言語からの画像生成モデルDALL-E、音声認識モデルWhisperなども開発• 本社はサンフランシスコ

An astronaut riding a horse
in a photorealistic stylehttps://openai.com/
https://openai.com/dall-e-2/
19

ChatGPTとは• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model, LLM) に基づくチャットボット
学習時
学習データ：日本の少子化対策には、次のようなアプローチ . . .の少子化対策には、次のようなアプローチ

を…

日本の少子化

対策には、次のようなアプローチ

ChatGPTとは• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model, LLM) に基づくチャットボット
推論時
プロンプト：日本の少子化対策はどうすればいいの
日本の

少子

…

日本の少子化

対策はどうすればいいの日本の大規模言語モデル(LLM)の歴史
2014 Attention

機械翻訳において目的言語の次の語を生成する際に原言語の文のどこに着目するか2017 Transformer

attentionの精緻化、原言語文内、目的言語内でのattention

2018 BERT

Transformerのencoder側を単言語の分類問題等に2018 GPT (117Mパラメータ)

Transformerのdecoder側を言語モデルに2019 GPT-2 (1.5Bパラメータ)
2020 GPT-3 (175Bパラメータ)
2022 GPT-3.5 / InstructGPT2022 ChatGPT2023 GPT-4 (2Tパラメータ?)
画像も扱える、多言語能力も大幅向上• 米司法試験で人間受験者の上位10％の成績• 米大学入試テストSATで1600点中1410点• 米医師試験USMLEでも合格レベルの点数[Vaswani et al. 2017]意味・文脈の理解と多言語性

23

翻訳：うなぎ文翻訳：うなぎ文翻訳：うなぎ文

参考：『ChatGPT翻訳術 新AI時代の超英訳スキルブック』山田 優 著, 株式会社アルク 2023.

ChatGPT 4 (RAG)GPT-4V（画像理解）https://www.covid19-jma-medical-expert-meeting.jp/topic/2167

LLMに関する懸念• 研究開発が一部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・大きなモデルの学習コーパス・データは公開されておらず、巨大パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多言語性について何が起こっているのか誰もわからない• 一方、現在のモデルにはHallucination、バイアス等の課題も山積• 日本語コーパスはGPT-3において0.11%、日本語の理解・生成能力は英語に比べて劣る• 国内にサーバを置き、セキュリティ認証ISMAPを取得するサービスも検討されているが、経済安全保障的な懸念は残る

LLM-jp (LLM勉強会)• オープンかつ日本語に強い大規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可
https://llm-jp.nii.ac.jp/30

LLM-jp (LLM勉強会)• オープンかつ日本語に強い大規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可

2023.5
自然言語処理の研究者の有志約30名による勉強会を開催
2023.10mdxを用いて130億パラメータの大規模言語モデル「LLM-jp-13B」を公開
2023.11
ABCI第２回LLM構築支援プログラム採択
1750億パラメタモデルの学習に着手
2024.1
GENIAC 第1期採択（2024.4から1750億パラメタモデルを学習）• mdx: データ活用社会創成プラットフォーム．9大学2研究所が連合して共同運営する、データ活用にフォーカスした高性能仮想化環境• ABCI: AI橋渡しクラウド．産業技術総合研究所（AIST）が提供するAI向け計算用で現状国内最大の計算資源• GENIAC: Generative AI Accelerator Challenge.日本国内の基盤モデル開発力の底上げのために計算資源の提供等を行う経産省のプログラム

100832More than 160 organizations
Academia / Public sector
北海道大学
北見工業大学
東北大学
山形大学
筑波大学
東京大学
慶應義塾大学
早稲田大学
東京工業大学
東京学芸大学お茶の水女子大学
日本女子大学上智大学
電気通信大学明治大学
一橋大学
東京都立大学東京通信大学
武蔵野大学
名古屋大学
京都大学

大阪大学
大阪工業大学関西学院大学近畿大学
奈良先端科学技術大学院大学
北陸先端科学技術大学院大学
愛知工業大学
長岡技術科学大学
千葉大学
愛媛大学
九州工業大学
九州大学
MBZUAI沖縄科学技術大学院大学
国立情報学研究所
海洋研究開発機構
理化学研究所
産業技術総合研究所
情報通信研究機構

科学技術振興機構
国立教育政策研究所
NPO法人AI開発推進協会
広島県庁
北九州市役所
京都府庁

IndustryNTT
LINEヤフーレトリバ
サイバーエージェント
富士通
Microsoft
Studio Ousia
プレシジョン
ZENKIGEN
LegalscapeTuring
アマゾン ウェブ サービス ジャパン
みらい翻訳
リクルート Megagon Labs
グロービス経営大学院
ストックマーク
BreakAI
ファーストアカウンティング
東芝
Preferred Networks
オムロンサイニックエックス
トヨタ自動車NTTコミュニケーションズ
バオバブ
Polaris.AI
Sakana AI
Stability AI Japan
マネーフォワード
メルカリ
NVIDIA合同会社
アステラス製薬
パスコ
朝日新聞社
Rakuten Group, Inc.
ELYZA
ベルシステム24ホールディングス
Lightblue

インテル
Aniqueインターグループ
ユーザベースフィックスターズ
ディー・エヌ・エー
さくらインターネット
アクセンチュア
ソニーグループ
HEROZ
カラクリ
地層科学研究所
GMOインターネットグループ
野村総合研究所
みずほ第一フィナンシャルテクノロジー
Algomatic
丸紅
ユビー
アドバンスソフト
ベイシスコンサルティング
クラウドエース
ブレインパッド
アラヤ
Insight Edge
ライフジェンス
NTTデータグループ
アルジェントテクノロジー
新医療リアルワールドデータ研究機構
KDDI総合研究所
紀伊國屋書店
デロイトトーマツコンサルティング
日本能率協会マネジメントセンター
日本総合研究所
インターネットイニシアティブ
フリットジャパン
リコー
オルツ
エル・ティー・エス
インフォセンス
A.M Recherche
データブリックス・ジャパン
TOPPANデジタル
レアゾン・ホールディングス
ソフトバンクカサナレ
IHI
NTTデータイントラマート
スクウェア・エニックス
三菱ケミカルグループ
webbigdata
日本IBM
ABEJA
創英知財ソリューションズ
STORIA法律事務所
GaudiyneoAI
セコムIS研究所
三菱電機
デジタル・アドバタイジング・コンソーシアム ヤマハ
APTO
LAPRAS
NTT東日本Japan Degital Design
コニカミノルタクラスター
本田技研工業SambaNova Systems
PwCコンサルティング
サイボウズ・ラボ
Alibaba Cloud Japan
Laboro.AI
33
アミフィアブル
APTO
住友電工情報システム

Large-scale
corpus• 日本語語彙をきっちり扱うトークナイザ整備• LLM-jp-13Bでは、ウェブコーパス等をクリーニングし、日本語1500億トークン、英語1500億トークン、プログ
ラムコード100億トークンを事前学習に使用• コーパス開拓・整備を継続（NDL、JST等の資源）

1008• LLM-jp-13Bではmdx A100 96GPUを利用• 高速並列計算環境、種々のLLM構築プラットフォームを比較検討• LLMの大規模計算を安定して行うノウハウを蓄積• 新たなモデルアーキテクチャを随時検討

Tuning data
Evaluationdata• LLM-jp-13Bでは12種類、約20万件のインストラクション
データを整備し、チューニングを実行• 9種類の日本語評価データと、評価環境llm-jp-evalを整備（GENIACでも利用されている）• インストラクションデータ、評価データの検討・構築を継続するとともに、LLMの安全性について分析・検討

34

LLMの生成の根拠となるテキスト（リファレンス）をベクトル検索とキーワード検索で表示

Fine-tuning of LLM-jp-13B v1.1
1. Supervised Fine-tuning (SFT)

2. Learning from Human Feedback (LHF)

using Direct Preference Optimization (DPO) [Rafailov+ 2023]### Instruction:

ポテトチップスの袋はなぜ開封後に古くなるのか？

### Response:

ポテトチップスの袋は窒素で満たされている！多くの消費者は、ポテトチップス会社が袋の4分の3を空気で満たし、お金を取ろうとしていると考えているが、実はこれは．．．

Data StatsSFTLHF

En

Ja

Dolly

15,011

15,011 (mt)

OpenAssistant21,164

21,164 (mt)

Ichikara---

2,903 (org)

HH-RLHF---

12,000 (mt)### Instruction:

父とは疎遠なのですが、もう一度連絡を取りたいと思っています．．．

### Response:

メールが一番簡単だと思います。「一緒に過ごした楽しい時間は一生忘れない」とか、そういうことを付け加えてもいいかも。

### Response:

メールにしたほうがいいと思う。なぜ聞くのですか？他の方法の方がいいと思う理由があるのですか？.

37

Evaluation Results of LLM-jp-13B v1.1
LLM-jp eval:a wide range of NLP tasks, such as QA,
recognizing textual entailment, andothers (4-shot)

Japanese Vicuna QA:

open-ended questions (GPT-4 rates theresponses; win ratio against GPT-3.5)
800.470600.3

500.2

400.1

3001020

BaseSFTSFT+LHF※ Results for 4-shot0BaseSFTSFT+LHF

38

Evaluation Results of LLM-jp-13B v1.1 and v2.0
• Improve corpus cleaning• LLaMa architecture

LLM-jp eval:a wide range of NLP tasks, such as QA,
recognizing textual entailment, andothers (4-shot)

Japanese Vicuna QA:

open-ended questions (GPT-4 rates theresponses; win ratio against GPT-3.5)
80

0.4

700.3

60500.2

400.1

30200BaseSFT

SFT+LHF※ Results for 4-shot100

Base (v1.1)

Base (v2.0)

SFT (v1.1)

SFT (v2.0)

SFT+LHF(v1.1)
39

Investigating the Multilinguality of LLM-jp-13B• Investigated the transition of
the similarity between
corresponding J/E words(e.g., "apple" vs "りんご")• Manually prepared 10 pairs ofwords for each of the 10
categories, including "action","animal", etc.
• Despite no explicit training
signals, their similarities (ofembeddings) increasesteadily40

LLM研究開発センター• 生成ＡＩモデルの透明性・信頼性の確保に向けた研究開発拠点を2024年4月に国立情報学研究所内に設置• 研究者・エンジニア30名程度• 計算資源 H100 500枚程度 (予定)
研究開発課題

1. 研究開発用LLM構築
2. LLMの透明性・信頼性確保に向けた研究開発
3. LLMの高度化に向けた研究開発
41

今後の展望• 言語は知の基盤であり、コンピュータがLLMという形でその理解と生成の基盤をもったことの意味ははかりしれない• LLMの知識基盤をもとに、画像・映像の理解と生成 (Large
Multimodal Mode; LMM)、ロボット制御なども加速度的に進展している• 学術においてもビジネスにおいても、データ駆動による新たな価値創造が始まっているが、LLMはそれを知識駆動へと昇華させる
42

データ基盤から知識基盤へ

日本学術会議「未来の学術振興構想」の策定に向けた「学術の中長期研究戦略」に提案（2022年12月16日）

AI基盤モデルが出力する情報の信頼性を担保する知識トレーサビリティ

AI基盤モデル構築に必要なデータの信頼性・信憑性を確保する技術

研究データ基盤の機能充実

異分野間の高度認証連携

クラウド・エッジサーバ・デバイス間のデータ収集及び資源最適化

国際協調に基づく非地上形
ネットワークの構築による学術分野の発展・開拓

ネットワーク状態の高度診断・障害
予兆検知

If you want to go fast, go alone
If you want to go far, go together

44