Press Release2023 年 5 ⽉ 22 ⽇
東京⼯業⼤学東北⼤学
富⼠通株式会社
理化学研究所

スーパーコンピュータ「富岳」政策対応枠における⼤規模⾔語モデル分散並列学習⼿法の開発について
国⽴⼤学法⼈東京⼯業⼤学（注 1）(以下、東京⼯業⼤学)、国⽴⼤学法⼈東北⼤学（注2）(以下、東北⼤学)、富⼠通株式会社（注 3）(以下、富⼠通)、国⽴研究開発法⼈理化学研究所（注 4）(以下、理化学研究所)は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」を活⽤した⼤規模⾔語モデル（Large Language Model, LLM）（注 5）の分散並列学習⼿法の研究開発を 2023 年 5 ⽉から実施します。
⼤規模⾔語モデルは、ChatGPT（注 6）をはじめとする⽣成 AI の中核として使⽤されている深層学習の AI モデルであり、4 者は今後今回の研究開発の成果物を公開することで、アカデミアや企業が幅広く使える⼤規模⾔語モデルの構築環境を整え、国内におけるAI の研究⼒向上に貢献し、学術および産業の両⾯で「富岳」の活⽤価値を⾼めることを⽬指します。
【背景】
ChatGPT に代表される⼤規模深層学習モデル（基盤モデル）は、インターネットやスマートフォンのように社会全体のあり⽅を変える⾰新的な技術であり、Society5.0 における研究開発、経済社会、安全保障などのあらゆる側⾯から基盤技術として期待される⼀⽅で、基盤モデルの性能を⾼めるためには⼤量データを効率的に処理する⾼性能計算資源が不可⽋です。
そこで、東京⼯業⼤学、東北⼤学、富⼠通、理化学研究所は、基盤モデルの研究開発における計算環境を整備するため、「富岳」政策対応枠において、「富岳」を活⽤した⼤規模⾔語モデル分散並列学習⼿法の開発に向けた研究開発を⾏います。
【実施期間】
2023 年 5 ⽉ 24 ⽇から 2024 年 3 ⽉ 31 ⽇まで （「富岳」政策対応枠の利⽤期間）【各機関・企業の役割】
今回開発する⼤規模⾔語モデル分散並列学習⼿法は、スーパーコンピュータ「富岳」の超⼤規模な並列計算環境において⼤規模⾔語モデル学習を効率良く実⾏する技術となります。各機関・企業の役割は以下の通りです。

東京⼯業⼤学：全体総括、⼤規模⾔語モデルの並列化および⾼速化
東北⼤学：学習⽤データの収集、モデルの選択
富⼠通：⼤規模⾔語モデルの⾼速化
理化学研究所：⼤規模⾔語モデルの分散並列化・通信⾼速化、⼤規模⾔語モデルの⾼速化【今後について】
今後 4 者は、⽇本の研究者やエンジニアが⼤規模⾔語モデルの開発に活⽤できるように、今回の「富岳」政策対応枠で得られた研究成果を、2024 年度に、GitHub（注 7）やHugging Face（注 8）を通じ公開する予定です。また、多くの研究者や技術者が基盤モデルの改善や新たな応⽤研究に参画することで、効率的な⽅法が創出され、次世代の⾰新的な研究やビジネスの成果に繋がることが期待されます。
さらに、ものづくりをはじめとする産業分野などへの応⽤を想定したマルチモーダル化のためのデータ⽣成⼿法および学習⼿法の開発を⾏う国⽴⼤学法⼈東海国⽴⼤学機構
名古屋⼤学(注 9)や、⼤規模⾔語モデル構築のためのデータおよび技術提供を⾏う株式会
社サイバーエージェント(注 10)との連携も今後検討していきます。
【エンドースメント】

・東京⼯業⼤学 学術国際情報センター教授

遠藤 敏夫

本学・理研によるスーパーコンピュータ「富岳」を活⽤した⼤規模⾔語モデルの並列化・⾼速化、富⼠通の「富岳」向け⾼性能計算基盤ソフトウェアの開発と AI モデルの性能チューニング、東北⼤学の⾃然⾔語処理の技術を融合させていきます。富⼠通との連携においては、スモールリサーチラボ「富⼠通次世代コンピューティング基盤協働研究拠点」も活⽤してまいります。今回の取り組みにより、「富岳」上で⼤規模分散深層学習を実施するための環境が整備されることで、我が国の AI の研究⼒向上への貢献が期待されます。
・東北⼤学 情報科学研究科システム情報科学専攻教授

乾 健太郎

学習データの情報に透明性があり、⽇本語データを中⼼にした、商⽤利⽤も可能なオープンソースの⼤規模⾔語モデルを構築します。学習データのトレースを可能にすることによって、ブラックボックス問題、バイアス、誤情報・ハルシネーション等に関する科学的検証に耐える研究が可能になると期待されます。東北⼤で培った⾔語処理モデルの深層学習や⽇本語処理を考慮した⾔語モデル構築の知⾒も活かしながら⼤規模モデル構築の試⾏錯誤を重ね、得られた知⾒を広く共有することによって、我が国の AI 研究⼒向上へ貢献してまいります。
・富⼠通株式会社

執⾏役員 EVP

富⼠通研究所⻑岡本 ⻘史

当社が有する⼤規模並列コンピューティングと AI の融合技術を活⽤することで、スーパーコンピュータ「富岳」を⽤いた⼤規模⾔語モデルの研究開発に貢献するとともに、そこで得られる先進的 AI 技術や知⾒を当社の AI プラットフォーム「Fujitsu Kozuchi (codename) - Fujitsu AI Platform」を介して提供することで、画期的なアプリケーションの開拓を促進し、持続可能な社会の実現に貢献してまいります。
・理化学研究所 計算科学研究センター

松岡 聡センター⻑

「富岳」で開発された「A64FX」(注 11)は、SVE と呼ばれる AI の加速機能を備えていますが、その能⼒を最⾼に発揮し、かつ⼀般的な AI アプリで活⽤するには、ソフトウェアの開発と最適化が不可⽋です。今回の共同研究を通じて、本計算科学研究センターの研究者を含む、我が国の⾔語モデルや計算機科学の研究者が結集して、スーパーコンピュータ「富岳」上で⼤規模⾔語モデル構築基盤の⾼度化に取り組むことが重要です。これにより、本センターとして Society 5.0 の実現に貢献していく所存です。
【課題名】「富岳」を活⽤した⼤規模⾔語モデル分散並列学習⼿法の開発 (課題番号：hp230254)【商標について】

記載されている製品名などの固有名詞は、各社の商標または登録商標です。
【注釈】

（1）

国⽴⼤学法⼈東京⼯業⼤学：本部 東京都⽬⿊区 学⻑ 益 ⼀哉。

（2）

国⽴⼤学法⼈東北⼤学：本部 仙台市⻘葉区 総⻑ ⼤野 英男。

（3）

富⼠通株式会社：本社 東京都港区 代表取締役社⻑ 時⽥ 隆仁。

（4）

国⽴研究開発法⼈理化学研究所：本部 埼⽟県和光市 理事⻑ 五神 真。

（5）

⼤規模⾔語モデル：数億〜数⼗億のパラメータを持ち、⼤量のデータを⽤いて事前学習されたニューラルネットワークのことを指す。最近では⾔語処理におけるGPT や画像処理における ViT などが代表的な⼤規模学習モデルとして知られている。
（6）

ChatGPT：OpenAI が開発した⾃然⾔語処理のための⼤規模⾔語モデルで、対話システムや⾃動⽂章⽣成などのタスクに⾼い精度で対応。
（7）

GitHub：世界中でオープンソースソフトウェアの公開につかわれているプラットフォーム。https://github.com/（8）

Hugging Face：世界中で AI のデータセットを公開するのに使われているプラットフォーム。https://huggingface.co/（9）

国⽴⼤学法⼈東海国⽴⼤学機構 名古屋⼤学：本部 名古屋市千種区 総⻑ 杉⼭直。

（10） 株式会社サイバーエージェント：本社 東京都渋⾕区 代表取締役 藤⽥ 晋。
（11） A64FX：富⼠通が開発した ARM ベースの CPU でスーパーコンピュータ「富岳」に搭載。

【本件に関するお問い合わせ先】

東京⼯業⼤学 学術国際情報センター教授

横⽥ 理央
Email: rioyokota@gsic.titech.ac.jp
TEL: 03-5734-2121
東北⼤学 ⼤学院情報科学研究科

准教授

坂⼝ 慶祐
Email: keisuke.sakaguchi@tohoku.ac.jp
TEL: 022-795-7091
富⼠通株式会社
富⼠通コンタクトライン（総合窓⼝）
TEL: 0120-933-200
受付時間：9 時〜12 時および 13 時〜17 時 30 分（⼟曜⽇・⽇曜⽇・祝⽇・当社指定の休業⽇を除く）
お問い合わせフォーム
https://contactline.jp.fujitsu.com/customform/csque04802/873532/【取材申し込み先】

東京⼯業⼤学 総務部 広報課
Email: media@jim.titech.ac.jp
TEL: 03-5734-2975

FAX: 03-5734-3661

東北⼤学⼤学院情報科学研究科 広報室
Email: koho@is.tohoku.ac.jp
富⼠通株式会社
広報 IR 室TEL: 03-6252-2174（直通）
理化学研究所神⼾事業所計算科学研究推進室
https://krs2.riken.jp/m/media-form
理化学研究所広報室報道担当
TEL: 050-3495-0247
E-mail: ex-press@ml.riken.jp