産業競争力懇談会 COCN フォーラム 2024

生成AIのもたらすブレークスルーとエンジニアリング
プロセスの変革
富士通株式会社 富士通研究所
九州大学マス・フォア・インダストリ研究所

穴井 宏和
2024年7月16日© 2024 Fujitsu Limited

富士通研究所 プリンシパルリサーチディレクター（AI領域）

穴井 宏和

博士〔情報理工学〕

九州大学 マス・フォア・インダストリ研究所 客員教授
東京工業大学 非常勤講師 （環境・社会理工学院 / 工学院）

2019～ 科学技術振興機構 CREST 領域アドバイザー（研究総括：上田 修功）「数学・数理科学と情報科学の連携・融合による情報活用基盤の創出と社会課題解決に向けた展開」

2024～ 科学技術振興機構 CREST 領域アドバイザー（研究総括：小谷 元子）「予測・制御のための数理科学的基盤の創出」

2019～ 科学技術振興機構 ACT-X 領域アドバイザー（研究総括：河原林 健一）「数理・情報のフロンティア」

2023～ 科学技術振興機構 ACT-X 領域アドバイザー（研究総括：原 隆浩）

主な研究テーマ「次世代AIを築く数理・情報科学の革新」
1991
1999
2000
2003

富士通研究所 国際情報社会科学研究所 入社
Universität Passau, Fakultät für Informatik und Mathematik (Algebra)
客員研究員

科学技術振興機構 戦略的創造研究推進事業 研究代表者

計算代数
数理最適化
システム制御人工知能
数理に基づく社会問題解決（ ソーシャル数理 ）< http://researchmap.jp/anai/ >執筆

2009 『 数値/数式ハイブリッド計算に基づくロバスト最適化プラットフォームの構築 』
2021
2023

富士通研究所 人工知能研究所 所長

FUJITSU-PUBLIC

2© 2024 Fujitsu Limitedいます。」

生成AIの拡がり

FUJITSU-PUBLIC

3© 2024 Fujitsu Limited現在のAI導入（工場）・各AIが独立して、全体を通した結果が不十分
・一度作ると変更しにくく、状況変化に対応しにくい
工場 A

設計

工場 B

調達

・構築に全体を通したデータが大量に必要・一つが機能しなくなると、全体が機能しない

本社/マザー工場

加工1

加 工ｎ

設計部門

組立

検査

出荷

FujitsuKozuchiAI技術

Composite AI
FUJITSU-PUBLIC

4© 2024 Fujitsu Limited

目指す世界 - 自律AIエージェントによる全体の制御・各AIが連動して、工場・会社全体レベルでの最適化
・一つが機能しなくとも、全体として影響を最小限に・状況に合わせて適応しながらAIが全体で調整・不要な工程は自動でスキップ・削除・データをとりながら、取得データに合わせて最適に更新 ・自然言語によるUIで異常時も自然言語による指示
工場 A

設計

工場 B

調達

本社/マザー工場

加工1

加 工ｎ

設計部門

組立

基盤モデル

サステナブル
回復力

工場間・行程間で連携して全体最適検査

出荷

各アクチュエーター（AIモデル）
目的に適切かつ適応可能
ロス関数学習人間中心

全体最適＋強化学習

自律AIエージェント
LLM

マルチレベル最適化

自然言語経由で蓄積

因果強化学習・
ベイズ最適化
DecisionTransformer

Knowledge

ユーザーの自然言語での入力と強化学習の結果より、全体に対する暗黙知や熟練の勘を学習
FUJITSU-PUBLIC

5© 2024 Fujitsu Limitedスマートファクトリーのレベル
現在のビジネス対象

現在の研究開発対象

目指すべき世界

レベル

レベル

レベル

レベル

レベル

レベル

従来の工場データの収集・蓄積

データによる分析・予測データによる制御・最適化

動的な自律制御

人間中心の全体自律制御

有益な情報を見極めて収集して状態を見える化し、得られた気づきを知見・ノウハウとして蓄積できる

膨大な情報を分析・学習し、目的に寄与する因子の抽出や、事象のモデル化・将来予測ができる蓄積した知見・ノウハウや、蓄積したモデルによる将来予測を基に最適な判断・実行ができる

複数の工場または事業者が接続し、解析結果や予測を基に、各主体が自律的活動的に制御できる複数の工場・事業者が連携し、人とやりとりしながらネットワーク全体が最適となるように自律的・動的に行動する

00

情報がまだ活用されてない

従来の工場

01

02

03

スマートファクトリー

04

05

次世代SF

参考：スマートファクトリーにおけるサイバーセキュリティ確保に向けた調査（経済産業省2021）
FUJITSU-PUBLIC

6© 2024 Fujitsu Limited

生成AIの技術動向
大規模GPTに代表される、大規模汎用利用の言語に加えて、映像や音声にも対応
クラウド上で広範囲に公開

大規模汎用モデル - LLM

100B
企業業務を支援する特化型・カスタマイズ性 ・企業規則への準拠

サイズをコンパクトで効率的に最適化した

小中規模言語モデル - SLM
小・中規模7© 2024 FUJITSU LIMITEDスーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
富士通

東京工業大学
名古屋大学

サイバーエージェント

東北大学
理化学研究所Kotoba Technologies

2024-05-10
FUJITSU-PUBLIC© RIKEN© 2024 Fujitsu Limited

富士通の生成AI戦略
汎用的な大規模モデルと小中規模の特化型モデルの市場が拡大

企業ニーズを満たす特化型モデルに注力

生成AIの企業ユースにおける3つの課題
1. 企業が保有する多様で大量なデータを扱えない
2. 業務ノウハウやプロセスに特化したモデルを迅速に生成できない
3. 企業における規則や法令に準拠させることが困難

企業における生成AIの活用上の課題を解決し、セキュリティ不安を払しょくする

エンタープライズ生成AIフレームワーク
9© 2024 FUJITSU LIMITED

生成AIがもたらすもの
生成AIの技術的ブレークスルー
自然言語で誰でも使える• ことばで対話、対話の中での調整

高い汎用性• 単一モデルで多くのタスク/モーダル対応

対話型 UX

基盤モデル（ Universal multi-purpose Model ）人のフィードバックによる強化学習• タスクをその場で学習する能力

段取り・指示を実行• 何をしなければいけないか考え
各AI/サービスを利用
FUJITSU-PUBLIC

ファインチューニング

プランニング・制御

10Composite AI© 2024 Fujitsu Limited

AI適用のスキームの変革
事前学習、そして事後学習でダウンストリームタスクに対応
LLMをタスクや各領域向けに特化
事前学習
事前学習
データ

継続学習
事前学習
モデル

新しい知識を追加したい場合
日本語能力を付加

業界・業務知識を付加
FUJITSU-PUBLIC

追加学習データ（業種データ）インストラクション
データ

目的に沿った応答をするように調整
入力

人間
出力

LLM

富士通について教えてください
日本の総合エレクトロニクスメーカー、総合Tベンダーです11

人のフィードバック

ファインチューニング

フィードバック
データ

事後学習
モデル

差別を助長しない、犯罪知識を教えないなど、人に沿った応答をするように調整
出力

ニトログリセリンの入手方法についてお尋ねですね〇〇にて通信販売の取り扱いがあります

人のNG

LLM

人間フィードバック（ 危険物の情報を提供すべきではない ）© 2024 Fujitsu Limited

事後学習 : ファインチューニング
特定タスクのニーズとデータに適応させモデルの出力の品質を向上• 基盤モデルの汎用能力を引き出すキー技術：特定タスクへのカスタマイズを可能とする• 特定領域の専門知識の反映、最新情報の取り込み、自社データによる独自LLMを実現
基盤モデル（大規模事前学習モデル）を特定タスクや業務向けに小規模な教師データで調整
膨大なラベル無しデータ基盤モデル

少数のラベル付きデータ
タスクに特化

ファイン
チューニング

事前学習

テキスト生成

要約

情報抽出

Q&A

チャットボット
領域や自社データへ特化
医療・金融・物流・…
自社知識・ノウハウ・…

FUJITSU-PUBLIC

12© 2024 Fujitsu Limited

事後学習 : 人のフィードバックによる強化学習
人間の価値基準に沿うように言語モデルを RLHF※で調整※RLHF（Reinforcement Learningfrom Human Feedback）• AIモデルの出力に「人間の価値基準（人間の好みなど）」を反映させるための学習プロセス• 会話型AIが人間の意図に沿いつつ無害(品行方正)な受け答えを実現できた鍵報酬モデル(RM)のトレーニング

プロンプト

言語モデル

応答文

複数の回答を人手で評価しその情報で報酬モデルを訓練

RMで言語モデルを最適化

報酬モデル（RM)

報酬（値）人による評価

プロンプト

言語モデル

応答文

報酬（値）

報酬モデルで出力を評価・フィードバックして改善
FUJITSU-PUBLIC

13

Fine-Tuning Language Models from Human Preferences （Ziegler et.al 2020）,
Training language models to follow instructions with human feedback (Ouyang et.al 2022) を参考に改定© 2024 Fujitsu Limited

自然言語の指示で、段取りを生成し必要なAIを実行
自然言語

2023

Chat GPT

ヒトらしい指示と回答

AIに適した命令（タスク分解、フォーマット変換…）

対象・目的に応じて様々なアルゴリズムを活用・制御

LangChain
LangChainplugins

LLM使用アプリの開発フレームワーク

機能を拡張するための追加モジュール

Prompt管理、ユーティリティ機能提供

最新の情報・知識ベースの情報の取得
特定のアクションや計算/分析を実行

要望に対する手段・順序を決定

Advanced
Data Analysis
Code Interpreter

データをクリーニング
して自然言語を使ったデータ分析環境
自然言語でPythonコード実行
画像やCSV等をuploadし分析（計算・分析・グラフ/プレゼン資料作成まで）

FUJITSU-PUBLIC

https://generativeinfo365.com/?p=192

https://www.langchain.com/

14

データを探索して心臓病を予測するモデルを構築して© 2024 Fujitsu Limited

生成AI時代の変革ポイントプラットフォームAI構築の変革

データ基盤

基盤モデル＋ファインチューニングのスキーム

人の知見・技能の学習

生成AI

Composite AI

構築

運用

ナレッジマネージメントの変革

基盤モデル

ファインチューニング

LLMによる蓄積・利活用

個別AI

人のFB＋強化学習

人とAIとの協働の接点

AutoML

ナレッジマネージメント

強化学習＋Human Feedback（RLHF）

Conversational UI、安全安心、受容性プロセスの自動化・制御

計算基盤

AIエージェントによる最適なAIの組合せと自動制御

FUJITSU-PUBLIC

HPC
15

インタラクティブ計算

リアルタイム計算© 2024 Fujitsu Limited

AIの社会受容性・信頼性
信頼倫理
持続性
ESG

ハルシネーション（幻覚）

FUJITSU-PUBLIC

技能伝承・属人化の排除

雇用16

セキュリティ
リスク

偏見

著作権

© 2024 Fujitsu Limited

生成AIとサスティナブルエンジニアリング

FUJITSU-PUBLIC© 2024 Fujitsu Limited

テーマ

議題：

生成AIは日本の産業をどう変革するか

1.

製造現場に生成AIが展開されたとき、どのような産業変革が期待できるか？

2.

その時の課題は何か

社会受容性や信頼性の壁を超え目指す姿

3.

日本の政策/法制度の課題と期待

4.

日本産業が世界に勝つための勝ち筋とはFUJITSU-PUBLIC

18（技術的な課題、産業の課題、社会受容性)© 2024 Fujitsu Limited