大規模言語モデル（LLM）を活用したソリューションへの取り組み
日本電気株式会社© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します渡 辺 亮 介 （ わたなべ りょうすけ）所属
日本電気株式会社／＜パブリックＢＵ＞

社会公共ソリューション開発部門／ソリューション開発統括部

業務内容
AIをはじめとするNECの技術アセットを用いた、自治体様向けの新事業の企画・開発

2© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますアジェンダ
•••
•
•
•

はじめに
LLMとは特化型LLMの必要性
NECのビジネス方針
自治体様向けの提案ビジョン・ユースケース紹介
ＮECの強みはじめに
２０２２/１１

ChatGPT リリース
ユーザー1億人に2か月で到達

ビジネス活用の検討が一気に加速

LLＭの開発競争
4© NEC Corporation 2023

LLＭを活用した新サービス

あらゆる
アプリケー
ションへの搭載

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますあらゆる職種・業務での活用可能性

5

営業

ナレッジ検索

事業開発

市場調査

コンサルティング

統合報告書調査

カスタマーサポート

コール対応記録

研究開発

論文調査

SE

テスト

開発

プログラミング

経営・財務・管理事務マニュアル作成

デザイン

ブレスト

法務・知財

契約書作成

人事・総務

人事評価

マーケティング

壁打ち© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します現状はまだ限られた範囲での活用
２０２３年５月時点の調査（引用：野村総合研究所 調査）によると、ビジネスパーソン全体での業務で使用中またはトライアル中の割合は10％1１月現在までに拡大も、現在は発展途上の段階
引用：野村総合研究所（NRI）「アンケート調査にみる「生成AI」のビジネス利用の実態と意向」

https://www.nri.com/-/media/Corporate/jp/Files/PDF/knowledge/report/cc/2023/230613_1_1
6© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますLLM活用への課題

正確性
信頼性

コンプライ
アンスハルシネーション
学習していない知識

様々なリスク

コスト

パラメータの巨大化による計算コスト肥大

本日のテーマ7© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します••••

セキュリティリスク
著作権害
プライバシー侵害
透明性侵害など

LLMとはLarge Language Model
大規模言語モデル

生成AI
テキスト生成
画像生成
音声生成
etc.

8

© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

自然言語処理AI

LLM

言語翻訳
感情分析
AIスピーカーetc.

参考：LLMとChatGPTの関係

9

LLM

人間との会話がうまくできるように
強化学習 等

GPT-3
GPT-4

Fine-tuning© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

ChatGPT

LLMがしていること「次に来る単語の確立予測」

10© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますLLMの学習 （Pre-trainingよる言語モデル獲得）
大量のテキスト

学習NECは日本の企業です。
NECはICTで社会価値..
日本電気株式会社（NEC）
NECの生成AIは日本語..
NECはITサービス事業..
NECは安全・安心・公平..
NECは世界で..
..
..
..
etc.

11

© NEC Corporation 2023

言語モデル
＝文章や単語の出現確率をモデル化したもの

NEC

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

３2は %
２5の %
21が %
14に %8を %で５０%28%の３０%

17
安全 %

が1０%

4０
ICT %

日本

15
世界 %

社会５５%

未来

4５%

LLMは確立計算でテキストを生成
猫はどんな動物ですか？

確立計算

猫は小型の哺乳類です

猫は小型の哺乳類

犬は中型の爬虫類

虎は大型の両生類

そのため、もっともらしい嘘をつくこともあります
ハルシネーション(幻覚）等と言われます12© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますハルシネーション 例
熊本県の面積を教えてください。また、それは日本で何番目に大きいか教えてください。

熊本県の面積は、2021年時点でおおよそ 6,410平方キロメートルです。日本の都道府県の中で、熊本県は面積で第13位に位置しています。ただし、最新のデータが必要である場合や変更があった場合には、公式な情報源から確認することをお勧めします。
WEB検索の結果：
面積は７，４０９．３５㎢で大きい方から全国１５位
13© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します業務利用に向けて、専門LLMが求められている
一般的な知識を広く学習している汎用LLMのままでは、専門知識を必要とされるタスクにおいて信頼性や正確性の問題（幻覚）が特に顕著になり、業務利用は難しい。

⇒業界・業務知識を学習させた特化LLMが必要とされている＜自治体業務関連文書＞• 法令例）• 行政文書• 自治体規則• 事務運用手引き…

14© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

自治体

特化LLM

LLMへの業界・業務知識の取り入れ方
ベースモデル
汎用知識でPre-training

15

追加
Pre-training

Fine-tuning（LLMの微調整）

LLM周辺の工夫

大量の業界知識で追加のPre-training

業界知識でLLMをFine-tuning（微調整）

LLM自体はそのままに、外部ソースを参照させる（RAG）など

コスト：高コスト：中コスト：低

データ量：大データ量：中データ量：小© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますNECのビジネス方針• NECの開発したLLMを用いお客様に特化した「個社向けモデル」や「業務特化モデル」を構築• 使いやすいUI機能等のSWを提供し、他社LLMも含めて最善の方法でご支援
固有知識を扱う業務
LLM利用に必要な機能をまとめて提供するSWを提供
用途に応じたモデル使い分け

お客様のクローズドデータや業務・タスクデータを学習した特化モデルを提供

16© NEC Corporation 2023

社内知識秘匿性の高い業務

汎用的な業務NEC Generative AI Framework

業務特化モデル

個社向けモデル

NECのLLM

AzureOpenAI（GPT-４） 等

軽量なパラメータ
高いカスタマイズ性

巨大なパラメータ
豊富な知識

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますNECのLLM
優れた日本語性能* を持つ
当社開発のLLM（大規模言語モデル）

自治体様 データ

学習

自治体チューニング版 LLM

17© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します当社ビジョン

～職員様が自在にLLMを業務利用しユースケースを拡充、様々な業務を効率化～
・起案・承認サポート
・庁内ナレッジ/例規検索支援
・行政文書の作成・要約

NEC Generative AI Framework

・総合窓口アシスタント
・仕様書作成支援

NECのLLM
自治体チューニング版

誰もが使いやすいUI
プロンプト

テンプレートISMAP認定*・議会資料の草案自動作成

ユースケース
拡張機能

ファクトチェック

独自データ
検索・参照

FineTuning

様々な業務を効率化*企画中© NEC Corporation 2023

効率化した時間をさらに付加価値の高い業務へ転換<業務効率化例>＊

LGWAN-ASP*

資料作成時間：18

・文書匿名加工

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

50% 削減議事録作成時間：平均

30分 ⇒約 5分＊ 当社内での検証 NEC、日本市場向け生成AIを開発・提供開始 (2023年7月6日): プレスリリース | NEC活用イメージ

例規＋
庁内ナレッジ
検索業務における確認事項を自然な文章で入力

画面イメージ例）業者へ事務用品の発注について、支払いをしたいのですが、どういった手続きが必要ですか？

入力された質問内容を分析し、庁内のナレッジを検索
検索結果の例規や庁内ナレッジから生成した回答と、参考文献を抽出例）〇市会計規則および庁内QAによると、物品調達の支払いに関しては以下の通りです～～～
以下を参考文献として回答しています

資料自体を探したり、記載場所を確認する手間を大幅に削減
すぐ実行に移すことが可能に

ユースケース１19© NEC Corporation 2023

LLM 例規＋庁内ナレッジ検索システム
本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

会計規則〇条庁内QA n-n• 例規集等データ• 事務運用の手引き• 過去のQA記録・ノウハウ集

活用イメージ

総合窓口
アシスタント

自治体窓口
職員が、住民の相談目的をAIへ伝達する
例）生活保護の申請

住民職員

申請についての相談

AIのサポート
自治体規定＋ベテランノウハウ

ユースケース220© NEC Corporation 2023例）障害年金の受給はありますか？
職員はAIのサポートを受けて住民状況の確認を実施確認結果をＡＩへフィー
ドバック

職員は、AIからの回答ベースに住民に案内

LLM 総合窓口アシスタントシステム
本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

目的に応じ、確認する必要のある質問をAIが表示

把握した住民状況をもとに受領可能なサービ
スや申請方法をＡＩが提示例）併給になります
申請方法は～• 自治体規定のデータ• 複雑な規定の対応履歴（ベテランのノウハウ）

活用イメージ

仕様書
作成支援

仕様書内容を指示

仕様書案の自動生成

修正指示・追記

どんな案件の仕様書を書きたいのか指示するため、規定されたフォーマット
に従い入力入力された情報から、自治体規定の入札図書データや、過去案件の仕様書データをもとに、システムが自動で仕様書案を生成

仕様書案を確認し、過不足があれば、職員からシステムへ修正指示

件 名

自治体職員が追記修正を行い、最終版として完成

契約期間
案件概要
仕様書

ユースケース321© NEC Corporation 2023

LLM 仕様書作成支援システム
本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します

指示を受けた項目に対して、システムが自動的に仕様書案を修正

入札要領• 自治体規定の入札図書データ• 過去案件個別の仕様書データ

ご参考 相模原市様との協定締結

NEC、相模原市と生成AI活用に向けた共同検証を開始～相模原市の保有データを学習し、独自のLLMで業務効率化の検証～

NEC、相模原市と生成AI活用に向けた共同検証を開始 (2023年10月20日): プレスリリース | NEC

https://jpn.nec.com/press/202310/20231020_02.html
22© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止しますさいごに

LLMで業務を変革していくためには、積極的に使いながらPDCAを回していく必要があります

一緒に可能性を模索していきましょう

23© NEC Corporation 2023

本資料は日本電気株式会社の許可なく、本複製・配布することを禁止します