生成 AI の品質マネジメント
2024年7月31日
株式会社 Citadel AI
松葉 威人, COO©2021-2024 Citadel AI Inc.

CONFIDENTIAL ©2021-2024

AI の信頼性に関わる新たな課題を解決
株式会社 Citadel AI- 2020年12月 設立- 2021年9月

Seed Funding- 2023年6月

Series A

Series A ラウンドで

5.2 億円調達2

CONFIDENTIAL ©2021-2024

ミスが許されないハイリスク AI システムの品質検証
自動車・製造業

銀行・保険

医療・ヘルスケア

3

CONFIDENTIAL ©2021-2023

世界の AI 国際標準をリードする BSI 英国規格協会がハイリスク AI の認証審査を念頭にグローバルに採用

国際規格開発と認証分野で世界をリードする BSI にて正式採用

BSI は今後

AI 認証機関 となるべく準備中

4

CONFIDENTIAL ©2021-2024

AI ライフサイクル全体の信頼性・品質を向上するツール
1. モデル開発時の自動検証2. モデル運用時の自動監視開発中のモデル
自動テスト

モデル評価
レポート

運用中のモデル

自動モニタリング

データセット再学習5

CONFIDENTIAL ©2021-2024

さまざまな AI に汎用的に適用可能

数値データに基づく AI

画像データに基づく AI

テキストデータに基づく AI

[物流業]

[金融]

[電力]

[マーケティング ]

出入荷予測

与信審査

需要予測

広告効果

[製造業]

[保険]

[医療]

[建設業]

不良品検査

事故査定

画像診断

安全管理

生成 AI（大規模言語モデル）の各種アプリケーション

6

1

企業における
生成 AI の活用とリスク

7

CONFIDENTIAL ©2021-2024

日本の大企業における生成 AI 活用のボトルネックはリソースとリスク
1位：リテラシーやスキルが不足している

64.6%

2位： リスクを把握し管理することが難しい

61.4%
48.7%

3位：AIを使ったサービス開発・運用ノウハウがない

4位：AIを活用する具体的メリット、効果が分からない

5位：どの業務領域に活用するか具体的に分からない

39.0%
36.7%

野村総合研究所、日本国内に本社を持つ売上高上位 3,000社を対象にした「 IT 活用実態調査（ 2023年）」より引用。該当質問への回答数 n=308

8

CONFIDENTIAL ©2021-2024

企業における生成 AI 活用のユース・ケース
大規模言語モデル（ LLM）

1. 一般質問
2. 要約
3. 翻訳

社内向けのユース‧ケースが主
4. 校正
5. 資料・コンテンツ作成
6. コード生成
7. その他：顧客対応自動化 など
画像・動画生成モデル

8. 画像・動画生成
9. デザイン・設計 など
9

CONFIDENTIAL ©2021-2024

生成 AI のリスクの具体例（ 1）カナダ航空のAI チャットボットが誤った情報を顧客に提供し顧客から訴えられる
2024年2月16日

10CONFIDENTIAL ©2021-2024

生成 AI のリスクの具体例（ 2）ニューヨーク市の公式 AI チャットボットで違法なアドバイスを出力
2024年4月4日

11CONFIDENTIAL ©2021-2024

生成 AI のリスクの具体例（ 3）

生成 AI 悪用しウイルス作成容疑で無職の男逮捕
2024年5月28日

122

生成 AI に関わるリスクの評価方法

13

Conﬁdential

従来の予測 AI と 生成 AI の違い
⼊⼒モデル

出⼒

予測
A
I

定型入力データ

生成A
I

非定型な指示

非定型なコンテンツ

• 質問
• 要約
• 資料作成 等• 文章• 画像• コード 等• 数値
• 文字
• 画像 等

99.5%の確信度でXX0.5% の確信度でYY

具体例:● 与信審査● スパム判別● 医療画像診断 等

具体例:● ChatGPT● Llama2● Stable Diffusion

14

Conﬁdential

従来の予測 AI と 生成 AI の違い
⼊⼒

モデル

出⼒

Ground Truth が存在
予測A
I

定型入力データ• 数値• 文字• 画像 等

99.5%の確信度でXX99.5%の確信度でXX0.5%
0.5% の確信度でYYの確信度でYY

具体例:● 与信審査● スパム判別● 医療画像診断 等

Ground Truth が確定しない生成A
I

非定型な指示

非定型なコンテンツ
⾮定型なコンテンツ

• 質問
• 要約
• 資料作成 等

•• 文章
⽂章
•• 画像
•• コードコード 等等

具体例:● ChatGPT● Llama2● Stable Diffusion

15

Conﬁdential

大規模言語モデル (LLM) 活用における課題
質問
回答

LLMアプリ

GPT-4 等

LLMのリスク•ハルシネーション

RAG•有害なアウトプット•差別的なアウトプット•⽂脈の不⼀致• QA集• マニュアル• 仕様書• 法令 等•プロンプト‧インジェクション 等

16Conﬁdential

⼤規模⾔語モデル (LLM) 活⽤における課題
質問・回答のログデータ• ログが⼤量にあり⽬視
質問
作業で確認し切れないLLMアプリ
回答• 客観的に⽐較評価し、整理する仕組みが無い
RAG

GPT-4

LLMのリスク•ハルシネーション•有害なアウトプット•差別的なアウトプット•⽂脈の不⼀致• QA集• マニュアル• 仕様書• 法令 等•プロンプト‧インジェクション 等

17Conﬁdential

⼤規模⾔語モデル (LLM) 活⽤における課題
質問
回答

LLMアプリ

GPT-4

LLMのリスク•ハルシネーション

RAG

RAG

•有害なアウトプット•差別的なアウトプット• RAGの内容も常に更新する必要がある• QA集• 今までのPromptで⼤丈• マニュアル
夫な保証が無い•⽂脈の不⼀致•プロンプト‧インジェクション 等• 仕様書• 法令 等18

Conﬁdential

⼤規模⾔語モデル (LLM) 活⽤における課題
質問
回答

LLMアプリGPT-4

生成 AI 基盤モデル

LLMのリスク•ハルシネーション

RAG• ⽣成AI⾃体の技術進歩が•有害なアウトプット
極めて早い• 接続先が異なると出⼒•差別的なアウトプット
内容も変わる•⽂脈の不⼀致• QA集• マニュアル• 仕様書• 法令 等•プロンプト‧インジェクション 等

19

CONFIDENTIAL ©2021-2024

Citadel AI が開発した LLM 信頼性評価ツール
1. LangCheck

2. Lens for LLMs

評価指標のオープンソース ライブラリ

UI・分析ツールを実装した商用版

2023年10月 発表

2024年4月 発表

20

LLM アプリケーション性能評価指標の例

CONFIDENTIAL ©2021-2024

TypeMetrics

Description

Reference-Free Metrics

sentiment

文章に現れる感情 (Negative = 0, Positive = 1)

toxicity

文章の有害性fluency

文章の流暢さ (文法的におかしくないか？)

tateishi_ono_yamada_reading_ease

日本語の読みやすさ

answer_relevance

質問と回答の関連性
文章二つの類似度(他の文章とLLM入出力を比較)

semantic_similarity
rouge

Source-Based Metrics

factual_consistency

レスポンスとソースの論理的一貫性(RAG等で取得したソースと出力を比較)

context_relevance

質問とソースの関連性(LLM入出力を直接評価)

Reference-Based Metrics

21

CONFIDENTIAL ©2021-2024

⾃動評価メトリクスを⽤いた品質評価

22

CONFIDENTIAL ©2021-2024

カスタム・メトリックによる評価● ユーザーの分析目的に応じて独自の評価メトリックを作成
例：

○
○
○

機密情報評価攻撃的プロンプト評価
ユーザーフィードバック評価 等

23

CONFIDENTIAL ©2021-2024

理化学研究所と共同開発した有害テキストデータセット

日本語 LLM 出力の安 全 性 ・ 適 切 性 に 特 化 した
AnswerCarefullyデータセッ トを公開
2024年4月30日

24

CONFIDENTIAL ©2021-2024

もっと話を聞いてみたい⽅は、是⾮ご連絡ください株式会社 Citadel AI
お問い合わせ：松葉（まつば）takehito@citadel.co.jp
企業URL：

https://citadel.co.jp25

26