OCIの生成AIでプライベートデータをセキュアで効率よく活用

日本オラクル株式会社
2024/3/13

Safe harbor statement
The following is intended to outline our general product direction. It isintended for information purposes only, and may not be incorporated
into any contract. It is not a commitment to deliver any material, code,or functionality, and should not be relied upon in making purchasing
decisions. The development, release, timing, and pricing of any
features or functionality described for Oracle’s products may change
and remains at the sole discretion of Oracle Corporation.

2Copyright © 2024, Oracle and/or its affiliatesリリース済
OCI Generative AI Service
Cohere-command、Meta Llama2
高性能なモデル
第三者による生成AIのベンチマーク(HELM)において、高いスコアを達成

コンパクト

高品質なベクトル化

高性能ながらコンパクト。お客様によるカスタマイズが容易で早いレスポンス。

多様なデータソースから収集した“ノイズの多い”データセットに対しても、より正確な結果を得ることが可能(not included: GPT-4 from OpenAI)

520億

OpenAI
GPT-3

Source: Stanford's HELM benchmarks

1,750億パラメータ数

Data Set: TREC-COVID
Source: Cohere

・Cohere社とMeta社のモデルをご提供
・オンデマンド/定額の2つの課金体系をご用意
3

Copyright © 2024, Oracle and/or its affiliates高性能・低コストなクラウドAIインフラ生成AI基盤として提供

NVIDIA、DGX Cloudの基盤にOracle Cloud Infrastructureを採用••

Super-Spine/Spine/Leafトポロジによるフルバイセクションバンド幅を備える低遅延の大規模RDMA(RoCEv2)ネットワークをOCIリージョン内に複数配備
OCI Super Clusters: RDMAネットワークあたり最大 16,384ノードのCPUベアメタルもしくは最大16,384基のH100 GPUが接続され、複数テナントでクラスタを切り出して利用可能
4

Copyright © 2024, Oracle and/or its affiliates

マイクロソフト、Bingの対話型検索にOracle Cloud Infrastructureを活用

生成AIをプライベートデータを合わせて活用する2つの選択肢
ファインチューニングとRAG

・カスタムモデル作成にかかるコスト大・カスタムモデルを動かすためのインフラコスト大5

Copyright © 2024, Oracle and/or its affiliates・ファンデーションモデルサービス利用による低コスト実現
・比較的容易なプライベートデータ等独自データを含めた応答・ハルシネーション削減

限定公開中容易なRAG導入を提供する OCI Generative AI Agent Service
LLMとその他サービスのオーケストレーションをGUIのみで実装
オーケストレーションツールが無い場合

オーケストレーションツールとしてOCI Generative AI Serviceを利用した場合

PromptをLLMに入力
ベクトルデータベースの検索必要性を判別

LLM

LLM

Vector Store

Vector Store

ベクトル検索実行結果をLLMに連携
最終的なテキスト出力を生成
ベクトル検索実行
ベクトル検索実行結果取得

ユーザ

アプリケーション

ユーザ

プロンプト、生成テキストのキャッシュ

アプリケーション

Generative AI
Agent Service

キャッシュの読み込み各サービスの連携処理フローを全てコーディングする必要あり

Cache Store

アプリケーション側ではプロンプトをAgentに連携すコードのみ必要

・Agent Serviceを利用することで、生成AIアプリケーションの開発を大幅に効率化・GUIのみで実装ができるため、エンジニアの学習コストを抑え早期のプロジェクト着手を実現
6

Copyright © 2024, Oracle and/or its affiliates

Cache StoreOracleの生成AI RAG関連サービス

Generative AI Agent Service(Orchestration)(プライベートサービス)

AI Vector Search(プライベートサービス)

7

Copyright © 2024, Oracle and/or its affiliates

OCI Managed Generative AIor BYOM
(パブリックサービス or プライベートサービス)

限定公開中AI Vector Search（Oracle Database 23c 追加機能）
あらゆる生成AIをサポートする、データ・プラットフォーム

1. 様々なデータを1つのデータベースで統合管理

7142• ベクトルデータを含む、あらゆるデータ・タイプを一つのデータベースに集約• ビジネスデータとベクトルデータを組み合わせた検索を一つのSQLで実現• データベース内でデータの一貫性を保ったまま、高速にベクトル変換する
ため、最新のデータもベクトル検索が可能

AI

2. 高速なベクトル検索• Oracle Databaseの機能を活用した検索高速化• パーティション化された、ベクトル索引• グラフ・テクノロジーを活用した、ベクトル検索

Oracle Database 23c
AI Vector Search
画像ベクトル（画像）3. 高可用性、スケーラビリティ、セキュリティ

分類

価格

テキストベクトル（テキスト）

0001¥1,000AAA……

0.1, 0.2, 0.6. ....

0.5, 1.5, 2.6, ....

• データ整合性を保持しながら、スケールアウトを可能に

1002¥2,000BBB……

0.8, 0.1, 0.4. ....

1.0, 0.9, 1.6, ....

• Oracle Database専用マシンの持つ、高性能、高可用性、

2003¥3,000CCC……

0.5, 0.3, 0.9. ....

0.6, 1.1, 1.3, ....

8

Copyright © 2024, Oracle and/or its affiliates

堅牢なセキュリティをベクトル検索に限定公開中AI Vector Search（Oracle Database 23c 追加機能）
1つのSQL文であらゆる情報を横断的に検索

SQL検索

AIかそれと同等の経験があって、xxに住んでいる人

画像ベクトル

写真

文書ベクトル

経歴書

名前

住所

0.1, 0.2...

0.9, 0.0...

佐藤

東京都...

0.3, 0.7...

0.7, 0.1...

鈴木

大阪府...

0.1, 0.1...

0.0, 0.8...

高橋

愛知県...

0.9, 0.5...

0.2, 0.1...

田中

北海道...

xxさんと似た経歴の人は?
カメラに映った人と似ていて、住所がxxの人

9

Copyright © 2024, Oracle and/or its affiliates

Oracle Database 23c
Vector Search