AWS re:Invent 2023 3日目のアプデ特集（生成AIモデル、ベクターDB等）

クラウドサービスAWSで最大の年次カンファレンス「AWS re:Invent」が2023年も開幕しました🎉

https://reinvent.awsevents.com/

私は昨年までオンライン配信で楽しんでいましたが、今年は初めて現地ラスベガスに訪問できましたので、会場でしか聞けないナマ情報も含めてお届けします！

:::note info
発表直後のサービスや、現地で口頭でのみ聞き取った情報なども多いため誤りを含む可能性があります。あらかじめご了承くださいますと幸いです。
:::

初日・２日目分はこちらをどうぞ。

https://qiita.com/minorun365/items/eaf706509e5bf98d9c7e

https://qiita.com/minorun365/items/8d05dbdad9540cb80a2d


# 3日目のキーノートはAI担当Vice Presidentからの発表！

水曜朝は例年、AWSのVP スワミさんから機械学習・分析関連の新機能などがお披露目されます。

![A8E381BE-A21A-426B-89B9-19E2180CB0F8_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/bd265e2d-679d-a132-ac3c-9b631dc56aef.jpeg)

すでにYouTubeでアーカイブ動画も公開されています。

https://youtu.be/8clH7cbnIQw?si=YSlj4k5pClsAQkYS


# 大きめの発表は以下でした

### Amazon Bedrock関連

- Amazon BedrockにClaude 2.1がリリース
- Amazon BedrockにLlama 2の70Bモデルがリリース
- Amazon Titan Multimodal Embeddings
- Amazon Titan Image Generator
- Model Evaluaton on Amazon Bedrock

### ベクターDB関連

- Vector engine for Opensearch Serverless
- Vector search for Amazon DocumentDB
- Vector search for Amazon DynamoDB
- Vector search for Amazon MemoryDB for Redis

### Amazon Q関連

- Amazon Q generative SQL in Amazon Redshift
- Amazon Q data integration in AWS Glue

### その他

- Amazon SageMaker HyperPod
- Amazon SageMaker Clarifyが基盤モデルの選択や評価をサポート
- Amazon SageMakerに多数のアップデート
- Amazon Neptune Analytics
- Amazon OpenSearch Service zero-ETL integration with Amazon S3
- AWS Clean Rooms ML


# 各アプデを簡潔にまとめ！

### Amazon BedrockにClaude 2.1がリリース

https://aws.amazon.com/jp/blogs/aws/amazon-bedrock-now-provides-access-to-anthropics-latest-model-claude-2-1/

先週、Anthropic社より発表された言語モデルの最新版Claude 2.1が早くもBedrockに追加されました！

元からデカかったコンテキストウィンドウが倍の200Kトークンになったり、ハルシネーション（嘘回答）が半減したりと色々強化されています。

これで今月初のOpenAI DevDayで登場した「GPT-4 Turbo」に負けていた点を早くも一部巻き返した形です。Claude on Bedrockの値下げも行われており、価格面でもGPT-4 Turboより安くなっています。

![E9CD91D1-5957-4C48-A059-1B9E3CAF3365_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/5066195c-6ba5-374f-3c56-963ff6f3c5d5.jpeg)


### Amazon BedrockにLlama 2の70Bモデルがリリース

https://aws.amazon.com/jp/about-aws/whats-new/2023/11/llama-2-70b-foundation-model-meta-amazon-bedrock/

Meta社が公開しているオープンソースの言語モデル「Llama 2」でも最大パラメーター数の70BモデルがBedrockでも利用可能になりました。

![4601C189-D842-427A-A46A-2BF9DC78E8C8_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/f9d1be5b-3626-4817-a3c1-25cf262cdc98.jpeg)

先々週にLlama 2が初めてBedrockに登場した際にもブログを書いていますので、よろしければご覧ください。

https://qiita.com/minorun365/items/aed10f2ad1fce51e7797


### Amazon Titan Multimodal Embeddings

https://aws.amazon.com/jp/blogs/aws/amazon-titan-image-generator-multimodal-embeddings-and-text-models-are-now-available-in-amazon-bedrock/

Bedrockで利用可能なAmazonの生成AIモデルTitanが、テキストだけでなく画像もベクトル変換（Embedding）できるようになりました。これによって、画像混じりの文章でTitanに質問し、画像付きで回答をもらうチャットボットなどをアプリケーションに実装できるようになりそうです。

![41F3F87D-4868-48DA-A24D-A010052ED3E3_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/070a5640-1268-361f-5a91-311ece3b0c2b.jpeg)


### Amazon Titan Image Generator

https://aws.amazon.com/jp/blogs/aws/amazon-titan-image-generator-multimodal-embeddings-and-text-models-are-now-available-in-amazon-bedrock/

BedrockのTitanシリーズにテキストだけでなく画像生成モデルも登場です。これまでBedrockではStability AI社のStable Diffusionシリーズのみが画像生成に利用可能でしたが、そこにTitanも追加された形です。

早速試している方も多かったですが、かなり高精度な画像を生成できており優秀そうでした。AWS的にはサードパーティの生成AIモデル提供各社への価格交渉などのためにも、自社モデルのTitanの開発には注力し続けるのかも知れませんね。

![CB2AC872-61B1-484E-949D-4A1E26B3FD0E_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/4d4924ab-cbac-b651-2b60-16942fd89031.jpeg)


### Model Evaluaton on Amazon Bedrock

https://aws.amazon.com/jp/blogs/aws/evaluate-compare-and-select-the-best-foundation-models-for-your-use-case-in-amazon-bedrock-preview/

Bedrockにモデル評価機能がプレビューリリースされました。これにより自分のユースケースではどの基盤モデルを選択すべきか、様々な観点から各モデルの定量評価結果を算出してもらうことができます。

![D7184C3B-9E0D-4293-8DEE-C3A6E965284C_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/f0df7ce4-5f08-ae51-8cc0-bf338629fbfe.jpeg)

![スクリーンショット 2023-11-30 5.05.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/f0b0a4eb-2e8a-155b-7ea8-668d10b36263.png)


### Vector engine for OpenSearch Serverless

https://aws.amazon.com/jp/blogs/aws/vector-engine-for-amazon-opensearch-serverless-is-now-generally-available/

ここからはベクトルDB関連のアップデートです。生成AIで社内文書検索（RAG）のようなアーキテクチャを組もうとすると、テキストデータ等をAIが処理しやすいようベクトルに変換し、ベクターストアに格納する必要があります。

AWSのマネージド検索エンジンサービスOpenSearchは以前からベクターエンジンに対応していましたが、サーバーレス版のOpenSearch Serverlessへのベクターサポートも今年7月にプレビュー公開されていました。それが今回めでたくGAした形です。

https://aws.amazon.com/blogs/big-data/introducing-the-vector-engine-for-amazon-opensearch-serverless-now-in-preview/

プロビジョンド版OpenSearchのようにクラスター管理に手間をかけることなく、手軽に従量課金でベクターを活用できる選択肢が増えるのは嬉しいことですね。

![A3AFAD8A-004C-46A6-BD2C-89F4DFE064B0_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/d7923e88-d865-76c8-99dc-8ca07ff53e72.jpeg)


### Vector search for Amazon DocumentDB

https://aws.amazon.com/jp/blogs/aws/vector-search-for-amazon-documentdb-with-mongodb-compatibility-is-now-generally-available/

AWSが提供するMongoDB互換のドキュメントDBサービス「DocumentDB」もベクター検索に対応しました。ちなみにドキュメントDBとは、JSONを格納して使うNoSQLデータベースです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/93274287-8ac3-9231-b9a5-4f34962d7054.png)

![ED5F8F9F-D28B-4C34-9680-EBF922648CBB_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/0d44ea46-f6f1-39b0-9ea8-8628d471183e.jpeg)


### Vector search for Amazon DynamoDB

DocumentDBに加えてDynamoDBもベクター検索に対応したようです。しかしWhat's Newやドキュメント等が現時点でリリースされておらず詳細不明です。（苦笑）


### Vector search for Amazon MemoryDB for Redis

https://aws.amazon.com/jp/about-aws/whats-new/2023/11/vector-search-amazon-memorydb-redis-preview/

ElastiCacheの高可用性版「MemoryDB」もベクター検索に対応しました！Redis互換のインメモリキャッシュサービスのため、高速なベクター検索がしたい場合に役立つものでしょうか。

![1EC950F8-7083-4021-9254-6CFB194DF206_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/4b7ac855-9c27-29c9-fd82-739f061c9ca2.jpeg)


### Amazon Q generative SQL in Amazon Redshift

https://aws.amazon.com/jp/blogs/aws/amazon-redshift-adds-new-ai-capabilities-to-boost-efficiency-and-productivity/

ここからは前日のアダム基調講演でも大変話題のAWS版コパイロット、Amazon Qアップデートです。

AWSがデータウェアハウス用に提供するマネージドRDB「RedShift」コンソール上での分析操作をAmazon Qがサポートしてくれるようになります。RedShift分析画面の右端にQのサイドバーが出現し、何がしたいかを自然言語で質問するとクエリを書いてくれたりするようです！

![0A667F2F-45CC-4591-8CF8-F50AB2181E41_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/f8b65138-387a-b9c2-bfff-ea4a0ebd5025.jpeg)


### Amazon Q data integration in AWS Glue

AWSのマネージドETLサービス「Glue」にもAmazon Qが登場します。Glueのコンソールではデータ変換用のスクリプトをPython等で書いたりしますが、それをQが自然言語のQAでサポートしてくれるようです。

![B06946F9-B339-4644-917C-F4406C50CE37_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/4acaeb58-e622-3e8b-1d1d-f41ee6dda894.jpeg)


### Amazon SageMaker HyperPod

https://aws.amazon.com/jp/blogs/aws/introducing-amazon-sagemaker-hyperpod-a-purpose-built-infrastructure-for-distributed-training-at-scale/

ここからはAWSが提供する機械学習環境サービス「SageMaker」のアップデートです。

SageMakerを用いて基盤モデルの分散トレーニングを行う際、ノードが落ちたりしても学習ジョブを継続できる新たな仕組みがこのHyperPodのようです。名前かっこいいですね。。

![EFBA1949-3E49-4C48-B310-7A78B5ED051F_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/72c13f4d-3b0a-34cd-8bea-c5d99a3c5de2.jpeg)


### Amazon SageMaker Clarifyが基盤モデルの選択や評価をサポート

https://aws.amazon.com/jp/blogs/aws/amazon-sagemaker-clarify-makes-it-easier-to-evaluate-and-select-foundation-models-preview/

SageMakerで機械学習モデルの定量評価をしてくれる機能「Clarify」が生成AIの基盤モデル評価をしたり、どのモデルが適しているかを選択するのをサポートしてくれるようになりました。前述のBedrock Model EvaluationのSageMaker版といった感じですね。

SageMakerではJumpStartを使ったり、HuggingFaceなど外部から持ち込んだ基盤モデルをデプロイできるのですが、そういったモデルを評価するのに便利そうです。


### Amazon SageMakerに多数のアップデート

https://aws.amazon.com/jp/blogs/aws/amazon-sagemaker-adds-new-inference-capabilities-to-help-reduce-foundation-model-deployment-costs-and-latency/

SageMakerには他にも多数のアップデートが実施されたようです。SageMaker StudioのUIも刷新されていました。そろそろ疲れてきたので詳細割愛します（苦笑）

![F22BD9DB-84CB-4D1C-B672-CE16C248D3E7_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/aacf08a0-e93d-05a1-ce1f-06a90a7f0fd2.jpeg)


### Amazon Neptune Analytics

https://aws.amazon.com/jp/blogs/aws/introducing-amazon-neptune-analytics-a-high-performance-graph-analytics/

AWSが提供するマネージドなグラフDB「Amazon Neptune」を分析タスクに対応させた「Neptune Analytics」が登場しました。

そもそもグラフDBが分かりづらいですよね。私も自分で触ったことがないのでが、ざっくり言うと「色々な要素たちの繋がり」情報を格納できるDBのようです。Web広告を打つためにユーザーの行動を分析したりするのにも使われるみたいですね。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/9a438b78-531b-405a-27ab-2b9438bff81d.png)

それが分析に対応したことで、例えば「証券口座で不正を検出したい」といったユースケースで、Neptuneに格納された取引関連データなどをもとに「今期この株式の保有上位5社をピックアップして」といったクエリーを実行できるようになるとのこと。Neptuneコンソール内でJupyterノートブックを作成して使うようです。

![AA35D744-F535-4985-9E84-A1F8010EF4DB_1_102_o.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/5c3c4539-f63f-db01-c807-91e46bfd6dcc.jpeg)


### Amazon OpenSearch Service zero-ETL integration with Amazon S3

https://aws.amazon.com/jp/blogs/aws/amazon-opensearch-service-zero-etl-integration-with-amazon-s3-preview/

前日のAdamキーノートでもAWSのDBサービス3種類がRedShiftへのゼロETLに対応するという発表がありましたが、今回はS3のデータをOpenSearch向けに自動変換してくれるように。S3は格納コストが安いのでありがたいですね。

![E50D4F36-2219-4ADC-ABE9-7F9999F22F73_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/8954a111-f132-b5ee-a6a0-9827ffac9406.jpeg)


### AWS Clean Rooms ML

https://aws.amazon.com/jp/blogs/aws/aws-clean-rooms-ml-helps-customers-and-partners-apply-ml-models-without-sharing-raw-data-preview/

昨年のre:Inventで発表されたAWS Clean Roomsに機械学習モデルを適用できるようになるというアップデートです。

AWS Clean Roomsはいわゆるデータクリーンルームのサービスなのですが、これは「機密情報などを含む元データを直接渡さずに、そのデータを分析活用できるように他者へ共有する」ためのものです。AWS Clean Roomsでは今回のアップデートによって、各自が持ち込んだデータセットの機密情報などを保護しながら機械学習モデルのトレーニングなどを共同で行えるようになるみたいです。

まだプレビューで、直近ではヘルスケア業界向けのモデルをリリースする予定とのこと。

![741847C0-7FBA-45C6-86FC-F4DCD48EDDA8_1_105_c.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1633856/7bfe209f-19a6-a00d-3988-ea91254d3ded.jpeg)



# 次回は4日目編！

エンジニアがみんな大好き、Amazon CTOのDr.ワーナー氏のキーノートをまとめます。お楽しみに👍

https://qiita.com/minorun365/items/bb4683ea5096dd43ede4

ちなみに来週12/6(水)のお昼に、ラスベガスで共に学んだ仲間とアップデートをおさらいするオンライン勉強会を企画していますので、ご興味あれば是非ご参加ください👍

https://jawsug.connpass.com/event/304168/