#reInvent2024 で発表された #AmazonNova と Claude を"比較モード"で比べてみた 

ジャーニーマン( @beajourneyman )です。長いの"ジャニ"と呼ばれています。

この記事は [セゾンテクノロジー Advent Calendar 2024](https://qiita.com/advent-calendar/2024/saison-tech) シーズン3、4日目の記事です。

シーズン1と2が埋まって、少し寂しいシーズン3が不憫で、連続で書いて応援しています。1,2日目を書いたら3日目を @Himeka_Kawaguchi さんが書いてくれました。本当に嬉しかったです！熱烈ご紹介！！ありがとうございます！！！！

https://qiita.com/Himeka_Kawaguchi/items/a010ebf998420bdbca38

さて、本題の Amazon Nova に戻ります。なお、ご紹介するスクリーンショットはマネージドコンソール設定を「日本語」にしています。

# re:Invet 2024 で AWS の基盤モデル(FM) Amazon Nova が発表されました

AWS公式発表

https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-nova-foundation-models-bedrock/

AWSブログ：Bedrockで要約した内容を添えます

https://aws.amazon.com/jp/blogs/aws/introducing-amazon-nova-frontier-intelligence-and-industry-leading-price-performance/

> アマゾンは新しいAI推論サービス「Amazon Nova」を発表しました。業界最高水準の価格性能比を実現し、フロンティア知能の提供を目指しています。ユースケースの幅広さと高性能を特徴としており、企業のAI活用を加速させることが期待されています。

# マネージドコンソールで確認する

オレゴンリージョンにモデルとして Nova が来ていたので「モデルアクセスの有効化」をします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/d6b51f9a-60be-be40-a38e-240986b79665.png)

左ペインの「▼基盤モデル」の「ベースモデル」で確認します。AWSブログ(Googleプラグイン翻訳)に記載の通り、2025年初頭提供予定の Premier 以外の3つが確認できました。

> Amazon Nova モデルには、さまざまなニーズを満たすように設計された 3 つの理解モデル (近日中に 4 つ目のモデルも登場予定) が含まれています。
> ～中略～
> Amazon Nova Premier – 複雑な推論タスクに対応し、カスタムモデルを精製するための最適な教師として使用できる、最も有能なマルチモーダルモデルです。Amazon Nova Premier はまだトレーニング中です。2025 年初頭の提供開始を目指しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/8f97d065-cfb9-09c9-b490-7b6fe5c978dd.png)

左ペインの「▼概要」の「プロバイダー」で Amazon を見てみると、まだ Titan のみのようでした。こちらは、もうしばらくすると順次アップデートされるのかもしれません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/7a3b2ac2-69a2-a8cb-2b5c-a0d79db36677.png)


# "比較モード"で触ってみる

左ペインの「▼プレイグラウンド」で「Chat / Text」を選択して実際にモデルに問い合わせてみます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/a199f263-1f25-e2f1-9e4a-a964d02e16c1.png)

今回は Amazon Nova Micro と Claude 3.5 haiku に「比較モード」で問い合わせてみます。「比較モード」をオンにするとモデル選択エリアが1つから2になります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/771fec14-7442-0b6a-cee8-96bbea2172c6.png)

また、右端の「＋」ボタンを押すと最大3つのモデルの同時比較ができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/7df7c644-d34b-ca4c-aae6-8b0d27dcca6f.png)

右端の「＋」が非活性になっているのが分かります。4つ目は追加できません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/8c40f59d-99ce-3534-5ac0-545f2afb900f.png)

左側を「Amazon Nova Micro」にします。パラメーターはチューニングなしでデフォルト設定とします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/6e93fa93-751d-5c34-6d71-b33bf5d5dcae.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/175f18f1-edef-ba81-feb4-0158ec755a5a.png)

右を「Claude 3.5 haiku」にします。こちらも同じくデフォルトです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/8a1a064c-25aa-f961-571b-eaa1d69f89dd.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/de50dcc0-492e-a084-46f8-8757b867c187.png)

以下のプロンプトで問い合わせしていみます。

````
AWSの年次カンファレンスであるre:Inventの開催地と特長を教えてください。
````

驚きでした。Nova Micro が 3.5 haiku より2.2倍高速に回答したのです。そして、回答のトークン数も長く、感覚的には優れた回答だと感じました。開催時期が12月下旬から1月上旬になっているのは、ファインチューニング(微調整)で期間を与えて改善できると良さそうです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/162d675d-0bda-7c8f-d6dc-add3a236901f.png)

| モデル | Input tokens | Output tokens | Latency |
| :-: | :-: | :-: | :-: |
| Amazon Nova Micro | 22 | 429 | 2879ms |
| Claude 3.5 haiku | 37 | 342 | 6371ms |


Amazon Nova Micro のレスポンス
> AWSの年次カンファレンスであるre:Inventは、毎年12月下旬から1月上旬にかけて開催されます。開催地は毎年変わりますが、過去には以下のような場所で開催されています。
> - 2022年：ラスベガス、ネバダ州（アメリカ合衆国）
> - 2021年：オンライン開催（新型コロナウイルスの影響による）
> - 2020年：オンライン開催（新型コロナウイルスの影響による）
> - 2019年：ラスベガス、ネバダ州（アメリカ合衆国）
> - 2018年：シカゴ、イリノイ州（アメリカ合衆国）
> - 2017年：ラスベガス、ネバダ州（アメリカ合衆国）
> re:Inventの特長は次の通りです：
> 1. **AWSの最新サービスと機能の発表**：AWSの新しいサービスや機能、既存サービスのアップデートが発表されます。
> 2. **セミナーとワークショップ**：AWSの専門家やセミナースピーカーが、AWSの技術やサービスについての講演を行います。これらのセミナーは、初心者から専門家まで様々なレベルのものがあります。
> 3. **ユーザーコミュニティとの交流**：カンファレンスに参加することで、他のAWSユーザーやAWSのエンジニア、エンジニアリングチームと交流することができます。
> 4. **ハッカソンやチャレンジ**：特定の技術やサービスに焦点を当てたハッカソンや、開発者向けのチャレンジイベントが開催されることもあります。
> 5. **パートナーセッション**：AWSのパートナー企業が、パートナー向けのセッションやイベントを開催することもあります。
> 6. **グローバルな視点**：参加者は世界中のAWSユーザーや専門家とネットワークを築く機会を得ることができます。
> re:InventはAWSが提供するクラウドサービスについての最新情報を知る絶好の機会であり、開発者、エンジニア、IT専門家にとって非常に価値のあるイベントです。

Claude 3.5 haiku のレスポンス
> AWS re:Inventは、米国ネバダ州ラスベガスで毎年11月に開催されるAWS（Amazon Web Services）の最大の年次クラウドコンピューティングカンファレンスです。
> 主な特長:
> 1. 開催地
> - ラスベガス
> - 主な会場：Venetian Resort Hotel
> 2. 規模
> - 参加者数：約6万人以上
> - 世界中のクラウド関係者が集結
> 3. 内容
> - 最新のAWS技術やサービスの発表
> - 基調講演
> - テクニカルセッション
> - ハンズオンラボ
> - ネットワーキングイベント
> 4. 対象者
> - クラウド技術者
> - IT管理者
> - 開発者
> - クラウドアーキテクト
> - ビジネスリーダー
> 5. 特徴
> - 革新的な技術紹介
> - AWSの戦略と将来ビジョン共有
> - 最新クラウドトレンドの発信
> 毎年、クラウドコンピューティングの最先端情報が集中的に発信されるイベントです。


気になったので「Claude 3 haiku」と比較してみました(パラメーターはデフォルト)。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/ed662d87-2dbe-8e1f-fe34-6b0be7f99dc7.png)

こちらも約1.6倍高速でした。こちらの比較ではやや近しい雰囲気の回答でした。Nova は引き続き開催時期を間違えています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155285/8889a074-e966-da99-6a81-2e462cd44dfc.png)

| モデル | Input tokens | Output tokens | Latency |
| :-: | :-: | :-: | :-: |
| Amazon Nova Micro | 22 | 412 | 2779ms |
| Claude 3 haiku | 37 | 428 | 4313ms |

Amazon Nova Micro のレスポンス
> AWSの年次カンファレンスであるre:Inventは、毎年12月下旬から1月上旬にかけて開催されます。開催地は主にラスベガスのエンターテイメント・コンベンション・センター（ECCC）です。このカンファレンスは、AWSの最新の技術動向、サービスのアップデート、そして業界における革新的な取り組みを紹介する重要なイベントとなっています。
> 特長としては以下が挙げられます：
> 1. **セミナーとワークショップ**：カンファレンスでは、AWSのエンジニアや専門家によるセミナーが数多く行われます。これらのセミナーでは、クラウド技術、データ分析、AI/ML、セキュリティなど多岐にわたるトピックが扱われます。
> 2. **製品発表**：re:Inventは、AWSが新製品やサービスの発表を行う重要な場の一つです。過去には多くの新機能やサービスがここで初めて公開されています。
> 3. **業界リーダーとの交流**：カンファレンスには、多くの業界のリーダーや企業が参加するため、参加者は新たなビジネスチャンスやネットワーキングの機会を得ることができます。
> 4. **ハッカソンやコンペティション**：参加者はAWSの最新技術を活用したハッカソンやコンペティションに参加することができ、創意工夫を競い合う機会を提供しています。
> 5. **エキスパートパネル**：専門家によるパネルディスカッションが行われ、特定の分野に関する深い洞察が得られます。
> 6. **展示ブース**：カンファレンス会場では、AWSパートナー企業やソリューションプロバイダーの展示ブースが設けられ、最新のソリューションやツールを体験することができます。
> これらの要素により、re:Inventは業界内の技術者やエンジニアにとって、非常に価値のあるイベントとなっています。

Claude 3 haiku のレスポンス
> AWS re:Invent は、AWSの年間最大のカンファレンスイベントです。主な特徴は以下の通りです:
> - 開催地: 通常、米国のラスベガスで開催されています。2016年までは主にラスベガスのさまざまな会場で開催されていましたが、2017年以降は主にラスベガスのコンベンションセンターで開催されるようになりました。
> - 期間: 通常5日間にわたるイベントで、キーノートセッション、技術セッション、ワークショップ、デモンストレーション、交流イベントなどが行われます。
> - 参加者: AWS ユーザー、パートナー企業、開発者など、AWSエコシステムに携わる関係者が世界中から集まります。過去のイベントでは3万人以上が参加しています。
> - 内容: AWSの新サービス発表、製品の深掘りセッション、ベストプラクティスの共有など、AWSに関する最新情報やトピックが提供されます。
> - 規模: 大規模なイベントのため、参加者の便利を考慮し、宿泊施設やシャトルサービスなども用意されます。
> つまり、re:Inventは AWS ユーザーにとって最も重要なイベントの1つで、クラウドコンピューティングの最新トレンドを学べるよい機会となっています。


# 所感

「満を持して発表された。」そう強く感じる比較結果でした。プレイグラウンドでの非常にシンプルな比較だけですが、基盤モデルの選択の幅が大きく広がったと感じました。今回は Micro のみを触ってみましたが Amazon Nova は、マルチモーダル、画像生成、動画生成とより複雑度が高い能力を持っています。引き続き試してみたいと思います。

以上です。