LLMでPCを操作！？Claudeの新機能「computer use」を早速試してみた

## はじめに
本日AnthropicがClaude3.5SonnetのアップデートとClaude3.5Haikuの発表(今月末リリース予定)、そして突如として現れた「computer use」をパブリックベータ版として公開しました。

https://www.anthropic.com/news/3-5-models-and-computer-use

はじめは「ふむふむ、モデルの性能が向上したのね」とベッドに潜りながら眺めていたのですが、見慣れない単語に気付き早速試してみようと跳ね起きました。

## computer useとは

>クロードが個々のタスクを完了するのを支援するための特定のツールを作成するのではなく、一般的なコンピューター スキルを教えることで、人間向けに設計されたさまざまな標準ツールやソフトウェア プログラムを使用できるようにします。


>最新バージョンの Claude 3.5 Sonnet は、適切なソフトウェア セットアップを実行すると、ユーザーのコマンドに従ってコンピューターの画面上でカーソルを移動したり、関連する場所をクリックしたり、仮想キーボードで情報を入力したりすることができ、ユーザーが自分のコンピューターを操作する方法をエミュレートします。

このリリース文を読むにLLM×RPA的なものなのかなという印象を受けましたが、「computer use」は事前に操作方法を記録しなくともLLMが推論してアクションを実行してくれるという嬉しみも加わったと考えるべきなのかなと感じました。

## クイックスタートを試す
クイックスタートのリポジトリが同時に公開されていたのでこちらを早速試します。Anthropic本家のAPI、Bedrock、Vertexそれぞれで動かす方法が記載されています。執筆時点では最新のClaude3.5がまだBedrockで使えなさそうだったので一旦本家APIを使って検証しました。

■ クイックスタートリポジトリ

https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

リポジトリをクローンして以下を実行

```sh
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
```

[http://localhost:8080/](http://localhost:8080/)にアクセスすると以下のような画面が表示されます。チャット欄に「東京の天気を検索して」と入力して実行してみました。

![スクリーンショット 2024-10-23 1.12.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/354022/c18642fe-a1d0-d760-8ca9-400d179d4999.png)


### 実行結果

<iframe width="560" height="315" src="https://www.youtube.com/embed/HmVVF23d9J8?si=UYAmxS2KIiKj162r" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

仮想環境上のFirefoxが起動して全自動で東京の天気を調べてくれました…！！これはちょっと本当に凄いぞ…！

次はAmazonで共著の「Bedrock生成AIアプリ開発入門」本を注文できそうか試してみました。

<iframe width="560" height="315" src="https://www.youtube.com/embed/TXQp9Tv3CEo?si=a1SgzQEe2uKn_Duf" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

流石に途中で止めましたが、実際にログインして必要情報の入力を指示すれば最後までやってくれそうな印象です。

## おわりに
サクッとまずはクイックスタートの「computer use」デモを試してみました。パブリックベータということもあり、まだまだ扱いにくいものらしく、可能な操作も限られているようです。温かい目でこれからの進化を楽しみにしたいですね！
>現段階ではまだ実験段階であり、扱いにくく、エラーが発生しやすい場合があります。開発者からのフィードバックを得るためにコンピューターの使用を早期にリリースしており、時間の経過とともに機能が急速に改善されることを期待しています。

また、Xを漁ってたらReplit Agentとcomputer useを組み合わせたが面白いユースケースのポストをしていたので共有です。

https://x.com/ai_for_success/status/1848754910344396933

:::note info
朝確認したらBedrockやVertexでも対応してました！
:::

https://aws.amazon.com/jp/blogs/aws/upgraded-claude-3-5-sonnet-from-anthropic-available-now-computer-use-public-beta-and-claude-3-5-haiku-coming-soon-in-amazon-bedrock/

https://cloud.google.com/blog/products/ai-machine-learning/upgraded-claude-3-5-sonnet-with-computer-use-on-vertex-ai?utm_source=twitter&utm_medium=unpaidsoc&utm_campaign=fy24q3-googlecloud-blog-ai-in_feed-no-brand-global&utm_content=-&utm_term=-&linkId=11426467&hl=en