AIがPCを操作する時代がやってきた！Anthropic「Computer Use」環境のセットアップ方法

10月22日Anthropic社から「Computer Use」なるものがリリースされました。
なんでもAIがPCの操作を行ってくれるらしいです。
物は試し、デモ環境の構築手順がgithubに乗っているので早速セットアップを行ってみましょう。

https://github.com/anthropics/anthropic-quickstarts/blob/main/computer-use-demo/README.md

## Anthropic「Computer Use」環境のセットアップ手順
デモ版はDockerで動作するようですのでDockerをインストールしていきます。
#### Dockerとは？
Dockerはアプリケーションやサービスをコンテナという独立した環境で実行するためのツールです。コンテナを利用することで、異なる環境での実行が可能となり、開発から本番環境へのデプロイがスムーズになります。コンテナに必要なパッケージや依存関係が事前に組み込まれているため、環境構築が効率化され、手間が大幅に削減されます。

dockerインストール：https://app.docker.com/

### Anthropic「Computer Use」環境のセットアップ手順

まずはcomputer Useのイメージを取得します。
以下をコマンドプロンプトで実行します。
```
docker pull ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
```
![SnapCrab_NoName_2024-11-2_14-53-48_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/d71b8901-9eba-ad0e-484d-485086cf5482.png)

インストールが完了するとこのようにイメージが作成されます


Computer Useを使用するにはAnthropic APIのAPIキーが必要になるようなので、APIキーを取得します。

Anthropic Console：https://console.anthropic.com/dashboard

以下のコマンドで、「Computer Use」のデモ環境を起動します。

```
docker run -e ANTHROPIC_API_KEY=「ANTHROPIC_API_KEYを入力」 -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
```
![タイトルなし.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/72189bda-8869-7595-11de-2e72a9ae74ad.png)

このような実行結果が出力されればdockerが実行されています。

ブラウザで「`http://localhost:8080`」を検索すればComputer Useのデモ画面が起動します。

![タイトルなし1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/a5e63b10-4878-da32-d695-901ba23f693a.png)

---
左側が指示画面になるので何か指示を出してみましょうか。
とりあえずclaudeのページを開いてもらいましょう。


![SnapCrab_NoName_2024-11-2_15-23-53_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/7c1aa7a0-5415-f396-9c64-67c51cde27f0.png)

このように左側の画面でAIに指示を出していきます。

![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-24-23_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/dff40db0-0d9b-4fcb-8f82-ee72583acceb.png)

実行すると適宜スクリーンショットを取りそれを分析して操作を行っているようです。
面白いですね。

![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-27-1_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/433ad225-523f-7571-952a-7c8c9c01e786.png)

指示通りブラウザでclaudeを開いてくれました。

---
次はもう少し複雑な指示をだしてみましょうか。


![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-52-44_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/ed9526bd-0991-c5d6-222b-69b8480cc66b.png)

「ブラウザで日本の歴代総理大臣を調べてspreadsheetに一覧で記載してください」と指示を出してみます。
これだとどうなるのでしょうか。

![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-50-59_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/ae183b21-1c4b-0cea-f8ba-5a1a9daa91fb.png)

スプレッドシートを開いてなんか操作してくれてる感じはしましたが、指示したブラウザでの検索も行ってくれませんでしたね...

---

![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-34-34_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/fdefd527-5688-7de8-6779-c4ec97bcefb4.png)

私が操作してブラウザで検索した状態までもっていき「wikipediaで日本の歴代総理大臣一覧を開いているので、歴代総理大臣の氏名と在籍日数をspreadsheetにまとめてください」と指示を出してみましょう。

![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-40-12_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/ba67e704-157c-5eee-648b-7c9a1826d9d7.png)
![SnapCrab_Computer Use Demo - Google Chrome_2024-11-2_15-40-55_No-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3920265/a7f9fb99-c4d5-aa83-aebe-07ba33a90508.png)

うーん、頑張ってまとめてはくれてるみたいですがまだ複雑な操作は難しそうですね
それでも、AIがここまでPC操作を行えるのはすごいですね。
精度が上がればいろんな作業が自動化されそうだと思いました。
今後さらに精度が高まり、複雑な作業もスムーズにこなせる日が来ることを期待したいですね！