AI動画生成で話題のGen-2を使って静止画上の人物を指定方向へと歩かせてみたりした

[Supership](https://supership.jp/)の名畑です。[ダンジョン飯](https://delicious-in-dungeon.com/)は本当に安心して楽しめますね。冷静に考えたなら、かなりデンジャラスな内容なのに。

## はじめに

[Runway](https://runwayml.com/)の[Gen-2](https://research.runwayml.com/gen2)という動画生成ツールの話題を目にしたため、使ってみたという記事です。

> Runway is an applied AI research company shaping the next era of art, entertainment and human creativity.

Runwayのサイトには上記のように書かれています。訳すと「**Runwayはアート、エンターテイメント、人間の創造性の新時代を形作る応用AI研究会社です**」といったところでしょうか。
過去には[Stability.ai](https://stability.ai/)と組んで画像生成の[Stable Diffusion](https://ja.stability.ai/stable-diffusion)を[共同リリース](https://ja.stability.ai/blog/stable-diffusion-1)したということで有名ですが、[今は独自サービスの展開を行なっている](https://ascii.jp/elem/000/004/148/4148632/)そうです。

今回の記事において**Gen-2**で行うのは

- テキストからの動画生成を2パターン
- 静止画からの動画生成
- 静止画の一部分のみを動画化

の合計4パターンとなります。

## 前提

- 実際の生成物はmp4ですが、アニメーションGIFに変換したものを掲載しています。
- 画像は容量の関係で解像度並びに画質をかなり落としてあります。実際はもっと鮮明です。

## Runway

**Runway**という社名と同名のプラットフォームがあり、そこでは生成AIを活用したツールが**30以上**提供されています。**Gen-2**はそのうちの一つです。

代表的なものとしては以下のツールがあります。

- Gen2(Text/Image to Video)
- Gen1(Video to Video)
- Remove Background
- Text to Image
- Image to Image
- Text to Speech

[iOSアプリ](https://apps.apple.com/app/apple-store/id1665024375)や[Discord](https://discord.com/invite/runwayml)でも利用可能なようですが、今回はブラウザ版で進めます。

## アカウント作成

[Sign up](https://app.runwayml.com/signup)のページからアカウントを作成します。

E-mailアドレスを用いての登録のほかにGoogleアカウント、Appleアカウントも利用できます。
EnterpriseプランではSSOも対応しているそうです。

ログインすると**Dashboard**が表示されます。

![gen-2-1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/d0f74617-3fa6-c185-26ad-9fb6726e1ae0.png)

## 料金

> Each second of video generation uses 5 credits, and you have 525 credits left. upgrade to get more credits.

1秒の動画を生成するために5クレジットが必要だそうです。
アカウント作成時に525クレジットが付与されました。つまり125秒分です。

以下の5つのプランがあります。年払いだと20% offです。今回は無料の**Basic**で進めます。

- **Basic**：無料、125クレジット/月
- **Standard**：$15/月、625クレジット/月
- **Pro**：$35/月、2250クレジット/月
- **Unlimited**、$95/月、ビデオ生成無制限
- **Enterprise**：大規模なチーム、組織向けのカスタム

クレジット数等のビデオ生成に関するもの以外にも違いがありますので詳しくは[pricing](https://runwayml.com/pricing/)をご覧ください。

## Gen-2の設定項目

トップページから**Gen-2**のページに移動します。

![gen-2-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/6a61f2eb-38c8-ff95-099f-d45eb2c02396.png)

**TEXT**、**IMAGE**、**IMAGE + DESCRIPTION**の3つが選べますが、まずは**TEXT**でやってみることにします。

設定項目としては**保存先**(Private or Shared)の他に以下が変更可能ですが、まずはデフォルトのままとします。

- **Seed**：シード値
- **Interpolate**：フレームのスムースアウト有無、デフォルトは有
- **Upscale(有料プランのみ)**：高解像度化
- **Remove watermark**(有料プランのみ)：透かしの削除
- **Generatl Motion**：動きの強さ(0〜10)、デフォルトは5
- **Camera Motion**：カメラの動き(-10〜10)、デフォルトはすべて0
	- Horizontal
	- Pan
	- Roll
	- Vertical
	- Tilt
	- Zoom
- **Add Style**：スタイル追加、デフォルトは無し
	- 3D Cartoon、SD Renderなど33種類
- **比率**：デフォルトは16:9
	- 16:9
	- 9:16
	- 1:1
	- 4:3
	- 3:4
	- 21:9

## テキストから動画生成

「**A 28-year-old woman is walking on the streets of Tokyo.**」というプロンプトを入力してみました。訳すと「**28歳の女性が東京の街を歩いています**」ですね。

**Generate 4s**を押してしばらく待ちます。1分ぐらいでしょうか。

生成された動画が以下です。

![gen-2-3.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/431ef403-2da9-99aa-f89f-e591065f3eb0.gif)

東京っぽい（新宿通りっぽい）街並みを女性が歩いていますね。

後ろ姿だけでは年齢がどこまで反映されているかもなんとも言えないですが、車が逆向きに走っていたりもしますが、プロンプトに従ってはいます。

この動画に対してさらに**Extend 4s**を押すと、**8秒**の動画が生成できます。
**Extend 4s**は合計**3回**できるそうです。つまり最大で**16秒**の動画が生成できます

## テキストから動画生成 - 2

せっかくなのでもう一つ試してみましょう。

「**An elderly man happily holding bread in his hands**」つまり「**パンを手に持って喜んでいる年配の男性**」を生成してみることにします。

また、設定も少しいじってみました。

![gen-2-4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/60e1de2e-49fa-0496-c571-bd76e74fc9e2.png)

**Generatl Motion**(動きの強さ)を**10**にして**Camera Motion**の**Vertical**(垂直方向)を**10**にしてみました。

生成された動画は以下です。

![gen-2-5.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/44d2ac41-9e09-61e4-c1e8-8631758468ff.gif)

カメラワークは上方向にのみ動くと思っていたので意図通りではないのですが、いい動画です。
老人がすっごい喜んでる。
見ているこちらが嬉しくなってしまうような動画が出来上がりました。

## 画像から動画生成

次に**IMAGE**を指定して動画を生成してみます。

手元の画像をアップロードするとそれを1フレーム目とした上で動画を生成してくれる機能です。

![gen-2-6.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/467c6358-084c-6ce1-d684-cad6dbfe501a.png)

今回はこちらの画像を使ってみます。
過去記事「[「食パンをくわえて走る女子高生」のようにかなりレアと思われる画像をChatGPTのDALL·E 3で次々と生成してみた](https://qiita.com/nabata/items/de459e1fd3d6e5ce5239)」で生成した画像です。

あえてごちゃごちゃした画像を選んでみました。

<!--![gen-2-7.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/4d2b1dfc-f6ac-8040-b573-36e3758e5b93.png)-->

そして生成された動画が以下です。

![gen-2-8.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/b98b5268-173f-f281-cda7-9c54e0720687.gif)

人物たちが動いていますね。
かなり崩れも見られますが、きっちり元画像が活かされています。

## 画像から動画生成 - Motion Brush

**Motion Brush**という機能を使って、動かしたい部分を具体的に指定することができます。

この機能を使って、メインの女性を左側へと歩かせてみたいと思います。

![gen-2-9.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/adf42aaf-498b-a125-7384-06518f9dec98.png)

女性だけを**ブラシ**で塗り、左方向へ移動させるために**Horizontal**として **-10.0** を指定します。

**ブラシ**は5つまで指定できるようです。つまり、5箇所に別々の動きを持たせられるということでしょう。

そして生成された動画は以下です。

![gen-2-10.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/e391500e-eb5f-fd3a-cf00-1d56743670a2.gif)

やはり崩れはあるものの、ちゃんと左へと歩いています。
意図通りです。

## 最後に

画像にテキストをつけて動画生成を行う**IMAGE + DESCRIPTION**についてはまた別の機会にでも記事にできればと思います。
それと、今回生成した動画はすべて**4秒**なので、**16秒**まで延ばしたものも作成してみたい。

時間をかければ、かなり狙った動きに近いものを生成できそうです。
本当にすごい。

## 宣伝

[SupershipのQiita Organization](https://qiita.com/organizations/supership-inc)を合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。

Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方は[Supership株式会社 採用サイト](https://supership.jp/recruit/)よりご確認ください。