動画生成AI「Gen-3 Alpha」のImage to Videoで画像を動画に変換してみたらやっぱり自然すぎて恐くなりもした

[Supership](https://supership.jp/)の名畑です。[テレタビーズマルシェ -by VILLAGE VANGUARD-](https://www.village-v.co.jp/news/event/19321)を訪れて楽しんで、[8000万再生されているOP](https://www.youtube.com/watch?v=FItP77HqV9c)を見て楽しんで、知育コンテンツである[Learn with Teletubbies & Friends - WildBrain](https://www.youtube.com/@LearnwithTeletubbies)を眺めて楽しんで、イギリスの幼児になった気分です。

## はじめに

今年の6月に「[話題の動画生成AIサービス「Dream Machine」を使って女性の画像を動かしてみたら自然すぎて恐くなりもした](https://qiita.com/nabata/items/b956febcf4fddf8344fc)」という記事を書きました。

今回の記事では[Dream Machine](https://lumalabs.ai/dream-machine)同様に動画生成AIの分野で有名な[Gen-3 Alpha](https://runwayml.com/research/introducing-gen-3-alpha)でも画像の動画化を試みてみます。

## Runway

**Runway**という社名と同名のプラットフォームがあり、そこでは生成AIを活用したツールが多数提供されています。**Gen-3-Alpha**はそのうちの一つです。

[iOSアプリ](https://apps.apple.com/app/apple-store/id1665024375)でも利用可能なようですが、今回はブラウザ版で進めます。

## アカウント作成

[Sign up](https://app.runwayml.com/signup)のページからアカウントを作成します。

E-mailアドレスを用いての登録のほかにGoogleアカウント、Appleアカウントも利用できます。
EnterpriseプランではSSOも対応しているそうです。

## 料金

Runwayには無料プランであるFreeもあるのですが、現時点では**Gen-3-Alpha**は有料プランでしか使えないため、今回は$15/月のStandardで行います。毎月625クレジット(**Gen-3-alpha**は1秒10クレジット)が付与されます。
無料のプランでも低コスト版である**Gen-3 Alpha Turbo**であれば使えます。

プラン毎の詳しい違いは[pricing](https://runwayml.com/pricing/)をご覧ください。
年払いであれば20%の割引があります。

## 動画生成 1

![gen3alpha-1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/e1b80a27-4813-fc18-b1b1-68701d405582.png)

**Gen-3 Alpha**を選んで、動画生成をしてみます。

サイズが**1280x768**のため、それに合わせた以下の画像を用います。

![original_1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/2f5eb608-a5ab-8a70-9cf3-3203047dc52f.png)

サイズが異なる画像の場合はブラウザ上での切り抜きも可能です。

プロンプトは以下を指定しました。

> A Japanese woman is smiling happily

日本語に翻訳すると「**幸せそうに笑っている日本人女性**」です。

プロンプトを指定しないこともできます。プロンプトについて詳しくは[Gen-3 Alpha Prompting Guide](https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide)をご覧ください。

![gen3alpha-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/06d4291f-8992-a1ee-8c39-6b629dd72023.png)

最初のフレームと最後のフレームにそれぞれ別画像を指定することもできるのですが、今回は同一とします。

生成された動画は以下です。長さはデフォルトの10秒です。

<iframe width="560" height="315" src="https://www.youtube.com/embed/q3ZB4sQclyg?si=OmtVlSGDGSH_a6KO" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

自然ですね。ちゃんと元画像の女性が笑っている。
これがAIで生成された動画だと、なにも言われずに見せられたならば鈍感な私は気づかないと思います。

参考までに同じ画像とプロンプトを使って**Dream Machine**でも生成してみました。

![gen3alpha-3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/058ce764-dfab-fec3-91ff-e7ee7a77732c.png)

生成された動画は以下です。長さは5秒です。

<iframe width="560" height="315" src="https://www.youtube.com/embed/NKjyD2TQcQU?si=0g40mngOBOegnRIG" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

動画としての動きはかなりあるものの、顔を中心として違和感というか、崩れのようなものが伝わってきます。前回の記事で生成した動画ではそこまで感じなかったので、一つの参考までで。

## 動画生成 2

せっかくなのでまったく違う画像からも生成してみました。

![original_2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/1a843156-e24d-2588-18ea-8ba81ce928ea.png)

こちらの画像に対して以下のプロンプトで動画を生成してみます。

> Japanese man dancing

「**踊っている日本人男性**」ですね。

生成された動画は以下です。

<iframe width="560" height="315" src="https://www.youtube.com/embed/wj8I_Jcmzkc?si=u7ZqphzJhSufvKXb" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

こちらも素晴らしい品質です。

手などの部分部分を見ていると違和感もありますが、10秒という尺において一貫性は保たれています。

この画像についても参考までに**Dream Machine**で動画生成をしてみました。以下です。

<iframe width="560" height="315" src="https://www.youtube.com/embed/XpyZN2wHlpc?si=zXsHm9svBOMvSVLJ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

踊りなのかはなんとも言いづらいですが、動きがあっていいですね。

## 最後に

試行回数が少ない上にプロンプトもシンプルなので参考程度ではありますが、**Gen-3 Alpha**と**Drema Machine**それぞれに生成される動画に特徴があるなと感じました。

動画生成の分野もかなり進化が素晴らしく、そして今後が楽しみです。

動画分野ではさらに直近、気になるニュースもありました。

> 　米Adobeは9月11日（現地時間）、同社初の動画生成AIモデル「Adobe Firefly Videoモデル」を発表した。テキストや画像から動画を生成するだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成したりできるようになる。2024年後半にβ版として提供予定という。
> 
> 参考：[アドビ、初の動画生成AIモデル発表　テキスト・画像→動画のほか“別視点”も生成可能に　24年後半にβ版 - ITmedia NEWS](https://www.itmedia.co.jp/news/articles/2409/12/news187.html)

早く触ってみたい。

## 宣伝

[SupershipのQiita Organization](https://qiita.com/organizations/supership-inc)を合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。

Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方は[Supership株式会社 採用サイト](https://supership.jp/recruit/)よりご確認ください。