「Gen-3 Alpha」のLip Syncを使用して歌に合わせた口パク動画を生成してみた

[Supership](https://supership.jp/)の名畑です。明治大学の米沢嘉博記念図書館・現代マンガ図書館で開催されている[「『ぱふ』の50年とコミティアの40年」記念展](https://www.meiji.ac.jp/manga/yonezawa_lib/pufftia.html)、スペース自体は広くはないのですが、紡がれてきた一つの歴史に浸ることができて非常に充実した時間を過ごさせていただきました。

## はじめに

これまで動画生成AIに関する以下のような記事を書いてきました。

- [Runwayの「Gen-3 Alpha Turbo」のAPIを呼んで動画をAI生成してみた](https://qiita.com/nabata/items/20337bbb9e08a65bf890)
- [動画生成AIサービス「Dream Machine」をWeb APIで呼び出してみた](https://qiita.com/nabata/items/895a6b3b3a2f85d748f5)
- [動画生成AI「Gen-3 Alpha」のImage to Videoで画像を動画に変換してみたらやっぱり自然すぎて恐くなりもした](https://qiita.com/nabata/items/4976abc57c4504edd377)

何度か**Runway**(社名かつプラットフォーム名)の**Gen-3-Alpha**を取り上げてきました。

**Gen-3-Alpha**は**Lip Sync**という機能を使って動画上の唇を音声に合わせて動かすことができます。

今回はこの機能を使って、歌に合わせた口パク動画の生成を行います。

最近の機能というわけではなくある程度前からあるものなのですが、備忘も兼ねまして。

## アカウント作成

[Sign up](https://app.runwayml.com/signup)のページからアカウントを作成済みの前提とします。E-mailアドレスを用いての登録のほかにGoogleアカウント、Appleアカウントも利用できます。EnterpriseプランではSSOも対応しているそうですが使ったことはありません。

## 料金

**Gen-3-Alpha**は有料プランでなくては使えませんが、高速版の**Gen-3-Alpha Turbo**は無料のFreeプランでも使えます。
私は有料会員ではあるのですが、今回は**Gen-3-Alpha Turbo**を用います。理由としては縦長動画が可能だからです。

プラン毎の詳しい違いは[pricing](https://runwayml.com/pricing/)をご覧ください。

また、**動画の生成**、**唇の抽出**、**唇を動かす**といったそれぞれにクレジットが必要となるのでご注意ください。

## 元画像

今回は元となる静止画像を用意して、それを元にしたimage to videoでの生成とします。

以下の画像を使用しました。

![gen-3-alpha-sync-1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/6691f81b-e57d-d1bc-f569-c3b72f5e93a7.png)

**Stable Image Ultra**で生成したものです。**Stable Image Ultra**について詳しくは過去記事「[Stability AIの最新サービス「Stable Image Ultra」とStable Diffusionの過去モデル(2022年〜)の生成画像をひたすら比較して進化を実感してみた](https://qiita.com/nabata/items/52a25e3f2bac99a2527d)」

マイク等、画像として気になるところはあるものの、今回の本題としては唇の動きなのでこのまま進めます。

## 動画の生成

**Gen-3**では１コマ目(First)と最終コマ(Last)の画像を指定可能です。

今回は顔が途中で画面の外に出てしまうと意味がないため、以下のように最初と最後にあえて同じコマを置きました。

![gen-3-alpha-sync-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/e6120e5d-21ad-9809-b730-50ab0fa2eb1a.png)

プロンプトには「**A young woman moving her body up and down in slow rhythmic motions**」と入れました。日本語訳すると「**ゆっくりとしたリズミカルな動きで体を上下に動かす若い女性**」です。

**Generate**を押します。

しばらく待つと動画が生成されます。

この時点での動画は以下です。まだもちろん歌も口パクもありません。それにしても、本当に自然。

<iframe width="446" height="793" src="https://www.youtube.com/embed/eeFzz1-7riw" title="A Japanese woman 3【Gen-3 Alpha Turbo Sample Video】#ai #genai #生成ai #gen3" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

この動画に対して唇の動きを付加することになります。
そのため、まずは途中段階として、再生して意図通りかを確認します。

![gen-3-alpha-sync-3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/41f03bef-5287-43b1-8d87-3c23ab06c3c1.png)

確認後、生成された動画の左下にある円系な二つの矢印のアイコン(**Reuse settings**)をクリックして**Lip sync**を選びます。

すると以下のメッセージが出て、動画から唇の抽出が行われます。唇の位置が認識しづらい動画だとここでエラーになって先には進めませんのでご注意ください。

> Hang tight! We are detecting a face in your input video. This may take up to 20 seconds.

成功すると次に音声の指定となります。

![gen-3-alpha-sync-4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/f6fea5d7-96c2-06f2-ea25-78f107e082a0.png)

「**読み上げ音声の生成**」「**読み上げ音声の録音**」「**音声ファイルのアップロード**」のいずれかとなります。

今回は音声ファイルをアップロードしました。音源としては[龍崎一さんのINSOMNIA](https://dova-s.jp/bgm/play20308.html)の一部を使用させていただきました。感謝申し上げます。

動画の長さと音声の長さが一致していなくても**Gen-3**側でループ等による調整はしてくれます。今回も元動画は約10秒で音声は約20秒です。

**Generate**をして、生成された動画が以下です。

<iframe width="474" height="843" src="https://www.youtube.com/embed/psZJF4zWLOs" title="A singing Japanese woman - AI生成実験的ショート動画【Gen-3 Alpha Turbo Sample Video】 #ai #genai #生成ai #gen3" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

違和感は正直あります。普通の発話ならともかく、歌だと唇の動き的に弱いですし、そもそも声と唇の形がさほど合っていなかったり。

ただ、声に合わせているというのはかなり伝わってきますし、使い所によっては充分に活用できそうです。

反省として、もう少し唇に寄った画像の方がわかりやすかったですね。

## 最後に

そう遠くない未来にはAI的な違和感がもっと0に近づいているんだろうなと思うと楽しみです。


## 宣伝

[SupershipのQiita Organization](https://qiita.com/organizations/supership-inc)を合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。

Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方は[Supership株式会社 採用サイト](https://supership.jp/recruit/)よりご確認ください。