すごすぎ!!Video Translation API!!

# Video Translation API
`Azure AI Serive`の`Speech Service`において、[ビデオ翻訳](https://learn.microsoft.com/ja-jp/azure/ai-services/speech-service/video-translation-overview)が試せるようになっています。

[ビデオ翻訳](https://learn.microsoft.com/ja-jp/azure/ai-services/speech-service/video-translation-overview)は、世界中の言語のビデオを対象の言語に翻訳して生成できるサービスです。
「なんだこれ！面白そう！」ということで使ってみましたが、先日の[ビリビリ](https://youtu.be/2QQ56bNPikI?si=SccrfYYBUam-GQIv)の登壇動画も見事に翻訳されました！

https://youtu.be/2QQ56bNPikI?si=SccrfYYBUam-GQIv

動画では私（正しくは事前構築済みモデルの音声）が英語で流暢に登壇している様子が見られます！

<blockquote class="twitter-tweet" data-media-max-width="560"><p lang="ja" dir="ltr">Azure AIのVideo Translation API凄すぎないか・・・<br>内容の正しさは多少異なるものの、私が英語でしゃべっている感があるぞ・・・<br>これは震える・・・<br><br>I was struck by Speech Serive&#39;s Video Translation API in Azure AI Serive.<br>Here is a translation of my speech.<br>I am shocked.<a href="https://twitter.com/hashtag/Azure?src=hash&amp;ref_src=twsrc%5Etfw">#Azure</a>… <a href="https://t.co/1btwt9jW19">pic.twitter.com/1btwt9jW19</a></p>&mdash; 出戻りガツオ🐟 Microsoft MVP (@DemodoriGatsuo) <a href="https://twitter.com/DemodoriGatsuo/status/1803424033704444169?ref_src=twsrc%5Etfw">June 19, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>


**この機能はすさまじすぎます！！！**
**興奮を抑えきれず、記事にしてみました！**

**是非記事を見ていただいた方は`Azure`にログインし、試してみてください。**

https://learn.microsoft.com/ja-jp/azure/ai-services/speech-service/video-translation-overview

:::note info
記事は2024.06.19時点の情報
:::

# はじめ方

現在`ビデオ翻訳`はプレビュー段階の機能です。
`サポートされているリージョン (East US)`のリソースを作成する必要があります。

> 現在、Azure AI 音声でのビデオ翻訳は、米国東部リージョンでのみサポートされています。
>> [サポートされているリージョンと言語](https://learn.microsoft.com/ja-jp/azure/ai-services/speech-service/video-translation-overview#supported-regions-and-languages)

`East US`のリソースの場合、`ビデオ翻訳`がクリックできるので早速クリックしてみましょう。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/c5dd2133-531b-3e99-ef2b-d7a42291e805.png)

`Mp4`ファイルが挙げられますので、コチラからMp4ファイルをアップロードしてみます。

![スクリーンショット 2024-06-19 212416.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/d756f7f7-e0ae-7076-399c-031652edc3a5.png)

制限は500MB以下で長さが60分未満の動画です。

![スクリーンショット 2024-06-19 213845.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/e3a22758-3943-96bf-aef9-42772de6281c.png)

こちらでファイル名(プロジェクト名称)と翻訳元の言語と翻訳先の言語を指定します。
あとは各種規約ですね。

実際に30分ほどの役380MBの動画をアップロードして実験しました。
アップロード次第、すぐに処理が開始されますが、`待ち時間 120分`と当初は出てきます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/9efddc71-8254-34a0-5f6c-285570bd675a.png)

しなしながら60分もかからず完了しました。
開始`21:43` 完了`22:17`のため30分ほどです。

![スクリーンショット 2024-06-19 222911.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/547b974f-573f-e948-70a1-95f51af8c5cc.png)

# 完了後
翻訳された言語で登壇動画が出ました！！すごい！！！

![スクリーンショット 2024-06-19 233403.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/27d1d5b3-b002-5115-66df-97f4b1fbac47.png)

**凄すぎる！！！！！**
**ダウンロードもできる！！！**

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/9f0dc450-07eb-3668-b645-6470ed1e827e.png)


**凄すぎる！！！！！**
**私が英語話しているっぽい！！！！**

話者をAIが識別し、音声を割り振っています。
私は`Andrew`のモデルが適用されていますね。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/e4bdea5a-baf2-81c2-9465-3ab023c7b55b.png)


もとの話し言葉が整っているせいか、`Yes`が非常に多い。
ええ、ええ、はいといった言葉遣い、本当にやめたいですね。

しかしながら一定水準以上のクオリティで評価されていることがわかります。

# 編集
- スピーカー
- 音声の設定
- タイムラインの調整
- 翻訳/吹き替えの結果

上記の修正が実施できます。しかしながら、更新にかなりの時間を要してしまいますね・・・。

![スクリーンショット 2024-06-19 233742.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/7f726e0f-780f-f039-f72c-8d49da2150ba.png)

**とても先進的な機能なのでやむなしですが、私にとっては少し長い・・・。**
実際もう少し早い可能性があるといえど二の足を踏んでしまう時間です。

完全に文面を整えたうえで編集することがベターです。

編集には全体的にモッサリ感があります。
話している時間が重複していると`変更の適用`が実施できません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/9d3d7de0-371e-7dd0-5511-940f3d8b4a58.png)

# Video Translation API は近日公開予定
プログラミング言語を介したアクセスは、まだできない状態です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2734332/469eee2c-6dcd-1f13-f8f0-5197760cb2b2.png)

`プライベート プレビューへの早期アクセス`の許可を得るためには、`フォーム`の入力が必要です。

[Azure AI | Speech Studio](https://aka.ms/speechstudio)にアクセスして、直接アクセスしてみてください。

https://aka.ms/speechstudio

現段階では`Speech Studio`で自身の動画を持ち込み、画面上でビデオ翻訳を実施できます。
いつでも`Global YouTuber`にデビューできますね！

**非常に凄まじい時代が到来しました。**
**今後のアップデートが楽しみです。**

**Microsoft**の発表を心待ちにしていましょう！
**皆様、素晴らしきAI lifeを！**