[UE5]Runtime Speech Recognizerで簡単音声認識!

# Runtime Speech Recognizerでめっちゃ簡単に音声認識して遊ぼう！！！！！！！（無料）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/b60932bb-8476-4b1b-3edf-5f1c2cf7003b.png)

マーケットプレイス

https://www.unrealengine.com/marketplace/ja/product/runtime-speech-recognizer?sessionInvalidated=true

https://www.unrealengine.com/marketplace/ja/product/runtime-audio-importer

Git

https://github.com/gtreshchev/RuntimeSpeechRecognizer

https://github.com/gtreshchev/RuntimeAudioImporter

※git推奨

OpenAI音声文字お越しツールWhisperを使用した音声認識（マルチリンガル）がなんと無料！！！！
なんかすごい人はChatGPTでしゃべれるように！！！

https://www.youtube.com/watch?v=xBs-nXzXwoM

（ここではやりません）
（手順ほぼこの動画に乗ってます）

## 作り方

上記のプラグインをマーケットプレイスからエンジンに落としてくるかプロジェクトファイルにPlaguins下に入れる方法で入れます。GitのほうはTagがそのままバージョン名なのであってるバージョンのを落としてきてください。
マケプレ版はパッケージ化した際言語ファイルが梱包されない報告が散見されており（Gitでもきちんと指定しないとなる）パッケージ化する人はGit版推奨

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/2d17f0b9-684a-0c57-2667-5fe7ab3ac031.png)

**RuntimeSpeechRecognizerとRuntimeAudioImporter必ず両方入れてください**
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/3d4cf28d-cac0-ecde-9e76-8675e94d7ad8.png)
エンジンバージョンが違うといわれますがあってるのでYesを押せばそのままリビルドが始まります（少し時間がかかります）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/da6363d5-e964-a3c6-dfc5-701554fc15a5.png)
言語ファイルがねーよ的なメッセージが出るので「はい」を押してください

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/707f1f38-58f2-28c1-e1b4-6be23c3eb9ba.png)

起動したらプラグインが入っているか確認してください。

RuntimeSpeechRecognizerのwikiに移動します（Git）

https://github.com/gtreshchev/RuntimeSpeechRecognizer/wiki

1. How to use the plugin のStreaming audio inputに移動します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/a728eab6-844d-1884-6634-66537353dcf4.png)

Copyable nodesに移動してノードをコピーしてきます。

https://blueprintue.com/blueprint/et6u52bm/

プロジェクトに戻ります。

LevelBlueprintかPlayer系のどこかにノードをコピーします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/668f739e-0cb1-9363-d1bb-98f45b8abcc6.png)

今回はThirdPersonCharactorにコピー

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/fcdc4b87-63e9-6b45-3fdf-68fe3bcd3150.png)

SpeechRecognizerとCapturableSoundWaveを作成します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/698b9582-f22b-4286-e05b-f92d87c034c1.png)
大事なのはコメントをつけたあたり

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/b28ce3ea-77ea-2a9f-f291-8a7597b5ff31.png)

適当な入力キーを出してPressedをCreaateSpeechRecognizerに
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/0ff57275-6cda-c818-e4ff-8e3f44f9385a.png)
ReleasedをStopCaptureにつなげます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/4a16243d-7a4b-1591-2758-01dce3c3ee75.png)
SetLangageから日本語に変更します。コンパイル保存していったんBPは終了。

プロジェクト設定に移動します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/1deca531-331d-855e-60d4-13bd1da98519.png)

Plugin>RuntimeSpeechRecognizer から Model LanguageをMultilingualに変更します。
上のModel Sizeはインストールする語数みたいなやつです。あげると正確さは上がりますが認識後の変換が遅くなります。お好きなものをどうぞ

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/e46ade51-cdc6-50f3-2073-771da298028d.png)
設定し終わったらSetup Language Modelを押してください
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/c7a496de-82eb-c692-0a00-0af7bb66231a.png)

メッセージが出るので「はい」を押してください。ダウンロードが始まります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/25b0e7d5-a775-5ad9-e31f-1ff21614fe9d.png)
これも「はい」を押して大丈夫です。

#### 起動してみる
エンターを押しながら「UnrealEngine最高！」といって終わったら離す。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/2eaa25df-7bc2-5503-2149-2eea8113870c.png)
"アンディアルエンジン最高"

精度はそこまで出ていない気がする。
マイクによっていい感じの設定がかなり違う気がするのでいろいろ試してみてください。

https://github.com/gtreshchev/RuntimeSpeechRecognizer/wiki/3.-Recognition-parameter-list

（ヘッドセットではSetStepSize=2500にするといい感じでした）
あと長文の方がAIなのでいいっぽいのと純粋に言語データのサイズをでかくすれば精度が上がります。



### おまけ

パッケージ化した後に赤字でエラーで「言語データがないぞ！」的なエラーが出ることがあります。
その時は
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/a4907fd6-e7c0-797f-e635-e24f30c93ca9.png)
All/Plugins/RuntimeSpeechRecognizer
のパスを
プロジェクト設定のパッケージ化のクックする追加アセットディレクトリ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2257391/ca4d5f34-a4c8-32a2-5734-c94c5b3f2584.png)
に書いてください。（筆者はこれでいけるようになりました）

みんなも簡単に音声認識して遊ぼう！