Speech-to-Text V1とV2の質的違い

## 結論・まとめ
- Google Speech-to-Text V2は完全ではないが、V1に比べより意味が推測しやすい文字列を出力する。

<!--
## 目次
1. [音声データの文字化](https://qiita.com/drafts/59f903f07c748a798066/edit#1-%E9%9F%B3%E5%A3%B0%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E6%96%87%E5%AD%97%E5%8C%96)
2. [テキストを加工する](#2-%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%82%92%E6%95%B4%E3%81%88%E3%82%8B)
3. [Local LLMに学習させる](#3-local-llm%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%95%E3%81%9B%E3%82%8B)
-->

## 1. 音声データの文字化
#### サンプル音声
https://archive.org/details/Malcolm_X/Malcolm_X_Put_Them_to_Bed.mp3

#### 手順

- [ ] [Google Cloud Platform](https://cloud.google.com/) にサインインする
- [ ] [Cloud Speech-to-Text](https://cloud.google.com/speech-to-text)の「コンソールへ移動」を押す
- [ ] 新しいプロジェクトを作成する
- [ ] [サンプル音声をアップする](https://archive.org/details/Malcolm_X/Malcolm_X_Put_Them_to_Bed.mp3)
- [ ] Speech-to_Text V1 API　あるいは　V2を選択する。
- [ ] [追加の課金を防ぐためにプロジェクトを削除する](https://console.cloud.google.com/projectselector2/home/dashboard)

### 料金表
表1：GoogleCloud音声認識v2の料金表
[https://cloud.google.com/speech-to-text/pricing](https://cloud.google.com/speech-to-text/pricing)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/241673/9a92b08c-0d33-2fd9-87a2-763c6f584da4.png)
もし仮に、自分の寝言をV2動的パッチ音声認識（標準1）で、一か月まるまる朝から晩まで認識させたら利用料金は、約20,000円となる（一ドル＝150円換算）。
### 性能
#### V1 default認識モデル
`
girl beautiful brother Amo mall
 who were patriotic soldiers fighting in defense of Kenya their Homeland
 Wendy white man would go to them with his poem the face you belong to the mouth that I ain't never heard of him
 did he was one
 I'm the one who song Faithfully told Bob I never heard of him before he got bumped his head went to bed
 tell him the same thing here in America
 we run around asking black people are you a Muslim
 a people say I never heard of him and that's what he wants to hear
 he wants to hear I never heard of them boss
 Rock him to sleep
 I'm him to bed
 know if I was Cassius Clay I'd make that run off
 but I'm not really texting you
 so I think I'm going to stop right there
`
`(女の子美しい兄弟アモモール
 彼らは祖国ケニアを守るために戦った愛国的な兵士でした
 ウェンディの白人男性は詩を持って彼らのところへ行くだろう顔はあなたの口に属している、私は彼のことを聞いたことがない
 彼もその一人だったのか
 私はボブに、頭をぶつけて寝る前に彼のことを聞いたこともないと忠実に歌ったのは私です
 ここアメリカでも彼に同じことを言ってください
 私たちは黒人にあなたはイスラム教徒ですかと尋ねて走り回ります
 人々は彼のことを聞いたことがないと言っている、そしてそれが彼が聞きたいことだ
 彼は聞きたい、私は彼らのことを聞いたことがない、ボス
 彼を揺すって寝かせる
 私は彼です。
 もし私がカシアス・クレイだったら、逃亡してしまうだろうね
 でも実際にはあなたにテキストメッセージを送っているわけではありません
 だからそこでやめておこうと思う)`[Google Translate訳]

#### V2 [chirp](https://cloud.google.com/speech-to-text/v2/docs/chirp-model?hl=ja)認識モデル
`
 and our beautiful brother the mau mao who were patriotic soldiers fighting in defense of kenya their homeland when the white man would go to them with his pole and say you belong to the mouth i ain't never heard of the mel the white
 man is so naive he actually expect that african to tell him that he was one and the one who so faithfully told boss i never heard of the boss he got boss's head when boss went to bed
 and so i tell him the same thing here in america when he run around asking black people are you a muslim our people say i never heard of him boss and that's what he wants to hear tell him just what he wants to hear i never heard of him ball rock him to sleep send him to bed
 now if i was cancer clay i'd make that rhyme out but i'm not brother cancious so i think i'll let it stop right there
`
`(そして私たちの美しい兄弟であるマウマオは祖国ケニアを守るために戦っていた愛国的な兵士だったとき、白人は竿を持って彼らのところに行き、あなたは口のものだと言いました、白人がメルであるということは聞いたことがありません素朴な彼は、アフリカ人が、自分はその一人で、上司のことは聞いたこともなかったが、上司が寝たときに上司の首をもらった、と忠実に上司に告げたのだと実際に期待しているので、私はここアメリカで彼が逃げるときに同じことを言います。黒人にあなたはイスラム教徒ですかと尋ねると、私たちの人々は彼のことを聞いたことがないと言っています、ボス、そしてそれが彼が聞きたいことです、彼が聞きたいことを教えてください、彼のことを聞いたことはありません、彼をボールロックして寝かせてください、私がそうだったなら、今すぐ彼をベッドに送りましょうガンクレイ、そんな韻を踏んでもいいけど、私はガンシャス兄弟じゃないから、そこでやめておこうと思う)`[Google Translate訳]
### V1とV2の性能比較

V1 ` know if I was Cassius Clay I'd make that run of / but I'm not really texting you / so I think I'm going to stop right there`

V2 `now if i was cancer clay i'd make that rhyme out but i'm not brother cancious so i think i'll let it stop right there`

V1よりV2はより意味がとりやすい文字列を出力する。ただ、V2は'Cassius Clay'（＝のちのモハメド・アリ）とすべきところを'cancer clay'としている。V2 chirpは意外な苦手分野をもっているのかもしれない。

演説のGround truth（確証された文字起こし）は、現在捜索中です。発見次第、掲載します。

#### 比較表
| V1 default                                                    | V2 chirp                                                           |
|---------------------------------------------------------------|--------------------------------------------------------------------|
| "girl beautiful brother Amo mall"                             | "and our beautiful brother the mau mao"                            |
| "The face you belong to the mouth"                            | "say you belong to the mouth"                                      |
| "I'm the one who song Faithfully told Bob"                    | "and the one who so faithfully told boss"                          |
| "I never heard of him before he got bumped his head went to bed" | "I never heard of the boss he got boss's head when boss went to bed" |
| "we run around asking black people are you a Muslim"          | "when he run around asking black people are you a muslim"          |
| "I never heard of them, boss"                                 | "I never heard of him boss"                                        |
| "if I was Cassius Clay"                                       | "if i was cancer clay"                                             |
| "but I'm not really texting you"                              | "but i'm not brother cancious"                                     |



#### テキストの意味(おまけ)
GPT4による

`Kenyaの兵士たち：`
`20世紀半ばには、アフリカ大陸全体で多くの国々が植民地支配からの独立を求める運動が起こっていました。Kenyaもその一つで、`[Mau Mau Uprising マウマウ団の乱](https://ja.wikipedia.org/wiki/%E3%83%9E%E3%82%A6%E3%83%9E%E3%82%A6%E5%9B%A3%E3%81%AE%E4%B9%B1)`という独立戦争が1950年代に起こりました。マルコムXはこうした運動や戦争を使って、アフリカとアフリカ系アメリカ人の連帯を強調していた可能性があります。`

`白人とのコミュニケーション：`
`マルコムXはしばしば白人主流社会とのコミュニケーションの困難性や誤解について話していました。このスピーチの中で彼が指摘しているのは、白人がアフリカ系アメリカ人やアフリカの人々の文化や歴史を理解しないこと、またその文化や歴史に関心を持たないことでしょう。`

`ムスリムの質問：`
`マルコムXはイスラム教徒であり、Nation of Islamのスポークスマンとして活動していました。彼は、宗教がアフリカ系アメリカ人コミュニティにおける自己認識と結束の一因となることを強調していました。この部分では、アメリカ社会がイスラム教やムスリムに対する理解を持っていないことを示唆しているかもしれません。
`

`Cassius Clay (ムハンマド・アリ)：`
`
Cassius Clayは後にムハンマド・アリと名前を変え、彼もまたイスラム教を受け入れました。マルコムXとムハンマド・アリは友人であり、彼らの間には多くの共通点がありました。この部分では、もし彼がムハンマド・アリであれば、公然と自分の意見や信念を表明するだろうと述べているのかもしれません。
`

`
全体的に、このスピーチはアフリカ系アメリカ人のアイデンティティ、彼らの歴史や文化、そして白人主流社会との関係に関するマルコムXの考えを反映しています。彼はアフリカ系アメリカ人の権利と尊厳を主張し、社会的・政治的な変革を求めていました。
`

#### 演説の背景について（おまけ２）

演説の背景について詳しく知りたい場合は、[『あの夜、マイアミで』（2020年製作 アメリカ）](https://www.amazon.co.jp/gp/video/detail/B08S37LP5M/ref=atv_dp_share_r_em_1839c5fd44fc4)が参考になりそうです。

"1960年代アメリカのアイコン的存在である4人の黒人男性が一堂に会した夜の出来事を描いたドラマ。「ビール・ストリートの恋人たち」で第91回アカデミー助演女優賞に輝いたレジーナ・キングが長編初メガホンをとり、「ソウルフル・ワールド」の共同監督・脚本を担当したケンプ・パワーズによる同名舞台劇を映画化した。1964年2月25日、プロボクサーのカシアス・クレイ（後のモハメド・アリ）は、ソニー・リストンを破りヘビー級の世界王者となる。彼の勝利を祝うため、黒人解放運動活動家のマルコムX、アメリカンフットボール選手のジム・ブラウン、歌手のサム・クックが、マイアミのホテルの一室に集まる。話題が公民権運動に及ぶと、彼らは黒人である自分たちの社会的役割について熱く語り合う。モハメド・アリを「栄光のランナー 1936ベルリン」のイーライ・ゴリー、マルコムXをテレビドラマ「The OA」のキングズリー・ベン＝アディル、ジム・ブラウンを「ドリーム」のオルディス・ホッジ、サム・クックを「ハリエット」のレスリー・オドム・Jr.がそれぞれ演じた。Amazon Prime Videoで2021年1月15日から配信。"(引用元：[映画.com](https://eiga.com/movie/94377/))

#### 参考資料
1. [Google Cloud Platform　音声文字変換モデルの選択](https://cloud.google.com/speech-to-text/docs/transcription-model?hl=ja)
1.  [note記事　〇映画『あの夜、マイアミで』～サム、モハメド、マルコム、ジムの4人のソウルメイトが会った1964年のマイアミの夜](https://note.com/ebs/n/nb5f443b3f27f)
2. [NPR記事　レジーナ・キング監督は、1964年に4人のブラックアイコンが集結して何が起こったかを描く](https://www.npr.org/2020/12/28/950886305/regina-king-imagines-what-4-black-icons-gathering-in-1964-might-have-looked-like) 

<br>

以上

<!-- 以下作成中

以下、AIの学習データにするための手順です。

## 2. ~~テキストを加工する~~ (作成中)
```python
作成中
```
## 3. ~~Local LLMに学習させる~~(作成中)
```python
作成中 
```

-->