モバイル向け日本語音声認識モデル
公開者:Basyauma Technologies LLC
モデルの概要
スマートフォンの端末内で音声を認識し、話している途中のテキストを逐次表示する用途に向けた日本語音声認識モデルです。既存モデルに追加学習を行い、モバイルアプリへの組み込みに向けて変換・部分量子化しています。逐次実行用のモデル容量は約66MBです。
- 総パラメーター数:27,015,361。
- 更新対象:17,554,240パラメーター。音声エンコーダーを固定し、デコーダーと接続部を100ステップ更新。
- 学習率:0.00001、バッチサイズ:1、乱数シード:20261108。
- 量子化:対象の行列演算をチャネル単位の動的8ビット量子化に変換。一部の演算・重みは浮動小数点のまま保持。
- 逐次実行用のモデル資産:65,682,001バイト。
- 入力:16kHz・モノラル、80ms単位。逐次更新間隔は0.16秒。
- 専門用語による出力バイアスは既定で無効。
学習と評価
合成音声の96種類の文章を学習、文章の重ならない17種類を開発評価に使用しました。探索的評価であり、独立した実音声テストではありません。合成音声の話者は学習・評価間で重複しています。
文字誤り率は文字の正規化後、空白・句読点を除いて計算しています。漢数字と算用数字は同一視しません。
| 評価 | 学習前 | 学習後 | 条件 |
|---|---|---|---|
| 発話単位の生成・開発評価17文章 | 25.97% | 15.52% | 同じ推論経路で比較。6件改善、10件同じ、1件悪化 |
| 逐次推論・追加開発評価95件 | — | 24.69% | 学習文章を除外した11文章グループの加工音声を含む |
| 非発話の負例23件 | — | 誤出力0件 | 合成した負例のみ |
各行は入力集合・推論経路が異なり、連続した改善率として比較できません。公開ベンチマークの成績や実環境での精度を示すものではありません。
モバイル端末での動作
native/にモバイルアプリへの組み込み用モデルを収録しています。端末内で推論し、入力音声に応じて認識途中のテキストを更新します。
スマートフォン実機1台で、短い合成発話6件と非発話2件を端末内で認識しました。
| 測定項目 | 結果 |
|---|---|
| 途中結果の出力 | 発話6件すべてで確認 |
| 入力開始から最初の文字列を画面へ渡すまで | 約1.18〜1.22秒 |
| 測定中の最大常駐メモリ | 約280MB |
短い合成音声による測定です。描画時刻・単語の発話終了に対する遅延・真のピークメモリ・長時間性能は未測定で、他の端末での動作は未検証です。
制限
短い音声や雑音で、誤認識・反復・発話にない文字列が出る場合があります。数字、否定、専門用語の誤りも残ります。専門用語による出力バイアスは途中表示を悪化させたため、既定では使用しません。重要な記録は人による確認を前提としてください。
ファイル構成
- 学習済み重みと、読み込みに必要な設定・語彙ファイル。
native/:逐次実行用のモデル資産。evaluation.json:評価集計。provenance.json:変更内容と整合性情報。SHA256SUMS:ファイルの検証用ハッシュ。LICENSE:再配布時に保持する必要がある権利者・許諾表記。NOTICE:公開者と変更内容。
ライセンス条件はLICENSEを参照してください。
- Downloads last month
- 44