KLM 4.1 [日本語]

#2
by SeoulStreamingStation - opened

KLM 4.1 [2024年6月22日]

4.1アップデート内容 -

KLM Liveの一部データを4.1のデータに含めました。KLM 4.1には一部の咳や笑い声のような特殊なノイズレイヤーが別途含まれています。ただし、これらのノイズレイヤーが一般的な声が実現される200hz~1200hzの範囲で直接反応しないようにしているため、Okadaなどのボイスチェンジャーを使用するには、別途咳や笑い声のデータをモデルに学習させることをお勧めします。

女性ボーカルを全般的に再作業しました。4.0では各ボーカリストや声優に自由に曲を選ばせて多様な曲を含めましたが、4.1では各曲ごとに[地声]、[裏声]、[混合]を併用して、推論される対象が使用する多様な歌唱法を自然に追従できるようにしました。

JPOPでよく使用される歌唱法を追加で学習させました。JPOP特有の高音で地声と裏声を使い分ける特有の発声法を学習しました。

ピッチマップのバランス調整
A2~G3、G4~C5、D5~B5までの音域を分けて、データの量と多様性、ボリュームレベルを平準化しました。

利用者の要望に応じたラベル作業。保有していたすべてのデータセットのラベルを付け、学習時にグラデーションがより安定して進行できるようにしました。

40kサンプルレートが継続的に不安定なアウトプットを生成することが発見されました。この現象を完全に理解するまで、40kサンプルレートのモデルは当分公式にはサポートしません。

RVC開発者の皆様へ -
KLM 4.1以降、事前学習モデルは商業的な利用目的がない限り、無料で皆様のソフトウェアの事前学習モデルとして搭載して使用することができます。また、本モデルを皆様のサーバーやHFにアップロード(2次アップロード)して使用することができ、各国のAIコミュニティなどで配布や共有することが許可されます。ただし、KLMの正式名称を変更してはならず、Fine-Tuneを行った場合はKLM-Nameのように必ずKLMのモデル名を含める必要があります。

ありがとうございます。

Sign up or log in to comment