Spaces:
Running
Running
File size: 13,310 Bytes
ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a 84eac28 ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 812906a ecd87d6 57f7970 ecd87d6 812906a ecd87d6 812906a ecd87d6 88e44d2 ecd87d6 23b835d 57f7970 ecd87d6 23b835d 3ef7251 ecd87d6 57f7970 ecd87d6 57f7970 ecd87d6 57f7970 ecd87d6 57f7970 ecd87d6 812906a ecd87d6 3ef7251 ecd87d6 812906a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 |
import json
import os
import pprint
import tempfile
import zipfile
from dataclasses import dataclass
from pathlib import Path
import gradio as gr
import librosa
import numpy as np
import torch
from huggingface_hub import snapshot_download
from loguru import logger
from pyannote.audio import Inference, Model
HF_REPO_ID = "litagin/voice-samples-22050"
EMB_ROOT = Path("./embeddings")
RESNET34_DIM = 256
AUDIO_ZIP_DIR = Path("./audio_files_zipped_by_game_22_050")
if AUDIO_ZIP_DIR.exists():
logger.info("Audio files already downloaded. Skip downloading.")
else:
logger.info("Downloading audio files...")
token = os.getenv("HF_TOKEN")
snapshot_download(
HF_REPO_ID, repo_type="dataset", local_dir=AUDIO_ZIP_DIR, token=token
)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
logger.info(f"Device: {device}")
logger.info("Loading resnet34 vectors...")
resnet34_embs = np.load(EMB_ROOT / "all_embs.npy")
resnet34_embs_normalized = resnet34_embs / np.linalg.norm(
resnet34_embs, axis=1, keepdims=True
)
logger.info("Loading resnet34 model...")
model_resnet34 = Model.from_pretrained("pyannote/wespeaker-voxceleb-resnet34-LM")
inference = Inference(model_resnet34, window="whole")
inference.to(device)
logger.info("Loading filelist...")
with open(EMB_ROOT / "all_filelist.txt", "r", encoding="utf-8") as file:
files = [line.strip() for line in file]
def get_speaker_key(file_idx: int):
filepath = Path(files[file_idx])
game_name = filepath.parent.parent.name
speaker_name = filepath.parent.name
return f"{game_name}/{speaker_name}" # ゲーム名とスピーカー名を返す
# スピーカーIDの配列を取得
logger.info("Getting speaker ids...")
all_speaker_set = set([get_speaker_key(i) for i in range(len(files))])
id2speaker = {i: speaker for i, speaker in enumerate(sorted(all_speaker_set))}
num_speakers = len(id2speaker)
speaker2id = {speaker: i for i, speaker in id2speaker.items()}
speaker_id_array = np.array([speaker2id[get_speaker_key(i)] for i in range(len(files))])
@dataclass
class GameInfo:
company: str
name: str
url: str
logger.info("Loading game dictionary...")
"""
[
{
"key": "Aino+Links_Sousaku_Kanojo_no_Ren'ai_Koushiki",
"company": "Aino+Links",
"name": "創作彼女の恋愛公式",
"url": "http://ainolinks.com/"
},
...
]
"""
with open("game_info.json", "r", encoding="utf-8") as file:
game_info = json.load(file)
game_dict = {
game["key"]: GameInfo(company=game["company"], name=game["name"], url=game["url"])
for game in game_info
}
def get_zip_archive_path_and_internal_path(file_path: Path) -> tuple[str, str]:
# 構造: audio_files/{game_name}/{speaker_name}/{audio_file}
game_name = file_path.parent.parent.name
speaker_name = file_path.parent.name
archive_path = AUDIO_ZIP_DIR / f"{game_name}.zip"
internal_path = f"{speaker_name}/{file_path.name}"
return str(archive_path), str(internal_path)
def load_audio_from_zip(file_path: Path) -> tuple[np.ndarray, int]:
archive_path, internal_path = get_zip_archive_path_and_internal_path(file_path)
with zipfile.ZipFile(archive_path, "r") as zf:
with zf.open(internal_path) as audio_file:
audio_bytes = audio_file.read()
# 一時ファイルに書き出してから読み込む
with tempfile.NamedTemporaryFile(
delete=False, suffix=Path(internal_path).suffix
) as tmp_file:
tmp_file.write(audio_bytes)
tmp_file_path = tmp_file.name
waveform, sample_rate = librosa.load(tmp_file_path, sr=None)
# 一時ファイルを削除
Path(tmp_file_path).unlink()
return waveform, int(sample_rate)
def get_emb(audio_path: Path | str) -> np.ndarray:
emb = inference(str(audio_path))
assert isinstance(emb, np.ndarray)
assert emb.shape == (RESNET34_DIM,)
return emb
def search_audio_files(audio_path: str):
# Check audio duration, require < 30s
logger.info(f"Getting duration of {audio_path}...")
waveform, sample_rate = librosa.load(audio_path, sr=None)
duration = librosa.get_duration(y=waveform, sr=sample_rate)
logger.info(f"Duration: {duration:.2f}s")
if duration > 30:
logger.error(f"Duration is too long: {duration:.2f}s")
return [
f"音声ファイルは30秒以下である必要があります。現在のファイルの長さ: {duration:.2f}s"
] + [None] * 20
logger.info("Computing embeddings...")
emb = get_emb(audio_path) # ユーザー入力の音声ファイル
emb = emb.reshape(1, -1) # (1, dim)
logger.success("Embeddings computed.")
# Normalize query vector
logger.info("Computing similarities...")
emb_normalized = emb / np.linalg.norm(emb, axis=1, keepdims=True)
similarities = np.dot(resnet34_embs_normalized, emb_normalized.T).flatten()
logger.success("Similarities computed.")
# Search max similarity files
top_k = 10
top_k_indices = np.argsort(similarities)[::-1][:top_k]
top_k_files = [files[file_idx] for file_idx in top_k_indices]
logger.info(f"Top {top_k} files:\n{pprint.pformat(top_k_files)}")
top_k_scores = similarities[top_k_indices]
logger.info(f"Top {top_k} scores:\n{pprint.pformat(top_k_scores)}")
logger.info("Fetching audio files...")
audio_result = []
info_result = []
for i, (file_idx, score) in enumerate(zip(top_k_indices, top_k_scores)):
file_path = Path(files[file_idx])
waveform_np, sample_rate = load_audio_from_zip(file_path)
audio_result.append(
gr.Audio(
value=(sample_rate, waveform_np),
label=f"Top {i+1} ({score:.4f})",
)
)
game_key = file_path.parent.parent.name
speaker_name = file_path.parent.name
game = game_dict[game_key]
game_info_md = f"""
## {i+1}位 (スコア{score:.4f})
- ゲーム名: **{game.name}** ({game.company})
- 公式サイト: {game.url}
- キャラクター名: **{speaker_name}**"""
info_result.append(gr.Markdown(game_info_md))
logger.success("Audio files fetched.")
return ["成功"] + info_result + audio_result
def get_label(audio_path: str, num_top_classes_to_use: int = 10):
# Check audio duration, require < 30s
logger.info(f"Getting duration of {audio_path}...")
waveform, sample_rate = librosa.load(audio_path, sr=None)
duration = librosa.get_duration(y=waveform, sr=sample_rate)
logger.info(f"Duration: {duration:.2f}s")
if duration > 30:
logger.error(f"Duration is too long: {duration:.2f}s")
return (
f"音声ファイルは30秒以下である必要があります。現在のファイルの長さ: {duration:.2f}s",
None,
)
logger.info("Computing embeddings...")
emb = get_emb(audio_path) # ユーザー入力の音声ファイル
emb = emb.reshape(1, -1) # (1, dim)
logger.success("Embeddings computed.")
# Normalize query vector
emb_normalized = emb / np.linalg.norm(emb, axis=1, keepdims=True)
similarities = np.dot(resnet34_embs_normalized, emb_normalized.T).flatten()
logger.info("Calculating average scores...")
speaker_scores = {}
for character_id in range(num_speakers):
# 各キャラクターのインデックスを取得
character_indices = np.where(speaker_id_array == character_id)[0]
# このキャラクターのトップ10の類似度を選択
top_similarities = np.sort(similarities[character_indices])[::-1][
:num_top_classes_to_use
]
# 平均スコアを計算
average_score = np.mean(top_similarities)
# スピーカー名を取得
speaker_key = id2speaker[character_id]
speaker_scores[speaker_key] = average_score
# スコアでソートして上位10件を返す
sorted_scores_list = sorted(
speaker_scores.items(), key=lambda x: x[1], reverse=True
)
sorted_scores_list = sorted_scores_list[:10]
logger.success("Average scores calculated.")
logger.info(
f"Top {num_top_classes_to_use} speakers:\n{pprint.pformat(sorted_scores_list)}"
)
results = []
for i, (speaker_key, score) in enumerate(sorted_scores_list):
game_key, speaker_name = speaker_key.split("/")
result_md = f"""
## {i+1}位 (スコア{score:.4f})
- ゲーム名: **{game_dict[game_key].name}** ({game_dict[game_key].company})
- 公式サイト: {game_dict[game_key].url}
- キャラクター名: **{speaker_name}**
---"""
results.append(result_md)
all_result_md = "\n\n".join(results)
logger.success("Average scores calculated.")
return "成功", all_result_md
def make_game_info_md(game_key: str) -> str:
game = game_dict[game_key]
return f"[**{game.name}** ({game.company})]({game.url})"
def make_speaker_info_md(game_key: str, speaker_name: str) -> str:
game = game_dict[game_key]
return f"[{game.name} ({game.company})]({game.url})\n{speaker_name}"
initial_md = """
# ギャルゲー似た声検索 (Galgame Voice Finder)
- 与えられた音声に対して、声が似ているような日本のギャルゲー(ビジュアルノベル・エロゲー)の音声とキャラクターを検索するアプリです
- **30秒未満**の音声ファイルにしか対応させていません (Only supports audio files less than 30 seconds)
- 「この声と似たキャラクターが出ているギャルゲーは?」「この音声AIの声に聞き覚えあるけど、学習元は誰なのかな?」といった疑問の参考になるかもしれません
- 次の**2つのモード**があります
- **セリフ音声検索**: セリフ単位でのTop 10の音声のサンプル表示
- **キャラクター検索**: キャラクター単位でのTop 10のキャラクター表示
- ゲームの公式サイトへのリンクもありますが、**18歳未満の方はリンク先へのアクセスを控えてください**
- 全てのゲームや、その中の全ての音声が網羅されているわけではありません(データについては下記詳細を参照)
"""
details_md = """
### 音声データ
- 音声データは全て [OOPPEENN/Galgame_Dataset](https://huggingface.co/datasets/OOPPEENN/Galgame_Dataset) から取得(合計293ゲーム)
- 音声ファイル処理: 各キャラクターについて次を行う
- 総ファイル数が100未満の場合はモブキャラとして除外
- 「2秒以上20秒未満」の音声ファイルのうち、時系列的に最初の100ファイルに加え、ランダムに最大200ファイル、合計最大300ファイルを選択
- 22050Hz oggでリサンプリング
### ゲーム情報
- [OOPPEENN/Galgame_Dataset](https://huggingface.co/datasets/OOPPEENN/Galgame_Dataset) ではゲームタイトルの英語表記のみが提供されているため、日本語タイトルと公式サイトURLを手動で調べて追加
- 間違っている箇所があったら教えてください
### 音声ファイル同士の類似度計算
- 話者埋め込み: [pyannote/wespeaker-voxceleb-resnet34-LM](https://huggingface.co/pyannote/wespeaker-voxceleb-resnet34-LM) の256次元の話者埋め込み
- 類似度計算: 2つの音声ファイルの話者埋め込みベクトルのコサイン類似度
### キャラクター検索
- 与えられた音声に対して、全ての音声ファイルとの類似度を計算
- 各キャラクターについて、類似度の高い10ファイルの平均類似度を計算し、スコアとする
- そのスコアでソートして上位10キャラクターを表示
"""
with gr.Blocks() as app:
gr.Markdown(initial_md)
with gr.Accordion(label="詳細", open=False):
gr.Markdown(details_md)
input_audio = gr.Audio(type="filepath", label="音声ファイルを入力")
gr.Markdown(
"「**セリフ音声検索**」と「**キャラクター検索**」の2つのモードから選択してください"
)
with gr.Tab(label="セリフ音声検索"):
btn_audio = gr.Button("似ているセリフ音声を検索")
info_audio = gr.Textbox(label="情報")
num_candidates = 10
audio_components = []
game_info_components = []
for i in range(num_candidates):
with gr.Row(variant="panel"):
game_info_components.append(gr.Markdown(label=f"Top {i+1}"))
audio_components.append(gr.Audio(label=f"Top {i+1}"))
with gr.Tab(label="キャラクター検索"):
btn_character = gr.Button("似ているキャラクターを検索")
info_character = gr.Textbox(label="情報")
result_character = gr.Markdown("ここに結果が表示されます")
btn_audio.click(
search_audio_files,
inputs=[input_audio],
outputs=[info_audio] + game_info_components + audio_components,
)
btn_character.click(
get_label, inputs=[input_audio], outputs=[info_character, result_character]
)
app.launch()
|