# Synthesizer V

Synthesizer V Studio (conocido también con SynthV) es la segunda generación y más conocida del motor de síntesis vocal Synthesizer V, desarrollado por Dreamtonics Co., Ltd. El software fue presentado el 25 de junio de 2020 en un comunicado de prensa junto con las bases de voz llamadas Kotonoha Akane & Aoi y Saki.
El soporte de IA para Synthesizer V AI se lanzó como una actualización para Synthesizer V Studio el 25 de diciembre, junto con una actualización de Saki conocida como Saki AI. Las bases de voz que no se grabaron con el método de IA se conocen como "bases de voz estándar" y, por lo general, se graban en el estudio de Dreamtonics en Tokio.
Se anunciaron dos versiones: Synthesizer V Studio Pro y Synthesizer V Studio Basic. Synthesizer V Studio Pro se lanzó oficialmente el 10 de julio de 2020 en Taobao, a través de la empresa Beijing Photek S&T Development Co., Ltd., para los usuarios en China. Los usuarios internacionales pudieron comprarlo a partir del 15 de julio en ANiCUTE, mientras que AH-Software Co. Ltd. lo lanzó el 30 de julio para los usuarios en Japón. Synthesizer V Studio Basic se lanzó el 31 de julio en el sitio web de Dreamtonics como una descarga gratuita.
Según el comunicado de prensa, Synthesizer V Studio combina la síntesis vocal tradicional basada en muestras con inteligencia artificial y aprendizaje automático para crear un motor híbrido.

## Historia

En agosto de 2019, Kanru Hua (CEO de Dreamtonics) anunció en Twitter el desarrollo de la segunda generación de Synthesizer V, conocida tentativamente como Synthesizer V Release 2. El 9 de abril de 2020, Ddickky (fundador de Beijing Photek y miembro del círculo Quadimension) anunció que la segunda generación de Synthesizer V se lanzaría pronto y mencionó que una demostración de la voz Chiyu utilizando el nuevo motor estaría disponible próximamente. La demo se publicó el 11 de abril.
El 26 de junio, AH-Software Co. Ltd. anunció oficialmente en un comunicado de prensa Synthesizer V Studio Pro y Synthesizer V Studio Basic, junto con las bases de voz Kotonoha Akane & Aoi y Saki.
La tienda ANiCUTE de Animen para clientes internacionales abrió el 12 de julio, y Synthesizer V Studio Pro, junto con las bases de voz Genbu y AiKO, estuvo disponible para su compra el 15 de julio. Se ofrecieron descuentos especiales para miembros VIP y para quienes compraron la primera generación del editor Synthesizer V.
Las preventas de las versiones físicas en DVD de Synthesizer V Studio Pro, con las bases de voz Kotonoha Akane & Aoi y Saki, comenzaron el 15 de julio en la tienda de AH-Software Co. Ltd. y su lanzamiento completo fue el 30 de julio.
El 2 de agosto, Dreamtonics abrió una aplicación de prueba beta para las versiones VST y Audio Units de Synthesizer V Studio para quienes habían adquirido el software.

#### Actualizaciones de Synthesizer V Studio:

* Versión 1.1.0 (24 de diciembre): Añadió compatibilidad con bases de voz de IA de "primera generación".
* Versión 1.2.0 (18 de febrero de 2021): Las voces de IA ahora se clasificaron como "voces de IA de segunda generación".
* Versión 1.3.0 (18 de junio de 2021): Synthesizer V AI fue actualizado y pasó a llamarse "Gen 3".
El 4 de febrero de 2022, AH-Software informó que la serie Synthesizer V había superado las expectativas de ventas en el último año desde que se volvió compatible con IA.
El 28 de febrero de 2023, Dreamtonics anunció que Synthesizer V Studio añadiría el chino cantonés como su cuarto idioma compatible, lo que permitiría al motor admitir tanto bibliotecas de voz dedicadas a este idioma como la Síntesis de Canto Multilingüe (Cross-lingual Singing Synthesis). También se anunció el futuro soporte para voces de rap, mostrando una demostración de un vocalista masculino rapeando en chino mandarín e inglés. Se esperaba que el soporte para rap en japonés llegara más adelante.
El 2 de marzo, Dreamtonics respondió a las preocupaciones de los usuarios sobre la implementación del cantonés, indicando que estaban revisando y corrigiendo los problemas detectados en los clips de demostración. También confirmaron que Synthesizer V Studio permitiría ingresar letras en Jyutping cantonés (esquema de romanización de 1993), aunque este no era equivalente al sistema fonético X-SAMPA utilizado sobre las notas en el editor. Además, el esquema fonético X-SAMPA para un carácter chino no era equivalente a su lectura en Pinyin.
El 15 de marzo, después de recibir sugerencias para mejorar la adaptación del canto al estilo del cantonés, Dreamtonics reemplazó la versión de debut en Bilibili, incorporando correcciones en las demos de la voz masculina y la voz Feng Yi.
La función de rap en inglés y chino mandarín, junto con la implementación de la Síntesis de Canto Multilingüe en cantonés, se programó oficialmente para la versión 1.9.0, con una beta publicada el 18 de abril. Dreamtonics explicó que, tras recibir comentarios valiosos, se enfocaron en perfeccionar la pronunciación para mejorar la experiencia del usuario.
Para el funcionamiento del idioma cantonés, explicaron que al seleccionar cantonés, todas las letras en chino se cantarían con pronunciación cantonesa, si había errores de pronunciación, los usuarios podrían corregirlos ingresando la romanización en Jyutping y aunque el conjunto de fonemas se basaba en su mayoría en chino mandarín, se incorporaron varios fonemas únicos del cantonés.

### Desarrollo de Redes Neuronales

Tras la actualización 1.2.0 de Synthesizer V Studio el 19 de febrero de 2021, Kanru Hua publicó en su cuenta personal de Twitter un hilo sobre el funcionamiento optimizado de la inferencia de redes neuronales en las actualizaciones recientes de Synthesizer V. Al día siguiente, amplió la explicación señalando que Synthesizer V Studio 1.2 utiliza núcleos de multiplicación matriz-vector (MVM) dispersos y cuantizados compilados en tiempo de ejecución (JIT).
En sus propias palabras mencionó:
   "Una red neuronal artificial se reduce a un conjunto de operaciones aritméticas muy simples, por ejemplo: a + b * x1 + c * x2 + .... Pero cuando compones millones de estas operaciones juntas de forma intencional, pueden convertirse en máquinas realmente complejas."
Explicó que, para construir una voz, selecciona valores especializados para "a, b y c" que mejor representen la voz, y luego los introduce en millones de ecuaciones. Estos valores son conocidos como parámetros. En lugar de escribir cada ecuación individualmente, se utiliza álgebra lineal para simplificar el proceso mediante matrices y vectores, los cuales permiten realizar cálculos en grandes volúmenes de datos de manera eficiente. Muchos modelos de redes neuronales dependen de la multiplicación matriz-matriz, pero en el caso de Synthesizer V, el mayor cuello de botella se encuentra en la multiplicación matriz-vector, ya que es la base de la red que genera muestras de onda, conocida como neural vocoder.
Uno de los problemas que mencionó es que, además de gestionar una red neuronal de gran tamaño, esta debe ejecutarse decenas de miles de veces por segundo para sintetizar audio en alta calidad en tiempo real. Debido a esto, es necesario el uso de CPU modernas, que pueden operar a varios gigaciclos por segundo (GHz). Sin embargo, aunque la capacidad de procesamiento de estas CPUs está en el mismo orden de magnitud que la cantidad de operaciones requeridas por segundo, el margen de rendimiento es muy ajustado. Señaló que no todos los ciclos de CPU pueden realizar trabajo útil, lo que plantea desafíos adicionales. El objetivo principal es lograr que la operación MVM se ejecute lo más rápido posible en los sistemas de CPU modernos.
Al día siguiente, Hua profundizó en el uso de la Multiplicación Matriz-Vector Dispersa (SpMVM) en las redes neuronales de Synthesizer V. Explicó que, de los millones de parámetros utilizados en el modelo, muchos son redundantes y pueden ser eliminados sin afectar la calidad del sonido, lo que da lugar a lo que se conoce como una "matriz dispersa" Sin embargo, algunos parámetros son esenciales y no pueden descartarse sin una pérdida significativa de calidad. Si se eliminan demasiados parámetros, la voz sintetizada comenzará a sonar como si proviniera de un walkie-talkie, hasta degradarse completamente en ruido.
El objetivo es identificar y eliminar cuidadosamente los parámetros menos relevantes, eliminando la mayor cantidad posible sin afectar la calidad del audio. Si el proceso se realiza correctamente, generalmente se puede descartar más de tres cuartas partes de los parámetros sin impacto negativo en el sonido. Cuando se ejecuta la red neuronal dispersa, el programa necesita saltar los parámetros eliminados, lo que introduce un cierto sobrecosto computacional. Sin embargo, este método aumenta la velocidad hasta cuatro veces en comparación con la versión inicial.
   "Hacer que una red neuronal sea dispersa es una forma efectiva de comprimirla. Si se hace correctamente, también puede acelerar la ejecución varias veces, aunque esto requiere un código altamente optimizado para SpMVM."
En los siguientes tres días, Hua publicó tres hilos adicionales en los que detalló aún más el proceso de desarrollo de las redes neuronales. Después de convertir las matrices en dispersas, los valores enteros se cuantizan para reducir su escala antes de realizar la multiplicación matriz-vector (MVM). Este paso asegura que los resultados se mantengan dentro de un rango válido. Si la programación de las operaciones de suma o multiplicación excede este rango, los valores pueden "envolverse" al extremo inferior, lo que resultaría en un desbordamiento. Esto podría hacer que la voz sintetizada suene como una radio mal sintonizada o incluso convertirse en ruido ininteligible.
También mencionó que las redes neuronales de Synthesizer V AI varían en tamaño; algunas pueden hacerse dispersas sin afectar su rendimiento, otras no pueden reducirse sin perder calidad.
El software está diseñado para funcionar en cualquier CPU x86 desde el procesador Pentium 4 de 2004, lo que lo hace ampliamente compatible con equipos modernos y antiguos.

## Requisitos
### Sistema Operativo:

* Windows: 8.1 o posterior (64 bits).
* macOS: 10.11 (El Capitan) o posterior.
* Linux: Ubuntu 18.04 o posterior (64 bits).
Aunque se menciona Ubuntu, Synthesizer V Studio también funciona en otras distribuciones de Linux, como Fedora o Arch, ya que la descarga se proporciona en un archivo .zip (similar a los tarballs binarios) en lugar de un paquete .deb (utilizado en Debian y derivados).
Inicialmente, Dreamtonics especificaba compatibilidad con Windows 32 y 64 bits, pero el soporte para 32 bits finalizó oficialmente el 10 de noviembre de 2022, con el lanzamiento de la versión 1.8.0b1 de Synthesizer V Studio.
Hubo discrepancias entre las versiones japonesa e inglesa del sitio web de Dreamtonics en cuanto a los requisitos mínimos de Ubuntu para los editores Basic y Pro:
* La página en inglés indicaba Ubuntu 16.04+ para Basic y 18.04+ para Pro.
* La página en japonés indicaba Ubuntu 18.04+ para Basic y 16.04+ para Pro.
Sin embargo, en la página del producto Pro en la tienda internacional de Dreamtonics, siempre se especificó Ubuntu 18.04+ como el requisito mínimo.
El 10 de noviembre de 2022, con el rediseño del sitio web, Dreamtonics eliminó los detalles específicos de los sistemas operativos y simplemente mencionó "Windows / macOS / Linux" como requisitos.
AH-Software, en su listado original, no especificó si los editores Basic y Pro requerían 32 o 64 bits en Windows o Ubuntu, indicando Ubuntu 16.04 como mínimo. No fue hasta octubre de 2021 cuando aumentaron el requisito mínimo a Ubuntu 18.04 (solo 64 bits), ya que el soporte estándar de Ubuntu 16.04 finalizó en abril de 2021.
Cuando se lanzó Windows 11 (también solo 64 bits) en octubre de 2021, AH-Software añadió explícitamente la necesidad de 64 bits para Windows, modificando los requisitos a "Windows 11/10/8.1 o posterior (64 bits)", aunque Dreamtonics continuó soportando Windows 8.1 y 10 en 32 bits hasta el lanzamiento de la versión 1.8.0b1 en noviembre de 2022.
Debido al final del soporte estándar para Ubuntu 18.04 en junio de 2023, AH-Software elevó el requisito mínimo a Ubuntu 20.04+ (64 bits) entre mayo y julio de 2022. Con la retirada del soporte extendido para Windows 8.1 el 10 de enero de 2023, AH-Software eliminó Windows 8.1, macOS 10.11 (El Capitan) y macOS 10.12 (Sierra) de la lista de sistemas compatibles entre enero y febrero de 2023. Los nuevos requisitos quedaron como:
* Windows 11/10 o posterior (64 bits).
* macOS 10.13 (High Sierra) o posterior (aunque High Sierra ya no es compatible con Apple).

### Requisitos de Hardware:

* CPU:
** x86-64: Intel Core i5 de 4.ª generación (i5-4xxx) o superior, o AMD equivalente (Athlon X4 845, Ryzen o superior).
** ARM (AArch64): Apple Silicon M1 o superior.
** AH-Software originalmente especificaba un Intel Core i3 o superior, pero en octubre de 2021 igualó los requisitos de Dreamtonics.
* RAM: 2 GB o más.
* Almacenamiento:
** 1 GB mínimo (para una base de voz).
** Se requiere espacio adicional dependiendo de la cantidad de bases de voz instaladas.
* Resolución de pantalla: 1280×800 píxeles o superior.
* Otros requisitos:
** Unidad DVD-ROM (para la versión física).
** Dispositivo de audio.
** Conexión a Internet (obligatoria para activación y actualizaciones)

## Diferencias entre Synthesizer V Studio Basic y Pro

| Característica | Basic | Pro |
| Límite de pistas | Máximo 3 pistas | Ilimitado |
| Hilos de renderizado simultáneo | Limitado a 2 núcleos | Ilimitado |
| Funciones adicionales |||
| Ajuste automático de tono | Solo con configuraciones predeterminadas | Configuraciones personalizables |
| Salida de aspiración (aspiration output) | No disponible | Disponible |
| Plugins en Lua/JavaScript | No disponible | Disponible |
| Fonemas alternativos | No disponible | Disponible |
| Parámetros adicionales para bases de voz IA | No disponible | Disponible |
| Compatibilidad con VST/AU | No disponible | Disponible |

## Versiones Lite

Las versiones Lite son ediciones gratuitas de las bases de voz y están disponibles tanto en Synthesizer V Studio Basic como en Pro.
* Generalmente, son bases de voz monopitch (con solo una altura tonal).
* Se deben acreditar correctamente en los proyectos, incluyendo "Lite" en el título y la descripción de las publicaciones.
* No están permitidos los usos comerciales.
* Algunas bases de voz pueden tener reglas adicionales, por lo que se recomienda leerlas cuidadosamente.
Nota: No todas las bases de voz cuentan con una versión Lite.

## Problemas Conocidos
#### Synthesizer V Studio 1.1.0

* Dreamtonics informó que algunos usuarios confirmaron informes de fallos relacionados con voces de IA. Este error afecta a los procesadores Intel i3/i5/i7 de 2.ª y 3.ª generación y a los procesadores AMD de las series Jaguar a SteamrollerSe recomendó actualizar a Synthesizer V Studio 1.1.1 para solucionar el problema.

#### Synthesizer V Studio 1.2.0

* Algunos usuarios experimentaron fallos al actualizar Saki AI a la versión 104. Dreamtonics recomendó descargar e instalar directamente la voz desde su sitio web.

#### Synthesizer V Studio Pro 1.7.0

* Usuarios reportaron inestabilidad en la calidad de la voz y cambios inesperados al volver a renderizar proyectos creados en versiones anteriores de Synthesizer V Studio Pro. El 22 de julio, Dreamtonics explicó que la función AI Retakes, por defecto, favorece "timbres ricos y expresivos sobre una vocalización estable y fluida", lo que provocó diferencias con respecto a versiones anteriores. Como solución temporal para estabilizar la salida de voz, Dreamtonics y AH-Software recomendaron los siguientes pasos:
** Vaciar la selección.
** Abrir el panel de AI Retakes y acceder a la pestaña Timbre.
** En Takes → Global Settings, reducir el parámetro Expressiveness.
* También se reportó que archivos de proyectos guardados en la versión 1.7.0 fallaban al abrirse en la versión 1.6.1.

## Ejemplos de Uso
### Demostraciones

Las demos de las bases de voz de Kotonoha Akane & Aoi están disponibles en sus páginas promocionales.
Ejemplos de transmisiones en SoundCloud:
* Takapi Demo (versión editada) – SoundCloud Broadcast
* 泡沫のデザイア (Take1) – SoundCloud Broadcast
* 泡沫のデザイア (Take2) – SoundCloud Broadcast