Bilingual conversation (english, german):

Hallo, Yining. Du hast dieses Paper ausgewählt. Was findest du denn interessant an dem Paper? Yes, I find it really interesting because it's a new way of doing TTS, TTS. Ist es eins, wo man das autoregressiv macht oder nicht autoregressiv? I don't think it's autoregressive, it uses a parallel structure. Okay, und dann habe ich irgendwas gesehen mit Flow oder ist es normale Transformer-Architektur oder wie macht ihr das? It's actually, the flow is only in the decoding part. So for encoding, it's still using the normal transformer architecture. So... Since there is no casual transformer layer being used, so it's still non-auto-regressive structure. Und benutzt es irgendwie, ich habe gehört, einige benutzen auch so diskrete Units. Benutzt ihr auch diskrete Units oder wie ist das? No, this is still using vocoder like based on the Spectrogram output. Yeah, but it's more end-to-end, which means there is no intermediate output as spectrogram. but used the hidden state values instead Und funktioniert es denn auch oder wie gut ist die Performance am Ende? I think it beats all the previous models, and I think it's still the SotA. But currently people also prefer to use the TTS models trained based on large language models. Und dieses, ist das auch nur auf kleinen lokalen Daten trainiert worden oder ist das mit irgendwie allen Audiodaten, die man so hat? yeah this is still like one audio one text simple training sample Aber mit Single speaker oder einfach alle Audio, die man gefunden hat? For the multi-speaker version, it has another modified version. Und wenn du dir das anguckst, hat es irgendwie deine Arbeit motiviert oder benutzt du was Ähnliches? Oder welche Ideen davon würdest du umsetzen? Since this is only a the first I mean now it's only directly modeling the text to speech and there is no explicit modeling of prosody in the speech. So what I'm trying to do is I want to add some pitch information into this model. I think it might help me get better naturalness. in speech synthesis. Und denkst du, dass hier die Pitch-Informationen einfacher zu integrieren sind als sie in anderen Modellen? I think it's harder. Okay. Yeah, it's harder because they didn't recognize the intermediate output. as determined output, but they regard it as a stochastic variable. which means it has to follow this one distribution And so, since they assumed that it follows one kind of distribution like Gaussian distribution, and you have to calculate not only the means, but also the variance. So this means that whole models, if you regard it as an estimator, the variance of the estimation would get higher. This means it's not as robust as the determined models. Und wieso hast du, wenn es schwieriger ist die Sachen hier einzubauen, wieso hast du es trotzdem genommen? Oder wieso meinst du, es ist trotzdem der richtige Weg, da Pitch und sowas einzubauen? This is end to end. And they also use, I mean, the basic structure is a variational autoencoder and it should achieve more diversity than the normal autoencoder structure. So that's why even if it's still harder, I still want to give it a shot. Und ich interessiere mich natürlich immer auch für Multilingualität. Ist dieses Modell, meinst du, es hat eher Vorteile oder Nachteile für Multilingualität oder ist es nicht so wichtig und es wird ähnlich funktionieren wie andere Modelle? For multilingual scenario, I guess it doesn't give too much performance bonus. because it's still like if you want to process multilingual inputs and just do as the previous models using a dedicated token to represent the language index And then somehow either intermediate outputs, they get some They get some high level features, yeah, doing that. Und du hast schon gesagt, dass gerade eher der Trend geht zu Large Language Model basierten Modellen. denkst du da, weil du interessierst dich ja viel für so Pitch und Immunizialität mit reinzubringen, Dass es da genauso wichtig ist oder können die Modelle das sowieso schon oder ist da vielleicht sogar schwieriger, diese Informationen mit zu integrieren? Yeah, I think if you use the large language models, since it's hard to control, it's already, I mean for naive large language model is already little bit hard to control so if you add some more information and It's even harder. I want to go step by step. And using this as a baseline if I really make it, yeah Cool, vielen Dank, ich fand es super interessant. Thanks for talking.