ริฟฟิวชัน

ริฟฟิวชัน () เป็นโครงข่ายประสาทเทียมที่สร้างดนตรีโดยใช้ภาพเสียงแทนที่จะเป็นเสียง ออกแบบโดย Seth Forsgren และ Hayk Martiros 

ผลลัพธ์ดนตรีได้รับการบรรยายว่า "de otro mundo" (เหนือโลก), แม้ว่าไม่น่าแทนที่ดนตรีที่มนุษย์สร้างขึ้น ตัวแบบนี้มีให้บริการในวันที่ 15 ธันวาคม ค.ศ. 2022 โดยที่รหัสมีให้ใช้ฟรีผ่าน GitHub 

ริฟฟิวชันรุ่นแรกสร้างขึ้นเป็นสเตเบิลดิฟฟิวชันแบบปรับละเอียดบนสเปกโตรแกรม ส่งผลให้เกิดตัวแบบที่ใช้พรอมต์ข้อความเพื่อสร้างไฟล์รูปภาพ ซึ่งจากนั้นสามารถนำไปใช้การแปลงฟูรีเยแบบผกผัน และแปลงเป็นไฟล์เสียงได้ แม้ว่าไฟล์เหล่านี้จะมีความยาวเพียงไม่กี่วินาที แต่ตัวแบบยังสามารถใช้ปริภูมิแฝงระหว่างผลที่ได้เพื่อทำการการประมาณค่าในช่วงแทรกรวมไฟล์ต่าง ๆ เข้าด้วยกันได้ (โดยใช้ความสามารถ img2img ของ SD) ซึ่งเป็นหนึ่งในโมเดลมากมายที่ได้มาจากสเตเบิลดิฟฟิวชัน

ในเดือนธันวาคม ค.ศ. 2022 Mubert ใช้สเตเบิลดิฟฟิวชันเพื่อเปลี่ยนข้อความบรรยายเป็นเพลงวนซ้ำ ในเดือนมกราคม ค.ศ. 2023 กูเกิลได้ตีพิมพ์บทความเกี่ยวกับเครื่องมือสร้างข้อความเป็นเพลงของตนเองที่ชื่อว่า MusicLM

Forsgren และ Martiros จัดตั้งสตาร์ตอัปที่มีชื่อว่า Riffusion และระดมทุนจากการร่วมทุนได้ 4 ล้านดอลลลาร์สหรัฐในเดือนตุลาคม ค.ศ. 2023 

 อ้างอิง 

หมวดหมู่:ซอฟต์แวร์แอปพลิเคชันการเรียนรู้เชิงลึก
หมวดหมู่:ดนตรีคอมพิวเตอร์