แบบจำลองแบบแพร่

แบบจำลองแบบแพร่ (diffusion model) หรือ แบบจำลองความน่าจะเป็นแบบแพร่ (diffusion probability model) ในสาขาการเรียนรู้ของเครื่อง คือแบบจำลองตัวแปรแฝงประเภทหนึ่ง เป็นลูกโซ่มาร์คอฟที่ได้รับการฝึกโดยใช้วิธีแบบเบส์แบบแปรผัน เป้าหมายของแบบจำลองแบบแพร่คือการเรียนรู้โครงสร้างแฝงของชุดข้อมูลโดยการสร้างแบบจำลองพฤติกรรมของจุดข้อมูลแต่ละจุดที่แจกแจงในปริภูมิแฝง ในสาขาคอมพิวเตอร์วิทัศน์ ได้มีการใช้แบบจำลองแบบแพร่สร้างโครงข่ายประสาทเทียม ซึ่งฝึกให้เรียนรู้ที่จะย้อนกลับกระบวนการการแพร่เพื่อการลดสัญญาณรบกวนออกจากภาพที่ถูกทำให้เบลอด้วยสัญญาณรบกวนแบบเกาส์
แบบจำลองแบบแพร่ได้รับการคิดค้นขึ้นมาในปี 2015 โดยได้รับแรงบันดาลใจจากอุณหพลศาสตร์แบบไม่สมดุล
แบบจำลองแบบแพร่สามารถนำไปใช้กับการดำเนินการต่าง ๆ เช่น การลดสัญญาณรบกวนของภาพ, การซ่อมแซมภาพ, การเพิ่มความละเอียดภาพ การสร้างภาพ และการบีบอัดข้อมูล ตัวอย่างเช่น แบบจำลองการสร้างภาพสามารถสร้างภาพที่ดูเป็นธรรมชาติขึ้นมาใหม่ได้จากการใช้ภาพสัญญาณรบกวนแบบสุ่มเป็นค่าเริ่มต้น แล้วเรียนรู้กระบวนที่ตรงกันข้ามกับการแพร่ของภาพธรรมชาติ
ตัวอย่างการประยุกต์ใช้แบบจำลองแบบแพร่ที่มีชื่อเสียง ได้แก่ ตัวแบบสำหรับสร้างภาพจากข้อความ เช่น DALL-E 2 ของโอเพนเอไอ และ สเตเบิลดิฟฟิวชัน เป็นต้น DALL-E 2 ใช้แบบจำลองแบบแพร่สำหรับทั้งการแจกแจงก่อนของแบบจำลองสร้างภาพ และตัวถอดรหัสสำหรับการสร้างภาพขั้นสุดท้าย การบีบอัดข้อมูลโดยใช้แบบจำลองแบบแพร่มีข้อดีตรงที่ไม่ต้องเข้ารหัส และมีประสิทธิภาพสูงกว่าวิธีการบีบอัดประสิทธิภาพสูงสุดแบบดั้งเดิม
หลักการทางคณิตศาสตร์.
การสร้างภาพ.
พิจารณาปัญหาการสร้างภาพ โดยให้ <math>x </math> เป็นรูปภาพ และฟังก์ชันความหนาแน่นความน่าจะเป็นบนปริภูมิรูปภาพคือ <math>p(x)</math> ถ้ารู้ <math>p(x)</math> ก็จะสามารถระบุความน่าจะเป็นที่ภาพแต่ละชนิดจะถูกสร้างขึ้นได้ แต่โดยทั่วไปแล้ว เป็นการยากที่จะทราบความน่าจะเป็นนั้น
ในกรณีส่วนใหญ่ เราไม่สนใจความน่าจะเป็นเฉพาะที่ภาพหนึ่ง ๆ จะถูกสร้างขึ้น แต่ที่สนใจกว่าก็คือว่า ภาพนั้นมีแนวโน้มที่จะถูกสร้างขึ้นมากเพียงใดเมื่อเทียบกับภาพใกล้เคียง ตัวอย่างเช่น หากมีรูปภาพแมวที่มีหนวด 2 หนวด ปัญหาคือภาพนั้นมีแนวโน้มที่จะถูกสร้างขึ้นแค่ไหนเมื่อเทียบกับภาพที่คล้ายกัน เช่น รูปภาพแมวที่มีหนวด 3 หนวด หรือรูปภาพที่ถูกเติมสัญญาณรบกวนแบบเกาส์เข้าไป
ดังนั้นเป้าหมายที่สนใจไม่ใช่ตัว <math>p(x)</math> นั้นเอง แต่เป็น <math>\nabla_x \ln p(x)</math> การพิจารณาแบบนี้มีข้อดีคือ
ให้ฟังก์ชันคะแนนเป็น <math>s(x) := \nabla_x \ln p(x)</math> แล้ว <math>s(x)</math> จะสามารถสุ่มตัวอย่างจาก <math>p(x)</math> โดยใช้พลศาสตร์อนุญาตให้สุ่มตัวอย่างโดยใช้พลศาสตร์ล็องฌ์แว็งความชันแบบเฟ้นสุ่ม (stochastic gradient Langevin dynamics) นี่เป็นรูปแบบที่เล็กที่สุดของวิธีมอนเตการ์โลลูกโซ่มาร์คอฟ
รูปแบบต่าง ๆ.
การชี้นำโดยตัวจำแนก (classifier guidance).
แทนที่จะสุ่มตัวอย่างจากกลุ่มของรูปภาพทั้งหมด เราสามารถพิจารณาสุ่มเอาตัวอย่างแค่จากช่วงขอบเขตที่กำหนดโดยคำอธิบายภาพ เช่น แทนที่จะดึงออกมาจากกลุ่มรูปภาพทั่วไป ให้ดึงมาเฉพาะภาพที่สอดคล้องกับคำอธิบายว่า "แมวสีดำตาสีแดง" เป็นต้น โดยทั่วไปแล้วนี่จะเป็นการสุ่มตัวอย่างบนการแจกแจง <math>p(x|y)</math> ในที่นี้รูปภาพ <math>x</math> จะได้มาจากช่วงของภาพทั้งหมด ในขณะที่ขอบเขตของรูปภาพ <math>y</math> จะถูกจำกัดอยู่ที่รูปภาพจำเพาะประเภท
จากมุมมองของแบบจำลองช่องสัญญาณที่มีสัญญาณรบกวน กระบวนการนี้สามารถเข้าใจได้ดังนี้ เมื่อต้องการจะสร้างภาพ <math>x</math> ภายใต้เงื่อนไขตามคำอธิบาย <math>y</math> ผู้ที่ต้องการสร้างภาพจะสร้างภาพขึ้นมานั้น จริง ๆ แล้วกำลังวาดภาพ <math>x</math> อยู่ แต่เนื่องจากว่าภาพนั้นผ่านช่องสัญญาณที่มีสัญญาณรบกวน จึงเกิดการผิดเพี้ยนของตัวอักษร จนจินตนาการไปว่าได้รับสัญญาณเป็นคำอธิบาย <math>y</math> ในกรณีนี้ การสร้างภาพในที่นี้เป็นแค่การทำนายภาพ <math>x</math> ที่ถูกจินตนาการไว้แต่แรกโดยบุคคลที่ต้องการสร้างภาพนั้น
กล่าวอีกนัยหนึ่ง การสร้างภาพแบบมีเงื่อนไขนั้นเป็นเพียงการแปลภาษาที่อธิบายด้วยข้อความให้กลายเป็นภาษาที่อธิบายด้วยภาพ ดังนั้น เช่นเดียวกับแบบจำลองช่องสัญญาณที่มีสัญญาณรบกวน เราสามารถใช้ทฤษฎีบทของเบส์ได้ว่า
<math display="block">p(x|y) \propto p(y|x)p(x) </math>
นั่นคือหากมีแบบจำลองที่ดีสำหรับปริภูมิรูปภาพทั้งหมด (<math>p(x)</math>) และตัวแปลคุณภาพสูงสำหรับแปลง "รูปภาพ → ประเภท" (<math>p(y|x)</math>) นั่นหมายความว่าเราสามารถจะได้ตัวแปล "ประเภท → รูปภาพ" ได้โดยไม่ต้องลำบากนัก
พลศาสตร์ล็องฌ์แว็งความชันแบบเฟ้นสุ่มใช้สมการต่อไปนี้
<math display="block">\nabla_x \ln p(x|y) = \nabla_x \ln p(y|x) + \nabla_x \ln p(x) </math>
ในที่นี้ <math>\nabla_x \ln p(x)</math> คือฟังก์ชันคะแนนที่เรียนรู้ตามที่อธิบายไว้ข้างต้น โดย <math>\nabla_x \ln p(y|x)</math> ได้มาจากการใช้ตัวจำแนกรูปภาพที่หาอนุพันธ์ได้
การชี้นำโดยไร้ตัวจำแนก (classifier-free guidance, CFG).
แม้ในกรณีที่ไม่มีตัวจำแนก <math>p(y|x)</math> ก็สามารถสกัดเอาตัวจำแนกจากตัวแบบจำลองรูปภาพเองได้ดังนี้
<math display="block">\nabla_x \ln p_\beta(x|y) = (1-\beta) \nabla_x \ln p(x) + \beta \nabla_x \ln p(x|y) </math>
แบบจำลองดังกล่าวนั้นมักจะฝึกสอนโดยป้อนให้ทั้ง <math>(x, y)</math> และ <math>(x, None)</math> แล้วสร้างแบบจำลอง <math>\nabla_x\ln p(x|y)</math> และ <math>\nabla_x\ln p(x)</math> ขึ้นพร้อมกัน
CFG ได้กลายเป็นส่วนสำคัญที่ขาดไม่ได้สำหรับแบบจำลองต่าง ๆ เช่น GLIDE, DALL-E และ Google Imagen