PaLM

PaLM (ย่อมาจาก Pathways Language Model) เป็นหนึ่งในแบบจำลองภาษาขนาดใหญ่ ที่พัฒนาโดยกูเกิล เวอร์ชันล่าสุดคือ PaLM2 ซึ่งประกาศในงาน Google I/O 2023

PaLM มีความต่างจาก LaMDA ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ที่เชี่ยวชาญด้านการสนทนาที่ทางกูเกิลประกาศในปี 2021 ตรงที่ได้รับการพัฒนาโดยคำนึงถึงการใช้งานที่หลากหลายมากกว่า ในเดือนมีนาคม 2023 กูเกิลได้เผยแพร่ API บางส่วนของ PaLM บางส่วนให้นักพัฒนาทั่วไปเข้าถึงได้

 ความสามารถ 
เมื่อเทียบกับ LaMDA ซึ่งพัฒนาโดยกูเกิลเหมือนกันซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ที่เชี่ยวชาญด้านการสนทนา PaLM เป็นแบบจำลองภาษาขนาดใหญ่ที่มีประสิทธิภาพสูงซึ่งไม่เพียงแต่เก่งในการสนทนาเท่านั้น แต่ยังรวมถึงการสร้างประโยคและการจำแนกประเภทด้วย จำนวนพารามิเตอร์น้ำหนักซึ่งเป็นหนึ่งในตัวชี้วัดประสิทธิภาพอยู่ที่ 540 พันล้าน เมื่อเทียบกับคู่แข่งอย่าง GPT-3 (175 พันล้าน), GPT-3.5 (355 พันล้าน), LLaMA (65 พันล้าน) รวมถึง LaMDA ของกูเกิลเอง (137 พันล้าน) แล้วถือว่าสูงกว่ามาก ด้วยเหตุนี้ทางกูเกิลจึงอ้างว่าได้ปรับปรุงความสามารถการประมวลผลภาษาธรรมชาติ อย่างมีนัยสำคัญ เช่น คำถามและคำตอบ และการอ่านบริบท และได้ประสิทธิภาพที่เหนือกว่าแบบจำลองภาษาขนาดใหญ่ที่กล่าวมาข้างต้นหรือ LLaMA ที่พัฒนาโดยเมตา PaLM2 เวอร์ชันล่าสุดยังรองรับมากกว่า 100 ภาษา ทำให้สามารถทำการแปลได้หลายภาษา นอกจากนี้ การอ่านบริบท ทักษะการคำนวณ และการคิดเชิงตรรกะยังแข็งแกร่งขึ้น และตอนนี้ยังสามารถเข้าใจ สุภาษิต ปริศนา อุปมาอุปไมย อุปลักษณ์ และ สำนวน ได้แล้ว

อย่างไรก็ตาม มีปัญหาต่าง ๆ เช่น การเพิ่มพลังการประมวลผลที่จำเป็นเนื่องจากพารามิเตอร์ที่เพิ่มขึ้น ซึ่งตรงจุดนี้ LLaMA ได้รับการออกแบบให้ทำงานบน GPU ตัวเดียวโดยจงใจลดจำนวนพารามิเตอร์ การวิจัยโดยมหาวิทยาลัยและบริษัทต่าง ๆ แสดงให้เห็นว่ามีประสิทธิภาพเทียบเท่ากับแบบจำลองภาษาขนาดใหญ่เช่น GPT-3 และเนื่องจากทำงานบน GPU ตัวเดียว จึงสามารถใช้บนคอมพิวเตอร์ส่วนบุคคลที่บ้านได้

 อ้างอิง 

หมวดหมู่:แบบจำลองภาษาขนาดใหญ่