การเรียนรู้แบบสอนตัวเอง

การเรียนรู้แบบสอนตัวเอง (Self-supervised learning, SSL) เป็นกระบวนทัศน์และวิธีการเรียนรู้ของเครื่อง โดยแบบจำลองได้รับการออกแบบให้สามารถสร้างฉลากกำกับขึ้นเองจากการฝึกด้วยข้อมูลที่ไม่มีฉลากกำกับได้ ทำให้ไม่จำเป็นต้องเตรียมฉลากกำกับโดยมนุษย์เพื่อจะทำการฝึก ดังนั้นจึงจัดได้ว่าเป็นรูปแบบการเรียนรู้ระดับกลางระหว่าง การเรียนรู้แบบมีผู้สอน กับ การเรียนรู้แบบไม่มีผู้สอน

เทคนิคการเรียนรู้แบบสอนตัวเองโดยทั่วไปมีพื้นฐานมาจากโครงข่ายประสาทเทียม รวมถึงแบบจำลองอื่น ๆ แบบจำลองนี้แบ่งการฝึกเป็น 2 ขั้นตอน โดยในขั้นแรก จะทำการฝึกโดยฉลากกำกับเทียม ซึ่งมีส่วนช่วยในการกำหนดค่าเริ่มต้นพารามิเตอร์ของแบบจำลอง ถัดมาจึงนำมาดำเนินการในงานจริงโดยใช้การเรียนรู้แบบมีผู้สอนหรือแบบไม่มีผู้สอน

วิธีการเรียนรู้แบบสอนตัวเองได้แสดงให้เห็นผลลัพธ์ที่น่าพอใจในช่วงไม่กี่ปีที่ผ่านมา และได้นำไปใช้จริงในการประมวลผลคำพูด และใช้ในการรู้จำคำพูด เช่น ในเฟซบุ๊ก สิ่งที่น่าสนใจหลักของวิธีการนี้ไม่ใช่แค่ว่าช่วยปรับปรุงผลลัพธ์สุดท้าย แต่ยังทำให้สามารถฝึกโดยข้อมูลคุณภาพต่ำได้ การเรียนรู้แบบสอนตัวเองช่วยให้สามารถเลียนแบบวิธีการที่มนุษย์เรียนรู้ที่จะจัดหมวดหมู่ได้อย่างใกล้เคียงมากขึ้น

 ภาพรวม 
อียาน เลอเกิงผู้พัฒนาโครงข่ายประสาทแบบสังวัตนาการเชื่อว่า วิธีการนี้จะสามารถเข้าถึงความฉลาดของมนุษย์ได้จริงSelf-supervised learning: The dark matter of intelligence

มนุษย์มีการเรียนรู้เกี่ยวกับโลกนี้ตั้งแต่ยังเป็นเด็กทารก ซึ่งความรู้ที่จากการลองผิดลองถูก และการสังเกตนั้นมีมากมาย และมนุษย์ก็ได้นำเอาความรู้เหล่านั้นมาเสริมกับความรู้เดิมเรื่อย ๆ จนกลายเป็นความรู้ที่สามารถทำให้เป็นทั่วไปได้ และองค์ความรู้ตรงนี้ ก็ทำให้มนุษย์ต้องการตัวอย่างในการเรียนรู้สิ่งใหม่ ๆ น้อยลงมากSelf-Supervised Learning เทรนด์ใหม่ของ AI ที่มีความใกล้เคียงกับความฉลาดของมนุษย์?

สิ่งที่เราต้องการได้จากวิธีการเรียนรู้แบบสอนตัวเองคือการสร้างแบบจำลองรากฐานที่ทำการสกัดเอาค่าแทนลักษณะที่ดี เพื่อนำไปฝึกต่อในงานอื่น ๆ เช่นนำไปทำการจำแนกเชิงสถิติ, การตรวจจับวัตถุ, การแบ่งส่วนภาพ และอื่น ๆ ซึ่งมักเรียกกันว่าเป็น "ภารกิจปลายน้ำ" (downstream task)

โดยปกติแล้ว เพื่อป้องกันความโน้มเอียงที่เกิดขึ้นในแบบจำลองหรือการเรียนรู้เกิน ชุดข้อมูลจะถูกจัดระเบียบให้ดีก่อนนำไปฝึก เช่น พยายามเฉลี่ยให้มีรูปในแต่ละประเภทเท่ากัน เป็นต้น แต่วิธีการเรียนรู้แบบสอนตัวเองได้ถูกพัฒนามาให้ใช้กับชุดข้อมูลดิบ ๆ ที่ไม่ผ่านการจัดการใด ๆ เลยได้ ซึ่งในจุดนี้สามารช่วยช่วยลดต้นทุนไปได้มาก

เนื่องจากใช้ชุดข้อมูลที่ค่อนข้างดิบ จึงต้องการข้อมูลจำนวนมาก และแบบจำลองของที่ใช้การเรียนรู้ด้วยวิธีนี้ส่วนมากก็มีขนาดใหญ่มาก เพื่อที่จะสามารถฝึกให้เข้ากับชุดข้อมูลขนาดมหาศาลนั้นได้

 การนำมาประยุกต์ใช้ 

 การประมวลภาษาธรรมชาติ 
ได้ประสบความสำเร็จอย่างมากในสายการประมวลภาษาธรรมชาติ  เช่นแบบจำลอง BERT และอื่น ๆ มาก่อน แบบจำลองจะได้รับชุดข้อมูลที่ไม่มีฉลากกำกับ โดยในขณะทำการฝึก บางคำในประโยคจะถูกปิดแบบสุ่ม และแบบจำลองจะต้องเรียนรู้ที่จะทำนายคำที่ถูกปิดไป(Self-)Supervised Pre-training? Self-training? Which one to start with? คล้ายกับการทำข้อสอบเติมคำ โดยเราสามารถจำกัดคำที่เป็นไปได้โดยดูบริบทของคำที่อยู่รอบ ๆ

ด้วยวิธีการนี้ แบบจำลองจึงสามารถเรียนรู้ได้ว่าชุดของคำใดเหมาะที่จะเติมในช่องว่าง จากความหมายของคำ และจากไวยากรณ์ของภาษาที่ปรากฎเป็นรูปแบบในบทความ

GPT ของ OpenAI เป็นแบบจำลองภาษาที่สามารถใช้สำหรับการประมวลผลภาษา สามารถใช้แปลข้อความ ตอบคำถาม ฯลฯ ได้

 ในงานด้านอื่น ๆ 
การนำเอาเทคนิคนี้มาใช้ในงานด้านคอมพิวเตอร์วิทัศน์ เช่นการทำนายส่วนที่ถูกปิดไปในบางส่วนของรูปภาพ หรือบางเฟรมของวิดีโอ เป็นเรื่องที่ยากกว่ามาก เพราะชุดของค่าพิกเซลที่เป็นไปได้ในพื้นที่ส่วนหนึ่งของภาพ หรือเนื้อหาในเฟรมที่เป็นไปของวิดีโอนั้นมีอยู่ไม่จำกัด จึงยังเป็นสาขาที่ต้องมีการค้นคว้าต่อไป

อย่างไรก็ตาม การเรียนรู้แบบสอนตัวเองก็ถูกนำมาใช้ในการสร้างแบบจำลองฝึกล่วงหน้าที่สามารถนำไปทำการเรียนรู้แบบถ่ายโอนที่ลดการใช้ชุดข้อมูลในการฝึกได้อย่างมาก ซึ่งก็จะสามารถลดต้นทุนในการเก็บและสร้างชุดข้อมูลในส่วนการสร้างฉลากกำกับ ซึ่งต้องใช้แรงงานมนุษย์อย่างมากได้ด้วย เนื่องจากวิธีนี้ไม่ต้องการข้อมูลติดฉลากกำกับ จึงได้มีการพัฒนาเอาไปใช้กับชุดข้อมูลที่ไม่ได้มีการจัดการให้เรียบร้อยได้อีกด้วย

 อ้างอิง 

หมวดหมู่:การเรียนรู้ของเครื่อง