การเรียนรู้แบบสอนตัวเอง

การเรียนรู้แบบสอนตัวเอง (Self-supervised learning, SSL) เป็นกระบวนทัศน์และวิธีการเรียนรู้ของเครื่อง โดยแบบจำลองได้รับการออกแบบให้สามารถสร้างฉลากกำกับขึ้นเองจากการฝึกด้วยข้อมูลที่ไม่มีฉลากกำกับได้ ทำให้ไม่จำเป็นต้องเตรียมฉลากกำกับโดยมนุษย์เพื่อจะทำการฝึก ดังนั้นจึงจัดได้ว่าเป็นรูปแบบการเรียนรู้ระดับกลางระหว่าง การเรียนรู้แบบมีผู้สอน กับ การเรียนรู้แบบไม่มีผู้สอน
เทคนิคการเรียนรู้แบบสอนตัวเองโดยทั่วไปมีพื้นฐานมาจากโครงข่ายประสาทเทียม รวมถึงแบบจำลองอื่น ๆ แบบจำลองนี้แบ่งการฝึกเป็น 2 ขั้นตอน โดยในขั้นแรก จะทำการฝึกโดยฉลากกำกับเทียม ซึ่งมีส่วนช่วยในการกำหนดค่าเริ่มต้นพารามิเตอร์ของแบบจำลอง ถัดมาจึงนำมาดำเนินการในงานจริงโดยใช้การเรียนรู้แบบมีผู้สอนหรือแบบไม่มีผู้สอน
วิธีการเรียนรู้แบบสอนตัวเองได้แสดงให้เห็นผลลัพธ์ที่น่าพอใจในช่วงไม่กี่ปีที่ผ่านมา และได้นำไปใช้จริงในการประมวลผลคำพูด และใช้ในการรู้จำคำพูด เช่น ในเฟซบุ๊ก สิ่งที่น่าสนใจหลักของวิธีการนี้ไม่ใช่แค่ว่าช่วยปรับปรุงผลลัพธ์สุดท้าย แต่ยังทำให้สามารถฝึกโดยข้อมูลคุณภาพต่ำได้ การเรียนรู้แบบสอนตัวเองช่วยให้สามารถเลียนแบบวิธีการที่มนุษย์เรียนรู้ที่จะจัดหมวดหมู่ได้อย่างใกล้เคียงมากขึ้น
ภาพรวม.
อียาน เลอเกิงผู้พัฒนาโครงข่ายประสาทแบบสังวัตนาการเชื่อว่า วิธีการนี้จะสามารถเข้าถึงความฉลาดของมนุษย์ได้จริง
มนุษย์มีการเรียนรู้เกี่ยวกับโลกนี้ตั้งแต่ยังเป็นเด็กทารก ซึ่งความรู้ที่จากการลองผิดลองถูก และการสังเกตนั้นมีมากมาย และมนุษย์ก็ได้นำเอาความรู้เหล่านั้นมาเสริมกับความรู้เดิมเรื่อย ๆ จนกลายเป็นความรู้ที่สามารถทำให้เป็นทั่วไปได้ และองค์ความรู้ตรงนี้ ก็ทำให้มนุษย์ต้องการตัวอย่างในการเรียนรู้สิ่งใหม่ ๆ น้อยลงมาก
สิ่งที่เราต้องการได้จากวิธีการเรียนรู้แบบสอนตัวเองคือการสร้างแบบจำลองรากฐานที่ทำการสกัดเอาค่าแทนลักษณะที่ดี เพื่อนำไปฝึกต่อในงานอื่น ๆ เช่นนำไปทำการจำแนกเชิงสถิติ, การตรวจจับวัตถุ, การแบ่งส่วนภาพ และอื่น ๆ ซึ่งมักเรียกกันว่าเป็น "ภารกิจปลายน้ำ" (downstream task)
โดยปกติแล้ว เพื่อป้องกันความโน้มเอียงที่เกิดขึ้นในแบบจำลองหรือการเรียนรู้เกิน ชุดข้อมูลจะถูกจัดระเบียบให้ดีก่อนนำไปฝึก เช่น พยายามเฉลี่ยให้มีรูปในแต่ละประเภทเท่ากัน เป็นต้น แต่วิธีการเรียนรู้แบบสอนตัวเองได้ถูกพัฒนามาให้ใช้กับชุดข้อมูลดิบ ๆ ที่ไม่ผ่านการจัดการใด ๆ เลยได้ ซึ่งในจุดนี้สามารช่วยช่วยลดต้นทุนไปได้มาก
เนื่องจากใช้ชุดข้อมูลที่ค่อนข้างดิบ จึงต้องการข้อมูลจำนวนมาก และแบบจำลองของที่ใช้การเรียนรู้ด้วยวิธีนี้ส่วนมากก็มีขนาดใหญ่มาก เพื่อที่จะสามารถฝึกให้เข้ากับชุดข้อมูลขนาดมหาศาลนั้นได้
การนำมาประยุกต์ใช้.
การประมวลภาษาธรรมชาติ.
ได้ประสบความสำเร็จอย่างมากในสายการประมวลภาษาธรรมชาติ เช่นแบบจำลอง BERT และอื่น ๆ มาก่อน แบบจำลองจะได้รับชุดข้อมูลที่ไม่มีฉลากกำกับ โดยในขณะทำการฝึก บางคำในประโยคจะถูกปิดแบบสุ่ม และแบบจำลองจะต้องเรียนรู้ที่จะทำนายคำที่ถูกปิดไป คล้ายกับการทำข้อสอบเติมคำ โดยเราสามารถจำกัดคำที่เป็นไปได้โดยดูบริบทของคำที่อยู่รอบ ๆ
ด้วยวิธีการนี้ แบบจำลองจึงสามารถเรียนรู้ได้ว่าชุดของคำใดเหมาะที่จะเติมในช่องว่าง จากความหมายของคำ และจากไวยากรณ์ของภาษาที่ปรากฎเป็นรูปแบบในบทความ
GPT ของ OpenAI เป็นแบบจำลองภาษาที่สามารถใช้สำหรับการประมวลผลภาษา สามารถใช้แปลข้อความ ตอบคำถาม ฯลฯ ได้
ในงานด้านอื่น ๆ.
การนำเอาเทคนิคนี้มาใช้ในงานด้านคอมพิวเตอร์วิทัศน์ เช่นการทำนายส่วนที่ถูกปิดไปในบางส่วนของรูปภาพ หรือบางเฟรมของวิดีโอ เป็นเรื่องที่ยากกว่ามาก เพราะชุดของค่าพิกเซลที่เป็นไปได้ในพื้นที่ส่วนหนึ่งของภาพ หรือเนื้อหาในเฟรมที่เป็นไปของวิดีโอนั้นมีอยู่ไม่จำกัด จึงยังเป็นสาขาที่ต้องมีการค้นคว้าต่อไป
อย่างไรก็ตาม การเรียนรู้แบบสอนตัวเองก็ถูกนำมาใช้ในการสร้างแบบจำลองฝึกล่วงหน้าที่สามารถนำไปทำการเรียนรู้แบบถ่ายโอนที่ลดการใช้ชุดข้อมูลในการฝึกได้อย่างมาก ซึ่งก็จะสามารถลดต้นทุนในการเก็บและสร้างชุดข้อมูลในส่วนการสร้างฉลากกำกับ ซึ่งต้องใช้แรงงานมนุษย์อย่างมากได้ด้วย เนื่องจากวิธีนี้ไม่ต้องการข้อมูลติดฉลากกำกับ จึงได้มีการพัฒนาเอาไปใช้กับชุดข้อมูลที่ไม่ได้มีการจัดการให้เรียบร้อยได้อีกด้วย