pythainlp/thai_wikipedia_clean_20230101 huggingface dataset:
หลังจากที่เริ่มมีความเป็นไปได้ที่จะสร้างเครื่องคอมพิวเตอร์ดิจิทัลขึ้นในราวคริสต์ทศวรรษ 1950 นักวิจัยทางปัญญาประดิษฐ์หลายคนก็เริ่มศึกษาดูความเป็นไปได้ที่จะลดรูปความฉลาดของมนุษย์ให้อยู่ในรูปสัญลักษณ์และการจัดการกับสัญลักษณ์ต่าง ๆ ศูนย์กลางของการวิจัยสาขานี้อยู่ที่มหาวิทยาลัยคาร์เนกีเมลลอน มหาวิทยาลัยสแตนฟอร์ด และสถาบันเทคโนโลยีแมสซาชูเซตส์ แต่ละมหาวิทยาลัยได้สร้างแนวทางการวิจัยเป็นของตัวเอง จอห์น ฮากแลนด์ตั้งชื่อหลักการเหล่านี้ว่า GOFAI (Good Old-Fashioned Artificial Intelligence) หรือปัญญาประดิษฐ์ในรูปแบบเก่า ต่อมาในช่วงคริสต์ทศวรรษ 1960 งานวิจัยโดยการแทนสัญลักษณ์นี้เริ่มประสบความสำเร็จในการจำลองความคิดชั้นสูงของมนุษย์ในบางโปรแกรม หลังจากที่วิธีการที่ใช้ไซเบอร์เนติกส์หรือโครงข่ายประสาทเทียมถูกล้มเลิกไป นักวิจัยในช่วงคริสต์ทศวรรษ 1960 และ 1970 หันมาใช้หลักการทางสัญลักษณ์เพราะเชื่อว่าวิธีการนี้จะประสบความสำเร็จในการสร้างปัญญาประดิษฐ์ทั่วไปที่เชื่อว่าเป็นเป้าหมายของงานวิจัยสาขานี้
นักเศรษฐศาสตร์อย่างเฮอร์เบิร์ต ไซมอนและอัลเลน นิวเวลล์ได้ศึกษาทักษะการแก้ปัญหาของมนุษย์และพยายามทำให้มีระเบียบแบบแผน งานวิจัยของทั้งสองคนได้กลายมาเป็นจุดเริ่มต้นของสาขาของปัญญาประดิษฐ์ที่เรียกว่า วิทยาศาสตร์พุทธิปัญญา การวิจัยดำเนินการ และวิทยาการจัดการในเวลาต่อมา งานวิจัยสายนี้ใช้ผลจากการทดลองทางจิตวิทยาในการพัฒนาโปรแกรมที่สามารถจำลองเทคนิคที่คนใช้เพื่อแก้ปัญหาได้ วิธีการเหล่านี้มีจุดเริ่มต้นที่มหาวิทยาลัยคาร์เนกีเมลลอน
จอห์น แม็กคาร์ธีย์ ใช้วิธีการที่แตกต่างไปจากวิธีของนิวเวลล์และไซมอน โดยรู้สึกว่าเครื่องจักรไม่จำเป็นต้องจำลองการคิดของมนุษย์ แต่ควรจะพยายามหาแก่นของการให้เหตุผลเชิงนามธรรมและการแก้ปัญหา ไม่ต้องสนใจว่าแต่ละคนจะใช้อัลกอรึทึมเดียวกันหรือไม่ ห้องปฏิบัติการวิจัยของเขาที่มหาวิทยาลัยสแตนฟอร์ดเน้นเรื่องของการใช้ตรรกะบัญญัติ (formal logic) ในการแก้ปัญหาต่าง ๆ ไม่ว่าจะเป็นการแทนความรู้ การวางแผน และการเรียนรู้ นอกจากนี้ มหาวิทยาลัยเอดินบะระและอีกหลายแห่งในยุโรปก็หันมาให้ความสนใจด้านการพัฒนาโปรแกรมเชิงตรรกะเช่นกัน ไม่ว่าจะเป็นภาษาโปรล็อกหรือการเขียนโปรแกรมเชิงตรรกะ
ในขณะเดียวกัน นักวิจัยที่สถาบันเทคโนโลยีแมสซาชูเซตส์ (เช่น มาร์วิน มินสกี และเซย์มัวร์ เพเพิร์ต) พบว่า การแก้ไขปัญหาบางอย่าง เช่น คอมพิวเตอร์วิทัศน์และการประมวลผลภาษาธรรมชาติจำเป็นต้องมีวิธีการที่ไม่จำเป็นต้องเตรียมล่วงหน้า นักวิจัยได้อ้างว่า ไม่มีหลักการที่ง่ายหรือหลักการทั่วไป (อย่างเช่นตรรกะ) ที่จะจับต้องพฤติกรรมความฉลาดของสิ่งมีชีวิตได้ โรเจอร์ แชงก์ ได้ตั้งชื่อว่า หลักการแอนตีลอจิก หรือหลักการ"ไม่เรียบร้อย" (เพื่อให้ตรงข้ามกับความมีระเบียบเรียบร้อยที่คาร์เนกีเมลลอนและสแตนฟอร์ด) ตัวอย่างของงานวิจัยสายนี้เช่น ฐานความรู้เกี่ยวกับสามัญสำนึก อันเป็นแนวคิดที่ค่อนข้างซับซ้อนในวงการปัญญาประดิษฐ์สมัยนั้น
เมื่อคอมพิวเตอร์เริ่มมีความจำที่ใหญ่ขึ้นตั้งแต่ออกสู่ตลาดเมื่อราวปี ค.ศ. 1970 นักวิจัยจากมหาวิทยาลัยเริ่มต้น 3 แห่งเริ่มหันมาสร้างความรู้สำหรับปัญญาประดิษฐ์ แนวคิดที่เปลี่ยนวงการนี้นำไปสู่การพัฒนาและการใช้ระบบผู้เชี่ยวชาญ และเป็นรูปแบบของซอฟต์แวร์ปัญญาประดิษฐ์แบบแรกที่ประสบความสำเร็จอย่างแท้จริง การปฏิวัติวงการดังกล่าวนี้ได้รับแรงขับเคลื่อนมาจากแนวคิดที่ว่า การนำปัญญาประดิษฐ์ไปประยุกต์ใช้นั้นจำเป็นจะต้องมีความรู้ในปริมาณมหาศาล
สัญลักษณ์ย่อย (sub-symbolic).
หลังจากวิธีการเชิงสัญลักษณ์ทางด้านปัญญาประดิษฐ์เริ่มหยุดชะงักในคริสต์ทศวรรษ 1980 นักวิจัยหลายคนก็เชื่อว่าระบบเชิงสัญลักษณ์ไม่น่าจะสามารถเลียนแบบกระบวนการที่เกี่ยวข้องกับสติปัญญาของมนุษย์ได้ โดยเฉพาะการรับรู้ วิทยาการหุ่นยนต์ การเรียนรู้ และการรู้จำแบบ นักวิจัยหลายคนได้เสนอหลักการของ"สัญลักษณ์ย่อย"กับปัญหาทางปัญญาประดิษฐ์บางปัญหา
นักวิจัยจากสาขาที่เกี่ยวข้องกับวิทยาการหุ่นยนต์ อาทิ รอดนีย์ บรูกส์ ปฏิเสธที่จะใช้ปัญญาประดิษฐ์เชิงสัญลักษณ์และหันมาใช้วิธีการทางวิศวกรรมที่จะทำให้หุ่นยนต์เคลื่อนไหวและอยู่รอดได้ งานวิจัยรูปแบบใหม่ในมุมมองแบบไม่อิงสัญลักษณ์นี้ทำให้งานวิจัยเชิงไซเบอร์เนติกส์ในยุค 1950 กลับมาอีกครั้ง และก่อให้เกิดการใช้ทฤษฎีควบคุมในสาขาปัญญาประดิษฐ์ขึ้น นอกจากนี้ ยังมีงานวิจัยพัฒนา"จิตใจฝังตัว"ในสาขาของ cognitive science ที่อ้างอิงแนวคิดที่ว่า ความฉลาดชั้นสูงนั้นล้วนเป็นส่วนประกอบมาจากร่างกายส่วนล่าง (เช่น การเคลื่อนไหว การรับรู้ และการมองเห็นภาพ) ทั้งนั้น
กลางคริสต์ทศวรรษ 1980 เดวิด รูเมลฮาร์ต และนักวิจัยกลุ่มอื่นชุบชีวิตของสาขาโครงข่ายประสาทเทียมและศาสตร์การเชื่อมต่อขึ้นมาอีกครั้ง โครงข่ายประสาทเทียมถือเป็นตัวอย่างหนึ่งของการคำนวณแบบอ่อน อันเป็นวิธีการแก้ไขปัญหาที่แก้ไม่ได้ด้วยการใช้ความแน่นอนทางตรรกะ แต่สามารถแก้ได้โดยใช้การประมาณคำตอบที่แม่นยำเพียงพอ หลักการอื่น ๆ ของการคำนวณแบบอ่อน ได้แก่ ระบบคลุมเคลือ (fuzzy system) การคำนวณเชิงวิวัฒนาการ (evolutionary computation) และวิธีการอื่น ๆ ทางสถิติ
วิธีการทางสถิติ.
ในคริสต์ทศวรรษ 1990 นักวิทยาศาสตร์ด้านปัญญาประดิษฐ์ได้พัฒนาเครื่องมือทางคณิตศาสตร์ที่มีประสิทธิภาพในการแก้ไขปัญหาย่อยบางอย่างได้ เครื่องมือเหล่านี้มีความเป็นวิทยาศาสตร์มากในแง่ที่ว่า ผลสามารถวัดและประเมินได้อย่างชัดเจน จนเป็นหัวใจสำคัญของปัญญาประดิษฐ์ในยุคหลังนี้ เนื่องจากวิธีการนี้ตั้งอยู่บนพื้นฐานของคณิตศาสตร์ จึงนำไปปรับใช้หรือพัฒนาร่วมกับหลักการในสาขาอื่น ๆ ได้ง่าย เช่น คณิตศาสตร์ เศรษฐศาสตร์ หรือการวิจัยดำเนินการ นักวิทยาศาสตร์ชื่อสจวร์ต รัสเซลล์และปีเตอร์ นอร์วิกอธิบายวิธีการนี้ไว้ว่าเป็น "การปฏิวัติ" และ "ความสำเร็จของความเป็นระเบียบ" อย่างไรก็ตาม ก็มีหลายคนที่ไม่เห็นด้วยกับเทคนิคเหล่านี้โดยชี้ว่า เทคนิคเหล่านี้มีความเฉพาะเจาะจงกับบางปัญหามากเกินไป และไม่สามารถบรรลุเป้าหมายระยะยาวในการสร้างความฉลาดทั่วไปได้ ปัจจุบันยังมีการถกเถียงกันอยู่เรื่องความเกี่ยวข้องและความถูกต้องของการใช้หลักการทางสถิติกับปัญญาประดิษฐ์ เช่น การถกเถียงกันระหว่างปีเตอร์ นอร์วิกกับโนม ชัมสกี
วิธีผสมผสาน.
เอเยนต์ทรงปัญญา คือ ระบบที่สามารถรับรู้สิ่งแวดล้อมรอบข้างได้และเลือกปฏิบติตามวิธีที่มีโอกาสประสบความสำเร็จมากที่สุด เอเยนต์ทรงปัญญาในรูปแบบที่ง่ายที่สุดคือโปรแกรมที่สามารถแก้ไขปัญหาบางอย่างได้ ส่วนเอเยนต์ที่ซับซ้อนกว่านั้นก็ได้แก่มนุษย์และการรวมกลุ่มของมนุษย์ มุมมองนี้ทำให้นักวิจัยสามารถศึกษาปัญหาแบบแยกเฉพาะส่วนและหาคำตอบที่มีประโยชน์และถูกต้องได้โดยไม่ต้องมีเป้าหมายรวมกันเพียงเป้าหมายเดียว เอเยนต์จะต้องแก้ปัญหาเฉพาะอย่างปัญหาหนึ่งได้โดยการใช้วิธีการที่ได้ผล เอเยนต์บางเอเยนต์อาจจะใช้วิธีการทางสัญลักษณ์ หรือบางตัวอาจจะใช้วิธีการทางตรรกะ โครงข่ายประสาทเทียม หรือวิธีการอื่น ๆ แนวความคิดนี้ทำให้นักวิจัยสามารถสื่อสารกับสาขาอื่นได้ ไม่ว่าจะเป็นด้านเศรษฐศาสตร์หรือด้านทฤษฎีการตัดสินใจที่ใช้แนวคิดของเอเยนต์นามธรรมเช่นกัน แนวคิดเรื่องเอเยนต์ทรงปัญญานี้ได้รับการยอมรับเป็นวงกว้างนับตั้งแต่คริสต์ทศวรรษ 1990
นักวิจัยได้ออกแบบระบบเพื่อสร้างระบบฉลาดที่สามาาถติดต่อกับเอเยนต์ได้ผ่านทางระบบเอเยนต์หลายตัว ระบบดังกล่าวมีทั้งส่วนที่เป็นสัญลักษณ์และสัญลักษณ์ย่อย หรือเป็นระบบผสมผสาน (ไฮบริด) และการศึกษาระบบดังกล่าวนี้เรียกว่า การบูรณาการระบบปัญญาประดิษฐ์
หลังจากปัญญาประดิษฐ์ได้มีการพัฒนาอย่างต่อเนื่องมากประมาณ 50 ปี ได้มีการพัฒนาเครื่องมือเพื่อใช้ในการแก้ไขปัญหาที่ยากในทางวิทยาการคอมพิวเตอร์ ตัวอย่างของวิธีการได้แก่
การค้นหาและการหาค่าที่เหมาะที่สุด (search and optimization).
ปัญหาทางปัญญาประดิษฐ์หลาย ๆ ปัญหาถูกแก้ในรูปแบบของทฤษฎีที่ว่าด้วยการค้นหาคำตอบจากคำตอบที่เป็นไปได้หลาย ๆ คำตอบ การให้เหตุผลสามารถเปลี่ยนรูปไปเป็นรูปแบบของการค้นหาได้ ตัวอย่างเช่น การพิสูจน์ทางตรรกะสามารถมองได้ว่าเป็นการค้นหาเส้นทางจากหลักฐานไปสู่ข้อสรุปได้ โดยผ่านขั้นตอนที่เรียกว่า การอนุมาน อัลกอริทึมทางวิทยาการหุ่นยนต์สำหรับการขยับข้อต่อและหยิบจับวัตถุก็ใช้วิธีการค้นหาสิ่งที่อยู่ภายในพื้นที่นั้น ๆ อัลกอริทึมทางด้านการเรียนรู้ของเครื่องหลาย ๆ อันก็ใช้วิธีการค้นหาบนคำตอบที่ดีที่สุด
อย่างไรก็ตาม การค้นหาแบบธรรมดานั้นไม่ค่อยจะเพียงพอสำหรับปัญหาในโลกจริง เพราะส่วนที่จะต้องค้นหานั้นมีขนาดใหญ่มหาศาล ทำให้การค้นหาเป็นไปได้ช้าหรือไม่สามารถทำให้เสร็จได้เลย หนึ่งในวิธีการแก้ปัญหาคือการใช้ค่าฮิวริสติกเพื่อตัดตัวเลือกที่ไม่น่าจะพาไปสู่เป้าหมายได้ (เรียกว่าวิธีการตัดกิ่งในต้นไม้ค้นหา) ค่าฮิวริสติกนี้ทำให้โปรแกรมสามารถเดาได้คร่าว ๆ ว่าเส้นทางไหนที่น่าจะพาไปสู่คำตอบ และช่วยทำให้ขนาดของตัวอย่างที่จะต้องค้นหาเล็กลงด้วย
การค้นหาเริ่มมีบทบาทเด่นชัดในคริสต์ทศวรรษ 1990 โดยใช้ทฤษฎีการหาค่าที่เหมาะสมที่สุดทางคณิตศาสตร์ ปัญหาหลาย ๆ อย่างก็สามารถเริ่มต้นการค้นหาได้ด้วยการเดาบางอย่าง จากนั้นก็ปรับวิธีการเดาไปเรื่อย ๆ จนกระทั่งไม่จำเป็นต้องปรับอีกแล้ว อัลกอริทึมเหล่านี้สามารถเรียกให้เห็นภาพได้ง่าย ๆ ว่าเป็นการปีนเขา โดยเริ่มจากการค้นหาที่จุดสุ่มในที่ราบ จากนั้นก็ค่อย ๆ กระโดดและไต่เขาขึ้นไปเรื่อย ๆ โดยใช้หลักการเดาว่าจุดไหนที่น่าจะทำให้เราปีนเขาขึ้นไป จนกระทั่งในที่สุดเราไปอยู่บนยอดสุดของภูเขา
การคำนวณเชิงวิวัฒนาการก็ใช้หลักการของการหาค้นหาค่าที่เหมาะที่สุดเช่นกัน ตัวอย่างเช่น เราอาจจะเริ่มต้นจากกลุ่มของสิ่งมีชีวิตกลุ่มหนึ่ง (สุ่มมา) จากนั้นก็ทำการวิวัฒนาการและผสมผสาน เลือกเอากลุ่มตัวอย่างที่ดีที่สุดเพื่ออยู่รอดต่อไปในรุ่น (การปรับการค้นหา) การคำนวณเชิงวิวัฒนาการมีหลายวิธี ได้แก่ ความฉลาดแบบกลุ่ม (swarm intelligence) หรือ ขั้นตอนวิธีเชิงวิวัฒนาการ (evolutionary algorithm) เช่น ขั้นตอนวิธีเชิงพันธุกรรม
ตรรกะ (logic).
ในการแทนความรู้และการแก้ปัญหานั้นมีการใช้ตรรกะอย่างมาก แต่ตรรกะก็สามารถประยุกต์ใช้ได้กับปัญญาอื่นได้เช่นกัน เช่น อัลกอริทึม Satplan ก็ใช้ตรรกะในการวางแผน และการเรียนรู้ของเครื่องบางวิธีก็ใช้การโปรแกรมตรรกะเชิงอุปนัย
วิธีทางความน่าจะเป็นและการให้เหตุผลบนความไม่แน่นอน (probabilistic methods for uncertain reasoning).
ปัญหาหลายอย่างทางปัญญาประดิษฐ์ (ในการให้เหตุผล วางแผน เรียนรู้ รับรู้ และหุ่นยนต์) ต้องมีเอเยนต์ที่คอยจัดการกับความไม่สมบูรณ์หรือความไม่แน่นอนของข้อมูล นักวิจัยด้านปัญญาประดิษฐ์ได้คิดค้นเครื่องมือหลายอย่างที่มีประสิทธิภาพเพื่อแก้ไขปัญหาเหล่านี้โดยใช้วิธีทางทฤษฎีความน่าจะเป็นและเศรษฐศาสตร์
เครือข่ายแบบเบย์ เป็นเครื่องมือทั่วไปเครื่องมือหนึ่งที่สามารถใช้แก้ปัญหาได้หลายปัญหา ไม่ว่าจะเป็น การให้เหตุผล (ใช้อัลกอริทึมการอนุมานแบบเบย์) การเรียนรู้ (ใช้อัลกอริทึมหาค่าคาดหวังที่มากที่สุด) การวางแผน (ใช้เครือข่ายการตัดสินใจ) และการรับรู้ (ใช้เครือข่ายแบบเบย์พลวัต) อัลกอริทึมทางความน่าจะเป็นก็สามารถใช้กับการกรอง การทำนาย การปรับให้ราบเรียบ และการหาคำอธิบายสายข้อมูล ช่วยระบบรับรู้ให้สามารถวิเคราะห์กระบวนการต่าง ๆ ที่เกิดขึ้นและเปลี่ยนแปลงตลอดเวลาได้ (เช่น แบบจำลองมาร์คอฟซ่อนเร้น หรือ ตัวกรองคาลมาน)
ในทางเศรษฐศาสตร์ แนวคิดหนึ่งที่ถือเป็นหัวใจหลักคือ ประโยชน์ สำหรับปัญญาประดิษฐ์ เราสามารถนำค่าของประโยชน์มาวัดได้ว่าของบางอย่างจะมีค่าต่อเอเยนต์ทรงปัญญาได้อย่างไร นักวิทยาศาสตร์ได้พัฒนาเครื่องมือคณิตศาสตร์ที่แม่นยำเพื่อวิเคราะห์ว่าเอเยนต์จะตัดสินใจและวางแผนได้อย่างไร โดยใช้วิธีของ Markov เครือข่ายการตัดสินใจแบบพลวัต ทฤษฎีเกม เป็นต้น
การจัดหมวดหมู่และการเรียนรู้ทางสถิติ (classifiers and statistical learning methods).
การประยุกต์ใช้ปัญญาประดิษฐ์ที่ง่ายที่สุด อาจอยู่ในรูปแบบของ การจัดหมวดหมู่ ซึ่งเป็นการทำงานที่ใช้การจับคู่รูปแบบที่พบเข้ากับสิ่งที่ใกล้เคียงที่สุด การจับคู่นั้นขึ้นอยู่กับตัวอย่างที่สอน จึงทำให้เป็นหัวข้อที่น่าสนใจมากในการประยุกต์ใช้ปัญญาประดิษฐ์ ตัวอย่างสอนเหล่านี้อาจจะมาจากการสังเกตการณ์หรือเป็นรูปแบบที่ชัดเจน ในการเรียนรู้แบบมีผู้สอนนั้น รูปแบบแต่ละอย่างจะถูกจัดกำหนดให้อยู่ในประเภทบางประเภทหรือกลุ่มบางกลุ่ม การสำรวจข้อมูลและการระบุข้อมูลให้เข้ากับกลุ่มนั้นเรียกกันว่า เซ็ตข้อมูล เมื่อมีการสำรวจข้อมูลใหม่เข้ามา ข้อมูลใหม่จะถูกจัดกลุ่มตามตัวอย่างที่เคยสอนมาแล้ว
การจัดหมวดหมู่หรือกลุ่มนี้สามารถสอนกันได้หลายแบบ ไม่ว่าจะใช้วิธีการทางสถิติหรือทางการเรียนรู้ของเครื่อง วิธีการที่นิยมใช้ได้แก่ โครงข่ายประสาทเทียม วิธีเคอร์เนล support vector machine ขั้นตอนวิธีการค้นหาเพื่อนบ้านใกล้สุด k ตัว โมเดลผสมแบบเกาส์ การจัดหมวดหมู่แบบเบย์ใหม่ และต้นไม้การตัดสินใจ ประสิทธิภาพของแต่ละเครื่องมือนั้นขึ้นอยู่กับงานที่ทำแต่ละงานและคุณสมบัติของข้อมูลที่เข้ามา โดยทั่วไปแล้ว ไม่มีเครื่องมือใดที่ทำหน้าที่ได้ดีที่สุดบนทุกปัญหา
โครงข่ายประสาทเทียม.
การศึกษาโครงข่ายประสาทเทียม เริ่มต้นขึ้นตั้งแต่ก่อนที่จะมีงานวิจัยทางด้านปัญญาประดิษฐ์จากผลงานของวอลเตอร์ พิตต์สและวอร์เรน แม็กคัลลอช นอกจากนี้ยังมีแฟรงก์ โรเซนแบลตต์ที่คิดค้นเพอร์เซปตรอน และพอล เวอร์โบส์ผู้คิดค้นอัลกอริทึมการแพร่กระจายย้อนกลับ
ประเภทของโครงข่ายนี้อาจะแบ่งเป็นแบบไม่เป็นวงวน และแบบเป็นวงวน โครงข่ายประสาทเทียมที่ได้รับความนิยมได้แก่เพอร์เซปตรอน โครงข่ายเพอร์เซปตรอนแบบหลายชั้น และโครงข่ายฟังก์ชันฐานรัศมี โครงข่ายประสาทเทียมสามารถปรับใช้งานได้กับการควบคุมที่ฉลาดเช่นกับหุ่นยนต์ หรือเพื่อการเรียนรู้ของเครื่องด้วยก็ได้เช่นกัน
นอกจากนี้ หากโครงข่ายประสาทเทียมมีความทรงจำเชิงเวลาแล้วก็สามารถจำสร้างแบบจำลองเชิงโครงสร้างและวิธีการของนีโอคอร์เทกซ์ของสมองได้ ซึ่งเป็นแนวคิดที่เป็นที่มาของสาขาการเรียนรู้เชิงลึกที่ได้รับความนิยมมากตั้งแต่กลางศตวรรษที่ 20 เป็นต้นมาจากผลงานของเจฟฟรีย์ ฮินตันและรูสลาน ซาลาคัตดินอฟ
ทฤษฎีควบคุม (control theory).
ทฤษฎีควบคุม เป็นลูกหลานของไซเบอร์เนติกส์ สามารถนำไปประยุกต์ใช้งานได้หลากหลาย โดยเฉพาะในทางวิทยาการหุ่นยนต์
ภาษา (languages).
นักวิจัยทางปัญญาประดิษฐ์ได้พัฒนาภาษาพิเศษสำหรับงานวิจัย เช่น ภาษาลิสป์ และภาษาโปรล็อก
การเรียนรู้ของเครื่อง ( - ML) เป็นการศึกษาอัลกอริทึมของคอมพิวเตอร์ที่มีการพัฒนา การเรียนรู้ของเครื่องถูกมองว่าเป็นส่วนหนึ่งของปัญญาประดิษฐ์ โดยอัลกอริทึมสร้างแบบจำลองทางคณิตศาสตร์จากข้อมูลตัวอย่าง (เรียกว่า ข้อมูลสอน) เพื่อที่จะคาดการณ์หรือตัดสินใจได้อย่างชัดเจน
การเรียนรู้ของเครื่องพัฒนามาจากการศึกษาการรู้จำแบบ เกี่ยวข้องกับการศึกษาและการสร้างอัลกอริทึมที่สามารถเรียนรู้ข้อมูลและทำนายข้อมูลได้ อัลกอริทึมนั้นจะทำงานโดยอาศัยโมเดลที่สร้างมาจากชุดข้อมูลตัวอย่างขาเข้าเพื่อการทำนายหรือตัดสินใจในภายหลัง แทนที่จะทำงานตามลำดับของคำสั่งโปรแกรมคอมพิวเตอร์ การเรียนรู้ของเครื่องมีเกี่ยวข้องอย่างมากกับสถิติศาสตร์ เนื่องจากทั้งสองสาขาศึกษาการวิเคราะห์ข้อมูลเพื่อการทำนายเช่นกัน นอกจากนี้ยังมีความสัมพันธ์กับสาขาการหาค่าเหมาะที่สุดในทางคณิตศาสตร์ที่แงของวิธีการ ทฤษฎี และการประยุกต์ใช้ การเรียนรู้ของเครื่องสามารถนำไปประยุกต์ใช้งานได้หลากหมาย ไม่ว่าจะเป็นการกรองอีเมล์ขยะ การรู้จำตัวอักษร เครื่องมือค้นหา และคอมพิวเตอร์วิทัศน์
อาเธอร์ ซามูเอล นักวิทยาศาสตร์คอมพิวเตอร์ชาวอเมริกันได้ให้นิยามของการเรียนรู้ของเครื่องจักรไว้ในปี ค.ศ. 1959 ว่า "เป็นสาขาที่ให้คอมพิวเตอร์มีความสามารถในการเรียนรู้โดยไม่ต้องโปรแกรมให้ชัดเจน"
ทอม เอ็ม. มิตเชลล์ ได้ขยายนิยามอย่างเป็นทางการกว้าง ๆ ไว้ว่า "เราจะเรียกคอมพิวเตอร์โปรแกรมว่าได้เรียนรู้จากประสบการณ์ E เพื่อทำงาน T ได้โดยมีประสิทธิผล P เมื่อโปรแกรมนั้นสามารถทำงาน T ที่วัดผลด้วย P แล้วพัฒนาขึ้นจากประสบการณ์ E" คำนิยามนี้เป็นข้อจำกัดความที่มีชื่อเสียงเพราะเป็นการนิยามการเรียนรู้ของเครื่องจักรในแง่ของการดำเนินการมากกว่าในแง่ของความรู้สึกนึกคิด เปรียบเทียบคือ เป็นการเปลี่ยนคำถามของแอลัน ทัวริงที่เคยถามว่า "เครื่องจักรคิดได้หรือไม่" เป็นคำถามที่ว่า "เครื่องจักรจะทำงานที่พวกเราทำได้หรือไม่"
ประวัติและความสัมพันธ์กับสาขาอื่น.
ศาสตร์ด้านการเรียนรู้ของเครื่องเติบโตไปพร้อม ๆ กับปัญญาประดิษฐ์ ในความจริงนั้น การเรียนรู้ของเครื่องมีมาตั้งแต่ยุคแรก ๆ ของปัญญาประดิษฐ์ นักวิทยาศาสตร์หลายคนสนใจการสร้างเครื่องจักรที่สามารถเรียนรู้จากข้อมูลได้ จึงเริ่มทดลองวิธีการหลาย ๆ อย่าง ที่เด่นชัดสุดคือ โครงข่ายประสาทเทียม และในเวลาต่อมา ได้มีการคิดค้นโมเดลเชิงเส้นทั่วไปจากหลักการทางสถิติศาสตร์ ไปจนถึงการพัฒนาวิธีการให้เหตุผลตามหลักความน่าจะเป็น โดยเฉพาะในการประยุกต์ด้านการวินิจฉัยโรคอัตโนมัติ
อย่างไรก็ตาม นักวิจัยในสายปัญญาประดิษฐ์ยุคต่อมาเริ่มหันมาให้ความสำคัญกับตรรกศาสตร์และใช้วิธีการทางการแทนความรู้มากขึ้น จนทำให้ปัญญาประดิษฐ์เริ่มแยกตัวออกจากกับศาสตร์การเรียนรู้ของเครื่อง หลังจากนั้นเริ่มมีการใช้หลักการความน่าจะเป็นมากขึ้นในการดึงและการแทนข้อมูล ต่อมาในปี 1980 ระบบผู้เชี่ยวชาญเริ่มโดดเด่นในสายของปัญญาประดิษฐ์จนหมดยุคของการใช้หลักสถิติ มีงานวิจัยด้านการเรียนรู้เชิงสัญลักษณ์และบนพื้นฐานของฐานความรู้ออกมาเรื่อย ๆ จนกลายศาสตร์ด้านการโปรแกรมตรรกะเชิงอุปนัยได้ถือกำเนิดขึ้นมา แต่งานด้านสถิติก็ยังถือว่ามีบทบาทมากนอกสาขาของปัญญาประดิษฐ์ เช่น การรู้จำแบบและการค้นคืนสารสนเทศ นักวิจัยสายปัญญาประดิษฐ์และนักวิทยาศาสตร์คอมพิวเตอร์ได้ทิ้งงานวิจัยด้านโครงข่ายประสาทเทียมไปในเวลาเดียวกัน แต่ก็ยังมีนักคณิตศาสตร์บางคน เช่น จอห์น ฮอปฟิลด์ เดวิด โรเมลฮาร์ต และเจฟฟรีย์ ฮินตันที่ยังพัฒนาโครงข่ายประสาทเทียมต่อไป จนกระทั่งได้ค้นพบหลักการการแพร่ย้อนกลับของโครงข่ายประสาทเทียม ที่ประสบความสำเร็จมากมายในเวลาต่อมา
ความสัมพันธ์กับการทำเหมืองข้อมูล.
ส่วนการเรียนรู้ของเครื่องกับการทำเหมืองข้อมูลมักจะใช้วิธีการเหมือน ๆ กันและมีส่วนคาบเกี่ยวกันอย่างเห็นได้ชัด สิ่งที่แตกต่างระหว่างสองศาสตร์นี้คือ
สองศาสตร์นี้มีส่วนคาบเกี่ยวกันไม่น้อย คือ การทำเหมืองข้อมูลใช้วิธีการทางการเรียนรู้ของเครื่อง แต่มักจะมีเป้าหมายในใจที่แตกต่างออกไปเล็กน้อย ส่วนการเรียนรู้ของเครื่องก็ใช้วิธีการของการทำเหมืองข้อมูลบางอย่าง เช่น การเรียนรู้แบบไม่มีผู้สอน หรือขั้นตอนการเตรียมข้อมูลเพื่อปรับปรุงความถูกต้องของการเรียนรู้ บ่อยครั้งที่นักวิทยาศาสตร์ผสมสองสาขานี้เข้าด้วยกันด้วยเหตุผลที่ว่า ประสิทธิภาพของการเรียนรู้ของเครื่องมักจะดีขึ้นหากมีความสามารถในการรู้ความรู้บางอย่าง ในขณะที่การค้นหาความรู้และการทำเหมืองข้อมูลนั้น กุญแจสำคัญคือการค้นหาความรู้ที่ไม่รู้มาก่อน หากมีการวัดประสิทธิภาพจากสิ่งที่ไม่รู้มาก่อน วิธีการเรียนรู้แบบมีผู้สอนของการเรียนรู้ของเครื่อง ก็มักจะให้ผลได้ดีกว่าการใช้วิธีการเรียนรู้แบบไม่มีผู้สอนอย่างเดียว นั่นคือ
ความสัมพันธ์กับการหาค่าเหมาะที่สุด.
การเรียนรู้ของเครื่องยังมีความคล้ายคลึงกับการหาค่าเหมาะที่สุด (optimization) นั่นคือ การเรียนรู้หลายอย่างมักจะถูกจัดให้อยู่ในรูปแบบของการหาค่าที่น้อยที่สุดของ"ฟังก์ชันการสูญเสีย"บางอย่างจากข้อมูลชุดสอน ฟังก์ชันการสูญเสียหมายถึงความแตกต่างระหว่างสิ่งที่พยากรณ์ไว้กับสิ่งที่เป็นจริง
ความสัมพันธ์กับสถิติศาสตร์.
การเรียนรู้ของเครื่องมีความสัมพันธ์กับสถิติศาสตร์อย่างใกล้ชิด ไมเคิล ไอ. จอร์แดน นักวิทยาศาสตร์คอมพิวเตอร์ชาวอเมริกันชี้ว่าแนวคิดของการเรียนรู้ของเครื่องก็มาจากหลักการของทฤษฎีที่มีมาอย่างยาวนานของสถิติศาสตร์ ในขณะที่นักวิทยาศาสตร์บางคนมองว่า สถิติให้ความสำคัญกับข้อมูล ขณะที่การเรียนรู้ของเครื่องให้ความสำคัญกับอัลกอริทึมมากกว่า
นักสถิติศาสตร์บางคนก็ยังปรับเอาหลักการของการเรียนรู้ของเครื่องไปใช้ นำไปสู่กับผสมผสานกันระหว่างสองศาสตร์ กลายเป็นศาสตร์ที่ชื่อ การเรียนรู้ทางสถิติ
หัวใจสำคัญของการเรียนรู้ของเครื่องคือ การทำให้โมเดลมีความครอบคลุม "ทั่วไป" (general) มากขึ้นจากประสบกาณ์ที่ได้มา การทำให้ทั่วไปมากขึ้นนี้จะทำให้เครื่องสามารถพยากรณ์หรือทำงานกับตัวอย่างข้อมูลที่ไม่เคยเห็นมาก่อนได้อย่างแม่นยำมากขึ้น บางครั้ง ข้อมูลชุดสอนก็มาจากการสุ่มและผู้เรียนรู้จะต้องทำให้โมเดลมีความครอบคลุมทั่วไปมากขึ้นเพื่อจะได้ทำการพยากรณ์ข้อมูลใหม่ ๆ ได้อย่างถูกต้องเพียงพอ
การวิเคราะห์เชิงคำนวณของการเรียนรู้ของเครื่อง และการวัดประสิทธิภาพการเรียนรู้ เป็นอีกสาขาหนึ่งทางวิทยาศาสตร์คอมพิวเตอร์สายทฤษฎีที่รู้จักกันในชื่อ ทฤษฎีการเรียนรู้เชิงคำนวณ อย่างไรก็ตาม ทฤษฎีก็ไม่สามารถรับประกันประสิทธิภาพของอัลกอริทึมได้เพราะข้อมูลนั้นมีจำกัดและอนาคตมีความไม่แน่นอน แต่ทฤษฎีก็สามารถบอกขอบเขตบนความน่าจะเป็นได้ว่า ประสิทธิภาพน่าจะอยู่ในช่วงใด นอกจากนี้ นักวิทยาศาสตร์ด้านนี้ยังได้ศึกษาดูต้นทุนทางเวลาและความเป็นไปได้ของการเรียนรู้ของเครื่องด้วย โดยการคำนวณที่ถือว่าเป็นไปได้ในการเรียนรู้นั้นจะต้องสามารถเรียนรู้ได้ในเวลาโพลิโนเมียล
วิธีการเรียนรู้.
ประเภทของการเรียนรู้.
การเรียนรู้ของเครื่อง สามารถแบ่งโดยกว้าง ๆ ได้เป็นหลายประเภท ตามประเภทของ "ข้อมูลฝึก" หรือ "ข้อมูลขาเข้า" และประเภทของงาน ได้ดังนี้
การเรียนรู้แบบมีผู้สอน (supervised learning) -.
ข้อมูลตัวอย่างและผลลัพธ์ที่ "ผู้สอน" ต้องการถูกป้อนเข้าสู่คอมพิวเตอร์ เป้าหมายคือการสร้างกฎทั่วไปที่สามารถเชื่อมโยงข้อมูลขาเข้ากับขาออกได้
นอกจากนี้ยังมีการเรียนรู้ความคล้าย (similarity and metric learning) โดยเครื่องจะมีตัวอย่างของคู่ที่ถูกมองว่าคล้ายมากและคู่ที่ถูกมองว่าคล้ายน้อย เครื่องจะต้องหาฟังก์ชันความคล้ายออกมาที่สามารถทำนายได้ว่าวัตถุใหม่นั้นมีความคล้ายมากน้อยเพียงใด มักใช้ในระบบแนะนำ (recommendation system)
การเรียนรู้แบบไม่มีผู้สอน (unsupervised learning).
ไม่มีการทำฉลากใด ๆ และให้คอมพิวเตอร์หาโครงสร้างของข้อมูลขาเข้าเอง
วิธีการหลักที่นิยมใช้ได้แก่ การแบ่งกลุ่มข้อมูล อันเป็นการจัดกลุ่มของข้อมูลสำรวจให้ตกอยู่ในเซ็ตย่อย (เรียกว่า กลุ่ม หรือ cluster) โดยที่ข้อมูลที่อยู่ในกลุ่มเดียวกันจะมีความคล้ายคลึงกันตามเกณฑ์ที่ตั้งเอาไว้ ในข้อมูลที่อยู่คนละกลุ่มจะมีความแตกต่างกัน เทคนิคการแบ่งกลุ่มข้อมูลแต่ละเทคนิคก็มีสมมติฐานของโครงสร้างข้อมูลไม่เหมือนกัน โดยปกติแล้วมักจะมีการนิยาม "การวัดค่าความเหมือน" "การเกาะกลุ่มภายใน" และ "การแยกกันระหว่างกลุ่ม" ที่แตกต่างกัน การแบ่งกลุ่มข้อมูลจัดเป็นวิธีการเรียนรู้แบบไม่มีผู้สอน และเป็นวิธีที่ใช้กันทั่วไปในการวิเคราะห์ข้อมูลทางสถิติ
การเรียนรู้แบบเสริมกำลัง (reinforcement learning).
คอมพิวเตอร์มีปฏิสัมพันธ์กับสิ่งแวดล้อมที่เปลี่ยนไปตลอดเวลาโดยคอมพิวเตอร์จะต้องทำงานบางอย่าง (เช่น ขับรถ) โดยที่ไม่มี "ผู้สอน" คอยบอกอย่างจริงจังว่าวิธีการที่ทำอยู่นั้นเข้าใกล้เป้าหมายแล้วหรือไม่ ตัวอย่างเช่น การเรียนรู้เพื่อเล่นเกม การเรียนรู้แบบเสริมกำลัง พิจารณาว่า "เอเยนต์" ควรจะมี "การกระทำ" ใดใน "สิ่งแวดล้อม" เพื่อที่จะได้ "รางวัล" สูงสุด อัลกอริทึมของการเรียนรู้แบบเสริมกำลังนี้พยายามจะหา "นโยบาย" ที่เชื่อมโยง "สถานะ" ของโลกเข้ากับการกระทำที่เอเยนต์ควรจะทำในสถานะนั้น ๆ การเรียนรู้แบบเสริมกำลังนี้มีความแตกต่างไปจากการเรียนรู้แบบมีผู้สอนตรงที่ว่า คอมพิวเตอร์จะไม่รู้เลยว่าอะไรถูกอะไรผิด กล่าวคือ ไม่มีการบอกอย่างชัดเจนว่าการกระทำใดยังไม่ดี
การเรียนรู้แบบกึ่งมีผู้สอน (semi supervised Learning).
เป็นการเรียนรู้อีกแบบหนึ่งที่ระหว่างการเรียนรู้แบบมีผู้สอนกับการเรียนรู้แบบไม่มีผู้สอน โดยที่ "ผู้สอน" จะไม่สอนอย่างสมบูรณ์ นั่นคือ บางข้อมูลในเซ็ตการสอนนั้นขาดข้อมูลขาออก
ทรานดักชัน (transduction).
เป็นกรณีพิเศษของการเรียนรู้แบบกึ่งมีผู้สอนคือใช้ชุดตัวอย่างที่มีทั้งฉลากและไม่มีฉลากในการเรียนรู้ แต่จุดประสงค์ไม่ใช่การสร้างแบบจำลอง แต่เป็นการใส่ฉลากให้กับตัวอย่างที่ไม่มีฉลากที่ใช้ในการฝึกสอน เนื่องจากการเรียนรู้แบบ ทรานดักชันไม่มีแบบจำลอง ผลการเรียนรู้จึงไม่สามารถนำไปใช้กับข้อมูลชุดใหม่ได้โดยตรง
การเรียนวิธีการเรียน (learning to learn, meta-learning).
เป็นวิธีที่จะเรียนวิธีการเรียนรู้ของตนเอง โดยปรับปรุงอคติแบบอุปนัยที่เป็นข้อสมมติฐานที่อัลกอริทึมใช้ในการเรียนรู้จากประสบการณ์ที่ผ่านมา
การเรียนรู้ด้วยการแทน (representation learning).
การเรียนรู้บางอย่างโดยเฉพาะการเรียนรู้แบบไม่มีผู้สอนนั้นพยายามจะค้นหาการแทนข้อมูลขาเข้าที่ดีขึ้นเมื่อมีชุดข้อมูลฝึก ตัวอย่างของการเรียนรู้ด้วยการแทนนี้ได้แก่ การวิเคราะห์องค์ประกอบหลักและการแบ่งกลุ่มข้อมูล อัลกอริทึมการเรียนรู้ด้วยการแทนมักจะเปลี่ยนข้อมูลไปในรูปแบบที่มีประโยชน์แต่ยังคงรักษาสารสนเทศของข้อมูลเอาไว้ มักใช้ในกระบวนการเตรียมข้อมูลก่อนจะแบ่งประเภทข้อมูลหรือพยากรณ์ ตัวอย่างอื่นของการเรียนรู้ด้วยการแทนได้แก่ การเรียนรู้เชิงลึก
กฎความสัมพันธ์ (association rule learning).
เป็นวิธีการหาความสัมพันธ์ที่น่าสนใจจากตัวแปรในฐานข้อมูลขนาดใหญ่ นอกจากนี้ยังมีการโปรแกรมตรรกะเชิงอุปนัย เป็นวิธีการเรียนรู้จากกฎโดยใช้การโปรแกรมตรรกะ เมื่อมีข้อมูลเบื้องหลังและกลุ่มของตัวอย่างที่เป็นฐานข้อมูลตรรกะแล้ว โปรแกรมตรรกะเชิงอุปนัยจะหาโปรแกรมตรรกะที่ครอบคลุมตัวอย่างบวกแต่ไม่รอบคลุมตัวอย่างลบ
การเรียนรู้ของเครื่องเกี่ยวข้องกับการสร้างแบบโมเดล (model) ซึ่งเกิดจากการสอนด้วยข้อมูลสอนและสามารถพยากรณ์ข้อมูลที่เข้ามาใหม่ได้ โมเดลมีหลากหลายรูปแบบ ได้แก่
โครงข่ายประสาทเทียม (artificial neural networks).
โครงข่ายประสาทเทียม เป็นอัลกอริทึมที่ได้แรงบันดาลใจมาจากโครงสร้างและการทำงานของเซลล์ประสาทในสมอง การคำนวณของโครงข่ายประสาทเทียมถูกสร้างเป็นโครงสร้างของการเชื่อมต่อของประสาทเทียมแต่ละตัว ประมวลผลข้อมูลโดยหลักการการเชื่อมต่อ โครงข่ายประสาทเทียมสมัยใหม่เป็นเครื่องวิเคราะห์ทางสถิติที่ไม่เป็นเชิงเส้น มักใช้ในการจำลองความสัมพันธ์ที่ซับซ้อนระหว่างข้อมูลขาเข้าและขาออก เพื่อหารูปแบบจากข้อมูล หรือเพื่อหาโครงสร้างทางสถิติระหว่างตัวแปรที่สำรวจ
การเรียนรู้ต้นไม้ตัดสินใจ (decision tree learning).
การเรียนรู้ต้นไม้ตัดสินใจ ใช้ต้นไม้ตัดสินใจในการสร้างโมเดลที่พยากรณ์ได้ ซึ่งจะเชื่อมโยงข้อมูลสังเกตการณ์เข้ากับข้อมูลปลายทาง
ซัพพอร์ตเวกเตอร์แมชชีน (support vector machines).
ซัพพอร์ตเวกเตอร์แมชชีน เป็นหนึ่งในวิธีการเรียนรู้แบบมีผู้สอน ใช้เพื่อการการแบ่งประเภทข้อมูลและการวิเคราะห์การถอดถอย เมื่อมีข้อมูลฝึกมาให้และแต่ละข้อมูลถูกจัดอยู่ในประเภทใดประเภทหนึ่งจากสองประเภท ซัพพอร์ตเวกเตอร์แมชชีนจะสร้างแบบจำลองที่สามารถพยากรณ์ได้ว่าตัวอย่างใหม่นี้จะตกอยู่ในกลุ่มใด
เครือข่ายแบบเบย์ (Bayesian networks).
เครือข่ายแบบเบย์ เป็นโมเดลความน่าจะเป็นเชิงกราฟที่แทนกลุ่มของตัวแปรสุ่มและความเป็นอิสระแบบมีเงื่อนไขด้วยกราฟอวัฏจักรระบุทิศทาง ตัวอย่างเช่น เครือข่ายแบบเบย์สามารถใช้แทนความสัมพันธ์เชิงความน่าจะเป็นระหว่างอาการแสดงกับโรคได้ เมื่อมีอาการแสดง เครือข่ายจะคำนวณความน่าจะเป็นที่จะเป็นโรคแต่ละโรค มีหลายอัลกอริทึมที่สามารถอนุมานและเรียนรู้ได้อย่างมีประสิทธิภาพ
ขั้นตอนวิธีเชิงพันธุกรรม (genetic algorithms).
ขั้นตอนวิธีเชิงพันธุกรรม เป็นการค้นหาแบบฮิวริสติกที่เลียนแบบกระบวนการคัดเลือกตามธรรมชาติในช่วงวิวัฒนาการของสิ่งมีชีวิต โดยใช้เทคนิคการกลายพันธุ์ของยีนและการไขว้เปลี่ยนของโครโมโซมในการหาประชากรที่น่าจะอยู่รอดเพื่อพาไปสู่คำตอบของปัญหาได้ อัลกอริทึมนี้ได้รับความสนใจมากในสาขาการเรียนรู้ของเครื่องในช่วงทศวรรษ 1980 และ 1990 และเทคนิคทางการเรียนรู้ของเครื่องก็ช่วยปรับปรุงประสิทธิภาพของขั้นตอนวิธีเชิงพันธุกรรมและขั้นตอนวิธีเชิงวิวัฒนาการเช่นกัน
การเรียนรู้ของเครื่อง สามารถประยุกต์ใช้งานได้หลากหลาย เช่น
การเรียนรู้แบบมีผู้สอน
การเรียนรู้แบบมีผู้สอน เป็นรูปแบบการเรียนรูปแบบหนึ่งของการเรียนรู้ของเครื่องที่จับคู่ระหว่างข้อมูลนำเข้าและข้อมูลส่งออกตามพื้นฐานตัวอย่าง การทำงานอ้างอิงจากข้อมูลสอน (training data) ซึ่งประกอบด้วยชุดข้อมูลตัวอย่าง
การเรียนรู้แบบมีผู้สอนเป็นเทคนิคการเรียนรู้ของเครื่องซึ่งสร้างฟังก์ชันจากข้อมูลสอน (training data) ข้อมูลสอนประกอบด้วยวัตถุเข้า (มักจะเป็น เวกเตอร์) และผลที่ต้องการ ผลจากการเรียนรู้จะเป็นฟังก์ชันที่อาจจะให้ค่าต่อเนื่อง (จะเรียกวิธีการว่า การถดถอย -- regression) หรือ ใช้ทำนายประเภทของวัตถุ (เรียกว่า การแบ่งประเภท -- classification) ภารกิจของเครื่องเรียนรู้แบบมีผู้สอนคือการทำนายค่าของฟังก์ชันจากวัตถุเข้าที่ถูกต้องโดยใช้ตัวอย่างสอนจำนวนน้อย (training examples -- คู่ของข้อมูลเข้าและผลที่เป็นเป้าหมาย) โดยเครื่องเรียนรู้จะต้องวางนัยทั่วไป (generalize) จากข้อมูลที่มีอยู่ไปยังกรณีที่ไม่เคยพบอย่างมีเหตุผล (ดู inductive bias)
การแก้ปัญหาการเรียนรู้แบบมีผู้สอน (เช่น การเรียนรู้เพื่อรู้จำลายมือ) มีขั้นตอนต่าง ๆ ที่ต้องพิจารณา ได้แก่
จอมจักรวาล (ชุดหนังสือ)
ค.ศ.1980
การแบ่งประเภทข้อมูล