# กระบวนการมาร์คอฟ
กระบวนการมาร์คอฟ (Markov process) หมายถึงกระบวนการเฟ้นสุ่มที่มีสมบัติมาร์คอฟ นั่นคือเป็นกระบวนการเฟ้นสุ่มที่สถานะในอนาคตถูกกำหนดโดยค่าปัจจุบันเท่านั้นโดยไม่เกี่ยวข้องกับสถานะในอดีต

กระบวนการดังกล่าวสามารถพบได้ในหลายกรณี เช่น ในสภาพความเป็นไปของปรากฏการณ์ทางกายภาพที่สามารถอธิบายได้ด้วยความน่าจะเป็นเท่านั้น สถานะในอนาคตของอนุภาคถูกกำหนดโดยสถานะปัจจุบันเท่านั้น แต่สมบัตินี้ยังส่งผลสืบเนื่องไปถึงสถานการณ์ที่จำนวนอนุภาคในระบบเพิ่มขึ้นและต้องมีการวิเคราะห์ทฤษฎีความน่าจะเป็นด้วย

กระบวนการนี้ตั้งชื่อตามนักคณิตศาสตร์ชาวรัสเซีย อันเดรย์ มาร์คอฟ

 ประวัติศาสตร์ 
right|thumb|อันเดรย์ มาร์คอฟ ผู้เสนอแนวคิดกระบวนการมาร์คอฟ
อันเดรย์ มาร์คอฟได้เริ่มศึกษากระบวนการนี้ตั้งแต่ต้นศตวรรษที่ 20 และตีพิมพ์ผลงานของเขาเป็นครั้งแรกในปี 1906 กระบวนการมาร์คอฟแบบเวลาต่อเนื่องถูกค้นพบมานานแล้วตั้งแต่ก่อนงานนี้ในช่งต้นศตวรรษที่ 20 ในรูปของกระบวนการปัวซง มาร์คอฟได้ให้ความสนใจในการศึกษาเพิ่มเติมในส่วนของลำดับสุ่มอิสระ ซึ่งได้รับแรงบันดาลใจมาจากความจัดแย้งกับปาเวล เนคราซอฟ ซึ่งได้อ้างว่าความเป็นอิสระจำเป็นสำหรับกฎจำนวนมากอย่างอ่อน ในงานตีพิมพ์ครั้งแรกเรื่องลูกโซ่มาร์คอฟในปี 1906 มาร์คอฟได้แสดงว่าภายใต้เงื่อนไขที่แน่นอน ผลลัพธ์เฉลี่ยของลูกโซ่มาร์คอฟจะลู่เข้าสู่เวกเตอร์ที่มีค่าคงที่ ซึ่งได้เป็นการพิสูจน์กฎจำนวนมากอย่างอ่อนโดยไม่ต้องอาศัยสมมุติฐานความเป็นอิสระ หลังจากนั้นมาร์คอฟยังได้ใช้ลูกโซ่มาร์คอฟในการศึกษาการแจกแจงของสระในเยฟเกนี โอเนกิน ซึ่งเขียนโดยอะเลคซันดร์ พุชกิน พิสูจน์ทฤษฎีบทขีดจำกัดส่วนกลาง สำหรับห่วงโซ่มาร์คอฟ

 การจำแนกประเภทของกระบวนการมาร์คอฟ 
กระบวนการมาร์คอฟอาจจำแนกเป็นแบบต่าง ๆ ได้ดังนี้

 กระบวนการมาร์คอฟอย่างง่าย
 เป็นกระบวนการมาร์คอฟที่เหตุการณ์ถัดไปถูกกำหนดจากสถานะเดียว โดยทั่วไปเมื่อพูดถึงกระบวนการมาร์คอฟ มักหมายถึงกระบวนการมาร์คอฟอย่างง่าย
 กระบวนการมาร์คอฟขั้น N
 เป็นกระบวนการมาร์คอฟซึ่งเหตุการณ์ถัดไปถูกกำหนดจากชุดของสถานะ N ที่ต่อเนื่องกัน กระบวนการมาร์คอฟลำดับ N ใด ๆ สามารถแสดงเป็นกระบวนการมาร์คอฟแบบง่าย (กระบวนการมาร์คอฟขั้น 1) โดยการสร้างปริภูมิสถานะใหม่ด้วยชุดของทั้ง N สถานะ
 กระบวนการมาร์คอฟเวลาไม่ต่อเนื่อง
 เป็นกระบวนการมาร์คอฟที่พารามิเตอร์เวลาเคลื่อนไปในเซตแบบไม่ต่อเนื่อง โดยปกติแล้วเขียนเซตของเวลาในรูปของ T = {1, 2, 3, …}
 กระบวนการมาร์คอฟเวลาต่อเนื่อง
 เป็นกระบวนการที่ตรงกันข้ามกับแบบต่อเนื่อง คือเป็นกระบวนการมาร์คอฟบนเซตเวลาต่อเนื่อง เช่น T = [0, ∞)
 กระบวนการมาร์คอฟไม่ต่อเนื่อง
 เป็นกระบวนการมาร์คอฟที่มีปริภูมิสถานะเป็นเซตไม่ต่อเนื่อง กระบวนการแบบนี้มักเรียกอีกอย่างว่า ลูกโซ่มาร์คอฟ
 กระบวนการมาร์คอฟต่อเนื่อง
 เป็นกระบวนการมาร์คอฟในกรณีที่วิถีของกระบวนการมีความต่อเนื่องตามเวลาต่อเนื่องกันตามเวลา
 กระบวนการมาร์คอฟเวลาเอกพันธุ์
 เป็นกระบวนการมาร์คอฟซึ่งความน่าจะเป็นในการเปลี่ยนสถานะคงที่โดยไม่คำนึงถึงเวลาปัจจุบัน

 ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ 
การแจกแจงของกระบวนการมาร์คอฟที่ปรากฏตามปกติสามารถกำหนดได้จากความน่าจะเป็นเปลี่ยนสถานะ ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ Xt หมายถึงความน่าจะเป็น P(s, t; x, Y) ที่ถ้าเริ่มจากจุด x ในปริภูมิสถานะที่เวลา s แล้วจะเข้าสู่เซต Y บนปริภูมิสถานะที่เวลา t>s นิยามได้เป็น

ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ความน่าจะเป็นเปลี่ยนสถานะของกรณี t = s + 1 ก็เพียงพอ และความน่าจะเป็นเปลี่ยนสถานะสำหรับช่วงเวลาอื่นก็สามารถคำนวณได้โดยใช้สมการแชปแมน–คอลโมโกรอฟ ในกรณีแบบเวลาเอกพันธุ์นั้น แค่มี s = 0 ก็เพียงพอแล้ว และความน่าจะเป็นเปลี่ยนสถานะในเวลาอื่นก็อาจคำนวณได้โดย P (s, t ; x, Y) = P (0, t - s ; x, Y)

นอกจากนี้ ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ใช้เพียงหนึ่งจุด y ในพื้นที่สถานะแทน Y ก็ก็เพียงพอแล้ว ซึ่งในกรณีนี้ความน่าจะเป็นเปลี่ยนสถานะจะกลายเป็นเมทริกซ์

 สมการแชปแมน–คอลโมโกรอฟ 
สมการแชปแมน–คอลโมโกรอฟเป็นสมการที่แสดงความสัมพันธ์ระหว่างความน่าจะเป็นเปลี่ยนสถานะในระหว่าง 3 ช่วงเวลา ให้เวลาเป็น s < t < u แล้วจะได้ว่า

กล่าวคือ ความน่าจะเป็นที่จะออกจาก x ในเวลา s แล้วเข้าสู่ Z ณ เวลา u นั้นคำนวณโดยการแบ่งกรณีโดยดูว่าอยู่ไหนที่เวลา t ซึ่งอยู่ระหว่างทาง