กระบวนการมาร์คอฟ

กระบวนการมาร์คอฟ (Markov process) หมายถึงกระบวนการเฟ้นสุ่มที่มีสมบัติมาร์คอฟ นั่นคือเป็นกระบวนการเฟ้นสุ่มที่สถานะในอนาคตถูกกำหนดโดยค่าปัจจุบันเท่านั้นโดยไม่เกี่ยวข้องกับสถานะในอดีต
กระบวนการดังกล่าวสามารถพบได้ในหลายกรณี เช่น ในสภาพความเป็นไปของปรากฏการณ์ทางกายภาพที่สามารถอธิบายได้ด้วยความน่าจะเป็นเท่านั้น สถานะในอนาคตของอนุภาคถูกกำหนดโดยสถานะปัจจุบันเท่านั้น แต่สมบัตินี้ยังส่งผลสืบเนื่องไปถึงสถานการณ์ที่จำนวนอนุภาคในระบบเพิ่มขึ้นและต้องมีการวิเคราะห์ทฤษฎีความน่าจะเป็นด้วย
กระบวนการนี้ตั้งชื่อตามนักคณิตศาสตร์ชาวรัสเซีย อันเดรย์ มาร์คอฟ
ประวัติศาสตร์.
อันเดรย์ มาร์คอฟได้เริ่มศึกษากระบวนการนี้ตั้งแต่ต้นศตวรรษที่ 20 และตีพิมพ์ผลงานของเขาเป็นครั้งแรกในปี 1906 กระบวนการมาร์คอฟแบบเวลาต่อเนื่องถูกค้นพบมานานแล้วตั้งแต่ก่อนงานนี้ในช่งต้นศตวรรษที่ 20 ในรูปของกระบวนการปัวซง มาร์คอฟได้ให้ความสนใจในการศึกษาเพิ่มเติมในส่วนของลำดับสุ่มอิสระ ซึ่งได้รับแรงบันดาลใจมาจากความจัดแย้งกับปาเวล เนคราซอฟ ซึ่งได้อ้างว่าความเป็นอิสระจำเป็นสำหรับกฎจำนวนมากอย่างอ่อน ในงานตีพิมพ์ครั้งแรกเรื่องลูกโซ่มาร์คอฟในปี 1906 มาร์คอฟได้แสดงว่าภายใต้เงื่อนไขที่แน่นอน ผลลัพธ์เฉลี่ยของลูกโซ่มาร์คอฟจะลู่เข้าสู่เวกเตอร์ที่มีค่าคงที่ ซึ่งได้เป็นการพิสูจน์กฎจำนวนมากอย่างอ่อนโดยไม่ต้องอาศัยสมมุติฐานความเป็นอิสระ หลังจากนั้นมาร์คอฟยังได้ใช้ลูกโซ่มาร์คอฟในการศึกษาการแจกแจงของสระในเยฟเกนี โอเนกิน ซึ่งเขียนโดยอะเลคซันดร์ พุชกิน พิสูจน์ทฤษฎีบทขีดจำกัดส่วนกลาง สำหรับห่วงโซ่มาร์คอฟ
การจำแนกประเภทของกระบวนการมาร์คอฟ.
กระบวนการมาร์คอฟอาจจำแนกเป็นแบบต่าง ๆ ได้ดังนี้
 เป็นกระบวนการมาร์คอฟที่เหตุการณ์ถัดไปถูกกำหนดจากสถานะเดียว โดยทั่วไปเมื่อพูดถึงกระบวนการมาร์คอฟ มักหมายถึงกระบวนการมาร์คอฟอย่างง่าย
 เป็นกระบวนการมาร์คอฟซึ่งเหตุการณ์ถัดไปถูกกำหนดจากชุดของสถานะ "N" ที่ต่อเนื่องกัน กระบวนการมาร์คอฟลำดับ "N" ใด ๆ สามารถแสดงเป็นกระบวนการมาร์คอฟแบบง่าย (กระบวนการมาร์คอฟขั้น 1) โดยการสร้างปริภูมิสถานะใหม่ด้วยชุดของทั้ง "N" สถานะ
 เป็นกระบวนการมาร์คอฟที่พารามิเตอร์เวลาเคลื่อนไปในเซตแบบไม่ต่อเนื่อง โดยปกติแล้วเขียนเซตของเวลาในรูปของ "T" = {1, 2, 3, …}
 เป็นกระบวนการที่ตรงกันข้ามกับแบบต่อเนื่อง คือเป็นกระบวนการมาร์คอฟบนเซตเวลาต่อเนื่อง เช่น "T" = [0, ∞)
 เป็นกระบวนการมาร์คอฟที่มีปริภูมิสถานะเป็นเซตไม่ต่อเนื่อง กระบวนการแบบนี้มักเรียกอีกอย่างว่า ลูกโซ่มาร์คอฟ
 เป็นกระบวนการมาร์คอฟในกรณีที่วิถีของกระบวนการมีความต่อเนื่องตามเวลาต่อเนื่องกันตามเวลา
 เป็นกระบวนการมาร์คอฟซึ่งความน่าจะเป็นในการเปลี่ยนสถานะคงที่โดยไม่คำนึงถึงเวลาปัจจุบัน
ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ.
การแจกแจงของกระบวนการมาร์คอฟที่ปรากฏตามปกติสามารถกำหนดได้จากความน่าจะเป็นเปลี่ยนสถานะ ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ Xt หมายถึงความน่าจะเป็น "P"("s", "t"; "x", "Y") ที่ถ้าเริ่มจากจุด x ในปริภูมิสถานะที่เวลา s แล้วจะเข้าสู่เซต Y บนปริภูมิสถานะที่เวลา t>s นิยามได้เป็น
<math>P(s, t; x, Y) = P(X_t \in Y | X_s = x)</math>
ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ความน่าจะเป็นเปลี่ยนสถานะของกรณี "t" = "s" + 1 ก็เพียงพอ และความน่าจะเป็นเปลี่ยนสถานะสำหรับช่วงเวลาอื่นก็สามารถคำนวณได้โดยใช้สมการแชปแมน–คอลโมโกรอฟ ในกรณีแบบเวลาเอกพันธุ์นั้น แค่มี "s" = 0 ก็เพียงพอแล้ว และความน่าจะเป็นเปลี่ยนสถานะในเวลาอื่นก็อาจคำนวณได้โดย "P" ("s", "t" ; "x", "Y") = "P" (0, "t" - "s" ; "x", "Y")
นอกจากนี้ ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ใช้เพียงหนึ่งจุด "y" ในพื้นที่สถานะแทน "Y" ก็ก็เพียงพอแล้ว ซึ่งในกรณีนี้ความน่าจะเป็นเปลี่ยนสถานะจะกลายเป็นเมทริกซ์
สมการแชปแมน–คอลโมโกรอฟ.
สมการแชปแมน–คอลโมโกรอฟเป็นสมการที่แสดงความสัมพันธ์ระหว่างความน่าจะเป็นเปลี่ยนสถานะในระหว่าง 3 ช่วงเวลา ให้เวลาเป็น "s" < "t" < "u แล้วจะได้ว่า"
<math>P(s, u; x, Z) = \int P(t, u; y, Z)P(s, t; x, dy)</math>
กล่าวคือ ความน่าจะเป็นที่จะออกจาก "x" ในเวลา "s" แล้วเข้าสู่ "Z" ณ เวลา "u" นั้นคำนวณโดยการแบ่งกรณีโดยดูว่าอยู่ไหนที่เวลา t ซึ่งอยู่ระหว่างทาง