ลูกโซ่มาร์คอฟ

แผนภาพแสดงกระบวนการมาร์คอฟที่มี 2 สถานะ ตัวเลขในที่นี้แสดงถึงความน่าจะเป็นของการเปลี่ยนถ่ายจากสถานะหนึ่งไปสู่อีกสถานะ

ลูกโซ่มาร์คอฟ หรือ ห่วงโซ่มาร์คอฟ (Markov chain) เป็นรูปแบบหนึ่งของกระบวนการมาร์คอฟ ซึ่งเป็นกระบวนการเฟ้นสุ่มประเภทหนึ่ง โดยหมายถึงกรณีที่สถานะที่เป็นไปได้เป็นค่าแบบไม่ต่อเนื่อง (เป็นเซตจำกัด หรือ เซตนับได้) โดยเฉพาะมักจะใช้กับกรณีที่มีเวลาเป็นแบบไม่ต่อเนื่อง (ซึ่งมักแสดงค่าเวลาในรูปตัวห้อย) ในลูกโซ่มาร์คอฟนั้น สถานะความเป็นไปในอนาคตจะถูกกำหนดโดยค่าปัจจุบันเท่านั้นและไม่เกี่ยวข้องกับสถานะในอดีต (นั่นคือเรียกว่าเป็นไปตามสมบัติมาร์คอฟ)

เมื่อพิจารณาการเปลี่ยนแปลงสถานะที่เกิดขึ้นในแต่ละครั้ง ลูกโซ่มาร์คอฟเป็นอนุกรมที่ความน่าจะเป็นของการเปลี่ยนแปลงไม่ได้ขึ้นอยู่กับสถานะในอดีต แต่ขึ้นอยู่กับสถานะปัจจุบันเท่านั้น

ลูกโซ่มาร์คอฟถือเป็นกระบวนการเฟ้นสุ่มที่สำคัญอย่างยิ่ง ซึ่งได้ถูกนำไปประยุกต์ใช้ในการสร้างแบบจำลองเชิงสถิติมากมายสำหรับกระบวนการที่เกิดขึ้นในโลกจริง เป็นพื้นฐานสำหรับกระบวนการจำลองแบบเฟ้นสุ่มทั่วไปที่เรียกว่ามอนเตการ์โลห่วงโซ่มาร์คอฟ ซึ่งถูกใช้เพื่อจำลองการสุ่มตัวอย่างจากการแจกแจงความน่าจะเป็น ได้มีการนำไปใช้อย่างกว้างขวางทั้งใน สถิติแบบเบส์, ชีววิทยา, เคมี, เศรษฐศาสตร์, การเงิน, ทฤษฎีข้อมูล, ฟิสิกส์, การประมวลผลสัญญาณ และ การประมวลผลเสียงพูด เป็นต้น

ชื่อลูกโซ่มาร์คอฟนี้ตั้งชื่อตามอันเดรย์ มาร์คอฟ นักคณิตศาสตร์ชาวรัสเซียซึ่งเป็นผู้คิดค้น

คำนิยาม

ลูกโซ่มาร์คอฟคือชุดของตัวแปรสุ่ม X ₁, X ₂, X ₃, ... หากกำหนดสถานะปัจจุบัน สถานะในอดีตและอนาคตจะมีความเป็นอิสระ เขียนสูตรได้ว่า

$\Pr(X_{n+1}=x|X_{n}=x_{n},\ldots ,X_{1}=x_{1},X_{0}=x_{0})=\Pr(X_{n+1}=x|X_{n}=x_{n})\,$

ค่าที่เป็นไปได้ของ X _i เรียกว่า ปริภูมิสถานะ ของลูกโซ่และสร้างเซตนับได้ S ลูกโซ่มาร์คอฟแสดงด้วยกราฟระบุทิศทาง และส่วนขอบบ่งบอกถึงความน่าจะเป็นในการเปลี่ยนถ่ายจากสถานะหนึ่งไปอีกสถานะหนึ่ง

เครื่องสถานะจำกัด เป็นตัวอย่างหนึ่งของลูกโซ่มาร์คอฟคือ โดยถ้าหากอยู่ในสถานะ y ที่เวลา n แล้ว ก็จะความน่าจะเป็นที่จะเข้าสู่สถานะ x ใน ที่เวลา n + 1 จะขึ้นอยู่กับสถานะปัจจุบันเท่านั้น ไม่ใช่ขึ้นอยู่กับเวลา n

สำหรับลูกโซ่มาร์คอฟที่เว้นช่วงเวลาสม่ำเสมอจะได้ว่า

$\Pr(X_{n+1}=x|X_{n}=y)=\Pr(X_{n}=x|X_{n-1}=y)\,$

ลูกโซ่มาร์คอฟทั่วไปที่ไม่ได้เว้นช่วงเวลาสม่ำเสมอจะไม่เป็นไปตามสูตรนี้