马尔可夫链
马尔可夫链（），又稱離散時間馬可夫鏈（discrete-time Markov chain，縮寫為DTMC），因俄國數學家安德烈·马尔可夫得名，为狀態空間中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作馬可夫性質。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
马尔可夫链是离散状态、离散时间的马尔可夫过程。
马尔可夫链是满足马尔可夫性质的随机变量序列"X", "X", "X", ...，即给出当前状态，将来状态和过去状态是相互独立的。从形式上看，
"X"的可能值构成的可数集"S"叫做该链的“状态空间”。
通常用一系列有向图来描述马尔可夫链，其中图"n"的边用从时刻"n"的状态到时刻"n+1"的状态的概率formula_3来标记。也可以用从时刻"n"到时刻"n+1"的转移矩阵表示同样的信息。但是，马氏链常常被假定为时齐的（见下文的变种），在这种情况下，图和矩阵与"n"无关，因此也不表现为序列。
这些描述强调了马尔可夫链与初始分布formula_4无关这一结构。当时齐的时候，可以认为马氏链是分配从一个顶点或状态跳变到相邻一个的概率的状态机。可以把机器状态的概率formula_5作为仅有元素formula_6的状态空间为输入的机器的统计行为分析，或作为初始分布为formula_7状态为输入的机器行为，其中formula_8是艾佛森括号。
一些状态序列可能会有零概率的事件，对应多连通分量的图，而我们禁止转移概率为0的边。例如，若"a"到"b"的概率非零，但"a"到"x"位于图的不同连通分量，那么formula_9有意义，而formula_10无意义。 用"n"步从状态"i"到状态"j"的概率为
而单步转移是
对于一个时齐马尔可夫链来说：
而
"n"步转移概率满足查普曼-科尔莫戈罗夫等式，对任意"k"使得0 边缘分布Pr("X" = "x")为第"n"次状态的分布。初始分布为Pr("X" = "x")。用一步转移把过程演变描述为
注意：上标（"n"）是索引而非指数。
马尔可夫链是由一个条件分布来表示的
这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：
同样，
这些式子可以通过乘以转移概率并求formula_22次积分来一般化到任意的将来时间formula_23。
边缘分布formula_24是在时间为formula_25时的状态的分布。初始分布为formula_26。该过程的变化可以用以下的一个时间步幅来描述：
这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布formula_28满足
其中formula_30只是为了便于对变量积分的一个名义。这样的分布formula_28被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为formula_32的条件分布函数的特征方程。
平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
具有重现性而不具有周期性叫做遍历的。重现性包括局部重现性。
若状态空间是有限的，则转移概率分布可以矩阵表示，该矩阵称为转移矩阵，记为P。其中处于formula_33的元素等于
由于P的每一行各元素之和为1，且P中所有的元素都是非负的，因此P是一个右随机矩阵。
稳定分布π是一个（行）向量，它的元素都非负且和为1，不随施加P操作而改变，定义为
通过将这个定义与特征向量进行比较，我们看到，这两个概念是相关的，并且
是由（formula_37）归一化的转移矩阵P的左特征向量 e的倍数，其特征值为1。如果有多个单位特征向量那么相应稳态的加权和也是稳态。但对于马尔可夫链来说，我们更关心的是作为一些对初始分布的序列分布的极限的稳态。
稳定分布formula_38的值与状态空间P有关，它的特征向量保留各自的相对比例。因为π的成分为正且满足约束条件formula_39，我们发现π与一个成分全为1的向量的点积是统一的，、π位于一个单纯形上。
对于一个离散状态空间，formula_40步转移概率的积分即为求和，可以对转移矩阵求formula_40次幂来求得。就是说，如果formula_42是一步转移矩阵，formula_43就是formula_40步转移后的转移矩阵。
如果转移矩阵formula_42不可约，并且是非周期的，则formula_43收敛到一个每一列都是不同的平稳分布formula_47，并且，
独立于初始分布formula_28。这是由Perron-Frobenius theorem所指出的。
正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。
注意：在上面的定式化中，元素formula_33是由j转移到i的概率。有时候一个由元素formula_33给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵（每列的和为1）的右特征向量给出的，而不是左特征向量。
转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程
可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率： 以上就是反转的马尔可夫链。因而，如果存在一个π，使得：
那么这个马尔可夫链就是可反转的。
这个条件也被称为细致平衡（detailed balance）条件。
对于所有的"i"求和：
所以，对于可反转马尔可夫链，"π"总是一个平稳分布。
伯努利方案是马尔可夫链的一种特殊情形，其转移概率矩阵有相同的行，即下一状态均匀独立于当前状态（除了独立于过往状态以外）。 仅有两个可能状态的伯努利方案是伯努利过程。
对于一般状态空间上的马尔可夫链的概述，详见文章状态空间可测的马尔可夫链。
马尔可夫系统广泛出现在热力学和统计力学中，
隐马尔科夫模型是大多数现代自动语音识别系统的基础。
谷歌所使用的网页排序算法（PageRank）就是由马尔可夫链定义的。如果formula_55 是已知的网页数量，一个页面formula_56 有formula_57 个链接到这个页面，那么它到链接页面的转换概率为formula_58，到未链接页面的概率为formula_59， 参数formula_60 的取值大约为0.85。
马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。
马尔科夫链可以应用于金融与经济中一系列现象的建模，包括资产价值与市场冲击。1974年Prasad等人第一次应用马尔科夫链于金融模型，另一个是James D. Hamilton 1989年应用的机制转换模型，其中马尔科夫链用来对高GDP增长速度时期与低GDP增长速度时期（换言之，经济扩张与紧缩）的转换进行建模。
马尔可夫链也有众多的生物学应用，特别是增殖过程，可以帮助模拟生物增殖过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测（見哈代-溫伯格定律。）
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。
用于计算马尔可夫信源的极限熵
马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由俄國數學家柯尔莫果洛夫（）在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。