定义与基本结构
俄国数学家安德烈·马尔可夫于1906年首次研究这类过程，目的是证明大数定律对相互依赖的随机变量同样可能成立，据说是为了反驳“独立性是大数定律必要条件”的说法。在马尔可夫链中，如果今天下雨，明天下雨的概率是确定的，而且与昨天、前天的天气无关，这就是“马尔可夫性”或无记忆性。从一个状态转到另一个状态的概率称为转移概率，汇总起来的表就是转移矩阵；将转移矩阵连乘即可算出若干步之后的状态概率。1913年，马尔可夫统计了普希金小说《叶甫盖尼·奥涅金》中的2万个字母，分析元音与辅音相继出现的概率，这被视为把概率模型用于语言的早期范例。
平稳分布与长期行为
如果一个有限马尔可夫链中任一状态都能到达其他所有状态（不可约），且不被困在固定周期中（非周期），那么无论从何处出发，它最终都会收敛到唯一的平稳分布。平稳分布表示长期而言在各状态停留时间的比例。柯尔莫哥洛夫（1936）将该理论系统化，凯梅尼与斯内尔（1960）、诺里斯（1997）的教材成为标准读物。莱文、佩雷斯与威尔默（2009）综述了链接近平稳状态速度的“混合时间”研究。这一性质也是蒙特卡洛方法中MCMC的工作原理：构造一个以目标分布为平稳分布的链，运行足够长时间即可从中取样。
主要应用
香农（1948）在信息论中把英文文本建模为马尔可夫过程，并生成了示例句子。隐马尔可夫模型假设不可观测的状态服从马尔可夫链、只能看到输出，由鲍姆与佩特里（1966）奠基、拉宾纳（1989）系统总结，成为语音识别与生物信息学的核心工具。经济学中，汉密尔顿（1989）提出马尔可夫转换模型，认为经济扩张与衰退阶段按马尔可夫链切换。布林与佩奇（1998）的PageRank以随机浏览者的平稳分布衡量网页重要性。贝尔曼（1957）的马尔可夫决策过程是强化学习与人工智能决策模型的基础，马尔可夫链还用于排队论、信用评级迁移和人口流动分析。
常见问题
- 什么是马尔可夫性？
- 指未来状态的概率只取决于当前状态，而与到达当前状态的路径无关；也可表述为“给定现在，未来与过去相互独立”。
- 马尔可夫链用在哪些地方？
- 搜索引擎的PageRank、语音识别的隐马尔可夫模型、贝叶斯统计的MCMC、经济周期分析、强化学习中的马尔可夫决策过程等众多领域。
来源核查日期：2026-10-26
参考文献
- Markov, A. A. (1906). Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga. Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 15(2), 135–156.
- Markov, A. A. (1913). An example of statistical investigation of the text Eugene Onegin concerning the connection of samples in chains. Bulletin of the Imperial Academy of Sciences of St. Petersburg, 7(3), 153–162.
- Kolmogorov, A. N. (1936). Zur Theorie der Markoffschen Ketten. Mathematische Annalen, 112, 155–160.
- Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423.
- Kemeny, J. G., & Snell, J. L. (1960). Finite Markov Chains. Princeton, NJ: Van Nostrand.
- Bellman, R. (1957). A Markovian decision process. Journal of Mathematics and Mechanics, 6(5), 679–684.
- Baum, L. E., & Petrie, T. (1966). Statistical inference for probabilistic functions of finite state Markov chains. Annals of Mathematical Statistics, 37(6), 1554–1563.
- Rabiner, L. R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, 77(2), 257–286.
- Hamilton, J. D. (1989). A new approach to the economic analysis of nonstationary time series and the business cycle. Econometrica, 57(2), 357–384.
- Brin, S., & Page, L. (1998). The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, 30(1–7), 107–117.
- Norris, J. R. (1997). Markov Chains. Cambridge: Cambridge University Press.
- Levin, D. A., Peres, Y., & Wilmer, E. L. (2009). Markov Chains and Mixing Times. Providence, RI: American Mathematical Society.
- Hayes, B. (2013). First links in the Markov chain. American Scientist, 101(2), 92–97.