随机过程(11)：马尔可夫链
本文是张颢老师随机过程课程笔记的第十一篇。在本文中，我们介绍了马尔可夫假设和马尔可夫链，并分析了马尔可夫链的渐进行为。我们展示了，当步数趋于无穷大时，马尔可夫链的过程性会逐渐退化，变为一个只与终点有关的随机变量。为此，我们深入研究了马尔可夫链的常返性。结论表明，在渐进意义下，非常返的状态被访问的概率会趋于零，说明马尔可夫链只会访问常返态。我们还给出了多种判断状态常返性的方法，比如说判断级数敛散性、直接观察转移图的结构等等。此外，我们介绍了强遍历和弱遍历定理，指出了不同性质的马尔可夫链的转移概率将表现出怎样的渐近行为。最后，我们介绍了连续时间马尔可夫链，用于解决资源有限的排队问题。