共 11 篇文章
随机过程课程笔记：相关函数的时频分析、高斯过程与泊松过程、马尔可夫链的渐进行为等。
本文是张颢老师随机过程课程笔记的第十一篇。在本文中，我们介绍了马尔可夫假设和马尔可夫链，并分析了马尔可夫链的渐进行为。我们展示了，当步数趋于无穷大时，马尔可夫链的过程性会逐渐退化，变为一个只与终点有关的随机变量。为此，我们深入研究了马尔可夫链的常返性。结论表明，在渐进意义下，非常返的状态被访问的概率会趋于零，说明马尔可夫链只会访问常返态。我们还给出了多种判断状态常返性的方法，比如说判断级数敛散性、直接观察转移图的结构等等。此外，我们介绍了强遍历和弱遍历定理，指出了不同性质的马尔可夫链的转移概率将表现出怎样的渐近行为。最后，我们介绍了连续时间马尔可夫链，用于解决资源有限的排队问题。
本文是张颢老师随机过程课程笔记的第十篇。在本文中，我们详细介绍了泊松过程的一个非常重要的推广：过滤泊松过程。这是将泊松过程的独立增量条件进行放松后得到的随机过程，事件发生带来的影响并不是恒定不变的常数，而是一个与当前时间和事件发生时间有关的随机变量。过滤泊松过程可以用于解决一类典型的排队问题，即不需要等待时间、服务资源无限多的排队问题。此外，为了推导过滤泊松过程，我们还介绍了顺序统计量、对称函数、微元法等一系列数学工具。
本文是张颢老师随机过程课程笔记的第九篇。在本文中，我们介绍了离散状态随机过程的代表：泊松过程。我们从独立增量和平稳增量两个条件推导出了泊松分布的概率分布函数，介绍了矩母函数等一系列数学工具，分析了泊松过程的一系列性质。然后，我们将泊松过程进行一些推广，介绍了非齐次泊松过程和复合泊松过程。最后，我们给出了泊松过程的五个应用举例，帮助读者更好地理解泊松过程。
在本文中，我们主要介绍了高斯过程的一些应用来增强读者对于高斯分布的理解。其中的内容包括：DDPM、线性高斯系统、条件高斯分布的一些计算和高斯过程在经济学中的应用。
本文是张颢老师随机过程课程笔记的第七篇。在本文中，介绍了高斯过程经过一些非线性系统后的性质，着重分析了其相关函数。我们还介绍并证明了Price定理，这是处理高斯过程经过非线性系统后的相关函数的一个重要工具。
本文是张颢老师随机过程课程笔记的第六篇。在本文中，我们深入介绍了多元高斯分布的一些基本性质，包括其概率密度函数、特征函数和线性性。根据线性性，我们探讨了边缘分布的高斯性与联合分布的高斯性之间的关系。
本文是张颢老师随机过程课程笔记的第五篇。在本文中，主要展示了高斯分布在多个场景下的普遍性。第一个例子是物理角度上的扩散过程，我们可以看到粒子的分布函数正好是高斯分布。第二个例子是信息论上的最大熵分布，我们分别求解了在无穷区间、半无穷区间和有限区间上的最大熵分布，结果分别是高斯分布、指数分布和均匀分布。第三个例子是概率论中多个随机变量之和的渐近行为分析，我们证明了大数定律、中心极限定理，并介绍了重对数律。第四个例子是随机过程中的随机游动，我们展示了一维对称随机游动的分布和扩散过程一样也是高斯分布。
本文是张颢老师随机过程课程笔记的第四篇。在本文中，我们举出四个场景研究了多个随机变量之间的相关。第一，我们推导了如何对多个变量去相关，展示了利用相关矩阵的形式来解决看似不太好处理的问题。第二，我们深入研究了Karhunen-Loève展开。我们展示K-L展开的双正交性，并且发现某些宽平稳随机过程的傅里叶展开恰好就满足双正交性。借由这个认识，我们建立了一套对任意宽平稳随机过程进行谱分析的方法论，并且把这套理论和前面提到的Wiener-Khintchine定理优美地建立了联系，从而对宽平稳有了更加深刻的认识。最后，我们介绍了PCA，推导了PCA投影向量的解法，还讨论了投影向量和随机变量之间的关系。
本文是张颢老师随机过程课程笔记的第三篇。在本文中，我们介绍了两种典型的非平稳随机过程：周期平稳和正交增量。对于这两种随机过程，我们都指出了它们与宽平稳随机过程的区别和联系，同时分别举了一个例子来展示它们的性质。本文中还包含了条件期望的介绍，这是随机过程领域中一个非常重要的数学工具，用于求解多个随机变量的期望。
本文是张颢老师随机过程课程笔记的第二篇。在本文中，我们分别从时域和频域两个角度深入分析了一个宽平稳随机过程的相关函数。从时域上，我们介绍了相关函数的一些性质，包括柯西不等式、周期性、连续性等。我们通过Bochner定理，从数学的视角上证明了相关函数的正定性与其傅里叶变换的关系。在频域上，我们介绍了Wiener-Khintchine定理，证明了相关函数的傅里叶变换等于功率谱密度，从物理的视角上进一步深化了Bochner定理的认识。
本文是张颢老师随机过程课程笔记的第一篇。文中主要介绍了两个随机变量之间的线性相关关系，从定性分析和符号化定义的角度，介绍了如何刻画两个随机变量之间的线性相关关系。