随机过程(9)：泊松过程(1): 泊松分布

2026-04-15 随机过程 #随机过程 #泊松过程 #矩母函数 #Gamma 分布 #指数分布约 64 分钟 · 22395 字

我们前面讨论了很多的随机过程，包括宽平稳、高斯过程等等。这些随机过程都是连续时间、连续状态的随机过程。从今天开始，我们将集中关注在离散状态的随机过程上。在研究离散状态的随机过程时，我们所使用的工具和关注的着眼点都和连续状态的随机过程不同。

一、泊松过程

对于离散状态的随机过程，我们考察的是在一段固定的时间 $[0,t]$ 内，某个事件发生的次数 $N(t)$ 。由于事件发生的间隔是随机的，因此 $N(t)$ 是一个随机变量。这种过程也被称为计数过程 (Counting Process) 或点过程 (Point Process)。

在这一章中，我们先对随机过程给出一些基本条件来加以研究：

独立增量 (Independent Increment)：即 $\forall t_1\lt t_2\le t_3\lt t_4$ ，有 $N(t_4)-N(t_3)$ 与 $N(t_2)-N(t_1)$ 独立。
平稳增量 (Stationary Increment)：即 $\forall t_1\lt t_2$ ，在 $[t_1,t_2]$ 内时间发生的次数仅依赖于时间差 $N(t_2)-N(t_1)\sim P(t_2-t_1)$ 。

我们希望研究的是这个随机事件发生次数的分布，即 $P(N(t)=k)$ 。只要有了这个结果，根据平稳性条件，我们就可以知道任意的时间区间内发生的次数 $P(N(t_2)-N(t_1)=k)$ 。

1.1. 泊松分布的概率分布函数

我们选用的工具是矩母函数 (Moment Generating Function, MGF)。对于离散随机变量 $X$ ，其分布为 $P(X=X_k)=p_k$ ，则 $X$ 的矩母函数定义为：

(1)

下面我们来考察 $N(t)$ 的矩母函数：

(2)

考虑经过一小段时间 $\Delta t$ 后矩母函数的差分：

(3)

等式左右两端令 $\Delta t\to 0$ 得：

(4)

1.1.1. 第一项

我们先考虑右侧的第一项：

(5)

由于 $P(N(t)=0)$ 意味着在 $[0,t]$ 内事件发生的次数为 $0$ 。也就是说，我们任取 $s\in (0,t)$ ，都有：

(6)

也就是说，如果我们令 $g(t)=P(N(t)=0)$ ，则 $g(t)$ 满足：

(7)

也就是：

(8)

上面的方程是一个经典的柯西指数方程。可以证明，符合柯西指数方程的连续函数只能指数函数（证明见附录1）

(9)

其中，由于概率一定小于1，因此常数 $\lambda\gt 0$ 。

因此，等式右侧的第一项我们就解出来了：

(10)

1.1.2. 第二项

我们再考虑右侧的第二项：

(11)

仿照上面的思路，由于 $P(N(t)=1)$ ，我们任取 $s\in (0,t)$ ，都有：

(12)

令 $g(t)=P(N(t)=1)$ ，则 $\forall s\in(0,t)$ ，都有：

(13)

即

(14)

附录1 的证明过程已经告诉我们，符合这样条件的连续函数只能是线性函数：

Note：这里老师的推导其实不太严谨。这是国科大的同学提出的做法，思想上是很优美的。但正确的做法是需要引入稀疏性的条件来保证这里结果的 $\lambda$ 和第一项的 $\lambda$ 是一样的。

(15)

即

(16)

于是，等式右侧的第二项：

(17)

1.1.3. 第三项

我们最后考虑右侧的第三项：

(18)

由于无穷级数

(19)

的收敛域是 $\left\vert z \right\vert\le 1$ ，因此根据三角不等式，

(20)

根据概率的归一性：

(21)

因此，

(22)

也就是说，

(23)

根据概率的保序性

(24)

1.1.4. 整理得结果

综上所述，

(25)

当 $t=0$ 时，

(26)

我们就可以求解这个关于 $t$ 的线性偏微分方程，得到矩母函数为：

(27)

由于

(28)

因此我们将矩母函数进行泰勒展开之后，对比系数就能得到分布 $p_k$ ：

(29)

对比系数得：

(30)

这就是著名的泊松分布，具体来说就是参数为 $\lambda t$ 的泊松分布。

同时，我们有：

(31)

1.2. 泊松分布的性质

下面我们来分析参数为 $\lambda t$ 的泊松分布的性质：

(32)

1.2.1. 均值

根据均值的定义：

(33)

也就是说，

(34)

由于均值是 $[0,t]$ 内事件发生的平均次数，因此 $\lambda$ 的物理含义就是单位时间内事件发生的平均次数。于是， $\lambda$ 也被称为泊松分布的强度。

从另一个角度看， $\lambda$ 也可以看作单位时间内事件发生次数的变化率：

(35)

这个变化率是一个常数，这恰好与我们的平稳性条件对应上。

1.2.2. 样本轨道

泊松过程的样本轨道是下面的阶梯函数：

因此，泊松过程也被称为跳过程 (Jump Process)。

张真人名言：人生是泊松过程（合影留念）^_^

我们对人生往往有两种误解。

一种误解是：我们从小受到的教育是“好好学习，天天向上”，因此我们往往认为人生是一个线性递增的过程。但实际上没有谁的人生是线性的，不可能每天都在向上都有收获。

另一种误解是：人生是一个布朗运动，完全无法预测，明天究竟是什么样谁都不知道，你永远不知道意外和未来哪个先来。

有这两个认识的人都没有认真学习过随机过程。因为只要学过随机过程，就能体会到人生就是一个泊松过程。我们大部分时间都在等待，等待跃升的机会和人生的下一个分叉路口。我们上高中上了三年，实际上就在等待上高考的那一天，三年里全部的努力都是为了高考这一刻。

因此，我认为泊松过程就是对人生最恰如其分的表述，人的一生就是一场等待的艺术。巴普洛夫说，“机遇只青睐有准备的人”。因此，我们如何去看待等待这件事情，如何去经历等待，这直接决定了我们的人生轨迹。因为实际的人生可能比泊松过程还要更悲观一点，因为我们总会有失败的时候，而泊松过程只会往上走。但是不管怎么样，大部分时间都是在等待中度过的。

然而，在等待的过程中，我们可能会遇到一些小的波动，比如说获得奖学金、加薪。但这些都是飞跃之前的小波动，我们千万不能把这些事情当回事，而是要时刻看准大趋势：真正决定你人生轨迹和高度的都是你飞跃的那一个瞬间。我们如何有效把握机会，如何让自己有更好的提升与变化，这才是关键所在。平时的小波动都是暂时的，只要我们把大目标定好，并且为之持续不断地努力，这都是一个有效的等待。

1.2.3. 事件发生的间隔

下面我们来计算泊松分布的分布函数。考虑事件第一次发生的间隔 $T_1$ ：

(36)

我们下面进行概率转换 (Probability Transformation)。由于第一次时间发生的时间小于等于 $t$ ，这等价于在 $[0,t]$ 内这个事件至少发生了一次，即：

(37)

因此，第一次事件发生间隔服从的分布为：

(38)

这是一个参数为 $\lambda$ 的指数分布。

进一步，我们可以得出以下结论：

第 $n$ 次事件发生间隔 $T_n$ 同样服从指数分布（平稳性条件）。
不同事件发生间隔是相互独立的（独立性条件）。

也就是说，事件发生间隔是一个服从参数为 $\lambda$ 的指数分布的 i.i.d. 随机变量序列：

(39)

1.2.4. 事件发生的时刻

我们现在来研究事件第 $n$ 次发生的时刻 $S_n$ 。注意到：

(40)

因此， $S_k$ 是一系列独立的随机变量之和。通常来说，我们处理这种问题的方式是利用特征函数。

考虑 $S_n$ 的特征函数：

(41)

由于 $T_1\sim \text{Exp}(\lambda)$ ，因此其特征函数为：

(42)

因此， $S_n$ 的特征函数为：

(43)

这个特征函数很难做傅里叶反变换得到分布函数。这是因为这个函数并非解析函数（全纯函数），在分母上有奇点（甚至是 $n$ 阶奇点）。如果想要做傅里叶反变换，我们需要留数定理来帮助我们做积分。

因此，我们需要另外的做法：概率转换。 $P(S_n\leq t)$ 意味着第 $n$ 次事件发生的时刻小于等于 $t$ ，这也意味着在 $[0,t]$ 内这个事件至少发生了 $n$ 次。

(44)

我们就能求出密度函数：

(45)

这是一个参数为 $(n,1/\lambda)$ 的 Gamma 分布，即：

(46)

在附录2中，我们简要介绍了一下 Gamma 分布和 Gamma 函数。

二、泊松过程的推广

2.1. 非齐次泊松过程

首先，我们去掉平稳增量的条件，考虑仅有独立增量的情况下，泊松分布会产生什么变化。

为了更好地分析，我们需要增加一个假设：

(47)

我们重新考察泊松分布的矩母函数的差分：

(48)

由于没有了平稳增量条件，这里不能直接把 $t$ 去掉。下面我们来分析这个期望，与上面的思路相同，我们也把这个期望分为三项：零阶、一阶和高阶。

(49)

利用新增的假设，并重复上面的推导过程，我们能够得到和上面类似的结果。二阶项

(50)

而高阶项同样可以被忽略。

综上所述，我们有：

(51)

和公式 (25) 的结果对比，可以发现几乎完全相同，只是 $\lambda$ 不再是一个常数，而是一个与 $t$ 有关的函数。

求解这个微分方程得到矩母函数为：

(52)

此时，新的泊松分布就变成：

(53)

由于强度 $\lambda(t)$ 与时间 $t$ 有关，因此这个随机过程称为非齐次 (Non-Homogeneous) 泊松过程。

2.2. 复合泊松过程

标准的泊松分布只关注事件发生的次数，但在实际情况中，每次时间发生的强度也是非常重要的。比如说，对于保险精算师来说，他更关心的不是赔付的次数，而是一段时间内赔付的总金额。

因此，我们考虑如下的随机过程：

(54)

其中， $N(t)$ 是一个标准泊松过程。 $X_k$ 是一组独立同分布且独立于 $N(t)$ 的随机变量，表示每次时间发生的强度。

我们来考察 $Y(t)$ 的矩母函数：

(55)

这里出现了两个随机变量，因此我们需要将其中一个作为条件，这是非常常用的技巧。由于 $X_k$ 与 $N(t)$ 独立，我们把 $N(t)$ 作为条件后对 $X_k$ 没有任何影响：

(56)

可以看到， $Y(t)$ 的矩母函数是 $X_1$ 的矩母函数与 $N(t)$ 的矩母函数的复合，因此 $Y(t)$ 称为复合泊松过程 (Compound Poisson Process)。

在公式 (27) 中，我们给出了标准泊松分布的矩母函数。代入得：

(57)

三、泊松过程应用举例

3.1. 随机电报信号

前面我们已经介绍了随机电报信号。今天，我们从泊松分布的角度重新来看待随机电报信号。

考虑随机过程 $X(t)$ ，满足

(58)

其中， $N(t)\sim \text{Poisson}(\lambda t)$ ，即服从参数为 $\lambda$ 的泊松分布。

下面我们来求 $X(t)$ 的相关函数。

(59)

这里指数上是 $N(t)+N(s)$ ，不好处理。于是我们用一些小 trick，构造出“增量”的形式：

(60)

结果和之前的结论是一致的。

3.2. 泊松过程瘦身

3.2.1. 二项分布抽样

考虑学校早上上学，到达学校的学生数量服从标准泊松分布，且学生性别为男的概率为 $p$ 。

我们希望考察这样一个问题：单看到达学校的男生数量，这个数量还服从标准泊松分布吗？

为了回答这个问题，我们就需要复合泊松过程。为了只计数男生，让到达的女生不影响计数，我们可以将男生的 $X_k$ 设为1，女生的 $X_k$ 设为0。也就是说， $X_k$ 服从下面的二项分布：

(61)

我们只需要考察

(62)

所服从的分布是不是标准泊松分布，就能够回答这个问题。

下面我们只需要计算 $X_1$ 的矩母函数即可：

(63)

代入公式 (57) 得：

(64)

与公式 (27) 对比发现，这正好是一个参数为 $\lambda pt$ 的标准泊松分布对应的矩母函数。

因此， $Y(t)$ 服从标准泊松分布：

(65)

3.2.2. 隔一个抽样

上面的例子中，我们相当于以概率 $p$ 从泊松过程中抽样，我们发现得到的新的随机过程仍然是一个泊松过程，只是其强度变为 $\lambda p$ 。

现在，我们换一种抽样方式：隔一个事件抽一次。这样得到的随机过程还是一个泊松过程吗？

答案是否定的。

公式 (39) 告诉我们，泊松过程的事件发生时间间隔服从指数分布。现在我们隔一个事件抽走一个，那么新的随机过程中，相邻两个时间发生的时间间隔是两个指数分布随机变量之和。公式 (46) 告诉我们， $n$ 个指数分布随机变量之和服从参数为 $(n,1/\lambda)$ 的 Gamma 分布。

因此，新的随机过程的时间间隔服从 Gamma 分布，说明这不是一个泊松过程。

3.3. 泊松过程相加

考虑两个相互独立的泊松过程 $N_1(t)$ 和 $N_2(t)$ ，它们的强度分别为 $\lambda_1$ 和 $\lambda_2$ 。

我们希望考察这两个过程相加后得到的随机过程

(66)

是否还是一个泊松过程。

考虑 $Y(t)$ 的矩母函数：

(67)

因此， $Y(t)$ 仍然服从参数为 $\lambda_1+\lambda_2$ 的标准泊松分布：

(68)

类似的结论可以立刻推广到 $n$ 个独立泊松变量相加，结果仍然是泊松变量，其强度为 $\lambda_1+\cdots+\lambda_n$ 。

进一步地，我们有如下的小推论。考虑两个独立的随机变量 $X_1$ 和 $X_2$ 分别服从参数为 $\lambda_1$ 和 $\lambda_2$ 的指数分布，则 $Y=\min(X_1,X_2)$ 服从参数为 $\lambda_1+\lambda_2$ 的指数分布。

3.4. 泊松过程相减

我们来考虑两个泊松过程的差

(69)

服从什么分布。

显然，这不是一个泊松分布，因为 $Y(t)$ 可以取负值，而泊松分布只能取非负值。

考察 $Y(t)$ 的矩母函数：

(70)

到这里似乎卡住了，我们不好处理这个 $z^{-1}$ 。

为此，我们可以从一个新的视角来看待这个问题。 $Y(t)$ 可以看作是我们同时统计了来自 $N_1(t)$ 和 $N_2(t)$ 的事件，只是事件的强度不同： $N_1(t)$ 上的事件强度为 $+1$ ，而 $N_2(t)$ 上的事件强度为 $-1$ 。

上面我们已经证明，同时统计两个泊松过程的事件，得到的新过程仍然是一个泊松过程。其强度变为 $\lambda_1+\lambda_2$ 。因此，一个直观的想法是 $Y(t)$ 有可能是一个复合泊松过程。于是，我们希望把 $Y(t)$ 的矩母函数往复合泊松过程的方向去变形（即公式 (57)，但注意强度是 $\lambda_1+\lambda_2$ ）。

事实上，我们有：

(71)

与公式 (57) 对比，我们希望中间的

(72)

应当正好是某个分布的矩母函数。答案是肯定的，这正好是下面这个二项分布的矩母函数：

(73)

这个结果和我们前面的定性分析是完全一致的。随机变量 $X$ 以概率 $\frac{\lambda_1}{\lambda_1+\lambda_2}$ 取 $+1$ ，以概率 $\frac{\lambda_2}{\lambda_1+\lambda_2}$ 取 $-1$ 。这正好对应了从 $N_1(t)$ 或 $N_2(t)$ 中取事件，其贡献为 $+1$ 或 $-1$ 。

综上所述，两个泊松过程相减得到的随机过程 $Y(t)$ 是一个复合泊松过程。

3.5. 一个条件期望小练习

我们考虑下面的条件期望：

(74)

其中， $N(t)$ 是一个标准泊松过程， $S_n$ 表示第 $n$ 次事件发生的时刻。

这个条件期望就是说，在 $[0,1]$ 时间内发生 2 次事件的条件下，求第 4 次事件发生时刻的期望值。

3.5.1. 标准做法：先求条件分布

标准的做法是：先求条件分布，再求条件期望。

当 $t\geq 1$ 时：

(75)

综上所述，条件分布为：

(76)

这里经典做法是先求导得到密度，然后再积分得到期望，但这里求导有些麻烦。事实上，我们可以利用下面的结论（证明见附录3，其实就是分部积分）。

Theorem 1.（非负随机变量的期望） 若 $X\ge 0$ 是一个非负随机变量，则有

(77)

因此，条件期望为：

(78)

3.5.2. 这种做法是对的吗？

有一部分人 (A) 提出了下面的做法，不需要计算直接就能给出这个答案。如下图所示：

由于泊松过程中相邻两个事件发生的间隔是一个参数为 $\lambda$ 的指数分布，期望为 $1/\lambda$ 。
在 $[1,S_4]$ 内共发生了两次事件，因此这段时间长度的期望就是两个指数分布的期望，即 $2/\lambda$ 。
也就是说， $[0,S_4]$ 的时间长度期望就是 $1+2/\lambda$ 。

另一部分人 (B) 提出了反对意见，认为这只是恰好猜对了答案。这部分人反驳的理由是：

前面的结论只是说 $T_3$ （即 $[S_2,S_3]$ ）的长度期望是 $1/\lambda$ ，没有说 $[1,S_3]$ 的长度期望也是 $1/\lambda$ 。

A 给出的理由是：

指数分布具有无记忆性，无论从哪个起点开始（ $t=1$ 还是 $t=S_2$ ），长度都服从指数分布。

B 继续给出了反驳的理由：

就算 $[1,S_3]$ 的长度仍然是服从指数分布，那它的期望也不会是 $1/\lambda$ ，因为这很显然比 $[S_2,S_3]$ 的长度要短。

于是，后面就没能得出一个统一的结论。

关于这个事情，我们将放到下一篇文章再深入分析。因为这涉及到泊松过程的一些本质特征，能够帮助我们更好地理解泊松过程的实质。

Appendix

Apd.1. 柯西指数方程的解

下面我们证明，满足

(79)

的连续函数 $g(t)$ 一定是指数函数（排除 trivial 情况 $g(t)\equiv 0$ ）

Lemma 1. $g(t)$ 一定是正值。

Proof of Lemma 1. 根据柯西指数方程，我们有：

(80)

假设 $\exists t_0$ ，使得 $g(t_0)=0$ ，则不断递归使用柯西指数方程，我们可以得到：

(81)

根据连续性，令 $n\to\infty$ 得：

(82)

也就是说：

(83)

这就变成 trivial 情况 $g(t)\equiv 0$ 。排除。

综上所述， $\forall t$ 都有 $g(t)\gt 0$ 。

证明柯西指数方程的解. 根据 Lemma 1.，我们可以令 $h(t)=\log g(t)$ 。我们的条件就变为：

(84)

只要证明 $h(t)$ 一定是一个线性函数，则 $g(t)$ 就一定是一个指数函数。

当 $t=0$ 时， $h(0)=h(0)+h(0)$ ，因此 $h(0)=0$ 。

当 $t\in\mathbb{Z}^+$ ，有：

(85)

当 $t\in\mathbb{Z}^-$ ，有：

(86)

当 $t=\frac{n}{m}\in\mathbb{Q}$ ，由于 $mh\left(\frac{1}{m}\right)=h(1)=\lambda$ ，因此：

(87)

当 $t\in\mathbb{R}$ 时，根据实数的完备性，一定存在有理数列 $\lbrace q_k\rbrace\subseteq\mathbb{Q}$ ，使得 $q_k\to t$ 。因此，根据连续性：

(88)

综上所述，任取 $t\in\mathbb{R}$ ，都有 $h(t)=\lambda t$ ，因此 $g(t)=\exp(\lambda t)$ 。

Apd.2. Gamma 分布和 Gamma 函数

Gamma 分布

Gamma 分布有两个参数：

形状参数 $k\gt 0$ ，主要控制分布的形状。
尺度参数 $\theta\gt 0$ ，主要控制分布的展宽。

若随机变量 $X\sim\text{Gamma}\left(k,\theta\right)$ ，则 $X$ 的概率密度函数为：

(89)

其中， $\Gamma(k)$ 是 Gamma 函数。

Gamma 分布有以下性质：

均值： $\mathbb{E}[X]=k\theta$ ；
方差： $\text{Var}[X]=k\theta^2$ ；
矩母函数： $G_X(t)=(1-\theta t)^{-k},\quad t\lt 1/\theta$ 。

在一些特殊情况下，Gamma 分布退化为常见的分布：

指数分布：当 $k=1$ 时，Gamma分布退化为指数分布，常用于描述“等待时间”。

$(90)$
卡方分布：当 $k=\nu/2$ ， $\theta=2$ 时，Gamma分布变成自由度为 $\nu$ 的卡方分布。

$(91)$
爱尔朗分布：当 $k$ 为正整数时，称为爱尔朗分布，常见于排队论。

Gamma 函数

Gamma 函数的定义为：

(92)

Gamma 函数是阶乘函数在实数域上的推广。任取 $n\in\mathbb{Z}^+$ ，有：

(93)

其中，

(94)

因此， $\Gamma(n)=(n-1)!$ 。

Apd.3. Proof of Theorem 1.

我们来证明对于非负随机变量 $X\geq 0$ 有

(95)

事实上：

(96)

得证。