Wallis 公式、Stirling 公式与正态分布
数学分析 II 第十周研讨课讲稿 EX
\[ \newcommand{\diff}{\operatorname{d}\!} \]
参考：
1 Warm up
Example 1 求 \[ \lim_{n \to \infty} \frac{(2n-1)!!}{(2n)!!} = \lim_{n \to \infty} \frac{1 \times 3 \times 5 \times \dots \times (2n-1)}{2 \times 4 \times 6 \times \dots \times 2n} \]
Solution. 用放缩 \[ 2k > \sqrt{(2k-1)(2k+1)} \] 拆分母即得 \[ \frac{(2n-1)!!}{(2n)!!} < \frac 1 {\sqrt{2n+1}} \sim 0 \]
Example 2 (中心二项式系数) 求 \[ \lim_{n \to \infty} \frac{\binom{2n}{n}}{2^{2n}} \]
Solution. \[ \frac{\binom{2n}{n}}{2^{2n}} = \frac{(2n)!}{2^{2n} (n!)^2} = \frac{(2n)!}{(2^n n!)^2} = \frac{(2n)!}{(2n!!)^2} = \frac{(2n-1)!!}{2n!!} < \frac 1 {\sqrt{2n+1}} \sim 0 \]
上两例有没有更精确的渐进估计？这便是我们马上要研究的问题．
2 Wallis 公式
Lemma 1 (Wallis 积分公式) 定积分系列 \[ J_n = \int_0^{\frac \pi 2} \sin^n x \diff x \] 满足 \[ \begin{aligned} J_{2n} &= \frac{(2n-1)!!}{(2n)!!} \cdot \frac \pi 2 \\ J_{2n+1} &= \frac{(2n)!!}{(2n+1)!!} \cdot 1 \end{aligned} \]
Proof. 我们的思路是：先把一个 \(\sin x\) 放进微分中，然后分部积分得到递推式．
\[ \begin{aligned} J_n &= \int_0^{\frac \pi 2} \sin^n x \diff x \\ &= - \int_0^{\frac \pi 2} \sin^{n-1} x \diff \cos x \\ &= \left[ - \sin^{n-1} x \cos x \right]_{0}^{\frac \pi 2} + \int_0^{\frac \pi 2} \cos x \diff \sin^{n-1} x \\ &= (n-1) \int_0^{\frac \pi 2} \cos^2 x \sin^{n-2} x \diff x \\ &= (n-1) \int_0^{\frac \pi 2} (1 - \sin^2 x) \sin^{n-2} x \diff x \\ &= (n-1) \int_0^{\frac \pi 2} \sin^{n-2} x \diff x - (n-1) \int_0^{\frac \pi 2} \sin^n x \diff x \\ &= (n-1) J_{n-2} - (n-1) J_n \end{aligned} \]
故 \[ J_n = \frac{n-1}{n} J_{n-2} \] 边界条件 \[ \begin{aligned} J_0 &= \frac \pi 2 \\ J_1 &= \int_0^{\frac \pi 2} \sin x \diff x = 1 \end{aligned} \] 代入递推式求解就得到了要证的结论．
Theorem 1 (Wallis 公式) \[ \frac \pi 2 = \lim_{n \to \infty} \frac 1 {2n+1} \left( \frac{(2n)!!}{(2n-1)!!} \right)^2 \]
Proof. 注意到在积分区间上，\(\sin^n x \geq \sin^{n+1} x\)，由积分的单调性，\(J_n\) 随 \(n\) 单调递减，故 \(J_{2n+1} \leq J_{2n} \leq J_{2n-1}\) 成立．代入 Lemma 1 中得到的结果 \[ \frac{(2n)!!}{(2n+1)!!} \leq \frac{(2n-1)!!}{(2n)!!} \cdot \frac \pi 2 \leq \frac{(2n-2)!!}{(2n-1)!!} \] 移项得 \[ \left( \frac{(2n)!!}{(2n-1)!!} \right)^2 \frac{1}{2n+1} \leq \frac \pi 2 \leq \left( \frac{(2n)!!}{(2n-1)!!} \right)^2 \frac 1 {2n} \]
现在只需说明 RHS 与 LHS 的差是一个无穷小． \[ \begin{aligned} \left( \frac{(2n)!!}{(2n-1)!!} \right)^2 \left( \frac 1 {2n} - \frac 1 {2n+1} \right) &= \left( \frac{(2n)!!}{(2n-1)!!} \right)^2 \left( \frac 1 {2n(2n+1)} \right) \\ &= \left( \frac{(2n-2)!!}{(2n-1)!!} \right)^2 \frac {2n}{(2n+1)} \end{aligned} \] 由 Example 1 ，\(\lim_{n \to \infty} \frac{(2n-2)!!}{(2n-1)!!} = 0\)，故上式确为一个无穷小，定理得证．
Wallis 公式还有其它表现形式： \[ \frac{2^{2n}}{\binom{2n}{n}} = \frac{(2n)!!}{(2n-1)!!} \sim \sqrt{\pi n} \pod{n \to \infty} \] 这里 Wallis 公式反映为对 Example 1 和 Example 2 的渐进估计．
Exercise 1 对 Catalan 数 \[ C_n = \binom{2n}{n} - \binom{2n}{n+1} \] 做出渐进估计．
Solution. 注意到 \[ C_n = \binom{2n}{n} - \binom{2n}{n+1} = \binom{2n}{n} - \frac n {n+1} \binom{2n}{n} = \frac 1 {n+1} \binom{2n}{n} \] 用 Wallis 公式计算即得 \[ C_n \sim \frac {2^{2n}}{\sqrt{\pi} n^{\frac 3 2}} \]
Wallis 公式的另一种表现形式是 \[ \frac \pi 2 = \prod_{k=1}^\infty \frac{4 n^2}{4 n^2-1} = \prod_{k=1}^\infty \left( \frac{2n}{2n-1} \cdot \frac{2n}{2n+1} \right) \] 这表达式也被称为 Wallis product，用于近似计算 \(\pi\)．
Remark. 这和我们在 Example 1 中使用的放缩技巧……
3 Stirling 公式
Lemma 2 \[ \left( 1+\frac 1 n \right)^n < e < \left( 1 + \frac 1 n \right)^{n+1} \]
这是《数学分析 I》中大家所熟知的．
Theorem 2 \[ \left(\frac n e \right)^n < \frac {n!} e < n \left( \frac n e \right)^n \]
Proof. 将 Lemma 2 写成 \[ \frac{(n+1)^n}{n^n} < e < \frac{(n+1)^{n+1}}{n^{n+1}} \] 对 \(k = 1,2, \dots, n-1\) 做连乘 \[ \prod_{k=1}^{n-1} \frac{(k+1)^k}{k^k} < e^{n-1} < \prod_{k=1}^{n-1} \frac{(k+1)^{k+1}}{k^{k+1}} \] 注意到乘积的相邻两项中，前一项的分子与后一项的分母可以约分，中间每项只余下 \(\frac 1 k\)，故上式可化为 \[ \frac{n^{n-1}}{(n-1)!} < e^{n-1} < \frac{n^n}{(n-1)!} \] 两端再同乘 \(\frac{n!}{e^{n}}\) 就得到 \[ \left(\frac n e \right)^n < \frac {n!} e < n \left( \frac n e \right)^n \]
Theorem 3 (Stirling 公式) \[ n! \sim \sqrt{2 \pi n} \left( \frac n e \right)^n \pod{n \to \infty} \]
完整证明较复杂，这里介绍证明最后一步：已知 \(n! \sim a \sqrt n \left( \frac n e \right)^n\)，用 Wallis 公式对 \(2^{2n} / \binom{2n}{n}\) 的渐进估计确定系数 \(a\)．
\[ \sqrt{\pi n} \sim \frac {2^{2n}}{\binom{2n}{n}} = \frac{2^{2n} (n!)^2}{(2n)!} \sim \frac{2^{2n} (a \sqrt n n^n e^{-n})^2}{a \sqrt{2n} 2^{2n} n^{2n} e^{-2n}} = \sqrt{\frac n 2} a \]
因此 \(a=\sqrt{2 \pi}\)．
Example 3 当 \(n \to \infty\)，\(k \to \infty\) 时，用 Stirling 公式渐进估计 \(\binom n k\)．
Solution. \[ \binom n k \sim \sqrt{\frac{n}{2 \pi k (n-k)}} \frac{n^n}{k^k (n-k)^{n-k}} \]
4 Poisson 分布
描述单位时间平均发生次数恒定的随机事件的概率分布．
Definition 1 (Poisson 分布) 若离散随机变量 \(X\) 满足 \[ P(X = k) = \frac{\lambda^k}{k!}e^{-\lambda} \] 其中 \(\lambda > 0\) 是确定的常数，则随机变量 \(X\) 服从 Poisson 分布．
4.1 从二项分布的推导
在 \(np = \lambda\) 的条件下，取 \(P(X_n = k) = \binom n k p^k (1-p)^{n-k}\) 在 \(n \to \infty\) 在 \(n \to \infty\) 上的逐点极限．
\[ \begin{aligned} P(X_n = k) &= \binom{n}{k} p^k (1-p)^{n-k} \\ &= \binom{n}{k} \frac{\lambda^k}{n^k} \left( 1-\frac \lambda n \right)^{n-k} \\ &= \lambda^k \left( 1-\frac \lambda n \right)^n \left( 1-\frac \lambda n \right)^{-k} \binom{n}{k} \frac{1}{n^k} \\ &\sim \lambda^k e^{-\lambda}\binom{n}{k} \frac 1 {n^k} \\ &= \lambda^k e^{-\lambda} \frac {n (n-1) \dots (n-k+1)}{k! n^k} \\ &= \frac{\lambda^k}{k!} e^{-\lambda} \cdot 1 \cdot (1-\frac 1 n) \dots (1 - \frac{k-1}{n}) \\ &\sim \frac{\lambda^k}{k!} e^{-\lambda} \end{aligned} \]
4.2 归一性验证
\[ \sum_{k=0}^{+\infty} P(X = k) = \sum_{k=0}^{+\infty} \frac{\lambda^k}{k!}e^{-\lambda} = e^{-\lambda} \sum_{k=0}^{+\infty} \frac{\lambda^k}{k!} = e^{-\lambda} e^{\lambda} = 1 \]
5 正态分布
与 Poisson 分布不同，（标准）正态分布是在 \(n \to \infty\) 的过程中假定 \(p\) 不变的情况下，对归一化（即假定期望和方差不变）后的 \(X_n\) 取逐点极限得到的．
Definition 2 (正态分布) 若连续随机变量 \(X\) 的期望 \(E(X) = \mu\)，方差 \(D(X) = \sigma\)，且其概率分布函数为 \[ f(x) = \frac 1 {\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^2}{2 \sigma^2}\right) \] 则变量 \(X\) 服从正态分布，记为 \(X \sim N(\mu, \sigma^2)\)．
特别的，当 \(\mu = 0\)，\(\sigma = 1\) 时，变量 \(X\) 服从标准正态分布 \[ f(x) = \frac 1 {\sqrt{2 \pi}} \exp \left(-\frac{1}{2} x^2\right) \]
5.1 从二项分布的推导（de Moivre-Laplace 定理）
设随机变量 \(X_n \sim B(n,p)\)．方便起见，令 \(q = 1-p\)．众所周知，二项分布的期望与方差满足 \(E(X_n) = np\)，\(D(X_n) = npq\)．
对随机变量 \(X_n\) 做归一化： \[ \bar X_n = \frac{X_n - E(X_n)}{\sqrt{D(X_n)}} = \frac{X_n - np}{\sqrt{npq}} \] 考虑到 \[ P(\bar X_n = x) = P(X_n = np + x \sqrt{npq}) \] 令 \(k = np + x \sqrt{npq}\)，则 \[ P(\bar X_n = x) = P(X_n = k) = \binom{n}{k} p^k q^{n-k} \] 此时 \(n,k\) 均趋于无穷大，故可应用 Example 3 对二项式系数做出估计 \[ \begin{aligned} \binom{n}{k} p^k q^{n-k} &\sim \sqrt{\frac{n}{2 \pi k (n-k)}} \frac{n^n}{k^k (n-k)^{n-k}} p^k q^{n-k} \\ &= \sqrt{\frac{n}{2 \pi k (n-k)}} \left( \frac{np}{k} \right)^{k} \left( \frac{nq}{n-k} \right)^{n-k} \\ &= \sqrt{\frac{n}{2 \pi k (n-k)}} \exp{\left( k \ln{\frac{np}{k}} + (n-k) \ln{\frac{nq}{n-k}} \right)} \end{aligned} \]
下面分别处理 \(k \ln{\frac{np}{k}}\) 和 \((n-k) \ln{\frac{nq}{n-k}}\)．
\[ \begin{aligned} k \ln{\frac{np}{k}} &= -(np + x \sqrt{npq}) \ln{\frac{np + x \sqrt{npq}}{np}} \\ &= -(np + x \sqrt{npq}) \ln{\left( 1 + x \sqrt{\frac q {np}} \right)} \\ &= -(np + x \sqrt{npq}) \left( x \sqrt{\frac q {np}} - \frac{x^2 q}{2np} + o\left( \frac 1 n \right) \right) \\ &= -x \sqrt{npq} + \frac{1}{2} x^2 q - x^2 q + o(1) \end{aligned} \]
\[ \begin{aligned} (n-k) \ln{\frac{nq}{n-k}} &= -(nq - x \sqrt{npq}) \ln{\frac{nq - x \sqrt{npq}}{nq}} \\ &= -(nq - x \sqrt{npq}) \ln{\left( 1 - x \sqrt{\frac p {nq}} \right)} \\ &= (nq - x \sqrt{npq}) \left( x \sqrt{\frac p {nq}} + \frac{x^2 p}{2nq} + o\left( \frac 1 n \right) \right) \\ &= x \sqrt{npq} + \frac{1}{2} x^2 p - x^2 p + o(1) \end{aligned} \]
因此 \[ k \ln{\frac{np}{k}} + (n-k) \ln{\frac{nq}{n-k}} = - \frac{1}{2} x^2 (p+q) + o(1) = - \frac 1 2 x^2 + o(1) \]
下面处理 \(\sqrt{\frac{n}{2 \pi k (n-k)}}\)．
\[ \begin{aligned} \sqrt{\frac{n}{2 \pi k (n-k)}} &= \sqrt{\frac{n}{2 \pi (np + x \sqrt{npq}) (nq - x \sqrt{npq})}} \\ &= \sqrt{\frac{1}{2 \pi (p + x \sqrt{\frac{pq}{n}}) (q - x \sqrt{\frac{pq}{n}})}} \\ &= \sqrt{\frac{1}{2 \pi n p q + o(1)}} \end{aligned} \]
将上述结果代回，我们就得到 \[ \begin{aligned} \binom{n}{k} p^k q^{n-k} &\sim \sqrt{\frac{1}{2 \pi n p q + o(1)}} \exp{\left( - \frac 1 2 x^2 + o(1) \right)} \\ &\sim \frac{1}{\sqrt{2 \pi n p q}} \exp{\left( - \frac 1 2 x^2 \right)} \end{aligned} \] 即 \[ P(\bar X_n = x) = P(X_n = k) \sim \frac 1 {\sqrt{2 \pi npq}} \exp \left( -{\frac 1 2 x^2} \right) = \frac 1 {\sqrt{2 \pi npq}} \exp \left( -\frac{(k-np)^2}{2npq} \right) \] 这正是我们想要的．
Remark. 细心的同学可能会对式子前边的系数仍是 \(n \to \infty\) 时的无穷小产生疑问．事实上，在将 \(X_n\) 归一化为 \(\bar X_n\) 的过程中，我们将整个变量“压缩”至原来的 \(\frac{1}{\sqrt{npq}}\)，因此前面的系数可以理解为一种类似 \(\diff x\) 的存在．关于归一化的直观理解，3Blue1Brown 的中心极限定理视频[3]提供了很好的讲解．
更形式化的，由于归一化得到的离散型随机变量 \(\bar X_n\) 在 \(n \to \infty\) 的过程中已经变成连续型随机变量 \(X\)，我们研究的对象也应从单点转向区间．因此，对 \(X_n\) 与 \(\bar X_n\) 概率分布的叙述做一点变动 \[ P\left(x \leq \bar X_n < x + \frac 1 {\sqrt{npq}}\right) = P\left(k \leq X_n < k + 1 \right) = P(X_n=k) \sim \frac 1 {\sqrt{2 \pi npq}} \exp \left( -{\frac 1 2 x^2} \right) \] 令区间大小趋于 \(0\) 就得到 \[ \begin{aligned} f(x) &= \lim_{h \to 0}{\frac{P(x \leq X < x+h)}{h}} \\ &= \lim_{n \to \infty} \sqrt{npq} \cdot P\left(x \leq \bar X_n < x + \frac 1 {\sqrt{npq}}\right) \\ &= \lim_{n \to \infty} \sqrt{npq} \cdot \frac 1 {\sqrt{2 \pi npq}} \exp \left( -{\frac 1 2 x^2} \right) & \dots \text{这里 $\sim$ 表现为等价无穷小替换} \\ &= \frac 1 {\sqrt{2 \pi}} \exp \left( -{\frac 1 2 x^2} \right) \end{aligned} \] 这才是我们真正想要的，由二项分布归一化后取极限得到的，标准正态分布的概率密度函数．
6 Challenge
选讲或留作课后讨论．
6.1 正态分布的归一性验证、Maxwell 速率分布与高维球体的表面积
Guass 积分： \[ \int_{-\infty}^{+\infty} e^{-x^2} \diff x = \sqrt \pi \]
Maxwell 速率分布： \[ f(v) = 4 \pi v^2 \left( \frac{m}{2 \pi kT} \right)^{\frac 3 2} \exp \left( - \frac{m}{2kT}v^2 \right) \]
以及它们与高维球体表面积的联系涉及多元积分学的内容．参考 3Blue1Brown 有关 \(\pi\) 与正态分布的视频[4]．
6.2 \(n!\) 的其它估计
一种更容易想到的做法是 \[ n \ln n - n - 1 = \int_1^n \ln x \diff x \leq \ln n! = \sum_{k=1}^n \ln k \leq \int_1^{n+1} \ln x \diff x = (n+1) \ln (n+1) - n - 2 \] 从而 \[ \left( \frac n e \right)^n \leq e \cdot n! \leq \left(\frac{n+1}{e}\right)^{n+1} \] 当然这比 Theorem 2 的估计稍差．
更多估计可参考这篇文章[5]．
6.3 Wallis 公式视角下三阶乘与中心三项式系数的渐进估计
Exercise 2 求 \[ \lim_{n \to \infty} \frac{(3n-2)!!!}{(3n)!!!} = \lim_{n \to \infty} \frac{1 \times 4 \times 7 \times \dots \times (3n-2)}{3 \times 6 \times 9 \times \dots \times 3n} \] 并对其做出渐进估计．
Exercise 3 求 \[ \lim_{n \to \infty} \frac{(3n-1)!!!}{(3n)!!!} = \lim_{n \to \infty} \frac{2 \times 5 \times 8 \times \dots \times (3n-1)}{3 \times 6 \times 9 \times \dots \times 3n} \] 并对其做出渐进估计．
Exercise 4 求 \[ \lim_{n \to \infty} \frac{(3n)! / (n!)^3}{3^{3n}} \] 并对其做出渐进估计．
用 Stirling 公式计算得到的结果是 \[ \frac{\sqrt 3}{2 \pi n} \] 但在 Wallis 公式的视角下如何获得？
7 Acknowledgments
感谢吕导组织我最喜欢的研讨课环节．此外，Example 1 的放缩技巧由“吸取教训”同学提供，Poisson 分布的二项分布推导是与“抱头蹲防”同学讨论的结果，在此表示感谢．