Wallis 公式、Stirling 公式与正态分布

Author

sun123zxy

Published

April 23, 2023

Modified

August 27, 2023

Abstract
以及双阶乘、中心二项式系数、Catalan 数的渐进估计和 Poisson 分布.

参考:

1 Warm up

Example 1limn(2n1)!!(2n)!!=limn1×3×5××(2n1)2×4×6××2n

Solution. 用放缩 2k>(2k1)(2k+1) 拆分母即得 (2n1)!!(2n)!!<12n+10

Example 2 (中心二项式系数)limn(2nn)22n

Solution. (2nn)22n=(2n)!22n(n!)2=(2n)!(2nn!)2=(2n)!((2n)!!)2=(2n1)!!(2n)!!<12n+10

上两例有没有更精确的渐进估计?这便是我们马上要研究的问题.

2 Wallis 公式

Lemma 1 (Wallis 积分公式) 定积分系列 Jn=0π2sinnxdx 满足 J2n=(2n1)!!(2n)!!π2J2n+1=(2n)!!(2n+1)!!1

Proof. 我们的思路是:先把一个 sinx 放进微分中,然后分部积分得到递推式.

Jn=0π2sinnxdx=0π2sinn1xdcosx=[sinn1xcosx]0π2+0π2cosxdsinn1x=(n1)0π2cos2xsinn2xdx=(n1)0π2(1sin2x)sinn2xdx=(n1)0π2sinn2xdx(n1)0π2sinnxdx=(n1)Jn2(n1)Jn

Jn=n1nJn2 边界条件 J0=π2J1=0π2sinxdx=1 代入递推式求解就得到了要证的结论.

Theorem 1 (Wallis 公式) π2=limn12n+1((2n)!!(2n1)!!)2

Proof. 注意到在积分区间上,sinnxsinn+1x,由积分的单调性,Jnn 单调递减,故 J2n+1J2nJ2n1 成立.代入 中得到的结果 (2n)!!(2n+1)!!(2n1)!!(2n)!!π2(2n2)!!(2n1)!! 移项得 ((2n)!!(2n1)!!)212n+1π2((2n)!!(2n1)!!)212n

现在只需说明 RHS 与 LHS 的差是一个无穷小. ((2n)!!(2n1)!!)2(12n12n+1)=((2n)!!(2n1)!!)2(12n(2n+1))=((2n2)!!(2n1)!!)22n(2n+1)limn(2n2)!!(2n1)!!=0,故上式确为一个无穷小,定理得证.

Wallis 公式还有其它表现形式: 22n(2nn)=(2n)!!(2n1)!!πn(n) 这里 Wallis 公式反映为对 的渐进估计.

Exercise 1 对 Catalan 数 Cn=(2nn)(2nn+1) 做出渐进估计.

Solution. 注意到 Cn=(2nn)(2nn+1)=(2nn)nn+1(2nn)=1n+1(2nn) 用 Wallis 公式计算即得 Cn22nπn32

Wallis 公式的另一种表现形式是 π2=n=14n24n21=n=1(2n2n12n2n+1) 这表达式也被称为 Wallis product,用于近似计算 π

Remark

Remark. 这和我们在 中使用的放缩技巧……

3 Stirling 公式

Lemma 2 (1+1n)n<e<(1+1n)n+1

这是《数学分析 I》中大家所熟知的.

Theorem 2 (ne)n<n!e<n(ne)n

Proof. 写成 (n+1)nnn<e<(n+1)n+1nn+1k=1,2,,n1 做连乘 k=1n1(k+1)kkk<en1<k=1n1(k+1)k+1kk+1 注意到乘积的相邻两项中,前一项的分子与后一项的分母可以约分,中间每项只余下 1k,故上式可化为 nn1(n1)!<en1<nn(n1)! 两端再同乘 n!en 就得到 (ne)n<n!e<n(ne)n

Theorem 3 (Stirling 公式) n!2πn(ne)n(n)

完整证明较复杂,这里介绍证明最后一步:已知 n!an(ne)n,用 Wallis 公式对 22n/(2nn) 的渐进估计确定系数 a

πn22n(2nn)=22n(n!)2(2n)!22n(annnen)2a2n22nn2ne2n=n2a

因此 a=2π

Example 3nk 时,用 Stirling 公式渐进估计 (nk)

Solution. (nk)n2πk(nk)nnkk(nk)nk

4 Poisson 分布

描述单位时间平均发生次数恒定的随机事件的概率分布.

Definition 1 (Poisson 分布) 若离散随机变量 X 满足 P(X=k)=λkk!eλ 其中 λ>0 是确定的常数,则随机变量 X 服从 Poisson 分布.

4.1 从二项分布的推导

np=λ 的条件下,取 P(Xn=k)=(nk)pk(1p)nknn 上的逐点极限.

P(Xn=k)=(nk)pk(1p)nk=(nk)λknk(1λn)nk=λk(1λn)n(1λn)k(nk)1nkλkeλ(nk)1nk=λkeλn(n1)(nk+1)k!nk=λkk!eλ1(11n)(1k1n)λkk!eλ

4.2 归一性验证

k=0+P(X=k)=k=0+λkk!eλ=eλk=0+λkk!=eλeλ=1

5 正态分布

与 Poisson 分布不同,(标准)正态分布是在 n 的过程中假定 p 不变的情况下,对归一化(即假定期望和方差不变)后的 Xn 取逐点极限得到的.

Definition 2 (正态分布) 若连续随机变量 X 的期望 E(X)=μ,方差 D(X)=σ,且其概率分布函数为 f(x)=12πσexp((xμ)22σ2) 则变量 X 服从正态分布,记为 XN(μ,σ2)

特别的,当 μ=0σ=1 时,变量 X 服从标准正态分布 f(x)=12πexp(12x2)

5.1 从二项分布的推导(de Moivre-Laplace 定理)

设随机变量 XnB(n,p).方便起见,令 q=1p.众所周知,二项分布的期望与方差满足 E(Xn)=npD(Xn)=npq

对随机变量 Xn 做归一化: X¯n=XnE(Xn)D(Xn)=Xnnpnpq 考虑到 P(X¯n=x)=P(Xn=np+xnpq)k=np+xnpq,则 P(X¯n=x)=P(Xn=k)=(nk)pkqnk 此时 n,k 均趋于无穷大,故可应用 对二项式系数做出估计 (nk)pkqnkn2πk(nk)nnkk(nk)nkpkqnk=n2πk(nk)(npk)k(nqnk)nk=n2πk(nk)exp(klnnpk+(nk)lnnqnk)

下面分别处理 klnnpk(nk)lnnqnk

klnnpk=(np+xnpq)lnnp+xnpqnp=(np+xnpq)ln(1+xqnp)=(np+xnpq)(xqnpx2q2np+o(1n))=xnpq+12x2qx2q+o(1)

(nk)lnnqnk=(nqxnpq)lnnqxnpqnq=(nqxnpq)ln(1xpnq)=(nqxnpq)(xpnq+x2p2nq+o(1n))=xnpq+12x2px2p+o(1)

因此 klnnpk+(nk)lnnqnk=12x2(p+q)+o(1)=12x2+o(1)

下面处理 n2πk(nk)

n2πk(nk)=n2π(np+xnpq)(nqxnpq)=12π(p+xpqn)(qxpqn)=12πnpq+o(1)

将上述结果代回,我们就得到 (nk)pkqnk12πnpq+o(1)exp(12x2+o(1))12πnpqexp(12x2)P(X¯n=x)=P(Xn=k)12πnpqexp(12x2)=12πnpqexp((knp)22npq) 这正是我们想要的.

Remark

Remark. 细心的同学可能会对式子前边的系数仍是 n 时的无穷小产生疑问.事实上,在将 Xn 归一化为 X¯n 的过程中,我们将整个变量“压缩”至原来的 1npq,因此前面的系数可以理解为一种类似 dx 的存在.关于归一化的直观理解,3Blue1Brown 的中心极限定理视频提供了很好的讲解.

更形式化的,由于归一化得到的离散型随机变量 X¯nn 的过程中已经变成连续型随机变量 X,我们研究的对象也应从单点转向区间.因此,对 XnX¯n 概率分布的叙述做一点变动 P(xX¯n<x+1npq)=P(kXn<k+1)=P(Xn=k)12πnpqexp(12x2) 令区间大小趋于 0 就得到 f(x)=limh0P(xX<x+h)h=limnnpqP(xX¯n<x+1npq)=limnnpq12πnpqexp(12x2)这里  表现为等价无穷小替换=12πexp(12x2) 这才是我们真正想要的,由二项分布归一化后取极限得到的,标准正态分布的概率密度函数.

6 Challenge

选讲或留作课后讨论.

6.1 中心极限定理要求下正态分布的唯一性

正态分布概率密度函数 ex2 的形式是如何被确定的?怎么说明这形式是满足中心极限定理的独一无二的概率密度函数?

3Blue1Brown 关于正态分布的系列视频较完整的解答了上述疑问,下面是推导思路的提纲.

首先需要意识到,随机变量之和的概率分布即原变量概率密度函数的卷积.

形式化的唯一性证明一般分为两步:

  • 使用 moment generating function 的方法证明,任一分布的概率密度函数的各次卷积所构成的函数列一定收敛,且收敛至的函数与初始选取的分布无关.
  • 验证正态分布概率密度函数的卷积仍有 ex2 的形式.

这是严谨但并不令人满意的.我们需要更“几何”化的理解来理解 ex2 的这种唯一性,即为什么只有 ex2 在卷积下具有形式不变性.(需要指出的是,3Blue1Brown 的系列视频中,下面部分的严谨性不够充分,有待进一步研究)

Herschel-Maxwell derivation 指出,若二维概率分布满足以下两个条件:

  • 该分布具有各向同性,即该二维分布概率密度函数在某点处的取值只与该点离原点的距离有关
  • 分布关于 x,y 坐标轴独立,即该二维分布的概率密度函数可写为 f(x)f(y) 的形式.

则一维情形下此分布的概率密度函数被唯一地确定为具有 f(x)=ecx2 的形式.当然需要假设 f(x) 连续,并在最后做归一化处理.

两个随机变量 X,Y 的和 X+Y 的概率密度函数可被视为这两个随机变量的 Descartes 积 (X,Y) 的二元概率密度函数“切片”并按面积(除掉 2 的常数因子后)“投影”至 y=x 上的结果.

考虑中心极限定理.两个独立同分布变量相加,这已经满足了二维分布独立性的要求.若考虑要求卷积后形式不变,也有必要要求二维分布的各项同性(这样一来,沿 y=x 方向的“切片”的形状与坐标轴向的“切片”只有一个常数因子 2 的差别).因此,中心极限定理某种意义上正好对应了 Herschel-Maxwell derivation 的要求,从而唯一确定了正态分布概率密度函数 ex2 的形式.

6.2 正态分布的归一性验证、Maxwell 速率分布与高维球体表面积

Guass 积分: +ex2dx=π

Maxwell 速率分布: f(v)=4πv2(m2πkT)32exp(m2kTv2)

以及它们与高维球体表面积的联系涉及多元积分学的内容.参见 3Blue1Brown 有关 π 与正态分布的视频

6.3 n! 的其它估计

一种更容易想到的做法是 nlnnn1=1nlnxdxlnn!=k=1nlnk1n+1lnxdx=(n+1)ln(n+1)n2 从而 (ne)nen!(n+1e)n+1 当然这比 的估计稍差.

更多估计可参考这篇文章

6.4 Wallis 公式的其它证明

3Blue1Brown 频道提供了一个几何风格的证明,其与 Bassel 问题的 Euler 解法有着神秘的联系.事实上,Euler 对 sinxx 的无穷乘积拆解也可用于证明 Wallis product,参见 Wikipedia

6.5 Wallis 公式视角下三阶乘与中心三项式系数的渐进估计

Exercise 2limn(3n2)!!!(3n)!!!=limn1×4×7××(3n2)3×6×9××3n 并对其做出渐进估计.

Exercise 3limn(3n1)!!!(3n)!!!=limn2×5×8××(3n1)3×6×9××3n 并对其做出渐进估计.

Exercise 4limn(3n)!/(n!)333n 并对其做出渐进估计.

用 Stirling 公式计算得到的结果是 32πn 但在 Wallis 公式的视角下如何获得?

7 Acknowledgments

感谢吕老师组织我最喜欢的研讨课环节.此外, 的放缩技巧由“吸取教训”同学提供,Poisson 分布的二项分布推导是与“抱头蹲防”同学讨论的结果,在此表示感谢.

References

[1]
张筑生, 数学分析新讲(重排本)(第二册), 2nd ed. 北京: 北京大学出版社, 2021.
[2]
张颢, 概率论. 北京: 高等教育出版社, 2018.
[3]
3Blue1Brown, “Why is the "central limit" a normal distribution?” https://www.youtube.com/watch?v=d_qvLDhkg00, 2023.
[4]
3Blue1Brown, “Why π is in the normal distribution (beyond integral tricks).” https://www.youtube.com/watch?v=cy8r7WSuT1I, 2023.
[5]
hijjjjq, “对n的阶乘(n!)进行估计.” https://zhuanlan.zhihu.com/p/552658420, 2022.
[6]
3Blue1Brown, “The wallis product for pi, proved geometrically.” https://www.youtube.com/watch?v=8GPy_UMV-08, 2018.
[7]