07极限定理
极限定理
极限定理是概率论中最重要的理论结果。其最核心的两个就是大数定律和中心极限定理。
切比雪夫不等式及弱大数定律
定理 2.1
马尔可夫不等式
设$X$为取非负值得随机变量，则对于任何常数$a\gt 0$有
$$P\{X\ge a\}\le \frac{E[X]}{a}$$证明
对于随机变量$X$来说，可以设一个示性变量$I$。其指示$X$的值是否大于$a$。即其定义为：
$$ I=\begin{cases} 1 & 若X\ge a\\ 0 & 其他 \end{cases} $$注意到对于$I$的值来说，当$X\ge a$的时候才为1，也就是说任何情况下都有$I\le X/a$。并且注意到到$E[I]$即事件$I$发生的概率，即$P\{X\ge a\}$的概率。对不等式$I\le X/a$两边求期望有下述不等式
$$ P\{X\ge a\}=E[I]\le E[\frac{X}{a}]=\frac{E[X]}{a} $$定理 2.2
切比雪夫不等式
设$X$是一随机变量，均值为$\mu$，方差为$\sigma^2$。两者均有限。则对任何$k\gt 0$有：
$$ P\{|X-\mu|\ge k\}\le\frac{\sigma^2}{k^2} $$这里是考虑随机变量$(X-\mu)^2$。因为$(X-\mu)^2$一定为非负随机变量。根据马尔可夫不等式，令$a=k^2$就有
$$ P\{(X-\mu)^2\ge k^2\}\le\frac{E[(X-\mu)^2]}{k^2}=\frac{\sigma^2}{k^2} $$考虑到不等式$(X-\mu)^2\ge k^2$即$|X-\mu|\ge k$。可得原命题不等式得证。
切比雪夫不等式和马尔可夫不等式的重要性在于。我们能够在只知道分布的均值和方差时，可以利用他们推导出概率的上界。当然如果概率分布已知，可以直接计算准确的概率。
由于切比雪夫不等式适用于所有分布，在通常情况下，得到的概率上界与实际概率相差较大。
定理 2.3
若$Var(X)=0$则：
$$ p\{X=E[X]\}=1 $$换言之，一个随机变量方差为0的充要条件是这个随机变量以概率1等于常数。
证明方式利用切比雪夫不等式即可。因为方差为0，即表示对于任意$k\gt 0$ 来说有
$$ P\{|X-\mu|\ge k\}\le 0 $$取$k=1/n$并且取$n\to \infty$。有
$$ 0=\lim_{n\to \infty}P\{|X-\mu|\ge \frac{1}{n}\}=P\{\lim_{n\to \infty}|X-\mu|\ge \frac{1}{n}\}=P\{X\ne \mu\} $$定理 2.4
弱大数定律
设$X_1,X_2,\cdots$ 为独立同分布的随机变量序列，其有公共均值$E[X_i]=\mu$有限。则对任何$\epsilon\gt 0$
$$ P\{\left|\frac{X_1+\cdots+X_n}{n}-\mu \right|\ge \epsilon\}\to 0\quad n\to \infty $$证明只在$Var(X_i)=\sigma^2$为有限的情况下证明此定理。此时，对于期望来说有
$$ E[\frac{X_1+\cdots+X_n}{n}]=\mu $$对于方差来说，因为$X_i$之间独立同分布。所以
$$ Var(\frac{X_1+\cdots+X_n}{n})=\frac{1}{n^2}\sum_{i=1}^nVar(X_i)=\frac{\sigma^2}{n} $$例用切比雪夫不等式有
$$ P\{\left|\frac{X_1+\cdots+X_n}{n}-\mu \right|\ge \epsilon\}\le\frac{\sigma^2}{n\epsilon^2} $$当$n$趋于无穷时，右侧趋于0。原命题得证。
中心极限定理
中心极限定理是概率论中最著名的定理之一。粗略地说，它说明大量独立随机变量的和近似地服从正态分布。因此，中心极限定理不仅提供里计算独立随机变量和的有关概率的近似值方法，同时也揭示了现实世界中许多实际的总体分布的频率曲线呈现正态分布的原因。
定理 3.1
中心极限定理
设$X-1,X_2,\cdots$为独立同分布的随机变量序列，其公共的均值为$\mu$，方差为$\sigma^2$。当$n\to \infty$时，随机变量
$$ \frac{X_1+\cdots+X_n-n\mu}{\sigma\sqrt{n}} $$的分布趋向于整天分布。即对于任何$-\infty\lt a\lt \infty$.
$$ P\{\frac{X_1+\cdots+X_n-n\mu}{\sigma \sqrt{n}}\le a\}\to \frac{1}{\sqrt{2\pi}}\int_{-\infty}^ae^{-x^2/2}dx $$证明关键在于如下引理，书中只给出了引理的陈述而不做证明。
引理 3.2
设$Z_1,Z_2\cdots$为一公共分布函数为$F_{Z_n}$的随机变量序列，相应的矩母函数为$M_{Z_n},n\ge 1$。 又设$Z$的分布为$F_Z$，矩母函数为$M_Z$。 若$M_{Z_n}(t)\to M_Z(t)$成立，则$F_{Z_n}(t)\to F_Z(t)$对$F_Z(t)$的所有连续点成立。
强大数定律
强打书定律表明了独立同分布的随机变量序列的均值以概率1收敛到分布的均值。
定理 4.1
强大数定律
设$X-1,X_2,\cdots$为独立同分布的随机变量序列，其公共均值$\mu=E[X_i]$则下式以概率1成立：
$$ \frac{X_1+X_2+\cdots+X_n}{n}\to \mu \quad n\to\infty $$作为强大数定律最直接的应用。其实就是频率与概率之间的关系。针对某一事件，通过定义示性变量$X_i$为
$$ X_i=\begin{cases} 1& E在第i次事件发生\\ 0& E在第i次事件不发生 \end{cases} $$那么根据强大数定律以概率1有
$$ \frac{X_1+\cdots+X_n}{n}\to E[X]=P(E) $$此事说明事件$E$在前$n$次实验中发生的频率以概率1收敛到它的概率$P(E)$上。
其他不等式
定理 5.1
单边的切比雪夫不等式
设$X$具有$0$均值和有限方差$\sigma^2$。则对任意$a\gt 0$
$$ P\{X\ge a\}\le \frac{\sigma^2}{\sigma^2+a^2} $$证明
令$b\gt 0$，注意到
$$ X\ge a \Leftrightarrow X+b\ge a+b $$所以有
$$ P\{X\ge a\}=P\{X+b\ge a+b \}\le P\{(X+b)^2\ge (a+b)^2 \} $$第二个不等式来自于$a\gt 0,b\gt 0$所以$a+b\gt 0$。所以$X+b\ge a+b$可推得$(X+b)^2\ge (a+b)^2$。所以前一个事件发生后面一个事件必然发生。可得不等式。也可通过集合覆盖来看待。再利用马尔可夫不等式有。
$$ P\{X\ge a\}\le P\{(X+b)^2\ge (a+b)^2 \}=\frac{E[(X+b)^2]}{(a+b)^2}=\frac{\sigma^2+b^2}{(a+b)^2} $$对于$b$来说，可以取任何常数。取$b=\sigma^2/a$。便可得到结论。
当随机变量$X$得矩母函数已知时，我们可以得到更加有效的$P\{X\ge a\}$得上界。令
$$ M(t)=E[e^{tX}] $$因为指数函数是恒大于0的单调增函数。对于$t\gt 0$有：
$$ P\{X\ge a\}=P\{e^{tX}\ge e^{ta}\} $$应为$e^{tX}$恒大于0，由马尔可夫不等式有：
$$ P\{X\ge a\}=P\{e^{tX}\ge e^{ta}\}=\frac{E[e^{tX}]}{e^{ta}} $$同理对于$t\lt 0$有
$$ P\{X\ge a\}=P\{e^{tX}\le e^{ta}\}=\frac{E[e^{tX}]}{e^{ta}} $$定理 5.2
切尔诺夫界
$$ P\{X\ge a\}\le e^{-ta}M(t)\quad 对一切t\gt 0 $$$$ P\{X\le a\}\le e^{-ta}M(t)\quad 对一切t\lt 0 $$
定理 5.3
詹森不等式
若$f(x)$是凸函数，$E[X]$存在且有限，则
$$ E[f(X)]\ge f(E[X]) $$这个定理跟微积分的中值地理很像。入手是从函数的taylor展开入手。
对于$f(x)$在$\mu=E[X]$处有：
$$ f(x)=f(\mu)+f'(\mu)(x-\mu)+f''(\xi)\frac{(x-\mu)^2}{2} $$因为$f(x)$是凸函数即$f''(\xi)\ge 0$，所以必有$f''(\xi)\frac{(x-\mu)^2}{2}\ge 0$。进而有$f(x)\ge(\mu)+f'(\mu)(x-\mu)$。因为$X$是随机变量，而$f(x)$是函数，对于每个随机变量取值都有：
$$ f(X)\ge f(\mu)+f'(\mu)(X-\mu) $$两边取期望有
$$E[f(x)]\ge E[f(\mu)]+E[f'(\mu)(X-\mu)]=E[f(\mu)]+f'(\mu)E[(X-\mu)]=E[f(\mu)]$$定理 5.4
若$f$和$g$是递增函数，则
$$ E[f(X)g(X)]\ge E[f(X)]E[g(X)] $$注意这里$f,g$都是随机变量$X$的函数。如果两个随机变量$X,Y$相互独立，根据前面有$E[f(X)g(Y)]=E[f(X)]E[g(Y)]$。
在假设$X,Y$独立同分布。因为$f,g$都是递增函数，所以当$X\gt Y$时，$f(X)-f(Y)\gt 0,g(X)-g(Y)\gt 0$。同理当$X\lt Y$时，$f(X)-f(Y)\lt 0,g(X)-g(Y)\lt 0$。因此两个数的乘积一定大于等于0。故有
$$ (f(X)-f(Y))(g(X)-g(Y))\ge 0 $$两边求期望有
$$ E[(f(X)-f(Y))(g(X)-g(Y))]\ge 0 $$展开有
$$ E[f(X)g(X)]-E[f(X)g(Y)]-E[g(X)f(Y)]+E[g(Y)g(Y)]\ge 0 $$注意到$X,Y$独立且同分布，根据独立变量的期望定理有$E[f(X)g(Y)]=E[f(X)]E[g(Y)]=E[f(X)]E[g(X)]$。且$E[g(Y)g(Y)]=E[g(X)g(X)]$进而有：
$$ 2E[f(X)g(X)]-2E[f(X)]E[g(X)]\ge 0 $$