概率论公理

先定义概率论中的基础公理。这些公理来自于人们对实验等概念的抽象建模。

样本空间和事件

假设一个试验，其结果不可能肯定预测。但是其所有可能的结果是一个可知范围，构成一个集合。

例如扔一个六面骰子，其正面朝上的数字所有可能的结果构成集合${1,2,3,4,5,6}$。这个集合即这次试验的样本空间。

因为事件是样本空间的子集，也是一个集合。所以集合论中的操作可以同样作用在事件上面。即

• 事件$E\cup F$称为事件$E$和事件$F$的并，表示事件$E$或事件$F$中的结果发生。
• 事件$E\cap F$称为事件$E$和事件$F$的交，表示事件$E$和事件$F$同时发生。有时记录为$EF$。
• 事件$E$的补记为$E^c$。表示包含在样本空间中但不包含在$E$中的所有结果构成的事件。$E^c$发生当且仅当$E$不发生。
• 对于任意两个事件$E$和$F$。如果$E$的所有结果在$F$中，那么称$E$包含于$F$，计为$E\subset F$。

如果$EF=\varnothing$，则称$E$和$F$是互不相容的(mutually exclusive)。

可以用类似的方式记录多个事件的交并。

设$E_1,E_2,\cdots$是一系列事件。

• 这些事件的并记录为$\bigcup_{i=1}^{\infty}E_i$
• 这些事件的交记录为$\bigcap_{i=1}^{\infty}E_i$

集合论中的运算对于事件运算来说同样成立。例如

• 交换律：$$E\cup F = F\cup E,EF = FE$$
• 结合律：$$(E\cup F)\cup G = E\cup (E\cup G),(EF)G = E(FG)$$
• 分配律：$$(E\cup F)G = EG\cup FG,(EF)\cup G = (E\cup G)(F\cup G)$$

德摩根律(DeMorgan’s laws)：

$$(\bigcup_{i=1}^{n}E_i)^c=\bigcap_{i=1}^{n}E_i^c \qquad (\bigcap_{i=1}^{n}E_i)^c=\bigcup_{i=1}^{n}E_i^c$$

概率论公理

一种定义事件发生概率的方式是例用事件发生的相对频率。例如有一个样本空间为$S$的试验，相同条件下可重复进行。对于样本空间$S$中的事件$E$，记录重复试验$n$此情况下，事件$E$发生的次数，标记为$n(E)$。那么定义事件发生的概率为

$$P(E)=\lim_{n\rightarrow \infty}\frac{n(E)}{n}$$

这个定义方式便于对概率这个抽象概念的引入。非常直观，能跟现实操作逻辑关联。但从哲学基底上有很多缺陷。首先这个极限是否收敛到一个固定常数就是一个问题。其次对于概率很多抽象的本质无法深入探究。例如对于测度上某些事件的发生。

这里使用直接对于概率概念的简单，明确公理方式来定义什么叫做概率。是一个基于集合论，抽象概率概念所持有简单特性的公理化方法。这也是现在绝大部分概率论教材用的公理化定义。

简单来说。

公理1说明任何事件概率必然在$0$到$1$之间。

公理2说明，$S$是必然发生的事件。

公理3则来说。对于互不相容的事件来说，其并发生的概率，等于每个事件发生的概率和。

借由以上公理，可以推出一系列概率所拥有的基础特性。

基础简单定理

因为$E$和$E^c$必然互不相容，而且$S=E\cup E^c$。根据公理3有$P(E\cup E^c)=P(E)+P(E^c)=1$。进而可以推出$P(\varnothing)=0$。

因为$E\subset F$，所以可以将$F$表示为$F=E\cup E^cF$。其中显然$E$和$E^cF$是互不相容的。所以由公理3可得

$$P(F)=P(E)+P(E^cF)$$

因为任意事件的概率都大于等于$0$，即$P(E^cF)\geq 0$。所以有$P(E)\leq P(F)$。

这个实际可以看作组合数学中计数方法容斥原理在概率论上的延展。这里可以由如下的方式来推出：

首先$P(E\cup F)=P(E\cup E^cF)=P(E)+P(E^cF)$。其次关注$E^cF$和$EF$。有$E^cF\cup EF=(E^c\cup E)F=F$且$E^cF$和$EF$互不相容，所以有$P(F)=P(EF)+P(E^cF)$。进而可以得出：

$$P(E\cup F)=P(E)+P(E^cF)=P(E)+P(F)-P(EF)$$

实际上概率论公理3，互不相容并集的概率转为概率和。相当于事件集合中的结果，每个结果只记录发生一次。进而会跟计数容斥产生联系。自然也有如下定理。

其实直观来看，就是对于一个在$\bigcup_i E_i$中的结果来说。两边都只统计其$1$次。简单说明，对于一个$\bigcup_i E_i$中的结果$e$来说，其必然属于其中$m$个事件中。即这个结果$e$属于$E_{i_1},E_{i_2}\cdots E_{i_m}$这$m$个集合。

由于右侧是所有事件不同个数下标集合交的枚举。例如对于个$1$个集合，所有$n$个事件都被枚举求和。这里$m$个集合都被计算一次。一共计算$m\choose 1$次。对于$2$个集合的交，相当于$m$个集合中选取$2$个进行求交。所以一共统计$m \choose 2$次。由此可知，该结果$e$一共被统计

$${m\choose 1 }- {m \choose 2} \cdots \pm {m\choose m}$$

现在只需要说明这个值为$1$。而$1=\binom{m}{0}$。这相当于说明

$$\sum\binom{m}{i}(-1)^i=0$$

考虑到二项式系数即有$(-1+1)=\sum\binom{n}{i}(-1)^i=0$

基于上述还可以得到事件并概率的上下界。即

$$P(\bigcup E_i)\leq \sum P(E_i)$$ $$P(\bigcup E_i)\geq \sum P(E_i)-\sum P(E_{i_1}E_{i_2})$$ $$P(\bigcup E_i)\leq\sum P(E_i)-\sum P(E_{i_1}E_{i_2})+\sum P(E_{i_1}E_{i_2}E_{i_3})$$

问题与例子

现在来看一些概率中的经典问题与例子

定义事件$E_i$表示事件——第$i$个人拿到了自己的帽。那么显然所求的概率即

$$P(\bigcup_{i=1}^n E_i)=\sum_{r=1}^n(-1)^{r+1}\sum P(E_{i_1}E_{i_2}\cdots E_{i_r})$$

其中每个事件的交是好明确概念和计算的。例如$E_{i_1}E_{i_2}\cdots E_{i_r}$就表示$i_1,i_2,\cdots i_r$这$r$个人拿到自己的帽子。如果把$N$个人表示为一个$N$维向量。这相当于固定其中$r$个人的位置为固定值，其他$N-r$个位置随意拿取。

考虑样本空间和对应事件空间的结果个数。样本空间相当于随意排序即，其个数为$N!$。固定$r$个位置后结有$(N-r)!$种可能。所以可得

$$P(E_{i_1}E_{i_2}\cdots E_{i_r})=\frac{(N-r)!}{N!}$$

现在看$\sum P(E_{i_1}E_{i_2}\cdots E_{i_r})$，相当于$\binom{n}{r}$个上述项求和。所以有：

$$\sum P(E_{i_1}E_{i_2}\cdots E_{i_r})=\binom{n}{r}\frac{(N-r)!}{N!}=\frac{N!}{(N-r)!r!}\frac{(N-r)!}{N!}=\frac{1}{r!}$$

所以有

$$P(\bigcup_{i=1}^n E_i)=1-\frac{1}{2!}+\cdots+(-1)^{N+1}\frac{1}{N!}=\sum(-1)^i/i!$$

与前面情况类似定义事件$E_i$表示事件——第$i$对夫妇坐在一起。所求概率即$1-P(\bigcup_{i=1}^n E_i)$。

其中$P(\bigcup_{i=1}^n E_i)$可由容斥原理计算得来。而这之中重要一点就是计算$P(E_{i_1}E_{i_2}\cdots E_{i_r})$。

这里考虑20个人排成一圈一共有$19!$中可能。全排列后，除去轮换移位不变性。现在考虑一对夫妻坐在一起的情况。这个时候可以把两个人当作一个人放到排列中去。即有$i$对夫妇相邻，相当于有$20-i$个人在圆桌排序。此时排列方式一共有$(20-i-1)!$种可能。在考虑夫妻之间交换也算作相邻。所以有

$$P(E_{i_1}E_{i_2}\cdots E_{i_r})=\frac{2^r(19-r)!}{19!}$$

由此可得出最后的概率。