fatcat 慢即是快

条件概率与联合概率

2018-10-26
fatcat22

联合概率与边缘概率

假设有事件 $X$ 和 $Y$ ,当 $X=a$ 与 $Y=b$ 同时发生时的概率,称之为联合概率。记为 $P(X=a, Y=b)$ 。单次事件的概率就是边缘概率,如 $P(X=a)$。

例如我们手中有16张扑克牌,其中红色7张,黑色9张。而红色中有6张是数字,1张是字母;黑色中有3张是数字,6张是字母。如下表所示:

\ 红色 黑色
数字 6 3
字母 1 6

当我们随便从中抽一张,抽到红色且是数字的概率是多少呢?
从表格中要以看出,红色且是数字的一共6张牌,所以 $P(X=红色, Y=数字) = \frac{6}{16}$

再例如我们连续抛了两次硬币,求第一次正面朝上且第二次反面朝上的概率。
对于这个问题,我们其实同样可以用之前介绍的上这帝视角来求解。我们准备4个会场,然后每个会场按下面表格演示:

会场1 会场2 会场3 会场4
两次均正面朝上 第一次正面朝上;第二次反面朝上 第一次反面朝上;第二次正面朝上 两次均反面朝上

可以看到,我们要求的情况只有在会场2发生,所以 $P(X=正面朝上, Y=反面朝上) = \frac{1}{4}$

条件概率

假设有事件 $X$ 和事件 $Y$ ,当条件 $X=a$ 发生时, $Y=b$ 的概率称之为条件概率,记为 $P(Y=b | X=a)$ 。其中”|”在英文中读作given。

条件概率是一种描述在某一条件成立时,另一事件发生的概率。比如上面扑克牌的例子中,当已知抽出的是红色牌,那么数字牌的概率 \(P(X=数字|Y=红色) = \frac{6}{7}\)

条件概率的通用定义为: \(P(Y=b | X=a) = \frac{P(X=a, Y=b)}{P(X=a)}\)

事件的独立性

通俗的讲,如果说两个事件相互独立,意思是说这两个事件毫不干涉,谁也不会影响谁。典型的例子就是抛硬币,第一次抛硬币并不会影响第二次。但有些事件之间的独立性并不这么明显,所以需要有一个定义来规定独立性,如果符合定义,就说这俩事件是独立的;反之就是非独立的。所以,如果以下关系成立,就说这俩事件是独立的: \(P(Y=b | X=a) = P(Y=b | X \neq a)\)

其实我对这个定义一开始是有疑问的。我在想如果在 $Y=b$ 发生的概率在 $X=a$ 和 $X\neq a$ 时恰好就是相等的(而不是因为这俩事件独立才相等),也不能就说 $X$ 与 $Y$ 就一定是独立的呀。比如一个大师检验古玩真伪, \(P(Y=鉴为真品|X=真品) = P(Y=鉴为真品|X=赝品)\) 能说明大师鉴为真品这件事与古玩是否是真品无关吗?
后来我仔细想了想,还真是无关的。如果$P(Y=鉴为真品|X=真品) = P(Y=鉴为真品|X=赝品) = 0.1$ ,说明大师眼中几无真品,不管给他看什么他都觉他人家在骗他。如果这个概率值为0.5,说明大师是在“蒙”,不管给的是真品还是赝品蒙对的概率和抛硬币是一样的。

如果两个事件独立,则对联合概率和条件概率会有很大的影响。如果A与B独立,则: \(P(A,B) = P(A)P(B) \\ P(A|B) = P(A|非B) = P(A)\)

这两个式子都很好理解,对于第一个来说,A与B独立时同时发生的概率,就是A发生且B发生的概率;对于第二个式子来说,B是否发生对A没有影响。

关系与性质

联合概率与边缘概率之间是有一些关联的,以下一一列出。

$P(X=a) = \sum_{b}{}P(X=a,Y=b)$
这个很好理解, 由于列举了Y的所有情况,所以无论b为何值, $X=a$ 与Y都会同时发生,也可以说此时与Y是否发生无关了。

$P(X=a,Y=b) = P(X=a|Y=b)P(Y=b) = P(Y=b|X=a)P(X=a)$
这个式子从条件概率的定义可以推出来。直观上理解的话,就是X与Y同时发生的概率等于Y发生且在Y发生时X也发生的概率。

当有三个或多个随机变量是,我们可以根据需要灵活分解条件联合分布: \(P(X=a,Y=b|Z=c) = P(X=a|Y=b,Z=c)P(Y=b|Z=c)\)

这个等式推导如下。当有三个随机变量时,以上等式仍然是成立的: \(P(X=a|Y=b,Z=c) = \frac{P(X=a,Y=b,Z=c)}{P(Y=b,Z=c)} \\ P(X=a,Y=b|Z=c) = \frac{P(X=a,Y=b,Z=c)}{P(Z=c)}\)

其实稍微变换一下这俩等式,可以得到 \(P(X=a|Y=b,Z=c)P(Y=b,Z=c) = P(X=a,Y=b|Z=c)P(Z=c)\)

而其中 $P(Y=b,Z=c)=P(Y=b|Z=c)P(Z=c)$ ,将这个等式代入上面式子中,可以得到: \(P(X=a,Y=b|Z=c) = P(X=a|Y=b,Z=c)P(Y=b|Z=c)\)

总结

这篇文章中我们说明了什么是联合概率、条件概率,并说明了他们之间的性质和关联。在实际计算当中,这些转换方法应该是比较有用的。尤其是事件独立时,可以简化概率的计算。


如果您觉得文章对您有帮助,欢迎打赏

Similar Posts

下一篇 贝叶斯公式

Comments

Share