条件概率与联合概率

• 联合概率与边缘概率
• 条件概率
• 事件的独立性
• 关系与性质
• 总结

联合概率与边缘概率

假设有事件 $X$ 和 $Y$ ，当 $X=a$ 与 $Y=b$ 同时发生时的概率，称之为联合概率。记为 $P(X=a, Y=b)$ 。单次事件的概率就是边缘概率，如 $P(X=a)$。

例如我们手中有16张扑克牌，其中红色7张，黑色9张。而红色中有6张是数字，1张是字母；黑色中有3张是数字，6张是字母。如下表所示：

当我们随便从中抽一张，抽到红色且是数字的概率是多少呢？
从表格中要以看出，红色且是数字的一共6张牌，所以 $P(X=红色, Y=数字) = \frac{6}{16}$

再例如我们连续抛了两次硬币，求第一次正面朝上且第二次反面朝上的概率。
对于这个问题，我们其实同样可以用之前介绍的上这帝视角来求解。我们准备4个会场，然后每个会场按下面表格演示：

可以看到，我们要求的情况只有在会场2发生，所以 $P(X=正面朝上, Y=反面朝上) = \frac{1}{4}$

条件概率

假设有事件 $X$ 和事件 $Y$ ，当条件 $X=a$ 发生时， $Y=b$ 的概率称之为条件概率，记为 $P(Y=b | X=a)$ 。其中”|”在英文中读作given。

条件概率是一种描述在某一条件成立时，另一事件发生的概率。比如上面扑克牌的例子中，当已知抽出的是红色牌，那么数字牌的概率 \(P(X=数字|Y=红色) = \frac{6}{7}\)

条件概率的通用定义为： \(P(Y=b | X=a) = \frac{P(X=a, Y=b)}{P(X=a)}\)

事件的独立性

通俗的讲，如果说两个事件相互独立，意思是说这两个事件毫不干涉，谁也不会影响谁。典型的例子就是抛硬币，第一次抛硬币并不会影响第二次。但有些事件之间的独立性并不这么明显，所以需要有一个定义来规定独立性，如果符合定义，就说这俩事件是独立的；反之就是非独立的。所以，如果以下关系成立，就说这俩事件是独立的: \(P(Y=b | X=a) = P(Y=b | X \neq a)\)

其实我对这个定义一开始是有疑问的。我在想如果在 $Y=b$ 发生的概率在 $X=a$ 和 $X\neq a$ 时恰好就是相等的（而不是因为这俩事件独立才相等），也不能就说 $X$ 与 $Y$ 就一定是独立的呀。比如一个大师检验古玩真伪， \(P(Y=鉴为真品|X=真品) = P(Y=鉴为真品|X=赝品)\) 能说明大师鉴为真品这件事与古玩是否是真品无关吗？
后来我仔细想了想，还真是无关的。如果$P(Y=鉴为真品|X=真品) = P(Y=鉴为真品|X=赝品) = 0.1$ ，说明大师眼中几无真品，不管给他看什么他都觉他人家在骗他。如果这个概率值为0.5，说明大师是在“蒙”，不管给的是真品还是赝品蒙对的概率和抛硬币是一样的。

如果两个事件独立，则对联合概率和条件概率会有很大的影响。如果A与B独立，则： \(P(A,B) = P(A)P(B) \\ P(A|B) = P(A|非B) = P(A)\)

这两个式子都很好理解，对于第一个来说，A与B独立时同时发生的概率，就是A发生且B发生的概率；对于第二个式子来说，B是否发生对A没有影响。

关系与性质

联合概率与边缘概率之间是有一些关联的，以下一一列出。

$P(X=a) = \sum_{b}{}P(X=a,Y=b)$
这个很好理解， 由于列举了Y的所有情况，所以无论b为何值， $X=a$ 与Y都会同时发生，也可以说此时与Y是否发生无关了。

$P(X=a,Y=b) = P(X=a|Y=b)P(Y=b) = P(Y=b|X=a)P(X=a)$
这个式子从条件概率的定义可以推出来。直观上理解的话，就是X与Y同时发生的概率等于Y发生且在Y发生时X也发生的概率。

当有三个或多个随机变量是，我们可以根据需要灵活分解条件联合分布： \(P(X=a,Y=b|Z=c) = P(X=a|Y=b,Z=c)P(Y=b|Z=c)\)

这个等式推导如下。当有三个随机变量时，以上等式仍然是成立的： \(P(X=a|Y=b,Z=c) = \frac{P(X=a,Y=b,Z=c)}{P(Y=b,Z=c)} \\ P(X=a,Y=b|Z=c) = \frac{P(X=a,Y=b,Z=c)}{P(Z=c)}\)

其实稍微变换一下这俩等式，可以得到 \(P(X=a|Y=b,Z=c)P(Y=b,Z=c) = P(X=a,Y=b|Z=c)P(Z=c)\)

而其中 $P(Y=b,Z=c)=P(Y=b|Z=c)P(Z=c)$ ，将这个等式代入上面式子中，可以得到： \(P(X=a,Y=b|Z=c) = P(X=a|Y=b,Z=c)P(Y=b|Z=c)\)

总结

这篇文章中我们说明了什么是联合概率、条件概率，并说明了他们之间的性质和关联。在实际计算当中，这些转换方法应该是比较有用的。尤其是事件独立时，可以简化概率的计算。