近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指在经验之后,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为先验的,而从结果到原因的论证称为后验的

先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为由因求果问题中的出现。后验概率是指在得到结果的信息后重新修正的概率,是执果寻因问题中的 。后验概率是基于新的信息,修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入,更新了现在所谓的后验概率,得到了新的概率值,那么这个新的概率值被称为后验概率。先验概率的分类:

利用过去历史资料计算得到的先验概率,称为客观先验概率;

当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。

后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。 先验概率和后验概率的区别: 先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料[主要是历史资料]计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;

先验概率[Prior Probability]先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率p, 在进行民意调查之前,可以先验概率来表达这个不确定性。

后验概率[Posterior Probability]后验概率可以根据通过Bayes定理,用先验概率和似然函数计算出来。

个人理解

先验后验的理解困惑了我很长时间,这也是我数学基础薄弱造成的,本科没有好好学。查了一些资料,发现对于先验和后验的理解还有概率和统计学派的意见分歧,过于高深不能理解,基于我自身的需求,通过例子给出个人理解[今后如有更深的领悟再来更新]:

假设有一个硬币,正反两面,质地均匀,我个人抛掷手法公平公正公开。在抛之前我觉得,在这个情况下抛出正反两面的概率应该都是0.5,这个概率就是主观先验概率,因为没有任何观测数据佐证也没有任何其他人抛过的几率,单纯的考虑了硬币的质地均匀和我抛掷的手法,属于主观臆测。但是在抛之前突然回忆起自己看过的书,很多古今中外的先贤做过这个实验,100次的时候概率是多少,100000次的时候概率是多少。综合这个情况我觉得,抛出正面的概率是0.51,反面是0.49,因为这个概率是利用过去历史资料计算得到的,这就是客观先验概率。估计完了之后正式开抛,我抛了10次得出正面3次,反面7次,然后结合一堆公式,算出正面概率是0.54,反面概率是0.46,这样算出的概率因为结合了观测值和公式计算,就是后验概率。

以上就是关于先验概率和后验概率的概念理解,下面是具体的例子和公式[例子来自维基百科,自己的解释]:

假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等,所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少? 此时我们给出,$A$事件,一个学生是女生,$B$事件这个学生穿裤子,[再此题中$A’$就是一个学生是男生,$B’$这个学生穿裙子]。那么问题来了,如果问题是假如你看到一个学生这个学生是女生的概率是多少,你没有任何观测量也没有任何历史数据,有的只是一个信息一个学校里有60%男生和40%女生,那么你的答案就是$P(A)=40%$,这个$P$就是先验概率。此时你进入校园,看到了一个学生这个学生穿着裤子,这个学生是女生的概率是多少? 这时你有了观测变量,那么你的答案必然是$P(A \mid B)$,就是后验概率。可是你不会算啊!$P(A \mid B)$是多少?这就是贝叶斯公式牛逼的地方。

$P(A) = 0.4$

$P(A’) = 0.6$

$P(B) = P(B \mid A)P(A) + P(B \mid A’)P(A) = 0.5 \times 0.4+1 \times 0.6 = 0.8$

$P(B’) = 0.2$

借用Machine Learning大神Jordan书中的一句话,贝叶斯公式就是把先验概率转变为了后验概率。此题中我们要求$P(A \mid B)$,但是我们只有$P(A)$,通过贝叶斯公式我们就可以得到。

\[P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)} = \frac{0.5 \times 0.4}{0.8} = 0.25\]

本文部分内容参考维基百科