Likelihood Function [似然函数]
首先,Likelihood翻译成似然,翻译的很好也很不好,中国古文翻译讲究信达雅,翻译成似然真算是信达雅了。但是我凡夫俗子,还不能理解到位。其实Likelihood的中文解释是可能性,也就是说似然函数叫可能性函数更直接一些。那么问题来了,是什么的可能性函数?我还是举还是硬币的例子,一个硬币,质地均匀,我是非常公正的抛,抛一次正面的概率是多少,这就是probability。如果说一个硬币,我抛了10次,正面的probability是0.4,那么这个硬币质地均匀的概率是多少,这就是likelihood。
怎么理解这个例子,网上有很多,我说一下个人理解,首先硬币质地均匀是这个硬币的性质,是这个硬币的参数。我公正的抛这是我的性质,我的参数。其次我抛硬币,硬币是正还是反是事件,所以要区分参数和事件。就像一个概率分布,参数不同,得出的分布就不同,算出的概率也就不一样。到这就可以解释了,我知道这个硬币是均匀的和我公正的抛,这两个参数,预测硬币正反事件,这个结果就是概率[Probability]。那么当我知道,硬币正反这个结果,想反推这两个参数,这就是似然[Likelihood]。如果是从这个角度理解,那么似然函数就不能算是条件概率的逆反,但是如果把参数取得某个值看做是一个事件,那似然函数又可能被理解为这个值的条件概率的逆反。
一句话,通过已知的参数去预测事件的结果,这个过程就是计算概率,通过观测事件的结果去推测参数,这个过程就是似然估计。
用一个维基百科上的例子说明。掷一枚硬币的实验。通常来说,已知投出的硬币正面朝上和反面朝上的概率各自是$P(H)=0.5$,那我们想计算连续两次都是正面朝上的概率是多少,通过条件概率可以得出
$P(HH \mid P(H)=0.5) = 0.25$
这就是条件概率计算。如果这时问,连续两次都是正面,那正面朝上的概率是多少?这次问的就是属性的似然,为啥,因为正面和反面朝上的概率都是0.5的话就对应这个硬币质地均匀,这时硬币的本身属性,对这个属性进行估计,就是似然。 我们可以写出:
$L(P(H) = 0.5 \mid HH) = P(HH \mid P(H) = 0.5) = 0.25$
给出$P(H)=0.5$,连续两次都是H的概率就等同于给出连续两次都是H,$P(H)=0.5$的似然。所以这个似然的解释是$P(H) = 0.5$的似然估计是0.25。如果$P(H)=0.6$,那似然估计就变成0.36。
wiki写了一句话我觉得很有道理:总之,似然函数的重要性不是它的具体取值,而是当参数变化时函数到底变小还是变大。所以,对同一个似然函数,如果存在一个参数值,使得它的函数值达到最大的话,那么这个值就是最为“合理”的参数值。
涉及到似然函数的许多应用中,更方便的是使用似然函数的自然对数形式,即“对数似然函数”。在实际应用中常用的是两边取对数。也就是说对似然函数取对数,是为了计算方便。并且已经作为约定俗成的步骤存在。