极大似然估计法

2022-01-25 19:13:54 数理统计 编辑:黎为乐

极大似然估计就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值,即模型已定,参数未知。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。极大似然估计需满足一个重要的假设,即所有的采样都是独立同分布的。

已知样本集为D,样本集里的样本独立同分布,D={x1,x2,x3,...,xn}

似然函数为:

如果θ的估计值是l(θ)的最大的θ值,那么该估计值是最可能的参数值,即该估计值为极大似然估计量,它是样本集的函数,记作:

求解极大似然估计值

ML估计:求使得出现该组样本的概率最大的θ值。对数似然的引入是为了方便后面的求导,从累乘数变成累加。

1.未知参数只有一个θ,在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:

2.未知参数有多个(θ为向量,S为分量),似然函数满足连续可导的条件:

方程的解只是一个估计值,只有在样本数趋于无限多的时候,它才会接近于真实值。

例:

假如模型服从正太分布,我们通过极大似然估计来估计出参数值,先给出正态分布的概率密度函数

求解:

显而易见,正太分布的总体样本的极大似然估计量θ和σ就是该部分样本的均值与标准差

转载于小破站

©AHIEC人工智能工作室 2021

地址:安徽省合肥市包河区梁园路安徽工业经济职业技术学院现代科教中心101室

创作者信息:

皖ICP备20011723号-2