极大似然估计就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值，即模型已定，参数未知。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。极大似然估计需满足一个重要的假设，即所有的采样都是独立同分布的。

已知样本集为D,样本集里的样本独立同分布,D={x1,x2,x3,...,xn}

似然函数为:

如果θ的估计值是l(θ)的最大的θ值，那么该估计值是最可能的参数值，即该估计值为极大似然估计量，它是样本集的函数，记作:

求解极大似然估计值

ML估计:求使得出现该组样本的概率最大的θ值。对数似然的引入是为了方便后面的求导，从累乘数变成累加。

1.未知参数只有一个θ，在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

2.未知参数有多个(θ为向量，S为分量)，似然函数满足连续可导的条件:

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

例:

假如模型服从正太分布，我们通过极大似然估计来估计出参数值，先给出正态分布的概率密度函数

求解:

显而易见，正太分布的总体样本的极大似然估计量θ和σ就是该部分样本的均值与标准差

转载于小破站