Expectation Maximization

它简单而又复杂。[1] 简单之处是它的思想，复杂之处是在于它的数学推理。 EM的收敛性证明方法真叫人拍案叫绝，甚至可以用精妙来形容，不得不佩服先人的创造力。利用琴生不等式，创造下界、拉平下界，优化下界，逐步逼近极大值，且每一步迭代是单调的。

EM算法有着广泛的应用，比如混合高斯模型、聚类、HMM等等