概率生成模型
该模型主要对p(y|x)建模，通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常，判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的，而且难以被扩展成无监督的。
Gaussian mixture model and other types of mixture model
Hidden Markov model
Naive Bayes
AODE
Latent Dirichlet allocation
Restricted Boltzmann Machine
概率判别式模型
该模型对观察序列的联合概率分布p(x,y)建模，在获取联合概率分布之后，可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式模型更丰富。除此之外，生成式模型较为容易的实现增量学习。
Logistic regression
Linear discriminant analysis
Support vector machines
Boosting
Conditional random fields
Linear regression
Neural networks
概率生成模型
二分类
连续输入
最大似然
概率判别模型
logistic回归
* 最大似然求解，logistic回归会产生过拟合现象
* 解决办法：引入先验概率，然后寻找w的MAP解，或者等价的给误差函数增加正则项
* logistic误差函数是凸函数，可以迭代求解最小值；无解析解
多类logistic回归
probit回归
拉布拉斯近似
贝叶斯logistic回归
