生成模型 在概率统计理论中生成模型是指能够随机生成观测数据的模型尤其是在给定某些隐含参数的条件下它给观测值和标注数据序列指定一个联合概率分布在机器学习中生成模型可以用来直接对数据建模例如根据某个变量的概率密度函数进行数据采样也可以用来建立变量间的条件概率分布条件概率分布可以由生成模型根据贝叶斯定理形成 香农给出了有一个英语双词频率表生成句子的例子可以生成如representing and speedily is an good这种句子一开始并不能生成正确的英文句子但随着词频表由双词扩大为三词甚至多词生成的句子也就慢慢的成型了 生成模型的定义与判别模型相对应生成模型是所有变量的全概率模型而判别模型是在给定观测变量值前提下目标变量条件概率模型因此生成模型能够用于模拟即生成模型中任意变量的分布情况而判别模型只能根据观测变量得到目标变量的采样判别模型不对观测变量的分布建模因此它不能够表达观测变量与目标变量之间更复杂的关系因此生成模型更适用于无监督的任务如分类和聚类 典型的生成模型包括 高斯混合模型和其他混合模型 隐马尔可夫模型 随机上下文无关文法 朴素贝叶斯分类器 AODE分类器 潜在狄利克雷分配模型 受限玻尔兹曼机 如果观测数据是由生成模型中采样的那么最大化数据似然概率是一个常见的方法但是大部分统计模型只是近似于真实分布如果任务的目标是在已知一部分变量的值的条件下对另一部分变量的推断那么可以认为这种模型近似造成了一些对于当前任务来说不必要的假设在这种情况下使用判别模型对条件概率函数建模可能更准确尽管具体的应用细节会最终决定哪种方法更为适用