朴素贝叶斯分类器

title: 简介.
content: 单纯贝氏是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签,类标签取自有限集合。它不是训练这种分类器的单一算法,而是一系列基于相同原理的算法:所有单纯贝氏分类器都假定样本每个特征与其他特征都不相关。举个例子,如果一种水果其具有红,圆,直径大概3英寸等特征,该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定,然而单纯贝氏分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。  对于某些类型的概率模型,在监督式学习的样本集中能获取得非常好的分类效果。在许多实际应用中,单纯贝氏模型参数估计使用最大似然估计方法;换而言之,在不用到贝叶斯概率或者任何贝叶斯模型的情况下,单纯贝氏模型也能奏效。  尽管是带着这些朴素思想和过于简单化的假设,但单纯贝氏分类器在很多复杂的现实情形中仍能够取得相当好的效果。2004年,一篇分析贝叶斯分类器问题的文章揭示了单纯贝氏分类器取得看上去不可思议的分类效果的若干理论上的原因。 尽管如此,2006年有一篇文章详细比较了各种分类方法,发现更新的方法(如梯度提升和随机森林)的性能超过了贝叶斯分类器。  单纯贝氏分类器的一个优势在于只需要根据少量的训练数据估计出必要的参数(变量的均值和方差)。由于变量独立假设,只需要估计各个变量的方法,而不需要确定整个协方差矩阵。
title: 单纯贝氏概率模型.
content: 理论上,概率模型分类器是一个条件概率模型。 独立的类别变量formula_2有若干类别,条件依赖于若干特征变量 formula_3,formula_4...,formula_5。但问题在于如果特征数量formula_6较大或者每个特征能取大量值时,基于概率模型列出概率表变得不现实。所以我们修改这个模型使之变得可行。 贝叶斯定理有以下式子: 用朴素的语言可以表达为:  实际中,我们只关心分式中的分子部分,因为分母不依赖于formula_2而且特征formula_10的值是给定的,于是分母可以认为是一个常数。这样分子就等价于联合分布模型。 重复使用链式法则,可将该式写成条件概率的形式,如下所示: 现在“朴素”的条件独立假设开始发挥作用:假设每个特征formula_10对于其他特征formula_19,formula_20是条件独立的。这就意味着 对于formula_22,所以联合分布模型可以表达为 这意味着上述假设下,类变量formula_2的条件分布可以表达为: 其中formula_26(证据因子)是一个只依赖与formula_27等的缩放因子,当特征变量的值已知时是一个常数。 由于分解成所谓的类先验概率formula_28和独立概率分布formula_29,上述概率模型的可掌控性得到很大的提高。如果这是一个formula_30分类问题,且每个formula_31可以表达为formula_32个参数,于是相应的单纯贝氏模型有("k" − 1) + "n" "r" "k"个参数。实际应用中,通常取formula_33(二分类问题),formula_34 (伯努利分布作为特征),因此模型的参数个数为formula_35,其中formula_6是二值分类特征的个数。
title: 从概率模型中构造分类器.
content: 讨论至此为止我们导出了独立分布特征模型,也就是单纯贝氏概率模型。单纯贝氏分类器包括了这种模型和相应的决策规则。一个普通的规则就是选出最有可能的那个:这就是大家熟知的最大后验概率(MAP)决策准则。相应的分类器便是如下定义的formula_37公式:
title: 参数估计.
content: 所有的模型参数都可以通过训练集的相关频率来估计。常用方法是概率的最大似然估计。类的先验概率可以通过假设各类等概率来计算(先验概率 = 1 / (类的数量)),或者通过训练集的各类样本出现的次数来估计(A类先验概率=(A类样本的数量)/(样本总数))。为了估计特征的分布参数,我们要先假设训练集数据满足某种分布或者非参数模型。
title: 高斯单纯贝氏.
content: 如果要处理的是连续数据一种通常的假设是这些连续数值为高斯分布。 例如,假设训练集中有一个连续属性,formula_39。我们首先对数据根据类别分类,然后计算每个类别中formula_39的均值和方差。令formula_41 表示为formula_39在"c"类上的均值,令formula_43为 formula_39在"c"类上的方差。在给定类中某个值的概率,formula_45,可以通过将formula_46表示为均值为formula_41方差为formula_43正态分布计算出来。如下, formula_49 处理连续数值问题的另一种常用的技术是通过离散化连续数值的方法。通常,当训练样本数量较少或者是精确的分布已知时,通过概率分布的方法是一种更好的选择。在大量样本的情形下离散化的方法表现更优,因为大量的样本可以学习到数据的分布。由于单纯贝氏是一种典型的用到大量样本的方法(越大计算量的模型可以产生越高的分类精确度),所以单纯贝氏方法都用到离散化方法,而不是概率分布估计的方法。
title: 样本修正.
content: 如果一个给定的类和特征值在训练集中没有一起出现过,那么基于频率的估计下该概率将为0。这将是一个问题。因为与其他概率相乘时将会把其他概率的信息统统去除。所以常常要求要对每个小类样本的概率估计进行修正,以保证不会出现有为0的概率出现。
title: 讨论.
content: 尽管实际上独立假设常常是不准确的,但单纯贝氏分类器的若干特性让其在实践中能够取得令人惊奇的效果。特别地,各类条件特征之间的解耦意味着每个特征的分布都可以独立地被当做一维分布来估计。这样减轻了由于维数灾带来的阻碍,当样本的特征个数增加时就不需要使样本规模呈指数增长。然而单纯贝氏在大多数情况下不能对类概率做出非常准确的估计,但在许多应用中这一点并不要求。例如,单纯贝氏分类器中,依据最大后验概率决策规则只要正确类的后验概率比其他类要高就可以得到正确的分类。所以不管概率估计轻度的甚至是严重的不精确都不影响正确的分类结果。在这种方式下,分类器可以有足够的鲁棒性去忽略单纯贝氏概率模型上存在的缺陷。
title: 实例.
title: 性别分类.
content: 问题描述:通过一些测量的特征,包括身高、体重、脚的尺寸,判定一个人是男性还是女性。
title: 训练.
content: 训练数据如下:  假设训练集样本的特征满足高斯分布,得到下表: 我们认为两种类别是等概率的,也就是P(male)= P(female) = 0.5。在没有做辨识的情况下就做这样的假设并不是一个好的点子。但我们通过数据集中两类样本出现的频率来确定P(C),我们得到的结果也是一样的。
title: 测试.
content: 以下给出一个待分类是男性还是女性的样本。  我们希望得到的是男性还是女性哪类的后验概率大。男性的后验概率通过下面式子来求取  女性的后验概率通过下面式子来求取  证据因子(通常是常数)用来对各类的后验概率之和进行归一化.  证据因子是一个常数(在正态分布中通常是正数),所以可以忽略。接下来我们来判定这样样本的性别。  formula_54,其中formula_55,formula_56是训练集样本的正态分布参数. 注意,这里的值大于1也是允许的 – 这里是概率密度而不是概率,因为身高是一个连续的变量.  由于女性后验概率的分子比较大,所以我们预计这个样本是女性。
title: 文本分类.
content: 这是一个用单纯贝氏分类做的一个文本分类问题的例子。考虑一个基于内容的文本分类问题,例如判断邮件是否为垃圾邮件。想像文本可以分成若干的类别,首先文本可以被一些单词集标注,而这个单词集是独立分布的,在给定的C类文本中第i个单词出现的概率可以表示为:  (通过这种处理,我们进一步简化了工作,假设每个单词是在文中是随机分布的-也就是单词不依赖于文本的长度,与其他词出现在文中的位置,或者其他文本内容。)  所以,对于一个给定类别"C",文本"D"包含所有单词formula_66的概率是:  我们要回答的问题是「文档"D"属于类"C"的概率是多少?」换而言之formula_68是多少? 现在定义  通过贝叶斯定理将上述概率处理成似然度的形式  用上述贝叶斯的结果,可以写成  两者相除:  整理得:  这样概率比p("S" | "D") / p(¬"S" | "D")可以表达为似然比。实际的概率p("S" | "D")可以很容易通过log (p("S" | "D") / p(¬"S" | "D"))计算出来,基于p("S" | "D") + p(¬"S" | "D") = 1。  结合上面所讨论的概率比,可以得到:  (这种对数似然比的技术在统计中是一种常用的技术。在这种两个独立的分类情况下(如这个垃圾邮件的例子),把对数似然比转化为S曲线的形式)。  最后文本可以分类,当formula_79或者formula_80时判定为垃圾邮件,否则为正常邮件。

Summary: 在机器学习中,单纯贝氏分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类法。

Classification naïve bayésienne: La classification naïve bayésienne est un type de classification bayésienne probabiliste simple basée sur le théorème de Bayes avec une forte indépendance (dite naïve) des hypothèses. Elle met en œuvre un classifieur bayésien naïf, ou classifieur naïf de Bayes, appartenant à la famille des classifieurs linéaires.