貝氏網路

title: 数学定义.
content: 令 "G" = ("I","E") 表示一个有向无环图(DAG),其中 "I" 代表图中所有的节点的集合,而 "E" 代表有向连接线段的集合,且令 "X" = ("X") 为其有向无环图中的某一节点 "i" 所代表之随机变量,若节点 "X" 的联合几率分配可以表示成: 则称 X 为相对于一有向无环图 G 的贝氏网络,其中formula_14表示节点 i 之「因」。  对任意的随机变量,其联合分配可由各自的局部条件几率分配相乘而得出: 依照上式,我们可以将一贝氏网络的联合几率分配写成:  上面两个表示式之差别在于条件几率的部分,在贝氏网络中,若已知其「因」变量下,某些节点会与其「因」变量条件独立,只有与「因」变量有关的节点才会有条件几率的存在。  如果联合分配的相依数目很稀少时,使用贝氏函数的方法可以节省相当大的内存容量。举例而言,若想将10个变量其值皆为0或1储存成一条件几率表型式,一个直观的想法可知我们总共必须要计算formula_17个值;但若这10个变量中无任何变量之相关「因」变量是超过三个以上的话,则贝氏网络的条件几率表最多只需计算formula_18个值即可。另一个贝式网络优点在于:对人类而言,它更能轻易地得知各变量间是否条件独立或相依与其局部分配(local distribution)的型态来求得所有随机变量之联合分配。
title: 马可夫毯(Markov blanket).
content: 定义一个节点之马可夫毯为此节点的因节点、果节点与果节点的因节点所成之集合。一旦给定其马可夫毯的值后,若网络内之任一节点"X"皆会与其他的节点条件独立的话,就称"X"为相对于一有向无环图"G"的贝氏网络。
title: 举例说明.
content: 假设有两个服务器formula_19,会传送封包到使用者端(以"U"表示之),但是第二个服务器的封包传送成功率会与第一个服务器传送成功与否有关,因此此贝氏网络的结构图可以表示成如图二的型式。就每个封包传送而言,只有两种可能值:"T"(成功)或 "F"(失败)。则此贝氏网络之联合几率分配可以表示成:  此模型亦可回答如:「假设已知使用者端成功接受到封包,求第一服务器成功发送封包的几率?」诸如此类的问题,而此类型问题皆可用条件几率的方法来算出其所求之发生几率:
title: 求解方法.
content: 以上例子是一个很简单的贝氏网络模型,但是如果当模型很复杂时,这时使用列举式的方法来求解几率就会变得非常复杂且难以计算,因此必须使用其他的替代方法。一般来说,贝氏几率有以下几种求法:
title: 随机推论(蒙地卡罗方法).
content: 在此,以马可夫链蒙地卡罗算法为例,又马可夫链蒙地卡罗算法的类型很多,故在这里只说明其中一种吉布斯采样的操作步骤: 首先将已给定数值的变量固定,然后将未给定数值的其他变量随意给定一个初始值,接着进入以下迭代步骤: 当迭代结束后,删除前面若干笔尚未稳定的数值,就可以求出的近似条件几率分配。马可夫链蒙地卡罗算法的优点是在计算很大的网络时效率很好,但缺点是所抽取出的样本并不具独立性。  当贝氏网络上的结构跟参数皆已知时,我们可以透过以上方法来求得特定情况的几率,不过,如果当网络的结构或参数未知时,我们必须借由所观测到的资料去推估网络的结构或参数,一般而言,推估网络的结构会比推估节点上的参数来的困难。依照对贝氏网络结构的了解和观测值的完整与否,我们可以分成下列四种情形:  以下就结构已知的部分,作进一步的说明。
title: 1.结构已知,观测值完整:.
content: 此时我们可以用最大概似估计法(MLE)来求得参数。其对数概似函数为 其中formula_29代表formula_2的因变量,formula_31代表第formula_32个观测值,"N"代表观测值资料的总数。  以图二当例子,我们可以求出节点"U"的最大概似估计式为 由上式就可以借由观测值来估计出节点"U"的条件分配。如果当模型很复杂时,这时可能就要利用数值分析或其它最佳化技巧来求出参数。
title: 2.结构已知,观测值不完整(有遗漏资料):.
content: 如果有些节点观测不到的话,可以使用EM算法("Expectation-Maximization algorithm")来决定出参数的区域最佳概似估计式。而EM算法的的主要精神在于如果所有节点的值都已知下,在M阶段就会很简单,如同最大概似估计法。而EM算法的步骤如下:  其中formula_35代表在目前的估计参数下,事件x的条件几率期望值为
title: 补充例子(列举推理法).
content: 让我们考虑一个应用在医药上的几率推论例子,在此病人会被诊断出是否有呼吸困难的症状。表一代表一个我们所观测到的资料集合,包含10笔观测值,"S"代表的是吸烟与否(Smoker),"C"代表是否为罹癌者(Cancer),"B"代表是否罹患支气管炎(bronchitis),"D"代表是否有呼吸困难及咳嗽(dyspnea and asthma)的症状。『1』和『0』分别代表『是』和『否』。此医药网络结构显示于图三。  表二代表的是整个网络的经验联合几率分配,是由所收集到的资料所建构而成,利用此表可建构出节点的联合几率分配。见图四。此贝氏公式formula_37可利用节点的边际几率和联合几率去计算节点的条件几率,待会会应用在建立条件几率表格(Conditional probability Table; CPT)上。见图五。贝氏网络的联合几率可由下列式子计算: 其值见表三。  使用整个网络经验联合几率分配所计算出来的值会与使用CPT所计算出来的值不同,其差异可由表二和表三得知。其中差异不只是值的不同,也出现了新事件的几率(原本所没观察到的事件)。  建立在观测资料上的几率推论算法:  使用表一的观测值和图一的贝氏网络结构,并且已知范例点(instantiated node)为formula_47,也就是病人为非吸烟者和罹癌者:formula_48  问题: 1.病人患有支气管炎的几率formula_49 2.病人会有呼吸困难的几率formula_50  解答: 1. formula_51 2. formula_53
title: 应用.
content: 贝氏网络目前应用在类比计算生物学与生物资讯学基因调控网络、蛋白质结构、基因表达分析、医学、文档分类、资讯检索、决策支援系统、工程学、资料结合、图像处理等。

Summary: 贝氏网络(Bayesian network),又称信念网络(belief network)或是有向无环图模型(directed acyclic graphical model),是一种几率图型模型,借由有向无环图(directed acyclic graphs, or DAGs)中得知一组随机变量formula_1及其"n"组条件几率分配(conditional probability distributions, or CPDs)的性质。举例而言,贝氏网络可用来表示疾病和其相关症状间的几率关系;倘若已知某种症状下,贝氏网络就可用来计算各种可能罹患疾病之发生几率。

Réseau bayésien: En informatique et en statistique, un réseau bayésien est un modèle graphique probabiliste représentant un ensemble de variables aléatoires sous la forme d'un graphe orienté acyclique. Intuitivement, un réseau bayésien est à la fois :