标题：神经网络与机器学习（原书第3版）
基本信息
原书名： Neural Networks and Learning Machines (3rd Edition) 
原出版社： Prentice Hall 
作者： (加)Simon Haykin 
译者： 申富饶 徐烨 郑俊 晁静 
丛书名： 计算机科学丛书 
出版社：机械工业出版社 
ISBN：9787111324133
上架时间：2011-3-2
出版日期：2011 年3月
开本：16开
页码：572
版次：3-1
内容简介
本书是关于神经网络的全面的、彻底的、可读性很强的、最新的论述。全书共15章，主要内容包括rosenblatt感知器、通过回归建立模型、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主分量分析、自组织映射、信息论学习模型、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波等。
本书适合作为高等院校计算机相关专业研究生及本科生的教材，也可供相关领域的工程技术人员参考。[1]
目录
出版者的话 
译者序 
前言 
缩写和符号 
术语 
第0章导言1 
0.1什么是神经网络1 
0.2人类大脑4 
0.3神经元模型7 
0.4被看作有向图的神经网络10 
0.5反馈11 
0.6网络结构13 
0.7知识表示14 
0.8学习过程20 
0.9学习任务22 
0.10结束语27 
注释和参考文献27 
第1章rosenblatt感知器28 
1.1引言28 
1.2感知器28 
.1.3感知器收敛定理29 
1.4高斯环境下感知器与贝叶斯分类器的关系33 
1.5计算机实验：模式分类36 
1.6批量感知器算法38 
1.7小结和讨论39 
注释和参考文献39 
习题40 
第2章通过回归建立模型28 
2.1引言41 
2.2线性回归模型：初步考虑41 
2.3参数向量的最大后验估计42 
2.4正则最小二乘估计和map估计之间的关系46 
2.5计算机实验：模式分类47 
2.6最小描述长度原则48 
2.7固定样本大小考虑50 
2.8工具变量方法53 
2.9小结和讨论54 
注释和参考文献54 
习题55 
第3章最小均方算法56 
3.1引言56 
3.2lms算法的滤波结构56 
3.3无约束最优化：回顾58 
3.4维纳滤波器61 
3.5最小均方算法63 
3.6用马尔可夫模型来描画lms算法和维纳滤波器的偏差64 
3.7朗之万方程：布朗运动的特点65 
3.8kushner直接平均法66 
3.9小学习率参数下统计lms学习理论67 
3.10计算机实验Ⅰ：线性预测68 
3.11计算机实验Ⅱ：模式分类69 
3.12lms算法的优点和局限71 
3.13学习率退火方案72 
3.14小结和讨论73 
注释和参考文献74 
习题74 
第4章多层感知器77 
4.1引言77 
4.2一些预备知识78 
4.3批量学习和在线学习79 
4.4反向传播算法81 
4.5异或问题89 
4.6改善反向传播算法性能的试探法90 
4.7计算机实验：模式分类94 
4.8反向传播和微分95 
4.9hessian矩阵及其在在线学习中的规则96 
4.10学习率的最优退火和自适应控制98 
4.11泛化102 
4.12函数逼近104 
4.13交叉验证107 
4.14复杂度正则化和网络修剪109 
4.15反向传播学习的优点和局限113 
4.16作为最优化问题看待的监督学习117 
4.17卷积网络126 
4.18非线性滤波127 
4.19小规模和大规模学习问题131 
4.20小结和讨论136 
注释和参考文献137 
习题138 
第5章核方法和径向基函数网络144 
5.1引言144 
5.2模式可分性的cover定理144 
5.3插值问题148 
5.4径向基函数网络150 
5.5k-均值聚类152 
5.6权向量的递归最小二乘估计153 
5.7rbf网络的混合学习过程156 
5.8计算机实验：模式分类157 
5.9高斯隐藏单元的解释158 
5.10核回归及其与rbf网络的关系160 
5.11小结和讨论162 
注释和参考文献164 
习题165 
第6章支持向量机168 
6.1引言168 
6.2线性可分模式的最优超平面168 
6.3不可分模式的最优超平面173 
6.4使用核方法的支持向量机176 
6.5支持向量机的设计178 
6.6xor问题179 
6.7计算机实验:模式分类181 
6.8回归：鲁棒性考虑184 
6.9线性回归问题的最优化解184 
6.10表示定理和相关问题187 
6.11小结和讨论191 
注释和参考文献192 
习题193 
第7章正则化理论197 
7.1引言197 
7.2良态问题的hadamard条件198 
7.3tikhonov正则化理论198 
7.4正则化网络205 
7.5广义径向基函数网络206 
7.6再论正则化最小二乘估计209 
7.7对正则化的附加要点211 
7.8正则化参数估计212 
7.9半监督学习215 
7.10流形正则化：初步的考虑216 
7.11可微流形217 
7.12广义正则化理论220 
7.13光谱图理论221 
7.14广义表示定理222 
7.15拉普拉斯正则化最小二乘算法223 
7.16用半监督学习对模式分类的实验225 
7.17小结和讨论227 
注释和参考文献228 
习题229 
第8章主分量分析232 
8.1引言232 
8.2自组织原则232 
8.3自组织的特征分析235 
8.4主分量分析：扰动理论235 
8.5基于hebb的最大特征滤波器241 
8.6基于hebb的主分量分析247 
8.7计算机实验：图像编码251 
8.8核主分量分析252 
8.9自然图像编码中的基本问题256 
8.10核hebb算法257 
8.11小结和讨论260 
注释和参考文献262 
习题264 
第9章自组织映射268 
9.1引言268 
9.2两个基本的特征映射模型269 
9.3自组织映射270 
9.4特征映射的性质275 
9.5计算机实验Ⅰ：利用som解网格动力学问题280 
9.6上下文映射281 
9.7分层向量量化283 
9.8核自组织映射285 
9.9计算机实验Ⅱ：利用核som解点阵动力学问题290 
9.10核som和相对熵之间的关系291 
9.11小结和讨论293 
注释和参考文献294 
习题295 
第10章信息论学习模型299 
10.1引言299 
10.2熵300 
10.3最大熵原则302 
10.4互信息304 
10.5相对熵306 
10.6系词308 
10.7互信息作为最优化的目标函数310 
10.8最大互信息原则311 
10.9最大互信息和冗余减少314 
10.10空间相干特征316 
10.11空间非相干特征318 
10.12独立分量分析320 
10.13自然图像的稀疏编码以及与ica编码的比较324 
10.14独立分量分析的自然梯度学习326 
10.15独立分量分析的最大似然估计332 
10.16盲源分离的最大熵学习334 
10.17独立分量分析的负熵最大化337 
10.18相关独立分量分析342 
10.19速率失真理论和信息瓶颈347 
10.20数据的最优流形表达350 
10.21计算机实验：模式分类354 
10.22小结和讨论354 
注释和参考文献356 
习题361 
第11章植根于统计力学的随机方法366 
11.1引言366 
11.2统计力学367 
11.3马尔可夫链368 
11.4metropolis算法374 
11.5模拟退火375 
11.6gibbs抽样377 
11.7boltzmann机378 
11.8logistic信度网络382 
11.9深度信度网络383 
11.10确定性退火385 
11.11和em算法的类比389 
11.12小结和讨论390 
注释和参考文献390 
习题392 
第12章动态规划396 
12.1引言396 
12.2马尔可夫决策过程397 
12.3bellman最优准则399 
12.4策略迭代401 
12.5值迭代402 
12.6逼近动态规划：直接法406 
12.7时序差分学习406 
12.8q学习410 
12.9逼近动态规划：非直接法412 
12.10最小二乘策略评估414 
12.11逼近策略迭代417 
12.12小结和讨论419 
注释和参考文献421 
习题422 
第13章神经动力学425 
13.1引言425 
13.2动态系统426 
13.3平衡状态的稳定性428 
13.4吸引子432 
13.5神经动态模型433 
13.6作为递归网络范例的吸引子操作435 
13.7hopfield模型435 
13.8cohen-grossberg定理443 
13.9盒中脑状态模型445 
13.10奇异吸引子和混沌448 
13.11混沌过程的动态重构452 
13.12小结和讨论455 
注释和参考文献457 
习题458 
第14章动态系统状态估计的贝叶斯滤波461 
14.1引言461 
14.2状态空间模型462 
14.3卡尔曼滤波器464 
14.4发散现象及平方根滤波469 
14.5扩展的卡尔曼滤波器474 
14.6贝叶斯滤波器477 
14.7数值积分卡尔曼滤波器:基于卡尔曼滤波器480 
14.8粒子滤波器484 
14.9计算机实验：扩展的卡尔曼滤波器和粒子滤波器对比评价490 
14.10大脑功能建模中的 
卡尔曼滤波493 
14.11小结和讨论494 
注释和参考文献496 
习题497 
第15章动态驱动递归网络501 
15.1引言501 
15.2递归网络体系结构502 
15.3通用逼近定理505 
15.4可控性和可观测性507 
15.5递归网络的计算能力510 
15.6学习算法511 
15.7通过时间的反向传播512 
15.8实时递归学习515 
15.9递归网络的消失梯度519 
15.10利用非线性逐次状态估计的递归网络监督学习框架521 
15.11计算机实验：mackay-glass吸引子的动态重构526 
15.12自适应考虑527 
15.13实例学习：应用于神经控制的模型参考529 
15.14小结和讨论530 
注释和参考文献533 
习题534 
参考文献538
译者序
从20世纪40年代M-P神经元模型的提出开始，神经网络的发展过程可谓是一波三折。1965年M.Minsky和S.Papert的《感知机》使得神经网络的研究停滞了超过10年，直到20世纪80年代初Hopfield网络和误差反向传播算法等的提出，神经网络的研究才步入恢复期。时至今日，神经网络系统研究的重要意义已经得到广泛承认，在模式识别、人工智能、通信、控制、金融、机器人、生物信息学等许多领域都有广泛应用。可以说神经网络作为目前非线性科学和计算智能研究的主要内容之一，已经成为解决很多实际问题的一种必要的技术手段。 
本书作者Simon Haykin长期从事神经网络的研究，其关于神经网络的系列教材是国际上最有影响力的教材之一。本书是其经典教材《Neural Networks:A Comprehensive Foundation》的第3版。正如本书的题目所示，这一版对神经网络和机器学习这两个密切相关的分支进行了全面分析，在前一版的基础上作了广泛修订，提供了神经网络和机器学习这两个重要性持续增长的学科的最新分析。本书全面、系统地介绍了神经网络的基本模型、基本方法，对神经网络的基本模型和主要学习理论作了深入研究，对神经网络的最新发展趋势和主要研究方向进行了全面而综合的介绍。 
在翻译过程中，译者常常为本书作者严谨的治学态度及本书博大精深的内容而赞叹不已。本书综合了诸多神经网络和机器学习的最新研究，在翻译过程中虽然力求准确地反映原著内容，但由于译者水平有限，翻译中如有错漏之处，恳请读者批评指正。 
本书的翻译得到了国家自然科学基金的资助（项目编号60975047），特此表示感谢。同时，感谢参与本书翻译的全体人员，没有他们的辛勤工作，本书的中文译本是无法顺利完成的；感谢本书第2版（《神经网络原理》）的译者，在翻译过程中我们大量参考了第2版中文译本的内容；还要感谢南京大学计算机软件新技术国家重点实验室的支持。 
南京大学计算机科学与技术系 
计算机软件新技术国家重点实验室 
申富饶 
2010年10月于南京