机器学习概述

以下是机器学习的概述和主题指南：

机器学习是计算机科学中人工智能的一个子领域，它使计算机系统能够从数据中学习并改进功能及性能，而无需显式编程。它源于对模式识别和计算学习理论的研究。http://www.britannica.com/EBchecked/topic/1116194/machine-learning   1959年，亚瑟·李·塞谬尔将机器学习定义为“一门使计算机无需显式编程即可学习的学科”。 机器学习涉及对能够从数据中学习并进行预测的算法的研究与构建。 这些算法通过从一组示例观察数据（即训练集）构建一个数学模型，来进行数据驱动的预测或决策，而非严格遵循静态程序指令。

机器学习是当代人工智能的基础及核心驱动，推动着从搜索引擎、推荐系统到自动驾驶、医疗诊断等众多领域的革命性进展。

 机器学习如何分类？ 

 一门学术学科
 科学的一个分支
 应用科学
 计算机科学的一个子领域
 人工智能的一个分支
 软计算的一个子领域
 统计学的应用

 机器学习的范式 

 监督学习，即模型在标注数据上进行训练
 无监督学习，即模型试图在未标注数据中识别模式
 强化学习，即模型通过接收奖励或惩罚来学习做出决策。

 机器学习的应用 

 生物信息学
 生物医学信息学
 计算机视觉
 客户关系管理
 数据挖掘
 地球科学
 电子邮件筛检
 倒单摆（平衡与稳定系统）
 自然语言处理
 命名实体识别
 自动摘要
 自动分类构建
 对话系统
 语法检查器
 语言识别
 手写识别
 光学字符识别
 语音识别
 文本到语音合成
 语音情感识别
 机器翻译
 问答系统
 语音合成
 文本挖掘
 词频-逆文档频率
 文本简化
 模式识别
 人脸识别系统
 手写识别
 图像识别
 光学字符识别
 语音识别
 推荐系统
 协同过滤
 内容基于过滤
 混合推荐系统
 搜索引擎
 搜索引擎优化
 社会工程学

 机器学习硬件 

 图形处理单元
 张量处理单元
 视觉处理单元

 机器学习工具 

 深度学习软件比较

 机器学习框架 

 专有机器学习框架 

 亚马逊机器学习
 微软Azure机器学习工作室
 DistBelief（已被TensorFlow取代）

 开源机器学习框架 

 Apache Singa
 Apache MXNet
 Caffe
 PyTorch
 mlpack
 TensorFlow
 Torch
 CNTK
 Accord.NET|Accord.Net
 Jax
 MLJ.jl – 用于 Julia 的机器学习框架

 机器学习库 

 Deeplearning4j
 Theano
 scikit-learn
 Keras

 机器学习算法 

 Almeida–Pineda 递归反向传播
 ALOPEX
 反向传播
 自举聚合
 CN2 算法
 构建技能树
 Dehaene–Changeux 模型
 扩散图
 基于支配关系的粗糙集方法
 动态时间规整
 错误驱动学习
 进化多模态优化
 期望最大化算法
 快速ICA
 前向-后向算法
 GeneRec
 遗传算法用于规则集生成
 生长自组织映射
 超基函数网络
 IDistance
 k-最近邻算法|‘'k’'-最近邻算法
 核方法用于向量输出
 核主成分分析
 Leabra
 Linde–Buzo–Gray算法
 局部异常因子
 逻辑学习机
 LogitBoost
 流形对齐
 马尔可夫链蒙特卡洛 (MCMC)
 最小冗余特征选择
 专家混合模型
 多核学习
 非负矩阵分解
 在线机器学习
 袋外误差
 前额叶皮层基底核工作记忆
 PVLV
 Q学习
 二次无约束二进制优化
 查询级特征
 Quickprop
 径向基函数网络
 随机加权多数投票算法
 强化学习
 重复增量修剪以减少误差（RIPPER）
 Rprop
 基于规则的机器学习
 技能链
 稀疏主成分分析
 状态-动作-奖励-状态-动作
 随机梯度下降
 结构化kNN
 T分布随机邻域嵌入
 时差学习
 唤醒-睡眠算法
 加权多数算法（机器学习）

 机器学习方法 

 基于实例的算法 
 K-近邻算法 (KNN)
 学习向量量化 (LVQ)
 自组织映射 (SOM)

 回归分析 
 逻辑回归
 普通最小二乘回归 (OLSR)
 线性回归
 逐步回归
 多变量自适应回归样条 (MARS)
 正则化算法
 岭回归
 最小绝对收缩和选择算子 (LASSO)
 弹性网
 最小角度回归 (LARS)
 分类器
 概率分类器
 朴素贝叶斯分类器
 二元分类器
 线性分类器
 层次分类器

 降维 

降维
 典型相关分析 (CCA)
 因子分析
 特征提取
 特征选择
 独立成分分析 (ICA)
 线性判别分析 (LDA)
 多维尺度分析 (MDS)
 非负矩阵分解 (NMF)
 偏最小二乘回归 (PLSR)
 主成分分析 (PCA)
 主成分回归 (PCR)
 投影追踪
 萨蒙映射
 t-分布随机邻域嵌入 (t-SNE)

 集成学习 

集成学习
 AdaBoost
 提升法
 Bootstrap聚合（也称为“bagging”或“bootstrapping”）
 集成平均
 梯度提升决策树（GBDT）
 梯度提升
 随机森林
 堆叠泛化

 元学习 

元学习
 归纳偏置
 元数据

 强化学习 

强化学习
 Q学习
 状态-动作-奖励-状态-动作 (SARSA)
 时差学习 (TD)
 学习自动机

 监督学习 

监督学习
 平均单依赖估计器 (AODE)
 人工神经网络
 基于案例的推理
 高斯过程回归
 基因表达编程
 数据处理组方法 (GMDH)
 归纳逻辑编程
 实例基于学习
 懒惰学习
 学习自动机
 学习向量量化
 逻辑模型树
 最小消息长度（决策树、决策图等）
 最近邻算法
 类比建模
 可能近似正确学习（PAC）学习
 级联规则, 一种知识获取方法
 符号机器学习算法
 支持向量机
 随机森林
 分类器集合
 自举聚合（bagging）
 提升（元算法）
 有序分类
 条件随机场
 方差分析
 二次分类器
 k最近邻
 提升
 SPRINT
 贝叶斯网络
 朴素贝叶斯
 隐马尔可夫模型
 分层隐马尔可夫模型

 贝叶斯 

贝叶斯统计学
 贝叶斯知识库
 朴素贝叶斯
 高斯朴素贝叶斯
 多项式朴素贝叶斯
 平均单依赖估计器 (AODE)
 贝叶斯信念网络 (BBN)
 贝叶斯网络 (BN)

 决策树算法 

决策树算法
 决策树
 分类与回归树 (CART)
 迭代二分法3（ID3）
 C4.5算法
 C5.0算法
 卡方自动交互检测（CHAID）
 决策桩
 条件决策树
 ID3算法
 随机森林
 SLIQ

 线性分类器 

线性分类器
 费舍尔线性判别分析
 线性回归
 逻辑回归
 多项式逻辑回归
 朴素贝叶斯分类器
 感知机
 支持向量机

 无监督学习 

无监督学习
 期望最大化算法
 向量量化
 生成式拓扑图
 信息瓶颈方法
 关联规则学习算法
 Apriori算法
 Eclat算法

 人工神经网络 

人工神经网络
 前馈神经网络
 极端学习机
 卷积神经网络
 循环神经网络
 长短期记忆（LSTM）
 逻辑学习机
 自组织映射

 关联规则学习 

关联规则学习
 Apriori算法
 Eclat算法
 FP-growth算法

 层次聚类 

层次聚类
 单链接聚类
 概念聚类

 聚类分析 

聚类分析
 BIRCH
 DBSCAN
 期望最大化 (EM)
 模糊聚类
 层次聚类
 ‘'k’'-均值聚类
 k-中位数|‘'k’'-中位数
 均值漂移|均值漂移
 OPTICS算法

 异常检测 

异常检测
 k-最近邻算法|‘'k’'-最近邻算法 (‘'k’'-NN)
 局部异常因子

 半监督学习 

半监督学习
 主动学习
 生成模型
 低密度分离
 图基方法
 协同训练
 转换

 深度学习 

深度学习
 深度信念网络
 深度玻尔兹曼机
 深度卷积神经网络
 深度循环神经网络
 分层时序记忆
 生成对抗网络
 风格迁移
 Transformer
 堆叠自编码器

 其他机器学习方法与问题 

 异常检测
 关联规则
 偏差-方差困境
 分类
 多标签分类
 聚类
 数据预处理
 经验风险最小化
 特征工程
 特征学习
 学习排序
 奥卡姆学习
 在线机器学习
 PAC学习
 回归
 强化学习
 半监督学习
 统计学习
 结构化预测
 图模型
 贝叶斯网络
 条件随机场 (CRF)
 隐马尔可夫模型 (HMM)
 无监督学习
 VC理论

 机器学习研究 
 人工智能项目列表
 机器学习研究数据集列表

 机器学习历史 

机器学习历史
 机器学习时间线

 机器学习项目、组织、出版物及活动 

机器学习项目
 DeepMind
 Google Brain
 OpenAI

 Hugging Face

 机器学习组织、出版物及活动 
国际人工智能联合会议

 参考资料 

Category:科学纲要