机器学习概述

以下是机器学习的概述和主题指南：

机器学习是计算机科学中人工智能的一个子领域，它使计算机系统能够从数据中学习并改进功能及性能，而无需显式编程。它源于对模式识别和计算学习理论的研究。1959年，亚瑟·李·塞谬尔将机器学习定义为“一门使计算机无需显式编程即可学习的学科”。机器学习涉及对能够从数据中学习并进行预测的算法的研究与构建。这些算法通过从一组示例观察数据（即训练集）构建一个数学模型，来进行数据驱动的预测或决策，而非严格遵循静态程序指令。

机器学习是当代人工智能的基础及核心驱动，推动着从搜索引擎、推荐系统到自动驾驶、医疗诊断等众多领域的革命性进展。

## 机器学习如何分类？

- 一门学术学科
- 科学的一个分支
- 应用科学
- 计算机科学的一个子领域
- 人工智能的一个分支
- 软计算的一个子领域
- 统计学的应用

### 机器学习的范式

- 监督学习，即模型在标注数据上进行训练
- 无监督学习，即模型试图在未标注数据中识别模式
- 强化学习，即模型通过接收奖励或惩罚来学习做出决策。

## 机器学习的应用

- 生物信息学
- 生物医学信息学
- 计算机视觉
- 客户关系管理
- 数据挖掘
- 地球科学
- 电子邮件筛检
- 倒单摆（平衡与稳定系统）
- 自然语言处理
- 命名实体识别
- 自动摘要
- 自动分类构建
- 对话系统
- 语法检查器
- 语言识别
- 手写识别
- 光学字符识别
- 语音识别
- 文本到语音合成
- 语音情感识别
- 机器翻译
- 问答系统
- 语音合成
- 文本挖掘
- 词频-逆文档频率
- 文本简化
- 模式识别
- 人脸识别系统
- 手写识别
- 图像识别
- 光学字符识别
- 语音识别
- 推荐系统
- 协同过滤
- 内容基于过滤
- 混合推荐系统
- 搜索引擎
- 搜索引擎优化
- 社会工程学

## 机器学习硬件

- 图形处理单元
- 张量处理单元
- 视觉处理单元

## 机器学习工具

- 深度学习软件比较

### 机器学习框架

#### 专有机器学习框架

- 亚马逊机器学习
- 微软Azure机器学习工作室
- DistBelief（已被TensorFlow取代）

#### 开源机器学习框架

- Apache Singa
- Apache MXNet
- Caffe
- PyTorch
- mlpack
- TensorFlow
- Torch
- CNTK
- Accord.NET|Accord.Net
- Jax
- MLJ.jl – 用于 Julia 的机器学习框架

### 机器学习库

- Deeplearning4j
- Theano
- scikit-learn
- Keras

### 机器学习算法

- Almeida–Pineda 递归反向传播
- ALOPEX
- 反向传播
- 自举聚合
- CN2 算法
- 构建技能树
- Dehaene–Changeux 模型
- 扩散图
- 基于支配关系的粗糙集方法
- 动态时间规整
- 错误驱动学习
- 进化多模态优化
- 期望最大化算法
- 快速ICA
- 前向-后向算法
- GeneRec
- 遗传算法用于规则集生成
- 生长自组织映射
- 超基函数网络
- IDistance
- k-最近邻算法|‘'k’'-最近邻算法
- 核方法用于向量输出
- 核主成分分析
- Leabra
- Linde–Buzo–Gray算法
- 局部异常因子
- 逻辑学习机
- LogitBoost
- 流形对齐
- 马尔可夫链蒙特卡洛 (MCMC)
- 最小冗余特征选择
- 专家混合模型
- 多核学习
- 非负矩阵分解
- 在线机器学习
- 袋外误差
- 前额叶皮层基底核工作记忆
- PVLV
- Q学习
- 二次无约束二进制优化
- 查询级特征
- Quickprop
- 径向基函数网络
- 随机加权多数投票算法
- 强化学习
- 重复增量修剪以减少误差（RIPPER）
- Rprop
- 基于规则的机器学习
- 技能链
- 稀疏主成分分析
- 状态-动作-奖励-状态-动作
- 随机梯度下降
- 结构化kNN
- T分布随机邻域嵌入
- 时差学习
- 唤醒-睡眠算法
- 加权多数算法（机器学习）

## 机器学习方法

### 基于实例的算法

- K-近邻算法 (KNN)
- 学习向量量化 (LVQ)
- 自组织映射 (SOM)

### 回归分析

- 逻辑回归
- 普通最小二乘回归 (OLSR)
- 线性回归
- 逐步回归
- 多变量自适应回归样条 (MARS)
- 正则化算法
- 岭回归
- 最小绝对收缩和选择算子 (LASSO)
- 弹性网
- 最小角度回归 (LARS)
- 分类器
- 概率分类器
- 朴素贝叶斯分类器
- 二元分类器
- 线性分类器
- 层次分类器

### 降维

降维

- 典型相关分析 (CCA)
- 因子分析
- 特征提取
- 特征选择
- 独立成分分析 (ICA)
- 线性判别分析 (LDA)
- 多维尺度分析 (MDS)
- 非负矩阵分解 (NMF)
- 偏最小二乘回归 (PLSR)
- 主成分分析 (PCA)
- 主成分回归 (PCR)
- 投影追踪
- 萨蒙映射
- t-分布随机邻域嵌入 (t-SNE)

### 集成学习

集成学习

- AdaBoost
- 提升法
- Bootstrap聚合（也称为“bagging”或“bootstrapping”）
- 集成平均
- 梯度提升决策树（GBDT）
- 梯度提升
- 随机森林
- 堆叠泛化

### 元学习

元学习

- 归纳偏置
- 元数据

### 强化学习

强化学习

- Q学习
- 状态-动作-奖励-状态-动作 (SARSA)
- 时差学习 (TD)
- 学习自动机

### 监督学习

监督学习

- 平均单依赖估计器 (AODE)
- 人工神经网络
- 基于案例的推理
- 高斯过程回归
- 基因表达编程
- 数据处理组方法 (GMDH)
- 归纳逻辑编程
- 实例基于学习
- 懒惰学习
- 学习自动机
- 学习向量量化
- 逻辑模型树
- 最小消息长度（决策树、决策图等）
- 最近邻算法
- 类比建模
- 可能近似正确学习（PAC）学习
- 级联规则, 一种知识获取方法
- 符号机器学习算法
- 支持向量机
- 随机森林
- 分类器集合
- 自举聚合（bagging）
- 提升（元算法）
- 有序分类
- 条件随机场
- 方差分析
- 二次分类器
- k最近邻
- 提升
- SPRINT
- 贝叶斯网络
- 朴素贝叶斯
- 隐马尔可夫模型
- 分层隐马尔可夫模型

#### 贝叶斯

贝叶斯统计学

- 贝叶斯知识库
- 朴素贝叶斯
- 高斯朴素贝叶斯
- 多项式朴素贝叶斯
- 平均单依赖估计器 (AODE)
- 贝叶斯信念网络 (BBN)
- 贝叶斯网络 (BN)

#### 决策树算法

决策树算法

- 决策树
- 分类与回归树 (CART)
- 迭代二分法3（ID3）
- C4.5算法
- C5.0算法
- 卡方自动交互检测（CHAID）
- 决策桩
- 条件决策树
- ID3算法
- 随机森林
- SLIQ

#### 线性分类器

线性分类器

- 费舍尔线性判别分析
- 线性回归
- 逻辑回归
- 多项式逻辑回归
- 朴素贝叶斯分类器
- 感知机
- 支持向量机

### 无监督学习

无监督学习

- 期望最大化算法
- 向量量化
- 生成式拓扑图
- 信息瓶颈方法
- 关联规则学习算法
- Apriori算法
- Eclat算法

#### 人工神经网络

人工神经网络

- 前馈神经网络
- 极端学习机
- 卷积神经网络
- 循环神经网络
- 长短期记忆（LSTM）
- 逻辑学习机
- 自组织映射

#### 关联规则学习

关联规则学习

- Apriori算法
- Eclat算法
- FP-growth算法

#### 层次聚类

层次聚类

- 单链接聚类
- 概念聚类

#### 聚类分析

聚类分析

- BIRCH
- DBSCAN
- 期望最大化 (EM)
- 模糊聚类
- 层次聚类
- ‘'k’'-均值聚类
- k-中位数|‘'k’'-中位数
- 均值漂移|均值漂移
- OPTICS算法

#### 异常检测

异常检测

- k-最近邻算法|‘'k’'-最近邻算法 (‘'k’'-NN)
- 局部异常因子

### 半监督学习

半监督学习

- 主动学习
- 生成模型
- 低密度分离
- 图基方法
- 协同训练
- 转换

### 深度学习

深度学习

- 深度信念网络
- 深度玻尔兹曼机
- 深度卷积神经网络
- 深度循环神经网络
- 分层时序记忆
- 生成对抗网络
- 风格迁移
- Transformer
- 堆叠自编码器

### 其他机器学习方法与问题

- 异常检测
- 关联规则
- 偏差-方差困境
- 分类
- 多标签分类
- 聚类
- 数据预处理
- 经验风险最小化
- 特征工程
- 特征学习
- 学习排序
- 奥卡姆学习
- 在线机器学习
- PAC学习
- 回归
- 强化学习
- 半监督学习
- 统计学习
- 结构化预测
- 图模型
- 贝叶斯网络
- 条件随机场 (CRF)
- 隐马尔可夫模型 (HMM)
- 无监督学习
- VC理论

## 机器学习研究

- 人工智能项目列表
- 机器学习研究数据集列表

## 机器学习历史

机器学习历史

- 机器学习时间线

## 机器学习项目、组织、出版物及活动

### 机器学习项目

- DeepMind
- Google Brain
- OpenAI
- Meta AI
- Hugging Face

### 机器学习组织、出版物及活动

- 国际人工智能联合会议