機器學習概述

以下是機器學習的概述和主題指南：

機器學習是電腦科學中人工智慧的一個子領域，它使電腦系統能夠從數據中學習並改進功能及性能，而無需顯式編程。它源於對模式識別和計算學習理論的研究。1959年，亞瑟·李·塞謬爾將機器學習定義為「一門使電腦無需顯式編程即可學習的學科」。機器學習涉及對能夠從數據中學習並進行預測的演算法的研究與構建。這些演算法通過從一組示例觀察數據（即訓練集）構建一個數學模型，來進行數據驅動的預測或決策，而非嚴格遵循靜態程序指令。

機器學習是當代人工智慧的基礎及核心驅動，推動著從搜尋引擎、推薦系統到自動駕駛、醫療診斷等眾多領域的革命性進展。

## 機器學習如何分類？

- 一門學術學科
- 科學的一個分支
- 應用科學
- 電腦科學的一個子領域
- 人工智慧的一個分支
- 軟計算的一個子領域
- 統計學的應用

### 機器學習的範式

- 監督學習，即模型在標註數據上進行訓練
- 無監督學習，即模型試圖在未標註數據中識別模式
- 強化學習，即模型通過接收獎勵或懲罰來學習做出決策。

## 機器學習的應用

- 生物資訊學
- 生物醫學資訊學
- 電腦視覺
- 客戶關係管理
- 數據挖掘
- 地球科學
- 電子郵件篩檢
- 倒單擺（平衡與穩定系統）
- 自然語言處理
- 命名實體識別
- 自動摘要
- 自動分類構建
- 對話系統
- 語法檢查器
- 語言識別
- 手寫識別
- 光學字符識別
- 語音識別
- 文本到語音合成
- 語音情感識別
- 機器翻譯
- 問答系統
- 語音合成
- 文本挖掘
- 詞頻-逆文檔頻率
- 文本簡化
- 模式識別
- 人臉識別系統
- 手寫識別
- 圖像識別
- 光學字符識別
- 語音識別
- 推薦系統
- 協同過濾
- 內容基於過濾
- 混合推薦系統
- 搜尋引擎
- 搜尋引擎優化
- 社會工程學

## 機器學習硬體

- 圖形處理單元
- 張量處理單元
- 視覺處理單元

## 機器學習工具

- 深度學習軟體比較

### 機器學習框架

#### 專有機器學習框架

- 亞馬遜機器學習
- 微軟Azure機器學習工作室
- DistBelief（已被TensorFlow取代）

#### 開源機器學習框架

- Apache Singa
- Apache MXNet
- Caffe
- PyTorch
- mlpack
- TensorFlow
- Torch
- CNTK
- Accord.NET|Accord.Net
- Jax
- MLJ.jl – 用於 Julia 的機器學習框架

### 機器學習庫

- Deeplearning4j
- Theano
- scikit-learn
- Keras

### 機器學習演算法

- Almeida–Pineda 遞歸反向傳播
- ALOPEX
- 反向傳播
- 自舉聚合
- CN2 演算法
- 構建技能樹
- Dehaene–Changeux 模型
- 擴散圖
- 基於支配關係的粗糙集方法
- 動態時間規整
- 錯誤驅動學習
- 進化多模態優化
- 期望最大化演算法
- 快速ICA
- 前向-後向演算法
- GeneRec
- 遺傳算法用於規則集生成
- 生長自組織映射
- 超基函數網路
- IDistance
- k-最近鄰演算法|『'k』'-最近鄰演算法
- 核方法用於向量輸出
- 核主成分分析
- Leabra
- Linde–Buzo–Gray演算法
- 局部異常因子
- 邏輯學習機
- LogitBoost
- 流形對齊
- 馬爾可夫鏈蒙特卡洛 (MCMC)
- 最小冗餘特徵選擇
- 專家混合模型
- 多核學習
- 非負矩陣分解
- 在線機器學習
- 袋外誤差
- 前額葉皮層基底核工作記憶
- PVLV
- Q學習
- 二次無約束二進位優化
- 查詢級特徵
- Quickprop
- 徑向基函數網路
- 隨機加權多數投票算法
- 強化學習
- 重複增量修剪以減少誤差（RIPPER）
- Rprop
- 基於規則的機器學習
- 技能鏈
- 稀疏主成分分析
- 狀態-動作-獎勵-狀態-動作
- 隨機梯度下降
- 結構化kNN
- T分布隨機鄰域嵌入
- 時差學習
- 喚醒-睡眠演算法
- 加權多數演算法（機器學習）

## 機器學習方法

### 基於實例的演算法

- K-近鄰演算法 (KNN)
- 學習向量量化 (LVQ)
- 自組織映射 (SOM)

### 回歸分析

- 邏輯回歸
- 普通最小二乘回歸 (OLSR)
- 線性回歸
- 逐步回歸
- 多變量自適應回歸樣條 (MARS)
- 正則化演算法
- 嶺回歸
- 最小絕對收縮和選擇算子 (LASSO)
- 彈性網
- 最小角度回歸 (LARS)
- 分類器
- 機率分類器
- 樸素貝葉斯分類器
- 二元分類器
- 線性分類器
- 層次分類器

### 降維

降維

- 典型相關分析 (CCA)
- 因子分析
- 特徵提取
- 特徵選擇
- 獨立成分分析 (ICA)
- 線性判別分析 (LDA)
- 多維尺度分析 (MDS)
- 非負矩陣分解 (NMF)
- 偏最小二乘回歸 (PLSR)
- 主成分分析 (PCA)
- 主成分回歸 (PCR)
- 投影追蹤
- 薩蒙映射
- t-分布隨機鄰域嵌入 (t-SNE)

### 集成學習

集成學習

- AdaBoost
- 提升法
- Bootstrap聚合（也稱為「bagging」或「bootstrapping」）
- 集成平均
- 梯度提升決策樹（GBDT）
- 梯度提升
- 隨機森林
- 堆疊泛化

### 元學習

元學習

- 歸納偏置
- 元數據

### 強化學習

強化學習

- Q學習
- 狀態-動作-獎勵-狀態-動作 (SARSA)
- 時差學習 (TD)
- 學習自動機

### 監督學習

監督學習

- 平均單依賴估計器 (AODE)
- 人工神經網絡
- 基於案例的推理
- 高斯過程回歸
- 基因表達編程
- 數據處理組方法 (GMDH)
- 歸納邏輯編程
- 實例基於學習
- 懶惰學習
- 學習自動機
- 學習向量量化
- 邏輯模型樹
- 最小消息長度（決策樹、決策圖等）
- 最近鄰演算法
- 類比建模
- 可能近似正確學習（PAC）學習
- 級聯規則, 一種知識獲取方法
- 符號機器學習演算法
- 支持向量機
- 隨機森林
- 分類器集合
- 自舉聚合（bagging）
- 提升（元演算法）
- 有序分類
- 條件隨機場
- 方差分析
- 二次分類器
- k最近鄰
- 提升
- SPRINT
- 貝葉斯網路
- 樸素貝葉斯
- 隱馬爾可夫模型
- 分層隱馬爾可夫模型

#### 貝葉斯

貝葉斯統計學

- 貝葉斯知識庫
- 樸素貝葉斯
- 高斯樸素貝葉斯
- 多項式樸素貝葉斯
- 平均單依賴估計器 (AODE)
- 貝葉斯信念網路 (BBN)
- 貝葉斯網路 (BN)

#### 決策樹演算法

決策樹演算法

- 決策樹
- 分類與回歸樹 (CART)
- 迭代二分法3（ID3）
- C4.5演算法
- C5.0演算法
- 卡方自動交互檢測（CHAID）
- 決策樁
- 條件決策樹
- ID3演算法
- 隨機森林
- SLIQ

#### 線性分類器

線性分類器

- 費舍爾線性判別分析
- 線性回歸
- 邏輯回歸
- 多項式邏輯回歸
- 樸素貝葉斯分類器
- 感知機
- 支持向量機

### 無監督學習

無監督學習

- 期望最大化演算法
- 向量量化
- 生成式拓撲圖
- 資訊瓶頸方法
- 關聯規則學習演算法
- Apriori演算法
- Eclat演算法

#### 人工神經網絡

人工神經網絡

- 前饋神經網絡
- 極端學習機
- 卷積神經網絡
- 循環神經網絡
- 長短期記憶（LSTM）
- 邏輯學習機
- 自組織映射

#### 關聯規則學習

關聯規則學習

- Apriori演算法
- Eclat演算法
- FP-growth演算法

#### 層次聚類

層次聚類

- 單連結聚類
- 概念聚類

#### 聚類分析

聚類分析

- BIRCH
- DBSCAN
- 期望最大化 (EM)
- 模糊聚類
- 層次聚類
- 『'k』'-均值聚類
- k-中位數|『'k』'-中位數
- 均值漂移|均值漂移
- OPTICS演算法

#### 異常檢測

異常檢測

- k-最近鄰演算法|『'k』'-最近鄰演算法 (『'k』'-NN)
- 局部異常因子

### 半監督學習

半監督學習

- 主動學習
- 生成模型
- 低密度分離
- 圖基方法
- 協同訓練
- 轉換

### 深度學習

深度學習

- 深度信念網路
- 深度玻爾茲曼機
- 深度卷積神經網絡
- 深度循環神經網絡
- 分層時序記憶
- 生成對抗網絡
- 風格遷移
- Transformer
- 堆疊自編碼器

### 其他機器學習方法與問題

- 異常檢測
- 關聯規則
- 偏差-方差困境
- 分類
- 多標籤分類
- 聚類
- 數據預處理
- 經驗風險最小化
- 特徵工程
- 特徵學習
- 學習排序
- 奧卡姆學習
- 在線機器學習
- PAC學習
- 回歸
- 強化學習
- 半監督學習
- 統計學習
- 結構化預測
- 圖模型
- 貝葉斯網路
- 條件隨機場 (CRF)
- 隱馬爾可夫模型 (HMM)
- 無監督學習
- VC理論

## 機器學習研究

- 人工智慧項目列表
- 機器學習研究數據集列表

## 機器學習歷史

機器學習歷史

- 機器學習時間線

## 機器學習項目、組織、出版物及活動

### 機器學習項目

- DeepMind
- Google Brain
- OpenAI
- Meta AI
- Hugging Face

### 機器學習組織、出版物及活動

- 國際人工智慧聯合會議