Rikunarita-ORG/Wikinium huggingface dataset:
# Talks at Google

**Talks at Googl**e 是由 谷歌 主辦的系列演講，邀請來自各領域具影響力的思想家、創造者和領導者，與 Google 員工和廣大聽眾分享他們的想法和經驗。該活動始於 2006 年，目前已成為 Google 工作場所文化的重要組成部分。該計劃由 Googler 義工組織，每週在 Google 全球各辦事處舉辦約 12 場演講。所有講座都會錄音並公開，主要是在 YouTube 及其他平台，例如 Podcast。

系列講座涵蓋廣泛的主題，包括科技、商業、藝術、科學、個人發展和社會議題。著名的演講者包括作家、企業家、科學家、藝術家、活躍人士，以及 Simon Sinek、Lady Gaga、Yuval Noah Harari 等名人。每場演講都提供演講者的專業知識或個人心路歷程，往往能激發創新、樂觀或新觀點。

這項計畫不僅豐富了 Google 的內部文化，也成為與全球受眾分享知識的平台。

## 演讲人

* Lady Gaga, 音乐家
* 诺姆·乔姆斯基, 语言学家和政治评论家
* Salman Rushdie, 作家
* 斯拉沃熱·齊澤克, 哲学家
* 约翰·罗杰斯·希尔勒, 哲学家
* Michael Kinsley, 记者
* 史迪芬·平克, 认知科学家
* 克里斯托弗·希欽斯, 记者
* Bob Woodward, 记者
* 穆罕默德·尤纳斯, 经济学家和诺贝尔和平奖获得者
* Raphael Saadiq, 音乐家
* Michael Bloomberg, 纽约市市长
* Mike Krahulik和Jerry Holkins, 漫画家
* Steve Kamb, 作者和个人培训师
* Brian Dunning, 科学作家和podcaster
* George R. R. Martin, 作家
* 奈爾·德葛拉司·泰森, 天体物理学家
* Steve Blank, 关于创业方面的企业家，学者，思想领导者和作家
* Alton Brown
* Goleman, Daniel, Social Intelligence: The New Science of Human Relationships

## 按照分类和日期添加的演讲人列表

### 谷歌作家Authors@Google

* Esther Gokhale, *8 Steps to a Pain-Free Back*的作家, 2008年2月14日
* Rebecca MacKinnon, *The Consent of the Networked*的作家, 2012年2月9日
* Kelly McGonigal, *The Willpower Instinct*的作家, 2012年1月26日
* Rich DeMillo, *Abelard to Apple*的作家, 2012年1月25日
* Jeff Galloway, *Run Injury Free*的作家, 2012年1月23日
* Ann Lee, *What the U.S. Can Learn from China*的作家, 2012年1月20日
* Robert B. Reich, *Aftershock*的作家, 2011年8月29日
* Jennifer Egan, *A Visit from the Goon Squad,*的作家 2011年8月4日
* 蒂娜·菲, *Bossypants*的作家, 2011年4月20日
* 兰德尔·门罗, xkcd webcomi 作家, 2007年12月7日
* Eric Ries, "The Lean Startup"的作家, 2011年4月7日

### 谷歌喜剧演员Comedians@Google

* Eddie Izzard, 英国脱口秀喜剧演员和演员, 2011年8月
* Stephen Colbert, 美国喜剧演员和电视主持人, 2012年12月7日

### 谷歌百老汇Broadway@Google

### 谷歌候选Candidates@Google

### 谷歌厨师Chefs@Google

### 谷歌教育Education@Google

### 谷歌领导Leading@Google

* Susan Cain, *Quiet: The Power of Introverts in a World That Can't Stop Talking的作家,* 2012年2月。

### 谷歌音乐家Musicians@Google

* Lady Gaga

### 谷歌政治Politics@Google

### 谷歌女性Women@Google

## 参照

* AtGoogleTalks（页面存档备份，存于互联网档案馆）, on YouTube (Authors@Google, Candidates@Google, etc.)
* Google Tech Talks（页面存档备份，存于互联网档案馆）, on YouTube.
* Google TechTalks（页面存档备份，存于互联网档案馆）, on Google Video.
* Search Google Video for TechTalks
* Google announcement of the videos being online（页面存档备份，存于互联网档案馆）
# Project Zero (Google)[编辑]

Project Zero| 持有者 | Google |
| 网址 | googleprojectzero.blogspot.com |
| 推出时间 | 2014年7月15日（11年339天） |
| 现状 | 在线 |
|  |

**Project Zero**是Google公司於2014年7月15日所公開的一個信息安全團隊，此團隊專責找出各種軟體的安全漏洞，特別是可能會導致零時差攻擊者。此團隊的領導者為曾任Google Chrome安全小組的克里斯·伊凡斯（Chris Evans）。

此團隊找出安全漏洞之後，會即時通知受影響軟體的開發者，在開發者還沒修補此漏洞前，不會對外公佈。但90天之後，無論原開發者是否已修復漏洞，都會自動公開。

## 知名成員

* 克里斯·伊凡斯：團隊領導者
* 喬治·霍茲（George Hotz）
* Ben Hawkes
* Tavis Ormandy
* Ian Beer
* James Forshaw
* 約翰·霍恩（Jann Horn）
* Derick Sun

## 重要发现

* Google Project Zero早期发布的一份报告引起了人们的关注，该报告涉及一个允许黑客控制运行Safari 浏览器的软件的漏洞。 该团队，特别是 Beer，因其努力在Apple的简短感谢信中被提及。
* 2014年9月30日，Google 在Windows 8.1的系统调用 "NtApphelpCacheControl" 中发现了一个安全漏洞，该漏洞允许普通用户获得管理员权限。 Microsoft立即收到了有关该问题的通知，但未能在 90 天内修复该问题，这意味着有关该漏洞的信息于 2014年12月29日公开发布。 将该漏洞公之于众引发了 Microsoft 的回应，称他们正在解决该问题。
* 2015年3月9日，Google Project Zero的博客发布了一篇客座文章，披露了如何利用常见 DRAM 硬件漏洞Row Hammer来提升本地用户的权限。 这篇文章引发了学术界和硬件界的大量后续研究。
* 2017年2月19日，Google 在Cloudflare的反向代理中发现了一个漏洞， 该漏洞导致其边缘服务器运行到缓冲区末尾之后，并返回包含 HTTP Cookie、身份验证令牌、HTTP POST 正文和其他敏感数据等隐私信息的内存。其中一些数据被搜索引擎缓存。 Project Zero团队的一名成员将此漏洞称为Cloudbleed。
* 2017年3月27日，Project Zero的 Tavis Ormandy 在流行的密码管理器LastPass中发现了一个漏洞。2017年3月31日，LastPass 宣布他们已修复该问题。
* 2017年年中，Project Zero参与发现了影响大多数现代CPU的Meltdown和Spectre漏洞，并于 2018年1 月初披露。 该问题由 Jann Horn 独立于其他报告该安全漏洞的研究人员发现，并计划于 2018年1月9日发布，但由于越来越多的猜测而提前了发布日期。
* 2019年2月1日，Project Zero向Apple报告称，他们发现了一组五个独立且完整的 iPhone 利用链，影响从iOS 10到所有版本iOS 12的系统，这些漏洞并非针对特定用户，但能够感染任何访问过受感染网站的用户。一系列被黑客入侵的网站被用于针对其访问者的无差别水坑攻击，Project Zero估计这些网站每周接待数千名访问者。Project Zero认为，这些攻击表明，一个组织在至少两年的时间里一直在持续努力地攻击某些社区的 iPhone 用户。 Apple在2019年2月7日发布的iOS 12.1.4中修复了这些漏洞， 并表示在Project Zero报告时，修复工作已经在进行中。
* 2019年4月18日，Project Zero在AppleiMessage中发现了一个漏洞，其中某个格式错误的消息可能导致Springboard“……反复崩溃并重新生成，导致无法显示用户界面，并且手机停止响应输入。” 这将导致iPhone的UI完全崩溃，使其无法操作。即使在硬件重置后，该漏洞仍然存在。该漏洞还会影响Mac上的 iMessage，但结果不同。Apple 在Project Zero发布该漏洞之前的90天内修复了该漏洞。
* 2021年12月，该团队根据其与 Apple安全工程与架构（SEAR）小组的合作，发布了FORCEDENTRY漏洞的技术细则。

* （英文）Official blog（页面存档备份，存于互联网档案馆）
* （英文）Database of detected vulnerabilities（页面存档备份，存于互联网档案馆）
* （英文）List of vulnerabilities found by Google before starting "Project Zero"（页面存档备份，存于互联网档案馆）
# AI Challenge[编辑]

**AI Challenge**是由加拿大滑铁卢大学计算机科学俱乐部发起的国际人工智能编程比赛 。

最初只有滑铁卢大学的学生参加。在2010年，该比赛获得谷歌的赞助，使得它延伸到国际上的学生和公众。

## 描述

每个参赛者将编写一个独立的计算机程序来操控一个游戏并挑战对手。完成后的程序将上传到比赛的服务器。比赛服务器使用Trueskill排名算法为程序打分。

之后观众可以使用浏览器观看比赛。

该比赛是开源的 ，欢迎参赛者在赛后交流改进程序。

## 获奖者

| 比赛
 | 主题
 | 获胜者
 |
| --- | --- | --- |
| 2009/Fall
 | Rock-Paper-Scissors
 | amstan
 |
| 2010/Spring
 | Tron Lightcycles | a1k0n (Andy Sloane)
 |
| 2010/Fall
 | Planet Wars | Bocsimackó (Gábor Melis)
 |
| 2011/Fall（页面存档备份，存于互联网档案馆）
 | Ants
 | xathis (Mathis Lichtenberger)
 |

* AI Challenge\*（页面存档备份，存于互联网档案馆）
* University of Waterloo Computer Science Club（页面存档备份，存于互联网档案馆）
# 可微函数[编辑]

一个可微函数的图像
**可微分函数**（英語：differentiable function）在微积分学中是指那些在定义域中所有点都存在导数的函数。可微函数的图像在定义域内的每一点上必存在非垂直切线。因此，可微函数的图像是相对光滑的，没有间断点、尖点或任何有垂直切线的点。

一般来说，若*X*0是函数*f*定义域上的一点，且*f*′(*X*0)有定义，则称*f*在*X*0点可微。这就是说*f*的图像在(*X*0, *f*(*X*0))点有非垂直切线，且该点不是间断点、尖点。

## 可微性与连续性

魏尔斯特拉斯函数连续，但在任一点都不可微
若*f*在*X*0点可微，则*f*在该点必连续。特别的，所有可微函数在其定义域内任一点必连续。逆命题则不成立：一个连续函数未必可微。比如，一个有折点、尖点或垂直切线的函数可能是连续的，但在异常点不可微。

实践中运用的函数大多在所有点可微，或几乎处处可微。但斯特凡·巴拿赫声称可微函数在所有函数构成的集合中却是少数。这表示可微函数在连续函数中不具代表性。人们发现的第一个处处连续但处处不可微的函数是魏尔斯特拉斯函数。

## 连续可微的分类

函数*f*是连续可微（continuously differentiable），如果导数*f'(x)*存在且是连续函数。可微函數*f(x)*之導數*f'(x)*不可能有跳躍不連續點，但可能有本性不連續點。例如考慮以下函數*f(x)*：

 WIKINIUM\_MATH\_PH\_0
此函數在*x*=0處可微，可照定義求出f'(0)：

 WIKINIUM\_MATH\_PH\_2
但對*x*≠0，

 WIKINIUM\_MATH\_PH\_4
當*x*趨近於0時，*f'(x)*的極限並不存在。

连续可微函数被称作 WIKINIUM\_MATH\_PH\_6 函数。一个函数称作' WIKINIUM\_MATH\_PH\_8 函数如果函数的一阶、二阶导数存在且连续。更一般的，一个函数称作 WIKINIUM\_MATH\_PH\_10 函数如果前*k*阶导数*f*′(*x*), *f*″(*x*), ..., *f*(*k*)(*x*) 都存在且连续。如果对于所有正整数n，f(n)存在，这个函数被称为光滑函数或称 WIKINIUM\_MATH\_PH\_12 函数。

## 多元函数的可微性

如果一个函数的所有偏导数在某点的邻域内存在且连续，那么该函数在该点可微，而且是class *C*1。(这是可微的一个充分不必要条件)

形式上，一个多元实值函数  WIKINIUM\_MATH\_PH\_14 在点 WIKINIUM\_MATH\_PH\_15 处可微，如果存在线性映射 WIKINIUM\_MATH\_PH\_16 满足

 WIKINIUM\_MATH\_PH\_17
注意，偏导数（甚至所有方向導數）都存在并不能保证函数在该点可微，考慮以下函數 WIKINIUM\_MATH\_PH\_19 ：

 WIKINIUM\_MATH\_PH\_20
此函數在 WIKINIUM\_MATH\_PH\_22 並不可微，但其所有偏導數及方向導數在該點皆存在。以下是一個連續的例子：

 WIKINIUM\_MATH\_PH\_23
此函數在 WIKINIUM\_MATH\_PH\_25 並不可微，但其所有偏導數及方向導數在該點皆存在。

## 複變函數的可微性

在複分析中，任何在某點附近可微的複變函數被稱為全純函數，這類函數也將會是無限可微，甚至是解析函数。

## 参考资料
# 信息几何[编辑]

所有正态分布的集合构成具有双曲几何的统计流形。
**信息几何**是用微分几何研究概率论和统计学的交叉学科。

这门学科研究统计流形，即点与概率分布相对应的黎曼流形。

## 引言

从历史上看，信息几何可追溯到卡利安普迪·拉达克里希纳·拉奥的工作，他首先将费希尔矩阵视为黎曼度量。现代理论主要归功于甘利俊一，他的工作对该领域产生了重大影响。

经典的信息几何将有参概率模型视作黎曼流形。对于这类模型，可自然选择出黎曼度量，即费希尔信息度量。在概率模型为指数族时，有可能用黑塞度量（即凸函数的势给出的黎曼度量）导出统计流形，这时流形会自然继承两个平面仿射联络，以及正规布雷格曼散度。历史上，许多工作都致力于研究这些例子的相关几何。在现代背景下，信息几何适用于更广泛的背景，包括非指数族、非参数统计，甚至是不从已知概率模型导出的抽象统计流形。这些结果结合了信息论、仿射微分几何、凸分析等众多领域的技术。

该领域的标准参考书是甘利俊一与长冈浩司的《信息几何方法》及Nihat Ay等人的最新著作。Frank Nielsen在调查报告中做了较温和的介绍。2018年，《信息几何学》期刊正式创立，专门讨论该领域。

## 应用

作为一个跨学科领域，信息几何已被广泛应用于各种领域，主要应用于统计分析、控制理论、神经网络、量子力学、信息论等领域。

下面是不完整的清单：

* 统计推断
* 时间序列与线性系统
* 过滤问题
* 量子系统
* 神经网络
* 机器学习
* 统计力学
* 生物学
* 统计学
* 金融数学

## 另见

* 鲁平几何
* 相对熵
* 随机几何
* 流形随机分析
* 投影滤波器

* [1] （页面存档备份，存于互联网档案馆） Information Geometry journal by Springer
* Information Geometry （页面存档备份，存于互联网档案馆） overview by Cosma Rohilla Shalizi, July 2010
* Information Geometry （页面存档备份，存于互联网档案馆） notes by John Baez, November 2012
* Information geometry for neural networks(pdf ) （页面存档备份，存于互联网档案馆）, by Daniel Wagenaar
# 统计流形[编辑]

数学中，**统计流形**是每点都代表一概率分布的黎曼流形，为信息几何提供了研究对象。费希尔信息度量提供了流形上的度量张量。根据这定义，对数似然函数是可微映射，分数是包含映射。

## 示例

所有正态分布可视为2维参数空间，参数为期望 WIKINIUM\_MATH\_PH\_0 与方差 WIKINIUM\_MATH\_PH\_2 。由费希尔信息矩阵给出的黎曼度量可得统计流形，其几何模型是双曲几何。通过费希尔信息推断参数方程而非从似然函数出发，是绘制流形的一种方法。

统计流形的简单例子是物理学中的正则系综：是1维流形，温度*T*是坐标。对任何常温*T*，都有概率空间：因此对原子气体而言，它就是原子速度的概率分布，会随*T*的变化而变化。

另一个简单例子来自医学，即病人治愈概率分布与给药量的关系。在固定剂量下，有些病人的病情有所改善，有些则没有，这就是基本概率空间。若改变剂量，结果概率也会变化，因此剂量就是流形上的坐标。要成为微分流形，就要根据剂量的任意微小变化测量结果，这并不实际可行，除非已有了剂量-反映数学模型，其中剂量可以任意变化。

## 定义

令*X*为可定向流形，使 WIKINIUM\_MATH\_PH\_4 为*X*上的测度。等价地，令 WIKINIUM\_MATH\_PH\_6 为关于 WIKINIUM\_MATH\_PH\_8 的概率空间，其中σ-代数 WIKINIUM\_MATH\_PH\_10 与概率 WIKINIUM\_MATH\_PH\_12 。

*X*的统计流形*S*(*X*)定义为*X*上所有测度 WIKINIUM\_MATH\_PH\_14 （σ-代数 WIKINIUM\_MATH\_PH\_16 不变）。注意这空间是无穷维的，通常认为是弗雷歇空间。*S*(*X*)的点都是测度。

与其处理无穷维空间*S*(*X*)，不如处理有限维子流形，由一组由光滑、连续变化的参数 WIKINIUM\_MATH\_PH\_18 参数化的概率分布给出定义即可。也就是说，只考虑由参数选择的测度。若参数 WIKINIUM\_MATH\_PH\_20 是*n*维的，那么子流形一般也是*n*维。所有有限维统计流形都可这样理解。

## 另见

* 琴佐夫定理
# 归纳偏置[编辑]

**歸納偏置**（英語：Inductive bias），指的是學習演算法中，當學習器去預測其未遇到過的輸入結果時，所做的一些假設的集合（Mitchell, 1980）。

機器學習試圖去建造一個可以學習的演算法，用來預測某個目標的結果。要達到此目的，要給於學習演算法一些訓練样本，样本說明輸入與輸出之間的預期關係。然后假设學習器在预测中逼近正确的结果，其中包括在訓練中未出現的样本。既然未知状况可以是任意的結果，若沒有其它額外的假設，這任務就無法解決。這種關於目標函數的必要假設就称为*歸納偏置*（Mitchell, 1980; desJardins and Gordon, 1995）。

一個典型的歸納偏置例子是奧卡姆剃刀，它假設最簡單而又一致的假设是最佳的。這裡的一致是指學習器的假设會對所有樣本產生正確的結果。

歸納偏置比較正式的定義是基於數學上的邏輯。這裡，歸納偏置是一個與訓練样本一起的邏輯式子，其邏輯上會蘊涵學習器所產生的假设。然而在实际应用中，這種嚴謹形式常常無法適用。在有些情况下，学习器的歸納偏置可能只是一個很粗糙的描述（如在人工神經網路中），甚至更加简单。

## 歸納偏置的種類

以下是機器學習中常見的歸納偏置列表：

* **最大條件獨立性**（conditional independence）：如果假說能轉成貝葉斯模型架構，則試著使用最大化條件獨立性。這是用於朴素貝葉斯分類器（Naive Bayes classifier）的偏置。
* **最小交叉驗證误差**：當試圖在假說中做選擇時，挑選那個具有最低交叉驗證误差的假說，雖然交叉驗證看起來可能無關偏置，但天下没有免费的午餐理論顯示交叉驗證已是偏置的。
* **最大邊界**：當要在兩個類別間畫一道分界線時，試圖去最大化邊界的寬度。這是用於支持向量機的偏置。這個假設是不同的類別是由寬界線來區分。
* **最小描述長度**（Minimum description length）：當构成一個假设時，試圖去最小化其假设的描述長度。假设越简单，越可能為真的。見奧卡姆剃刀。
* **最少特徵數**（Minimum features）：除非有充分的證據顯示一個特徵是有效用的，否則它應当被刪除。這是特徵選择（feature selection）算法背後所使用的假設。
* **最近鄰居**：假設在特徵空間（feature space）中一小區域內大部分的样本是同屬一類。給一個未知類別的样本，猜測它與它最緊接的大部分鄰居是同屬一類。這是用於最近鄰居法的偏置。這個假設是相近的样本應傾向同屬於一類別。

## 偏置变换

雖然大部分的學習演算法使用固定的偏置，但有些算法在获得更多数据時可以變換它們的偏置。這不會取消偏置，因為偏置变换的過程本身就是一種偏置。

## 另見

* 認知偏誤
* 天下没有免费的午餐

## 參考文獻

desJardins, M., and Gordon, D.F. (1995). Evaluation and selection of biases in machine learning （页面存档备份，存于互联网档案馆）. Machine Learning Journal, 5:1--17, 1995.

Mitchell, T.M. (1980). The need for biases in learning generalizations （页面存档备份，存于互联网档案馆）. CBM-TR 5-110, Rutgers University, New Brunswick, NJ.

Utgoff, P.E. (1984). Shift of bias for inductive concept learning. Doctoral dissertation, Department of Computer Science, Rutgers University, New Brunswick, NJ.
# 分類問題之損失函數

各种代理损失函数的曲线。蓝色为0–1指示函数，绿色为平方损失函数，紫色为铰链损失函数，黄色为逻辑损失函数。注意所有代理损失函数对 WIKINIUM\_MATH\_PH\_0 均给出1的惩罚。
在機器學習和最佳化領域中，分類問題之**損失函數**可以用來表達預測不準確之程度，其中分類問題主要是用來判斷所偵測到的物件屬於什麼類別。將一個向量空間 WIKINIUM\_MATH\_PH\_1 做為所有的輸入值，而向量空間 WIKINIUM\_MATH\_PH\_3 做為所有的輸出值。我们希望能夠找到最佳的公式 WIKINIUM\_MATH\_PH\_5 將 WIKINIUM\_MATH\_PH\_7 映射到 WIKINIUM\_MATH\_PH\_9 。然而，由于信息不完整、雜訊、计算過程中的非确定性模块等因素，有可能會有相同的輸入值 WIKINIUM\_MATH\_PH\_11 映射到不同的輸出值 WIKINIUM\_MATH\_PH\_13 。因此，這個學習過程的目的就是要最小化預期風險（更详细的介绍参见统计学习理论），預期風險之定義為：

 WIKINIUM\_MATH\_PH\_15
其中 WIKINIUM\_MATH\_PH\_17 即損失函數，而 WIKINIUM\_MATH\_PH\_19 為機率密度函數。而實作上概率分布 WIKINIUM\_MATH\_PH\_21 通常是未知的，因此我们使用由数据样本空间中取出的 WIKINIUM\_MATH\_PH\_23 個獨立且同分布（i.i.d.）的樣本點

 WIKINIUM\_MATH\_PH\_25 作为训练集，將樣本空間所得到的经验風險做為預期風險的替代，其定義為：
 WIKINIUM\_MATH\_PH\_27
基於分類問題的二元性，可定義0-1函數做為匹配值之基準。因此損失函數為：

 WIKINIUM\_MATH\_PH\_29
其中 WIKINIUM\_MATH\_PH\_31 為步階函數。然而損失函數並不是凸函數或平滑函數，是一種NP-hard的問題，因此做為替代，需要使用可以追蹤的機器學習演算法（透過凸損失函數）。

## 分類問題之界線

使用貝式定理，可以基於問題的二元性最佳化映射公式 WIKINIUM\_MATH\_PH\_33 為：

 WIKINIUM\_MATH\_PH\_35
當 WIKINIUM\_MATH\_PH\_37

## 簡化分類問題預期風險

 WIKINIUM\_MATH\_PH\_39
## 平方損失

 WIKINIUM\_MATH\_PH\_41
平方損失凸且平滑，但容易過度懲罰錯誤預測，導致收斂速度比邏輯損失和鏈結損失慢。它的優點為有助於簡化交叉驗證之正則化（regularization）。

最小化預期風險之映射函數為：

 WIKINIUM\_MATH\_PH\_43
## 鏈結損失

 WIKINIUM\_MATH\_PH\_45
鏈結損失公式等同於支持向量機（SVM）的損失公式。鏈結損失凸但不平滑（在 WIKINIUM\_MATH\_PH\_47 不可微分），因此不適用於梯度下降法和隨機梯度下降法，但適用次梯度下降法。
最小化預期風險之映射函數為：

 WIKINIUM\_MATH\_PH\_49
## 廣義平滑鏈結損失

 WIKINIUM\_MATH\_PH\_51
其中 WIKINIUM\_MATH\_PH\_53

## 邏輯損失

 WIKINIUM\_MATH\_PH\_55
適用於梯度下降法，但不會對錯誤預測做懲罰。
最小化預期風險之映射函數為：

 WIKINIUM\_MATH\_PH\_57
## 交叉熵損失

 WIKINIUM\_MATH\_PH\_59
其中 WIKINIUM\_MATH\_PH\_61 so that WIKINIUM\_MATH\_PH\_63
屬於凸函數，適用於隨機梯度下降法。

## 指數損失

 WIKINIUM\_MATH\_PH\_65
## 参考资料
# S型函数

S型函數的曲線圖形
S型函數在複數域的分布圖形
**S型函数**（英語：sigmoid function，或稱**乙狀函數**）是一種函数，因其函數圖像形状像字母**S**得名。其形狀曲線至少有2個焦點，也叫“二焦點曲線函數”。S型函数是有界、可微的实函数，在实数范围内均有取值，且导数恒为非负，有且只有一个拐点。S型函数和S型曲线指的是同一事物。

逻辑斯谛函数是一种常见的S型函数，其公式如下：

 WIKINIUM\_MATH\_PH\_0
其级数展开为：

 WIKINIUM\_MATH\_PH\_2
其他S型函數案例見下。在一些學科領域，特別是人工神经网络中，S型函數通常特指邏輯斯諦函數。

## 常見的S型函數

一些S型函數的比較，圖中的函數皆以原點斜率為1的方式歸一化。
* 逻辑斯谛函数

 WIKINIUM\_MATH\_PH\_4
* 雙曲正切函數（等價於逻辑斯谛函数的平移與縮放）

 WIKINIUM\_MATH\_PH\_6
* 反正切函數

 WIKINIUM\_MATH\_PH\_8
* 古德曼函數

 WIKINIUM\_MATH\_PH\_10
* 误差函数

 WIKINIUM\_MATH\_PH\_12
* 廣義邏輯斯諦函數

 WIKINIUM\_MATH\_PH\_14
* 平滑階躍函數

 WIKINIUM\_MATH\_PH\_16
* 一些代數函數, 例如

 WIKINIUM\_MATH\_PH\_18
所有連續非負的凸形函數的積分都是S型函數，因此許多常見概率分布的累积分布函数會是S型函數。一個常見的例子是误差函数，它是正态分布的累积分布函数。

* Mitchell, Tom M. Machine Learning. WCB–McGraw–Hill. 1997. ISBN 0-07-042807-7. . In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
* Humphrys, Mark. Continuous output, the sigmoid function.  [2015-02-01]. （原始内容存档于2015-02-02）.  Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.

* 单位阶跃函数
* 邏輯斯諦迴歸
* 分对数
* 线性整流函数
* Softmax函数
* 韦伯分布
* 费米-狄拉克统计
# 视觉处理单元[编辑]

**视觉处理单元（Vision Processing Unit，VPU）**（截至2023年）是一类新兴的微处理器；它是一种特定类型的人工智能加速器，用于加速机器视觉任务。

## 概览

视觉处理单元与视频处理单元（专门用于视频编解码）不同，前者更适合运行机器视觉算法，如CNN（卷积神经网络）、SIFT（尺度不变特征转换）和类似算法。

它们可能包括从摄像头获取数据的直接接口（途径任意片外缓冲器），强调在拥有许多暂存器的并行计算单元间的片上数据流，如多核DSP。但是像VPU一样，它们可能专注于图像处理中的低精度定点数运算。

## 与GPU的对比

VPU与GPU不同，GPU包含用于栅格化和材质贴图（三维计算机图形）的专门硬件，其存储器结构优化为在片外内存中操作位图图像（采用随机访问模式读取纹理、修改帧缓冲器）。VPU针对每瓦特的性能进行了优化，而GPU主要关注绝对性能。

VPU的目标市场是机器人学、物联网、用于虚拟现实和增强现实的新型数码相机、智能相机和集成了机器视觉加速器的智能手机及其他移动设备。

## 相似的处理器

有些处理器虽然没有被划为VPU，但同样可以处理机器视觉任务。它们可能形成一种更广泛的人工智能加速器（VPU可能也属于此种器件），然而截至2016年，这种分类的名称尚未达成共识：

* IBMTrueNorth，一种神经形态工程处理器，旨在进行类似的传感数据模式识别和智能任务，包括音视频。
* 高通Zeroth神经处理器，是新兴的面向传感器/AI的芯片类别中的另一类。

## 另见

* Adapteva Epiphany，一种多核处理器，同样强调片上数据流和32位浮点运算性能。
* CELL，一种多核微处理器，其特点与VPU十分接近（适合视频处理的SIMD指令&数据类型，以及暂存器间的片上DMA）。
* 辅助处理器
* 图形处理器，也常用于运行视觉算法。NVidia的帕斯卡微架构包含半精度浮点数支持，以便为AI工作负载提供更好的精度/成本权衡。
* MPSoC
* OpenCL
* OpenVX
* 物理处理器，一种高吞吐量加速器，过去用于补充CPU和GPU算力的尝试。
* 张量处理单元，是谷歌内部用于加速人工智能计算的芯片。

## 参考

* Eyeriss architecture （页面存档备份，存于互联网档案馆）
* Holographic processing unit （页面存档备份，存于互联网档案馆）
* NeuFlow: A Runtime Reconfigurable Dataflow Processor for Vision 互联网档案馆的存檔，存档日期2017-05-05.
# Theano

Theano|  |
| 原作者 | 蒙特利尔大学的蒙特利尔学习算法研究所（MILA） |
| 開發者 | PyMC开发团队 |
| 首次发布 | 2007年​（2007） |
| 当前版本 | * 3.0.7（2026年6月15日；穩定版本）
 |
| 源代码库 | * github.com/pymc-devs/pytensor
 |
| 编程语言 | Python, CUDA |
| 平台 | Linux, macOS, Windows |
| 类型 | 机器学习, 函式库 |
| 许可协议 | 3条款BSD许可证 |
| 网站 | pytensor.readthedocs.io/en/latest/  |
|  |

**Theano**及其分叉**PyTensor**，是一个Python库和优化的编译器，用来操纵和求值数学表达式特别是矩阵值表达式。在其中，计算使用NumPy风格的语法来表达并被编译，用来在CPU或者GPU架构上高效的运行。

## 历史

Theano是开源项目，主要由蒙特利尔大学的蒙特利尔学习算法研究所（MILA）开发。软件名字取自古代哲学家Theano。在2017年9月28日，Pascal Lamblin发布了来自约书亚·本希奥的一则信息，MILA负责人说：由于更强大的工业参与者的竞争，主要的开发在1.0发行之后将会停止。Theano 1.0.0随后在2017年11月15日发行。

在2018年5月17日，Chris Fonnesbeck代表PyMC开发团队写道：PyMC开发者将在他们退场后取得对Theano维护的控制权。在2021年1月绝大部份的Theano代码基被重新建造，并增加了通过JAX和Numba的编译，修订后的这个计算后端以新名字Aesara发行。2022年11月28日，PyMC团队宣布采用从Aesara计划分叉出PyTensor。

## 样例代码

下列代码以PyTensor用作介绍的例子：

```
import pytensor
from pytensor import tensor as pt

# 声明2个符号浮点标量
a = pt.dscalar("a")
b = pt.dscalar("b")

# 建立一个简单的表达式
c = a + b

# 将这个表达式转换成一个可调用对象，
# 它接收'(a, b)'值作为输入并计算出一个值给'c'
f\_c = pytensor.function([a, b], c)

assert f\_c(1.5, 2.5) == 4.0

# 计算样例表达式关于'a'的梯度
dc = pytensor.grad(c, a)

f\_dc = pytensor.function([a, b], dc)

assert f\_dc(1.5, 2.5) == 1.0

```

```
>>> import pytensor
>>> from pytensor import tensor as pt
>>>
>>> # 通过'pytensor.function'编译函数还能优化表达式图
>>> # 它会移除不必要的运算并将特定运算替代为更有效的运算
>>>
>>> v = pt.vector("v")
>>> M = pt.matrix("M")
>>>
>>> d = a/a + (M + a).dot(v)
>>>
>>> pytensor.dprint(d)
Add [id A]
 ├─ ExpandDims{axis=0} [id B]
 │ └─ True\_div [id C]
 │ ├─ a [id D]
 │ └─ a [id D]
 └─ dot [id E]
 ├─ Add [id F]
 │ ├─ M [id G]
 │ └─ ExpandDims{axes=[0, 1]} [id H]
 │ └─ a [id D]
 └─ v [id I]
<\_io.TextIOWrapper name='<stdout>' mode='w' encoding='utf-8'>
>>>
>>> f\_d = pytensor.function([a, v, M], d)
>>>
>>> # 'a/a' -> '1'而点积被替代为BLAS函数(i.e. CGemv)
>>> pytensor.dprint(f\_d)
Add [id A] 5
 ├─ [1.] [id B]
 └─ CGemv{inplace} [id C] 4
 ├─ AllocEmpty{dtype='float64'} [id D] 3
 │ └─ Shape\_i{0} [id E] 2
 │ └─ M [id F]
 ├─ 1.0 [id G]
 ├─ Add [id H] 1
 │ ├─ M [id F]
 │ └─ ExpandDims{axes=[0, 1]} [id I] 0
 │ └─ a [id J]
 ├─ v [id K]
 └─ 0.0 [id L]
<\_io.TextIOWrapper name='<stdout>' mode='w' encoding='utf-8'>

```

* 深度学习软件比较
* 可微分编程

## 引用

* 官方网站 (GitHub)
* Theano（页面存档备份，存于互联网档案馆） at Deep Learning, Université de Montréal
# JAX

JAX|  |
| 開發者 | Google, Nvidia |
| 首次发布 | 2019年10月31日​（2019-10-31） |
| 当前版本 | * 0.8.1（2025年11月16日；穩定版本）
 |
| 源代码库 | github.com/jax-ml/jax |
| 编程语言 | Python, C++ |
| 操作系统 | Linux, macOS, Windows |
| 平台 | Python, NumPy |
| 类型 | 机器学习 |
| 许可协议 | Apache 2.0 |
| 网站 | docs.jax.dev/en/latest/ |
|  |

**JAX**，由Google开发、並由Nvidia做出部分貢獻的Python机器学习框架，用於变换数值函数。JAX结合了修改版的Autograd自動微分系統，以及來自OpenXLA專案的編譯器XLA，可加速數值線性運算。其設計目標是在介面與程式設計風格上盡可能與NumPy保持相容，使使用者能夠以熟悉的方式撰寫高效能運算程式。此外，JAX亦可與TensorFlow、PyTorch等機器學習框架整合使用。

## 主要功能

JAX的主要功能是：

* grad：自动微分，
* jit：即时编译，
* vmap：自动向量化，
* pmap：SPMD编程。

## grad

下面的代码演示`grad`函数的自动微分。

```
# 导入库
from jax import grad
import jax.numpy as jnp

# 定义logistic函数
def logistic(x):
    return jnp.exp(x) / (jnp.exp(x) + 1)

# 获得logistic函数的梯度函数
grad\_logistic = grad(logistic)

# 求值logistic函数在x = 1处的梯度
grad\_log\_out = grad\_logistic(1.0)
print(grad\_log\_out)

```

最终的输出为：

```
0.19661194

```

## jit

下面的代码演示`jit`函数的优化。

```
# 导入库
from jax import jit
import jax.numpy as jnp

# 定义cube函数
def cube(x):
    return x \* x \* x

# 生成数据
x = jnp.ones((10000, 10000))

# 创建cube函数的jit版本
jit\_cube = jit(cube)

# 应用cube函数和jit\_cube函数于相同数据来比较其速度
cube(x)
jit\_cube(x)

```

可见`jit_cube`的运行时间显著的短于`cube`。

## vmap

下面的代码展示`vmap`函数的通过SIMD的向量化。

```
# 导入库
from functools import partial
from jax import vmap
import jax.numpy as jnp

# 定义函数
def grads(self, inputs):
    in\_grad\_partial = partial(self.\_net\_grads, self.\_net\_params)
    grad\_vmap = vmap(in\_grad\_partial)
    rich\_grads = grad\_vmap(inputs)
    flat\_grads = np.asarray(self.\_flatten\_batch(rich\_grads))
    assert flat\_grads.ndim == 2 and flat\_grads.shape[0] == inputs.shape[0]
    return flat\_grads

```

## 使用JAX的库

一些Python库使用JAX作为后端，这包括：

* Flax，最初由Google Brain开发的高层人工神经网络库。
* Equinox，将参数化函数（包括人工神经网络）表示为PyTree的库。它由Patrick Kidger创建。
* Diffrax，用于求微分方程的数值解的库，比如解常微分方程和随机微分方程。
* Optax，DeepMind开发的用于梯度处理和最优化的库。
* Lineax，用于解线性方程组和线性最小二乘法。
* RLax，DeepMind开发的用于强化学习的库
* jraph，DeepMind开发的图神经网络库。
* jaxtyping，用于为阵列或张量的形状和数据类型增加类型标注的库。
* NumPyro，概率编程库。
* Brax，物理引擎。

* NumPy
* TensorFlow
* PyTorch
* CUDA
* 自动微分
* 即时编译
* 自动向量化
* 自动并行

## 引用

* Documentationː jax.readthedocs.io
* Colab (Jupyter/iPython) Quickstart Guideː colab.research.google.com/github/google/jax/blob/main/docs/notebooks/quickstart.ipynb
* TensorFlow's XLAː www.tensorflow.org/xla (Accelerated Linear Algebra)
* YouTube上的Intro to JAX: Accelerating Machine Learning research
* Original paperː mlsys.org/Conferences/doc/2018/146.pdf
# 口语语料库

**口语语料库**为语言音频文件和文字副本的数据库。在语音技术里，口语语料库可用于创建声学模型，配合语音识别引擎使用。在语言学里，口语语料库可用于语音学、会话分析、方言学等方面的研究。

口语语料库主要分为朗读语料和自然口语两类。

* Edwards, Jane / Lampert, Martin (eds.) (1992): Talking Data – Transcription and Coding in Discourse Research. Hillsdale: Erlbaum.
* Leech, Geoffrey / Myers, Greg / Thomas, Jenny (eds.) (1995): Spoken English on Computer: Transcription, Markup and Application. Harlow: Longman.
# 词袋模型[编辑]

在自然語言處理和信息檢索裏，**词袋模型**（英語：**Bag-of-words model**）是一個簡化的表達模型。在此模型下，一段文本（比如一个句子或是一个文档）可以用一個装着这些词的袋子来表示，這種表示方式不考慮文法以及詞的順序。最近词袋模型也被應用在電腦視覺領域。

词袋模型被廣泛應用在文件分類，詞語出現的頻率可以用來當作訓練分類器的特徵。

關於「词袋」這個用字的由來可追溯到澤里格·哈里斯於1954年在《Distributional Structure》的文章*。*

## 範例

下列文件可用词袋表示:

以下是兩個簡單的文件:

```
(1) John likes to watch movies. Mary likes movies too.

```

```
(2) John also likes to watch football games.

```

基於以上兩個文件，可以建構出下列清單:

```
[
 "John",
 "likes",
 "to",
 "watch",
 "movies",
 "also",
 "football",
 "games",
 "Mary",
 "too"
]

```

此處有10個不同的詞，使用清單的索引表示長度為10的向量:

```
(1) [1, 2, 1, 1, 2, 0, 0, 0, 1, 1] (2) [1, 1, 1, 1, 0, 1, 1, 1, 0, 0]

```

每個向量的索引內容對應到清單中詞出現的次數。

舉例來說，第一個向量（文件一）前兩個內容索引是1和2，第一個索引內容是"John"對應到清單第一個詞並且該值設定為1，因為"John"出現一次。

此向量表示法不會保存原始句子中詞的順序。該表示法有許多成功的應用，像是郵件過濾。

## Term weighting

在上述的範例，文件向量包含term頻率。

在信息檢索和文字分類常用不同方法量term權重。常見方法為tf-idf。

## 範例：垃圾郵件過濾

分類一個郵件訊息，一個貝氏垃圾郵件分類假設訊息是一堆字並且隨機倒在兩堆袋子其中一個袋子裡，之後使用貝氏機率去決定哪個「袋子」（「垃圾郵件袋子」還是「正常郵件袋子」）是較有可能的。

* w-shingling
* n元语法
* 向量空間模型
* 自然語言處理
* Additive smoothing
* 文件分類
* 機器學習
* Document-term matrix
* Hashing trick
* 最小哈希
* 特徵擷取
# n元语法[编辑]

**n元语法**（英語：n-gram）指文本中连续出现的n个语词。n元语法模型是基于(n-1)阶马尔可夫链的一种概率语言模型，通过n个语词出现的概率来推断语句的结构。这一模型被广泛应用于概率论、通信理论、计算语言学（如基于统计的自然语言处理）、计算生物学（如序列分析）、数据压缩等领域。

当n分别为1、2、3时，又分别称为一元语法（unigram）、二元语法（bigram）与三元语法（trigram）。

## 示例

不同领域中的*n*元语法示例
| 领域 | 单位 | 示例 | 一元语法 | 二元语法 | 三元语法
 |
| --- | --- | --- | --- | --- | --- |
| 马尔可夫链阶数 |  |  | 0 | 1 | 2
 |
| 蛋白质测序 | 氨基酸 | … Cys-Gly-Leu-Ser-Trp … | …, Cys, Gly, Leu, Ser, Trp, … | …, Cys-Gly, Gly-Leu, Leu-Ser, Ser-Trp, … | …, Cys-Gly-Leu, Gly-Leu-Ser, Leu-Ser-Trp, …
 |
| DNA测序 | 碱基对 | …AGCTTCGA… | …, A, G, C, T, T, C, G, A, … | …, AG, GC, CT, TT, TC, CG, GA, … | …, AGC, GCT, CTT, TTC, TCG, CGA, …
 |
| 计算语言学 | 字符 | …to\_be\_or\_not\_to\_be… | …, t, o, \_, b, e, \_, o, r, \_, n, o, t, \_, t, o, \_, b, e, … | …, to, o\_, \_b, be, e\_, \_o, or, r\_, \_n, no, ot, t\_, \_t, to, o\_, \_b, be, … | …, to\_, o\_b, \_be, be\_, e\_o, \_or, or\_, r\_n, \_no, not, ot\_, t\_t, \_to, to\_, o\_b, \_be, …
 |
| 计算语言学 | 单词 | … to be or not to be … | …, to, be, or, not, to, be, … | …, to be, be or, or not, not to, to be, … | …, to be or, be or not, or not to, not to be, …
 |
# 双字母组[编辑]

**双字母组**或称**二元语法**（英語：bigrams，或称digrams），作为统计分析文本使用非常广泛；它是由两个字母，或者两个音节，或者两个词构成的双字母组。

## 簡介

在给定一个前导词情况下，双字母组可帮助计算出现某个词的概率，这是条件概率应用场景：

 WIKINIUM\_MATH\_PH\_0

即，在给定前面一个词 WIKINIUM\_MATH\_PH\_2 的前提下，出现某个词 WIKINIUM\_MATH\_PH\_4 的概率 WIKINIUM\_MATH\_PH\_6 与他们构成的双字母组的概率一致，换言之，两个词同时出现的概率 WIKINIUM\_MATH\_PH\_8 被出现前一个词 WIKINIUM\_MATH\_PH\_10 的概率除。

*Gappy bigrams*或称*skipping bigrams*是允许有跳空的词对组（也许想避免把词连接起来，或者想允许某种模拟的依赖，如依赖语法）。

*Head word bigrams*是具有明确依赖关系的gappy bigrams。

## 应用

这种组被用在最成功的一种语音识别的 語言模型中。它们是N字母组的一种特例。

本术语也被用在密碼學里，在此领域，试图破解密码电文有时*二元语法频率攻击*会被用到。参考频率分析。

## 英语里双字母组的出现频率

据小英语语料库的统计结果，最常见的字母双字母的频率是：

```
th 1.52%       en 0.55%       ng 0.18%
he 1.28%       ed 0.53%       of 0.16%
in 0.94%       to 0.52%       al 0.09%
er 0.94%       it 0.50%       de 0.09%
an 0.82%       ou 0.50%       se 0.08%
re 0.68%       ea 0.47%       le 0.08%
nd 0.63%       hi 0.46%       sa 0.06%
at 0.59%       is 0.46%       si 0.05%
on 0.57%       or 0.43%       ar 0.04%
nt 0.56%       ti 0.34%       ve 0.04%
ha 0.56%       as 0.33%       ra 0.04%
es 0.56%       te 0.27%       ld 0.02%
st 0.55%       et 0.19%       ur 0.02%

```

可以获得从更大语料库中提取的完整双字母频率。

* 二合字母
* N元语法
* 字母频率
* Dice系数
# 命名实体识别[编辑]

**具命實體辨識**（英語：Named Entity Recognition，简称**NER**），又称作**专名识别**、**命名实体**，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，以及時間、數量、貨幣、比例數值等文字。指的是可以用专有名词（名称）标识的事物，一个命名实体一般代表唯一一个具体事物个体，包括人名、地名等。

NER属于从非结构化文本中分类和定位命名实体感情的子任务，其过程是从是非结构化文本表达式中产生专有名词标注信息的命名实体表达式，目前NER有两个显著的问题，即识别和分类。例如，“歐巴马是美国总统”的“奥巴马”和“美国”都代表一个具体事物，因此都是命名实体。而“总统”不代表一个具体事物，因此不是命名实体。

## 參考資料