Rikunarita-ORG/Wikinium huggingface dataset:
# 詞形還原[编辑]

語言學中的**詞形還原**（英語：Lemmatization）是將一個單詞的屈折形式組合在一起的過程，以便可以將它們作為單個項目進行分析，由該單詞的原形或詞典形式進行識別。

在計算語言學中，詞形還原是根據一個單詞的預期含義來確定其詞形的算法過程。與詞幹提取不同的是，詞形還原取決於正確識別一個單詞在句子中的詞類和意義，以及在該句子周圍更大的語境中，例如鄰近的句子甚至整個文件中。因此，開發高效的詞義分析算法是一個開放的研究領域。

## 描述

在許多語言中，單詞會以多種屈折形式出現。例如在英語中，動詞「to walk」可能出現「walk」、「walked」、「walks」或「walking」。人們在字典中可能查到的基本形式「walk」，被稱為該詞的詞義。基本形式與一個語篇的關聯通常被稱為該詞的詞位。

詞形還原與詞幹提取密切相關。不同的是，詞幹提取在不了解上下文的情況下對單個單詞進行操作，因此不能區分因語篇不同而具有不同含義的單詞。然而詞幹提取通常更容易實現，運行速度也更快。對於某些應用來說，降低「準確度」可能並不重要。事實上，當在資訊檢索系統中使用時，與詞形還原比，詞幹提取提高了查詢召回的準確性，或真正的正面率。然而對於這些系統來說，詞幹提取降低了精確率，或者說實際為陽性的正標實例的比例。

舉例來說：

* 「better」的原形是「good」。這種聯繫被詞幹提取所遺漏，因為它需要查詢字典。
* 「walk」是「walking」的基本形式，因此在詞幹提取和詞形還原中都與此相匹配。
* 根據上下文，「meeting」可以是名詞的基本形式，也可以是動詞的形式（「meet」）；例如，「In our last meeting」或「We are meeting again tomorrow」。與詞幹提取不同，詞形還原試圖根據上下文選擇正確的原形。

像Lucene這樣的文檔索引軟體可以存儲單詞的基本詞幹提取格式，而不需要了解詞義，只是考慮單詞形成的語法規則。詞幹提取的詞本身可能不是一個有效的單詞：如下例所示，「lazy」被許多詞幹提取為「lazi」。這是因為詞幹提取的目的不是為了產生適當的詞組——那是一個更具挑戰性的任務，需要對語境的了解。詞幹提取的主要目的是將一個單詞的不同形式映射到一個單一形式。作為一個基於規則的算法，它只依賴於一個詞的拼寫，它犧牲了準確性，以確保，例如當「laziness」被詞幹提取為「lazi」時，它與「lazy」具有相同的詞幹。

## 演算法

詞形還原的一個簡單的方法是通過簡單的字典查詢。這對直接的屈折形式很有效，但在其他情況下，例如在有長合成詞的語言中，就需要一個基於規則的系統。這種規則可以是手工製作的，也可以是從註釋的語料庫中自動學習的。

## 在生物醫學中的應用

對已發表的生物醫學文獻進行形態學分析可以產生有用的結果。生物醫學文本的形態學處理可以通過專門的生物醫學的詞形還原程序更加有效，並可能提高實際信息抽取任務的準確性。

## 參考資料
# 指代[编辑]

在語言學中，**指代**（英語：coreference）是用代词或名词替代出现过的字词，以避免它们重複出現在句子上，導致語句結構過於贅述和語意不夠清晰。

“指代”在各门学科的专门用语上，也指用抽象概念代替具体事物。

## 範例

舉例：

> The handsome boy stared at Mary and said nothing: he seemed offended by her manner.
>
>
>

此處的"The handsome boy"與"he"意指為同一人；"Mary"與"her"意指為另同一人。

## 指代消解

在計算語言學中，**指代消解**（Coreference Resolution）是一個很重要的議題，一般被應用於處理資訊檢索中的前處理部份，主要是找回原先被替換過的字詞，為了避免重要的字詞因指代的因素而造成權重計算降低的問題，例如：以中文維基百科中的北極熊條目為例，如下所示，由於指代的因素，其文中原為北極熊之意的字詞會被代換成**白熊**、**熊**、**牠**和**肉食動物**等等的字眼，如此的表示方式，在權重計算上會產生因為北極熊此字詞出現次數過於稀少，而導致資訊檢索系統誤判為不是描述北極熊文件，因此，透過指代消解的處理，可以將被替換過的字詞還原成原有的意思，以提高權重計算的次數，增加檢索的正確性。

> - 北極熊又稱白熊，是在北極裡生長的熊，牠是陸上最龐大的肉食動物。在牠生存的空間裡，牠是食物鏈最頂層。牠擁有極厚的脂肪及毛髮來保暖，其白色的外表在雪白的雪地上是良好的保護色，而且牠可以在陸上及海上捕捉食物，因此牠能在北極這種極嚴酷的氣候裡生存。
>
>

## 参考

* 回指
* Generic antecedents
* 消歧義性
* 權重計算
* 資訊擷取

* Illinois Coreference Package Coreference resolution package implemented in Java. Demo
# 词义消歧[编辑]

计算机语言学中，**词义消歧**是一个自然语言处理和本体论的开放问题。歧义与消歧是自然语言理解中最核心的问题，在词义、句义、篇章含义层次都会出现语言在上下文语义不同的现象，消歧即根据上下文确定对象语义的过程。词义消歧即在词语层次上的语义消歧。语义消歧（词义消歧） 是自然语言处理任务的一个核心与难点，影响了几乎所有任务的性能，比如搜索引擎、意见挖掘、文本理解与产生、推理等。

在语言学长期发展的过程中，语言本身积累了许多一词多义的用法。语言的产生是多方面共同作用的结果。语言的使用是不断变化的，一个词在发展中有许多具体的意思，现在通用的还有一些意思。不同地区可能对一个词有不同的用法，不同的行业对一个词的用法也会不同，甚至不同群体、不同个人、不同语气都会有自己的特殊的解读意思。语义消歧是一种语言理解的方式，一方面我们要理解通用词语一词多义的含义及应用，另一方面，还要考虑到具体场景，运用相关知识库、语料训练来增加一词多义的性能。

迄今为止，丰富多样的技术已经被研究：以词典为基础的方法、使用知识库与知识图谱技术的、监督学习的、无监督的、半监督的、基于词或者词向量的。

## 困难

### 词典

基于词典的语义消歧依赖于词典对语义的区分。粒度的一词多义指区分较大的语义，比如水，可能表示自然水，也可能指水货；细粒度的一词多义指能区分较小不同的语义。如果词典缺少某一层次或某一些语义的描述，以词典作为词语义的完全描述就会导致问题。这个特点对词义消歧与实体链接同样适用。解决这个问题的办法是：对描述较少的语义聚集自动增量增加聚类分析。

英文里常用的字典包括WordNet、Roget's Thesaurus、BabelNet。任意语言都可以把常用的字典、词典、网络百科、专业知识库或数据库作为消歧的词典文件。

### 词性标注

词性标注与词义消歧是相互关联的两个问题，在人的系统他们同时能到满足。但是目前系统一般并不能让二者公用参数，同时输出。语义理解，包括分词、词性标注、词义消歧、句法解析、语义解析并不是前馈的，是相互依赖的存在反馈的。

词性标注与语义消歧都要依赖上下文来标注，但是词性标注比语义消歧要简单以及成功。原因主要是词性标注的标注集合是确定的，而语义消歧并没有，并且量级要大的多；词性标注的上下文依赖比语义消歧要短。

### judge依赖

有时候人也不能很好地判断一个词属于哪个意思。对于粗粒度的区分肯定比细粒度的高。所以一般选择粗粒度的任务，因为需要使用人的判断作为黄金标准。

### 语用学

许多研究者认为要做到词义消歧，需要理解语用学、一些常识。语言学本身就是与知识紧密结合的，肯定需要语言相关的常识帮助解析，就像实体消歧需要实体的相关的知识一样。

### 不同任务使用词义消歧的区别

不同的任务具体词义消歧会不同。比如翻译，不一定显式地输出词义消歧中间结果，只需要最后的句子的同义。

### 多义的定义

人们一般能在粗粒度的定义上获得一致的看法，当它到达更细的粒度，则很难统一。并且即便同个语义，在不同的环境里，也许还会有不同，因为语言表达有无限的可能性，导致语义在细粒度可能会迁移。

## 参考资料
# Seq2Seq模型[编辑]

**Seq2seq**（Sequence to sequence）**模型**，是将序列（Sequence）映射到序列的神經網絡機器學習模型。這個模型最初設計用於改進機器翻譯技術，可容許機器通過此模型發現及學習將一種語言的語句（詞語序列）映射到另一種語言的對應語句上。除此之外，Seq2Seq也能廣泛地應用到各種不同的技術上，如聊天機器人、Inbox by Gmail等，但需要有配對好的文本集才能訓練出對應的模型。

**Seq2seq**是用于自然语言处理的一系列机器学习方法。应用领域包括机器翻译，图像描述，对话模型和文本摘要。

## 历史

此算法最初由Google开发，并用于机器翻译.

在2019年， Facebook宣布其用于求解微分方程。 相比 Mathematica，MATLAB 和 Maple等商业解决方案，该算法能够更快更精准的解决复杂方程。首先，方程被解析为树形结构来避免书写方式带来的偏差。 之后应用一个LSTM神经网络，基于标准模式识别来处理方程树。

在2020年，谷歌发布了Meena，一个在341GB数据集上训练的26亿参数的seq2seq聊天机器人。谷歌称，该聊天机器人的模型容量比OpenAI的GPT-2多出1.7倍.

## 技术

Seq2seq将输入序列转换为输出序列。它通过利用循环神经网络（递归神经网络）或更常用的LSTM GRU网络来避免梯度消失问题。当前项的内容总来源于前一步的输出。Seq2seq主要由一个编码器和一个解码器组成。 编码器将输入转换为一个隐藏状态向量，其中包含输入项的内容。 解码器进行相反的过程，将向量转换成输出序列，并使用前一步的输出作为下一步的输入。

优化包括：

* 注意力机制：解码器的输入只有一个单独的向量，这个向量包含输入序列的全部信息。注意力机制允许解码器有选择的分块地使用输入序列的信息。
* 束搜索，而不是选择单一的输出(文字)作为输出、多极有可能选择是保留，结构化作为一个树（使用 Softmax 上设置的注意力的分数）。 平均编码器国家加权关注的分布。
* 存入桶:变序列长度是可能的，因为填补0，这可以做到的输入和输出。 然而，如果的序列长度为100和输入只有3项长、昂贵的空间被浪费。 桶可以不同规模和指定的输入和输出的长度。

训练通常使用通常使用交叉熵损失函数。

## 相关的软件

采用类似的算法的软件包括OpenNMT（Torch），Neural Monkey（TensorFlow）和NEMATUS（Theano）。

## 参考

* 人工神经网络

* A ten-minute introduction to sequence-to-sequence learning in Keras. blog.keras.io.  [2019-12-19]. （原始内容存档于2018-05-18）.
* Dugar, Pranay. Attention — Seq2Seq Models. Medium. 2019-11-24  [2019-12-19]. （原始内容存档于2020-09-12） （英语）.
* Nag, Dev. seq2seq: the clown car of deep learning. Medium. 2019-04-24  [2019-12-19]. （原始内容存档于2019-12-19） （英语）.
* Adiwardana, Daniel; Luong, Minh-Thang; So, David R.; Hall, Jamie; Fiedel, Noah; Thoppilan, Romal; Yang, Zi; Kulshreshtha, Apoorv; Nemade, Gaurav; Lu, Yifeng; Le, Quoc V. (2020-01-31). "Towards a Human-like Open-Domain Chatbot". arXiv:2001.09977 [cs.CL].
# Brave Leo[编辑]

Brave Leo| 開發者 | Brave軟體公司 |
| 许可协议 | 專有軟體 |
| 网站 | brave.com/leo  |
|  |

**Brave Leo**是由Brave軟體公司開發、內置於Brave浏览器的聊天機器人和AI代理 ，由多款大型語言模型驅動，且不會記錄相關對話。

Brave Leo提供來自LLaMA、Mistral、Claude、通義千問、深度求索的AI模型，它們是由Brave托管的。用戶也可以加入他們自己的AI模型。
# Grok[编辑]

Grok|  |
| 開發者 | xAI |
| 首次发布 | 2023年11月4日​（2023-11-04） |
| 当前版本 | Grok-4.1（2025年11月17日​（2025-11-17）） |
| 源代码库 | github.com/xai-org/grok-1（Grok-1） |
| 编程语言 | Python、Rust |
| 操作系统 | * 网络应用程序
* iOS
* Android
 |
| 类型 | 聊天機器人 |
| 许可协议 | * 专有
* Apache-2.0（Grok-1）
 |
| 网站 | * grok.com
* x.com/i/grok
 |
|  |

**Grok**是xAI基于大型语言模型开发的生成式人工智慧聊天機器人，類似於ChatGPT。 它能夠實時回答用戶的問題，並利用X社交媒體平台的數據進行回應。

## 背景

2015年，伊隆·马斯克与萨姆·阿尔特曼共同创立OpenAI。2018年，由於埃隆·马斯克不認可OpenAI团队，他決定離開OpenAI董事会。 OpenAI随后于2022年推出ChatGPT ，并于2023年3月推出GPT-4。

2023年4月，伊隆·马斯克在接受塔克·卡森今夜秀采访时表示，他打算开发一款名为TruthGPT的聊天机器人。TruthGPT后来又更名為Grok。

Grok源于美国作家罗伯特·海因莱1961年的科幻小说《异乡异客》，此新词在小说裡是火星语。Grok音似中文咕嚕，由「飲用」引伸至「吸收至融會貫通」、「體會」、“心领神会”之意思，或是“经由心意相通而彻底理解”。由于grok一字广泛使用，牛津英語詞典在1989年收录了grok为及物動詞。

## 历史

* 第一代Grok標誌（2023年11月至2025年1月）
* 第二代Grok標誌（2025年1月至2月）
* 第三代Grok標誌（2025年2月起使用）

2023年11月，xAI开始向部分X（Twitter）付費高級用戶推送Grok聊天机器人。之後Grok又推送給美國的X Premium+的訂閱者。

2024年3月17日，xAI宣布大模型Grok-1開源，遵循Apache 2.0协议开放模型权重和架构。开源版本有3,140亿个参数，用户可以自行使用、修改和分发软件。

2024年8月13日，xAI发布Grok 2模型。Grok 2具有聊天、编码和推理方面的强大能力，在文本和视觉理解方面提供了先进的功能。

2025年2月17日，Grok 3模型發佈。 Grok 3在20万个H100 GPU上进行训练，功能比Grok 2强大一个数量级，被马斯克宣为“地球上最聪明的AI”**。**根据官方公布的测试数据，Grok-3和Grok-3 mini在数学、科学、代码等性能上都超过或媲美Gemini、DeepSeek和ChatGPT等对手。在现场展示中，Grok-3生成了一段太空发射的3D动画的代码，随后成功运行。画面上出现了飞船在地球和火星间往返的动画。团队表示，这需要AI模型理解复杂物理知识。

2025年2月20日，xAI在X平台宣布Grok 3对所有用户可用，同时X premium+和SuperGrok用户将获得更高的使用限额，并能够提前使用新功能。

2025年7月9日，xAI发布Grok 4模型。xAI称这些新模型在基准测试中优于竞争对手的模型，推出“虚拟伙伴”功能，用户可以与3D动漫风格的虚拟角色互动，包含带有成人向动漫审美内容的“NSFW模式”。Grok“虚拟伙伴”包括Ani，与彌海砂外貌相仿的性感女性角色，在“NSFW模式”下将呈现为内衣造型；Rudy，卡通化的小熊猫，主打家庭友好型问答及陪伴功能；Bad Rudy，Rudy的暗黑版，性格恶劣且道德感低下，会辱骂用户；Chad，男性角色，设定上是健身教练。9月发布Grok 4 Fast模型。

## Grokipedia

2025年9月，埃隆·马斯克宣布xAI正在開發一個由人工智慧生成的線上百科全書，名為Grokipedia。 此計畫由大衛·O·薩克斯於當月稍早在All-In播客會議上提出並命名。 根據马斯克的說法，該計畫是一個由AI驅動的知識庫，旨在對抗维基百科“被認為存在的偏見、錯誤與意識形態傾向”。 《Gizmodo》將此計畫與2006年的保守百科相提並論。

2025年10月，马斯克布Grokipedia的早期測試版預計於當月稍晚發布。

## 争议

2025年5月，Grok被指控生成关于南非白人大屠杀的内容，即使用户询问的问题并不与南非白人屠杀阴谋论有直接关系。

2026年1月，部分X用户使用Grok生成利用深伪技术合成的不雅照。1月9日，X的非付费用户無法在X上利用Grok生成图片。不過用戶仍然可以來到Grok網站直接生成色情照片。1月10日，印度尼西亚宣布暂时封禁Grok网站，成为在醜聞曝光後首个封禁Grok的国家。次日，馬來西亞封禁Grok网站。1月14日，X平台所有用户均无法再使用Grok生成身着比基尼等暴露服装的真实人物圖片。

* 大型語言模型列表
* Tay
* Gemini (聊天機器人)
# 词嵌入[编辑]

**词嵌入**（英語：Word embedding）是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵降维、機率模型以及单词所在上下文的显式表示等。

在底层输入中，使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

## 发展历程

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经機率语言模型（Neural probabilistic language models）使机器“习得词语的分布式表示（learning a distributed representation for words）”，从而达到将词语空间降维的目的。罗维斯（Roweis）与索尔（Saul）在《科学》上发表了用局部线性嵌入（LLE）来学习高维数据结构的低维表示方法。这个领域开始时稳步发展，在2010年后突飞猛进；一定程度上而言，这是因为这段时间里向量的品質与模型的训练速度有极大的突破。

词嵌入领域的分支繁多，有许多学者致力于其研究。2013年，谷歌一个托马斯·米科洛维（Tomas Mikolov）领导的团队发明了一套工具word2vec来进行词嵌入，训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络，而不是过去的n元语法模型和非监督式学习。

## 生物序列中的应用：BioVectors

阿斯加里（Asgari）和莫夫拉德（Mofrad）提出了生物信息学中生物序列（DNA、RNA和蛋白质等）基于n元语法的词嵌入技术。bio-vectors（BioVec）表示生物序列的统称，protein-vectors（ProtVec）表示蛋白质（氨基酸序列），gene-vectors（GeneVec）表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明，BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

## Thought vectors

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为**Thought vectors**。部分研究者期望用Thought vectors来提升机器翻译的质量。

## 软件实现

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe和Deeplearning4j。主成分分析（PCA）和t-分布邻域嵌入算法（t-SNE）也可以用来对词语空间降维，并实现词嵌入的可视化与词义感应。

* 自然语言处理
* 人工神经网络
* 機率模型
* one-hot
# 自然语言生成

**自然語言生成**（NLG）是自然語言處理的一部分，從知識庫或邏輯形式等等機器表述系統去生成自然語言。這種形式表述當作心理表述的模型時，心理語言學家會選用語言產出這個術語。

自然語言生成系統可以說是一種將資料轉換成自然語言表述的翻譯器。不過產生最終語言的方法不同於編譯程式，因為自然語言多樣的表達。NLG出現已久，但是商業NLG技術直到最近才變得普及。

自然語言生成可以視為自然語言理解的反向： 自然語言理解系統須要釐清輸入句的意涵，從而產生機器表述語言；自然語言生成系統須要決定如何把概念轉化成語言。

一個簡單的例子是套用信函的生成系統。這種系統通常沒有運用文法的知識，但是可以生成信函給消費者，例如告訴消費者信用卡的額度已達。換言之，簡單的系統運用版型，跟Word文件的郵件合併程式沒什麼差別，但是更複雜的NLG系統會靈活地產生文本。

正如自然語言處理的其它領域，自然語言生成可以使用明確的語言模型（例如文法）或者運用根據真人所寫的文本分析而成的統計模型。

## 示例

「蘇格蘭花粉預報系統」就是一個基於版型的簡單自然語言生成系統。該系統利用蘇格蘭幾個區域花粉預報的六個輸入數目，生成簡短的花粉等級文本作為輸出。

例如使用2005年7月1日的歷史資料，該軟體的輸出：

>
> 星期五花粉等級已從昨天的中級到今天的高級，全國大部分地區的數值在6到7。不過北部是中級，數值為4。
>
>
>
>

對比實際的預報（氣象員手擬）如下：

>
> 蘇格蘭大部分地區花粉量還是很高，為6級，東南部更是7級。只有北方島嶼及蘇格蘭東北角情況舒緩，花粉量中等。
>
>
>
>

## 步驟

生成文本的過程可以簡單到取用已準備好的章句，再用連結的文字組合起來。在簡單的領域如占星機器或個人化商業信件，成果可能令人滿意。不過複雜的自然語言生成系統必須經過規劃以及合併資訊的步驟，從而生成看似自然並且避免重複的文本。自然語言生成典型的步驟，例如戴爾與瑞特所提出的如下：

決定內容：決定在文本裡置入哪些資訊。用上一節花粉預報軟體為例，是否要明確提到東南部花粉級數為7。

架構文件：所傳達資訊的整體組織。例如決定先描述高花粉量地區，再提及低花粉量地區。

聚集語句：合併類似的句子，讓文本更可讀、更自然。例如合併下兩個句子「星期五花粉等級已從昨天的中級到今天的高級」和「全國大部分地區的花粉等級在6到7」成為「星期五花粉等級已從昨天的中級到今天的高級，全國大部分地區的數值在6到7。」

選擇字詞：選用表達概念的文字。例如決定要用「中等」還是「中級」。

指涉語生成：產生能辨認物體或地區的指涉語。例如用「北方島嶼和蘇格蘭東北角」指涉蘇格蘭的某個地區。這個任務也包括決定代名詞以及其它的照應語。

實現文本：根據句法學、構詞學、正寫法的規則產生實際的文本。

## 應用

大眾媒體向來以報導會說笑話的NLG系統為重點（參見「計算幽默」），不過從商業的角度，最成功的NLG應用是從資料庫或資料集產生文字摘要的「資料轉文本」系統，這些系統通常除了文字生成外，也進行資料分析，特別是幾個已經建成的從氣象資料產生氣象報告文的系統。此類系統最早是加拿大的FoG，於1990年代開始製作英、法語的氣象報告，其成功引領了其它研究和商業系統。近年的一個研究顯示，使用者有時候偏好電腦產生的氣象報告，因為使用的術語比較一致。另一個研究顯示統計的技巧可以用來生成高品質的氣象報告。

1990年代自然語言生成開始用於財金和商業摘要。例如AC尼爾森研發的SPOTLIGHT系統，分析大量零售資料然後自動產生可讀的英文。

更近的NLG也用於摘要電子醫療記錄，已有商業應用問世，研究人員已顯示NLG摘要的醫療資料可以有效輔助醫療專業人員做決定。

內容生成系統可以輔助真人作者，讓寫作過程更有效率。例如利用搜索引擎應用界面，基於網路探勘建立的內容生成工具，模擬作者根據各種搜尋結果形成內容，有如剪貼的寫作場景。相關度的驗證，對於過濾不相關的搜尋結果至為重要，方法基於匹配問題與可能答案的語法樹。另一種方法利用真人寫的文本建立高層次結構的版型，然後自動寫成維基百科新的條目。

## 評量

自然語言生成的研究人員需要測試他們的系統、模組、演算法，一如其它的科學領域。這叫做「評量」。評量NLG系統的基本技巧有三種：

* 「任務型（外部）評量」：把生成的文本給一個人，評估其幫助此人完成任務的效用。例如評量醫療資料摘要系統，可以評估醫生使用摘要後，是否能做出更佳的決定。
* 「人為評價」：把文本給人，讓他們自行評估其品質與效用。
* 「測量指標」：根據同樣的輸入資料，比較生成的文本與真人寫成的文本，使用例如BLEU之類的自動測量指標。

「任務型評量」雖然較接近NLG系統助人的終極目標，但是費時耗財，而且可能實行困難（尤其涉及醫生之類的專家對象），因此（一如自然語言處理的其它領域）「任務型評量」是例外而非主流。

## 參考文獻

* Yuko Sakai (2017). *Sentence Generation: Syntax Tree Diagram in English, Spanish, Chinese, Japanese, Ainu.* ISBN 978-1545429006

## 其它文獻

* Dale, Robert; Reiter, Ehud. Building natural language generation systems. Cambridge, UK: Cambridge University Press. 2000. ISBN 0-521-02451-X.
* Evans, Roger; Piwek, Paul; Cahill, Lynne. What is NLG?. New York, US. 2002.  `|conference=`被忽略 (帮助)

* 大型语言模型
* ChatGPT
* 提示工程

* SIGGEN part of ACL Anthology (NLG研究論文)
* ACL NLG Portal （页面存档备份，存于互联网档案馆） (NLG資源列表)
* Bateman and Zock「幾乎完整」的NLG系統列表 （页面存档备份，存于互联网档案馆）
* Ehud Reiter NLG 部落格 （页面存档备份，存于互联网档案馆）
* Introduction （页面存档备份，存于互联网档案馆） An open-ended review of the state of the art including many references (Last update: September 2002)
* SimpleNLG （页面存档备份，存于互联网档案馆） — Open source Java library to assist in NLG
# 提示工程[编辑]

| 提示工程 |
| --- |
|  |
| 工作领域、​技术 |
| 上级分类 | writing、​计算机程序设计  |
| 用途 | 人工智慧藝術、​生成式人工智慧  |
| 话题方面 | 人工智能  |
| 生产材料、产品或服务 | AI提示  |
| 详情描述网址 |   |
| 从业者 | 提示工程师、​AI prompter  |

**提示工程**（英語：Prompt engineering）是人工智能中的一个概念，特别是自然语言处理（NLP）。
在提示工程中，任务的描述会被嵌入到输入中。例如，不是隐含地给予模型一定的参数，而是以问题的形式直接输入。
提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集，并通过所谓的“基于提示的学习（prompt-based learning）”来训练语言模型。
提示工程可以从一个大型的“冻结”预训练语言模型开始工作，其中只学习了提示的表示方法，即所谓的“前缀调整（prefix-tuning）”或“提示调整（prompt tuning）”。 语言模型GPT-2和GPT-3是提示工程的重要步骤。

## 历史

2021年，使用多个NLP数据集的多任务提示工程在新任务上显示出良好的性能。
在小样本学习的例子中，包含思维链的提示在语言模型中显示出更好的推理能力。零样本学习中，在提示中预留鼓励思考链的语句（如“让我们一步一步地思考”）可能会提高语言模型在多步骤推理问题中的表现。这些工具的广泛可及性由几个开源笔记和社区主导的图像合成项目的发布所推动。

一份关于处理提示的描述报告称，在2022年2月，约有170个数据集的2000多个公共提示可用。

2022年，DALL-E、Stable Diffusion、Midjourney等机器学习模型得到公开发布。这些模型以文本提示为输入，并使用其生成图像，这影响了一个与文生图提示有关的新品种提示工程。

## 文字到文字

### 思路链

**思路链**（Chain-of-thought）(CoT) 是**文字提示**（Textual prompting）的一种技术，该技术通过提示 LLM 生成一系列中间步骤来提高 LLM 的推理能力，这些中间步骤会导致多步骤问题的最终答案。 该技术由谷歌研究人员于 2022 年首次提出。

### 提示链接

**提示链接**（Prompt chaining）是一种在对话式AI中**文本提示**使用的一种技术，用于创建更具动态性和上下文感知的聊天机器人。它涉及使用一个提示的输出作为下一个提示或对话的一部分的输入。通过将提示链接在一起，您的对话助手可以更轻松地适应您没有设计的情况，同时保持良好的对话。

## 文字到图像

2022 年，DALL-E 2、Stable Diffusion 和 Midjourney 等文本到图像模型向公众发布。

## 文字到影片

文本到影片生成 (TTV) 是一项新兴技术，可以直接根据文本描述创建影片。这个新颖的领域具有显着改变影片制作、动画和故事讲述的潜力。通过利用人工智能的力量，TTV 允许用户绕过传统的影片编辑工具，将他们的想法转化为移动图像。

## 非文字提示

一些方法用非文本输入来增强或替换自然语言文本提示。

## 提示注入

提示注入（英語：Prompt injection），是一系列相关的计算机安全漏洞，通过让经过训练的机器学习模型（如大型语言模型）遵循人类给出的指令来遵循恶意用户提供的指令，这与指令遵循系统的预期操作形成对比，其中机器学习模型只遵循机器学习模型操作员所提供的可信指令（提示）。

提示性注入可以被看作是一种使用对抗性提示工程的代码注入攻击。2022年，NCC集团将提示注入定性为AI/ML系统的一类新漏洞。

在2023年左右，提示注入在针对ChatGPT和类似的聊天机器人的次要漏洞中出现，例如揭示系统隐藏的初始提示，或者欺骗聊天机器人参与到违反聊天机器人内容政策的对话。

根據OWASP有關大型語言模型的安全漏洞報告指出，提示注入是大型語言模型十大安全漏洞之首。

* 机器学习
* 深度学习
* 通用人工智慧
* 生成式人工智慧
* 图灵测试

* Prompt engineering （Six strategies for getting better results） （页面存档备份，存于互联网档案馆）
* Prompt examples （Explore what's possible with some example prompts） （页面存档备份，存于互联网档案馆）
* A systematic overview of prompt engineering through programming （页面存档备份，存于互联网档案馆）
# 主题模型[编辑]

來自法語維基百科
**主题模型**（Topic Model）在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。直观来讲，如果一篇文章有一个中心思想，那么一些特定词语会更频繁的出现。比方说，如果一篇文章是在讲狗的，那“狗”和“骨头”等词出现的频率会高些。如果一篇文章是在讲猫的，那“猫”和“鱼”等词出现的频率会高些。而有些词例如“这个”、“和”大概在两篇文章中出现的频率会大致相等。但真实的情况是，一篇文章通常包含多种主题，而且每个主题所占比例各不相同。因此，如果一篇文章10%和猫有关，90%和狗有关，那么和狗相关的关键字出现的次数大概会是和猫相关的关键字出现次数的9倍。一个主题模型试图用数学框架来体现文档的这种特点。主题模型自动分析每个文档，统计文档内的词语，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。

主题模型最初是运用于自然语言处理相关方向，但目前以及延伸至例如生物信息学的其它领域。

## 历史

Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引。1999年，Thomas Hofmann又在此基础上，提出了概率性潜在语义索引（Probabilistic Latent Semantic Indexing，简称PLSI）。

隐含狄利克雷分配可能是最常见的主题模型，是一般化的PLSI，由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出。LDA允许文档拥有多种主题。它用於按主題收集、分類和降低文本的維度。 LDA 是一種主題模型方法，可用於分析文檔的主題分佈。它以概率分佈的形式揭示每個文檔集的主題，以便在分析一些文檔以提取其主題分佈後，可以根據主題分佈進行主題聚類或使用文本分類。每個主題都用一個詞分佈表示。其它主题模型一般是在LDA基础上改进的。例如Pachinko分布在LDA度量词语关联之上，还加入了主题的关联度。

* 範例理論

## 参考
# 隐含狄利克雷分布

**隐含狄利克雷分布**（英語：Latent Dirichlet allocation，简称**LDA**），是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是，对于每一个主题均可找出一些词语来描述它。

LDA首先由 David M. Blei、吴恩达和迈克尔·I·乔丹于2003年提出，目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

## 数学模型

LDA贝斯网络结构
LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。它以概率分佈的形式揭示每個文檔集的主題，以便在分析一些文檔以提取其主題分佈後，可以根據主題分佈進行主題聚類或使用文本分類。每個主題都用一個詞分佈表示。

另外，正如Beta分布是二项式分布的共轭先验概率分布，狄利克雷分布作为多项式分布的共轭先验概率分布。因此正如LDA贝斯网络结构中所描述的，在LDA模型中一篇文档生成的方式如下:

* 从狄利克雷分布 WIKINIUM\_MATH\_PH\_0 中取样生成文档 WIKINIUM\_MATH\_PH\_2 的主题分布 WIKINIUM\_MATH\_PH\_4
* 从主题的多项式分布 WIKINIUM\_MATH\_PH\_6 中取样生成文档 WIKINIUM\_MATH\_PH\_8 中第 WIKINIUM\_MATH\_PH\_10 个主题 WIKINIUM\_MATH\_PH\_12
* 从狄利克雷分布 WIKINIUM\_MATH\_PH\_14 中取样生成主题 WIKINIUM\_MATH\_PH\_16 的词语分布 WIKINIUM\_MATH\_PH\_18
* 从词语的多项式分布 WIKINIUM\_MATH\_PH\_20 中采样最终生成词语 WIKINIUM\_MATH\_PH\_22

因此整个模型中所有可见变量以及隐藏变量的联合分布是

 WIKINIUM\_MATH\_PH\_24
最终一篇文档的单词分布的最大似然估计可以通过将上式的 WIKINIUM\_MATH\_PH\_26 以及 WIKINIUM\_MATH\_PH\_28 进行积分和对 WIKINIUM\_MATH\_PH\_30 进行求和得到

 WIKINIUM\_MATH\_PH\_32
根据 WIKINIUM\_MATH\_PH\_34 的最大似然估计，最终可以通过吉布斯采样等方法估计出模型中的参数。

## 使用吉布斯采样估计LDA参数

在LDA最初提出的时候，人们使用EM算法进行求解，后来人们普遍开始使用较为简单的Gibbs Sampling，具体过程如下：

* 首先对所有文档中的所有词遍历一遍，为其都随机分配一个主题，即 WIKINIUM\_MATH\_PH\_36 ，其中m表示第m篇文档，n表示文档中的第n个词，k表示主题，K表示主题的总数，之后将对应的 WIKINIUM\_MATH\_PH\_38 ， WIKINIUM\_MATH\_PH\_40 ， WIKINIUM\_MATH\_PH\_42 ， WIKINIUM\_MATH\_PH\_44 ，他们分别表示在m文档中k主题出现的次数，m文档中主题数量的和，k主题对应的t词的次数，k主题对应的总词数。
* 之后对下述操作进行重复迭代。
* 对所有文档中的所有词进行遍历，假如当前文档m的词t对应主题为k，则 WIKINIUM\_MATH\_PH\_46 ， WIKINIUM\_MATH\_PH\_48 ， WIKINIUM\_MATH\_PH\_50 ， WIKINIUM\_MATH\_PH\_52 ，即先拿出当前词，之后根据LDA中topic sample的概率分布sample出新的主题，在对应的 WIKINIUM\_MATH\_PH\_54 ， WIKINIUM\_MATH\_PH\_56 ， WIKINIUM\_MATH\_PH\_58 ， WIKINIUM\_MATH\_PH\_60 上分别+1。

 WIKINIUM\_MATH\_PH\_62 ∝ WIKINIUM\_MATH\_PH\_64
* 迭代完成后输出主题-词参数矩阵φ和文档-主题矩阵θ

 WIKINIUM\_MATH\_PH\_66
 WIKINIUM\_MATH\_PH\_68

* 萬能翻譯機
* 電腦語言學
* 受限自然語言
* 信息抽取
* 資訊檢索
* 自然語言理解
* 潛在語義索引
* 潜在语义学
* 隨機文法
* 機器記者
* 寫作自動評分
* 生物醫學文件探勘系統
* 複合詞處理
* 计算语言学
* 電腦輔助審查
* 深度学习
* 深度語言處理
* 輔助外文閱讀
* 輔助外文寫作
* 語言科技
* 隐含狄利克雷分布（LDA）
* 母语识别
* 自然語言編程
* 自然語言使用者界面
* 擴展查詢
* 具體化 (語言學)
* 語義折疊
* 语音处理
* 口語對話系統
* 校對
* 文字简化
* Thought vector
* Truecasing
* 問答系統
* Word2vec
# 潜在语义索引

潜在语义索引是一种搜索方法，也是一种索引。通过奇异值分解来识别非结构化的文本集合中的具有联系关系的模式。一般认为，在同样的语境中使用的词语一般具有相似的含义，LSI就是基于这一规则的搜索方法。LSI的一个重要特征就是，通过建立那些出现在相同语境中的词语之间的联系，它能够提取出一个文本的具体内容是什么，而不像以前的搜索方法只是检索具体的关键词。之所以叫潜在语义索引是因为它能够把一组文档中具有隐含的语义联系的词语联系起来。

## LSI通俗解释

所谓隐性语义索引指的是，怎样通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在同一个文档中时，这些词之间就可以被认为是语义相关。机器并不知道某个词究竟代表什么，不知道某个词是什么意思。
比如：

* 电脑和计算机这两个词在人们写文章时经常混用，这两个词在大量的网页中同时出现，搜索引擎就会认为这两个词是极为语义相关的。
* SEO和搜索引擎优化（虽然一个是英语，一个是中文）这两个词大量出现在相同的网页中，虽然搜索引擎还不能知道搜索引擎优化或SEO指的是什么，但是却可以从语义上把「SEO」，「搜索引擎优化」，「search engine optimization」，「SEM」等词紧紧的连在一起。可见潜在语义索引并不依赖于语言。
* 如苹果和橘子这两个词，也是大量出现在相同文档中，不过紧密度低于同义词。所以搜索引擎不会认为它们是语义相关的。

## LSI的实现

单纯从理论上看，Latent semantic indexing (隐性语义索引)的实现机制并不复杂，它只不过是在正常的网页收录与索引过程中增添了一个步骤：

* 先统计、分析网页及链接中的关键词；
* 将该网页与索引数据库中其他包含相同关键词或部分相同关键词的网页进行比对，以确定不同网页间的语义相关性以及网页与特定关键词间的相关性，
* 同时将该网页与具有高语义相关性的网页进行比对分析，从中找出特定网页中存在关键词的相关项，即找出特定网页中虽然并不存在但与其内容相关的关键词。

可以看出，虽然搜索引擎本身并不知道某个词究竟代表什么，不知道某个词是什么意思，但通过Latent Semantic Indexing算法，与单纯的关键词匹配相比，搜索引擎能够以一种更准确的方式判断特定网页中内容与搜索项间的相关性，从而给出用户要寻找的内容，甚至从某种角度上看，更接近于“人”分析、查找内容时的判断方式。

## LSI的好处

搜索引擎是使用机器算法来替代过去人工搜索的工作。但机器算法和人的工作有一个很不同的地方就是人可以直接理解词的意思，文章的意思，机器和算法却无法理解——人看到苹果这两个字就知道指的是那个圆圆的，有水的挺好吃的东西，搜索引擎却不能从感性上理解。
其原因和自然语言的特点有关。从自然语言的角度，大部分词具有一词多义的特点，机器算法无法确定在何环境下使用何种词义，这就导致了搜索结果与用户的理想值便存在很大的距离：

* 一词多义将导致基于精确匹配的搜索算法在给出的结果中包含很多并非用户真正要查找的内容；
* 一义多词则使得基于精确匹配的搜索算法在给出的结果中遗漏很多用户真正要查找的内容。

Latent Semantic Indexing (LSI : 隐性语义索引)便是搜索引擎试图尽可能弱化这一弊端的可行解决方案之一。Latent Semantic Indexing通过绕开自然语言理解，以大样本数量的统计分析找出不同的词(词组、短语)间的相关性，以使搜索结果进一步接近于用户真正要查找的内容，同时，也能够保证搜索的效率。

## LSI其他关注点

对Latent Semantic Indexing，可能大多数人注意的是其中的Semantic (语义有关的)，但Latent Semantic Indexing方面的技术文档则往往更强调Latent (潜在的、隐含的)，而非简单意义的语义相关。比如说对“水”一词而言，与其语义相关的可能是“热水”、“凉水”之类，但潜在相关的则可以是“蒸汽”、“冰”等，这里有很大区别。
需要强调的是，Latent Semantic Indexing(隐性语义索引)只是目前搜索引擎排名算法中关键词匹配技术的补充（排名算法会为不同的影响因素赋予不同的权重，Latent Semantic Indexing的权重值已经慢慢加大），但绝不是取代现有的关键词匹配算法。

* 萬能翻譯機
* 電腦語言學
* 受限自然語言
* 信息抽取
* 資訊檢索
* 自然語言理解
* 潛在語義索引
* 潜在语义学
* 隨機文法
* 機器記者
* 寫作自動評分
* 生物醫學文件探勘系統
* 複合詞處理
* 计算语言学
* 電腦輔助審查
* 深度学习
* 深度語言處理
* 輔助外文閱讀
* 輔助外文寫作
* 語言科技
* 隐含狄利克雷分布（LDA）
* 母语识别
* 自然語言編程
* 自然語言使用者界面
* 擴展查詢
* 具體化 (語言學)
* 語義折疊
* 语音处理
* 口語對話系統
* 校對
* 文字简化
* Thought vector
* Truecasing
* 問答系統
* Word2vec
# 拼寫檢查

Mozilla Firefox的拼字檢查功能，這是輸入「bluee」的結果
**拼写检查**，又叫**拼字檢查**，是对字词的拼写进行检查的功能，能够在一篇文档中标记可能拼写错误的词。拼写检查可以是一个独立的应用程序，也可以更大的应用程序的一部分，如文字处理器、邮箱客户端、电子词典和搜索引擎等。

## 操作

简单的拼写检查器操作单独的词，将每一个词与词典中的内容相比较，可能对词进行词干处理。如果一个词在词典中不存在，就被认为是一个错误，并试图提示一个最可能是要输入的词。提示单词的一个算法就是列出词典中与原词具有最小編輯距離的词。

如果一个词在词典中不存在，大多数拼写检查器提供一个选项将这个词加入一个忽略列表，而不标记出来。

## 代表软件

* Microsoft Office
* WPS

* 編輯距離
* 最近鄰居法
* 自动校正
# AlphaGeometry[编辑]

**AlphaGeometry**是一個人工智慧程式，具有解決歐幾里得幾何難題的能力，該程式由Google DeepMind開發，曾在國際數學奧林匹亞的競賽時限內解決了30個幾何問題中的25個，其表現相當於人類金牌得主的平均水平。相比之下，先前的人工智慧程式，以吳消去法僅能解決10個問題。

DeepMind於2024年1月17日在同行評審期刊《自然》上發表了一篇關於AlphaGeometry的論文。《麻省理工科技評論》也在同一天對AlphaGeometry進行專題報導。

過往的幾何程式是基於符號引擎，僅能依人工編碼的規則產生嚴格的證明，難以處理非常規的特殊情況，AlphaGeometry則是將符號引擎和一個經過特殊訓練的大型語言模型相結合，該模型是以幾何證明的合成資料為基礎的。當符號引擎無法自行找到形式化且嚴格的證明時，該程式會請求大型語言模型的協助，然後該模型會提供一個幾何構造的建議來協助解題。不過，這種方法能否應用於其他領域的數學或其他領域的推理，目前仍是未知數，因為符號引擎完全仰賴特定領域的規則，而且這種方法需要合成資料。

## AlphaGeometry 2

AlphaGeometry 2是AlphaGeometry的改良版本，於2025年2月5日發佈，開發團隊在表徵語言中添加了更多的功能，以描述更多涉及物件運動的幾何問題，以及包含角度、比率和距離的線性方程的問題。開發團隊的目標是2000年至2024年的國際數學奧林匹亞幾何問題，擴展版本的表徵語言使程式能夠涵蓋88%的問題。

AlphaGeometry 2使用了以合成的生成表徵語言問題與解答資料集進行微調的Gemini模型。該模型用於進行輔助建構，例如繪製線條和點，以協助樹的搜尋。AlphaGeometry 2也用於自動形式化，可將以英語描述的問題轉換為表徵語言。

## 參考來源
# WaveNet

**WaveNet**(波網)是一個用於直接生成聲音訊號的人工神經網路。由倫敦人工智慧公司Google DeepMind的研究人員於2016年9月的一篇論文中提出。

WaveNet通過使用用真實語音記錄訓練的神經網絡方法直接模擬波形，能夠生成聽起來相對真實的人類聲音。除了語音合成外，WaveNet也能應用在音樂生成以及語音辨識等領域。

2018年，Google在其雲端語音合成服務Google Cloud Text-to-Speech中提供了基於WaveNet的語音合成API。截至2019年，該產品提供了32種語言以及多種不同音色的語音合成服務，且基於WaveNet的合成結果在自然度上相比傳統方法更接近人類語音。

## 背景

在WaveNet被提出之前，傳統上常見語音合成的方法有串接生成(Concatenative synthesis)及參數化法(Parametric method)等。串接生成是透過錄製多段聲音來拼接合成目標語句；參數化法則是用模型生成聲音特徵的參數，再經由聲碼器合成聲音。

近年，隨著深度學習興起，使用人工神經網路合成語音的方法也被提出，如Tacotron。該模型利用人工神經網路生成目標聲音的時頻譜或特徵參數，再透由Griffin-Lim演算法或其他聲碼器合成聲音。

然而無論上述何種方法，皆無法直接生成聲音訊號。原因在於即便僅僅一秒的聲音訊號，就可能包含了數萬個樣本點，要對龐大的樣本點之間的關聯性建模是相當困難的。

WaveNet結合了自迴歸特性和空洞卷積神經網路(Dilated Convolutional Neural Network)架構，成功的提出第一個能夠生成高品質聲音樣本點的人工神經網路模型。

## 架構設計

### WaveNet模型架構

### 自迴歸特性

WaveNet採用和PixelCNN相似的自迴歸特性模型。設聲音訊號 WIKINIUM\_MATH\_PH\_0 ，WaveNet將其機率建模成:

 WIKINIUM\_MATH\_PH\_2

即在時間點t生成的樣本點 WIKINIUM\_MATH\_PH\_4 ，模型會以 WIKINIUM\_MATH\_PH\_6 為輸入，其輸出是基於前幾個時間點的樣本點作為條件的條件機率分布。而模型訓練目標便是讓 WIKINIUM\_MATH\_PH\_8 愈大愈好。

### 8位元量化

WaveNet模型的輸出是下個樣本點的機率分布，而聲音訊號的樣本點通常會以16位元的整數儲存，這使模型在每個時間點，要輸出65536個機率來表示所有可能的樣本點的機率分布。為了降低建模難度，WaveNet使用µ律演算法(µ-law algorithm, G.711)將樣本點量化成8位元，即256種可能的數值:

 WIKINIUM\_MATH\_PH\_10

其中 WIKINIUM\_MATH\_PH\_12 是在時間點t的聲音訊號樣本點， WIKINIUM\_MATH\_PH\_14 ， WIKINIUM\_MATH\_PH\_16 是0~255的整數。

研究中顯示這種非線性量化方法的表現結果比單純線性量化好上許多，且透過 WIKINIUM\_MATH\_PH\_18 重建的語音在人類聽覺上與原始語音非常相似。

### 多層空洞因果卷積神經網路

因果卷積神經網路是WaveNet組成的主要部分，透過因果卷積，可以確保對資訊正確地建模。
在預測 WIKINIUM\_MATH\_PH\_20 時，不會參考到 WIKINIUM\_MATH\_PH\_22 的資訊。

一卷積神經網路的感受野(receptive field)會隨著網路的加深而加大。然而對於動輒數萬個樣本點的聲音訊號而言，一般的因果卷積神經網路仍需堆疊相當多的層數來使感受野大到足以抽取出有用的資訊。下圖為堆疊數層的因果卷積神經網路感受野示意圖，每一個輸出結果(橘色點)參考了五個輸入資料(藍色點)的資訊。

為了解決此一問題，WaveNet使用了多層空洞因果卷積神經網路，如下圖所示，在同樣層數的情況下，每一個輸出點參考了16個輸入點，模型的感受野隨層數加深而指數增長。這樣的架構能讓WaveNet很好地從輸入樣本點中抽取資訊，並預測下一個時間的樣本點的機率分布。

### 門激勵單元(Gated Activation Unit)

WaveNet中使用了和PixelCNN相同的門激勵單元:

 WIKINIUM\_MATH\_PH\_24

其中 WIKINIUM\_MATH\_PH\_26 代表摺積運算， WIKINIUM\_MATH\_PH\_28 代表逐點乘法， WIKINIUM\_MATH\_PH\_30 是S函數， WIKINIUM\_MATH\_PH\_32 和 WIKINIUM\_MATH\_PH\_34 代表在第k層的兩種摺積核(convolutional kernel)。

研究中表明，使用門激勵單元作為非線性激勵函數，相比線性整流函數有更好的表現。

## 應用

### 語音合成

### 語音辨識

### 神經聲碼器(Neural Vocoder)

在過往的語音生成任務，如文字轉語音、語者轉換等，模型往往會先生成聲音特徵參數或時頻譜，再使用聲碼器或Griffin-Lim演算法合成聲音訊號。在Tacotron2中，首次將WaveNet用作神經聲碼器來補足從時頻譜或梅爾刻度時頻譜重建聲音訊號所缺失的資訊(如相位等)。研究人員發現使用神經聲碼器所重建的聲音訊號，比起使用傳統聲碼器或演算法生成的聲音更為自然。此後，除了大量被使用在語音生成研究中來提高聲音品質外，神經聲碼器也逐漸被應用在許多產品當中。

## 缺點

儘管WaveNet作為語音合成模型或類神經聲碼器，能夠生成與人類自然語音接近的聲音品質，然而其自迴歸特性也帶來不少明顯缺點。

其一是生成速度十分緩慢，由於樣本點是逐一生成，因此生成一秒的聲音訊號可能就要花上數分鐘的時間，使其在實際應用上受到限制。此外，模型以之前生成的樣本點作為輸入來生成下一個樣本點，因此當生成較差的樣本點時，錯誤可能會不斷累積下去，影響聲音訊號品質。

## 後續研究

WaveNet提出之後，作為類神經聲碼器使基於深度學習語音合成模型能夠進一步生成更為接近自然的語音，後續的研究皆著重於改良WaveNet架構或訓練方式，使其能夠實時生成高品質語音。

* Parallel WaveNet
* FFTNet: 簡化WaveNet架構，能以更快的速度自迴歸地生成聲音樣本點，並提出一些優化自迴歸類神經聲碼器的方法。
* WaveRNN: 引入RNN和雙重Softmax層(dual softmax layer)來簡化WaveNet模型運算的複雜度，並提出多個優化生成速度的方法，使模型甚至能在手機CPU上實時生成語音。
* WaveGlow: 不採用自迴歸模型，而是以基於流(flow-based)的模型來達到實時生成高品質語音。

## 參考文獻
# Imagen[编辑]

Imagen| 由 Imagen 3 所生成的圖像。部分提示語：`柔和光照的午後山谷與蜿蜒的河流。` |
| 開發者 | Google DeepMind |
| 当前版本 | Imagen 3（2024年8月13日​（2024-08-13）） |
| 类型 | 文字轉圖像模型 |
| 网站 | deepmind.google/technologies/imagen-3/ |
|  |

**Imagen**、**Imagen 2**和**Imagen 3**是由Google DeepMind開發的文字轉圖像模型。在2023年4月Google Brain與Google DeepMind合併前，該模型由Google Brain 負責開發。Imagen主要用於從文字提示生成圖像，類似於Stability AI的Stable Diffusion、OpenAI的DALL-E或Midjourney。

該模型的初代版本最早於2022年5月的一篇論文中介紹。它能產生高品質圖像，目前任何擁有Google帳號的使用者皆可透過Gemini、ImageFX和Vertex AI等服務使用此工具

## 歷史

Imagen的初代版本於2022年5月首次在一篇論文中發表，具備從自然語言生成高保真圖像的能力。第二代Imagen 2發佈於2023年12月，其突出特點是能生成文字與標誌圖像。 Imagen 3則於2024年8月推出，Google表示此新版在細節與光影呈現方面有明顯提升。

## 技術

Imagen 運用了兩項關鍵技術：

第一，採用了基於Transformer架構的大型語言模型，尤其是T5，用以理解文字並對其進行編碼，供圖像生成之用；

第二，使用階層式擴散模型進行高保真圖像生成。其生成流程分為三個階段：先產生64x64的基礎圖像，接著依序升級至256x256與1024x1024。

## 功能

Imagen可依文字提示生成寫實風格圖像。它也支援多種風格，包括電影感、35毫米膠片風、插畫風和超現實風。該模型可輸出五種畫面比例：9:16、3:4、1:1、4:3、16:9。此外，Imagen還可透過修改文字提示來編輯已生成的圖像。

* 人工智慧藝術
* 生成藝術
* Midjourney
* DALL-E
* 穩定擴散

## 參考資料

* Imagen 3 website
* Imagen 2 website