LLaMA

LLaMA（）是Meta於2023年2月發布的大型语言模型。它訓練了各種模型，這些模型的參數從70億到650億不等。LLaMA的開發人員報告說，LLaMA運行的130億參數模型在大多數NLP基準測試中的性能超過了更大的、具有1750億參數的GPT-3提供的模型，且LLaMA的模型可以與PaLM和Chinchilla等最先進的模型競爭。雖然其他強大的大語言模型通常只能通過有限的API訪問，但Meta在非商業許可的情況下發布了LLaMA的模型權重，供研究人員參考和使用。2023年7月，Meta推出LLaMA 2，这是一种可用于商业应用的开源AI模型。

 LLaMA 2 
2023年7月，Facebook母公司Meta推出了LLaMA2，LLaMA2是一种开源大型语言模型（LLM），旨在挑战大型科技竞争对手的限制性做法。Meta免费发布LLaMA2背后的代码和数据，使世界各地的研究人员能够利用和改进该技术。 Meta的首席执行官马克·扎克伯格一直直言不讳地强调开源软件对于刺激创新的重要性。

Meta训练并发布了三种模型大小的LLaMA2：70、130和700亿个参数。模型架构与LLaMA1模型基本保持不变，但用于训练基础模型的数据增加了 40%。随附的预印本还提到了一个具有34B参数的模型，该模型可能在未来满足安全目标后发布。

LLaMA2包括基础模型和针对对话进行微调的模型，称为 Llama 2 - 聊天。与LLaMA1进一步不同的是，所有模型都附带权重，并且对于许多商业用例都是免费的。然而，由于一些剩余的限制，Llama开源的描述受到了开源倡议组织（以维护开源定义而闻名）的争议。

 Code Llama 
2023年8月，Meta继发布用于生成文本、翻译语言和创建音频的人工智能模型之后，开源了 Code Llama。这是一个机器学习系统，可以用自然语言（特别是英语）生成和解释代码。 可以免费商用和研究。

Code Llama是从Llama-2基础模型微调而来，共有三个版本：基础版、Python版、以及指令遵循。 类似于 GitHub Copilot 和 Amazon CodeWhisperer，以及 StarCoder、StableCode 和 PolyCoder 等开源人工智能代码生成器，Code Llama 可以跨多种编程语言完成代码并调试现有代码，包括 Python、C、Java、PHP、 Typescript、C# 和 Bash。

在训练 Code Llama 时，Meta 使用了与训练 Llama 2 相同的数据集——来自网络的公开可用资源的混合。但可以说，它的模型“强调”了包含代码的训练数据的子集。从本质上讲，Code Llama 比它的“父”模型 Llama 2 有更多的时间来学习代码和自然语言之间的关系。每个 Code Llama 模型的大小从 70 亿个参数到 340 亿个参数不等，均使用 5000 亿个代码标记以及与代码相关的数据进行训练。多个 Code Llama 模型可以将代码插入到现有代码中，并且所有模型都可以接受大约 100,000 个代码标记作为输入，而至少一个（70 亿个参数模型）可以在单个 GPU 上运行。（其他模型则需要更强大的硬件。）Meta 声称，340 亿个参数的模型是迄今为止所有开源代码生成器中性能最好的，也是参数数量最多的。

Llama 3
2024年4月18日，Meta发布了Llama-3，有两种模型大小尺寸：8B和70B参数。这些模型已经根据从“公开可用来源”收集的大约 15 万亿个文本标记进行了预训练，并且指导模型根据“公开可用的指令数据集以及超过 1000 万个人工注释的示例”进行了微调。 计划发布多模式模型、能够以多种语言进行对话的模型以及具有更大上下文窗口的模型。

于2024年7月23日增量更新至Llama-3.1。具有8B、70B、405B参数三种模型大小尺寸。

Meta AI 的测试表明，Llama 3 70B 在大多数基准测试中都击败了Gemini和Claude。

 Llama 4 
Llama-4系列于2025年4月5日发布。其架构已更改为混合专家模型。它们具备多模态（文本和图像输入，文本输出）和多语言（12种语言）特性， 包括基础版本和指令调整版本：

 Scout：170 亿个活跃参数模型，包含 16 位专家，上下文窗口为 1000 万个，总共包含 1090 亿个参数。
 Maverick：170 亿个活跃参数模型，包含 128 位专家，上下文窗口为 100 万个，总共包含 4000 亿个参数。
 Behemoth（尚未发布）：2880 亿个活跃参数模型，包含 16 位专家，总共包含约2个参数。

当时 Behemoth 版本仍在训练中。Scout 是从零开始训练的。Maverick 是从 Behemoth 中“共同提炼”而来的。需要注意的是，Scout 的训练时间比 Maverick 更长，上下文长度也更长。

训练数据包括公开数据、授权数据以及 Meta 专有数据，例如Instagram和Facebook上公开分享的帖子以及人们与Meta AI的互动。数据截止日期为2024年8月。

Meta 在其发布公告中声称，Llama 4 在 LMArena AI 基准测试中的得分超过了GPT-4o。 该公司还表示，Llama 4的基准测试得分是使用未发布的“实验性聊天版本”模型获得的，该版本“针对对话性进行了优化”，与公开发布的 Llama 4 版本有所不同。 LMArena 表示将调整政策，以防止此类事件再次发生，并回应称：“Meta对我们政策的解读与我们对模型提供商的期望不符。Meta 应该更清楚地说明，‘Llama-4-Maverick-03-26-Experimental’ 是一个定制模型，旨在根据人类偏好进行优化。” 一些用户在社交媒体上批评 Meta 使用专门为基准测试而定制的模型版本，还有一些用户指责 Meta 在测试集上训练 Llama 4 以进一步提高其基准测试分数——Meta 对此予以否认。

 模型比较 
对于训练成本列，只写出最大模型的成本。例如，“21,000”是 Llama 2 69B 的训练成本，单位为 petaFLOP-day。另外，1 petaFLOP-day = 1 petaFLOP/秒 × 1 天 = 8.64 FLOP。

 名称  发布日期  参数 训练成本 (petaFLOP-day) 上下文长度  语料库大小  商业可行性？LLaMA2023-02-246.7B
13B
32.5B
65.2B6,30020481–1.4TLlama 22023-07-186.7B
13B
69B21,00040962T rowspan="5" Code Llama2023-08-246.7B
13B
33.7B
69BLlama 32024-04-188B
70.6B100,000819215TLlama 3.12024-07-238B
70.6B
405B440,000128,000Llama 3.22024-09-251B
3B
11B
90B128,000Llama 42025-04-05

 架构与训练 
 数据集 
2023年4月17日，GitHub的Together启动了一个名为RedPajama的项目，以复制和分发LLaMA数据集的开源版本。

 反响 
《连线》 (Wired) 杂志称Llama 3的 8B 参数版本“能力出奇地强”，考虑到它的大小。

Meta将Llama整合到Facebook后，人们的反应褒贬不一，一些用户在Meta AI告诉家长群它有一个孩子后感到困惑。

根据2023年第四季度的收益记录，Meta采用了开放权重的策略来提高模型安全性、迭代速度，增加开发人员和研究人员的采用率，并成为行业标准。未来计划推出 Llama 5、6 和 7。

 自我审查 

LLaMA会拒绝的话题包括：操纵、图形暴力、自我伤害、自杀、成人与露骨内容、仇恨言论、非法或有害活动、人身攻击等。

 参见  

 大型语言模型
 ChatGPT
 聊天機器人
 通用人工智慧
 生成式人工智慧
 生成对抗网络
 LaMDA（對話語言模型）
 深度求索

 参考资料 

 外部連結  



Category:Meta公司
Category:互聯網泄漏
Category:大型语言模型
Category:开源人工智能