大型语言模型
参考资料

↑  Goled, Shraddha. . Analytics India Magazine. May 7, 2021  [2023-06-08]. （原始内容存档于2023-06-18）.
1 2 3  Manning, Christopher D. . Daedalus. 2022, 151 (2): 127–138  [2023-06-08]. S2CID 248377870. doi:10.1162/daed_a_01905. （原始内容存档于2023-03-09）.
↑  Carlini, Nicholas; Tramer, Florian; Wallace, Eric; Jagielski, Matthew; Herbert-Voss, Ariel; Lee, Katherine; Roberts, Adam; Brown, Tom B; Song, Dawn; Erlingsson, Ulfar.  (PDF). USENIX Security Symposium 6. 2021  [2023-06-08]. （原始内容存档 (PDF)于2023-12-21）.
1 2  Kotek, Hadas; Dockum, Rikker; Sun, David. . Proceedings of The ACM Collective Intelligence Conference. CI '23 (New York, NY, USA: Association for Computing Machinery). 2023-11-05. ISBN 979-8-4007-0113-9. doi:10.1145/3582269.3615599.
↑  Davidson, Thomas; Bhattacharya, Debasmita; Weber, Ingmar. Roberts, Sarah T.; Tetreault, Joel; Prabhakaran, Vinodkumar; Waseem, Zeerak , 编. . Proceedings of the Third Workshop on Abusive Language Online (Florence, Italy: Association for Computational Linguistics). 2019-08. doi:10.18653/v1/W19-3504.
1 2 3  Queenie Luo; Michael J. Puett; Michael D. Smith. . arXiv. （原始内容存档于2024-04-16）.
↑  Goodman, Joshua, , 2001-08-09, Bibcode:2001cs........8005G, arXiv:cs/0108005
↑  Kilgarriff, Adam; Grefenstette, Gregory. . Computational Linguistics. September 2003, 29 (3): 333–347. ISSN 0891-2017. doi:10.1162/089120103322711569.
↑  Banko, Michele; Brill, Eric. . Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01 (Morristown, NJ, USA: Association for Computational Linguistics). 2001: 26–33. doi:10.3115/1073012.1073017.
↑  Resnik, Philip; Smith, Noah A. . Computational Linguistics. September 2003, 29 (3): 349–380  [2024-06-07]. ISSN 0891-2017. doi:10.1162/089120103322711578 . （原始内容存档于2024-06-07）.
↑  Halevy, Alon; Norvig, Peter; Pereira, Fernando. . IEEE Intelligent Systems. March 2009, 24 (2): 8–12. ISSN 1541-1672. doi:10.1109/MIS.2009.36.
↑  Chen, Leiyu; Li, Shaobo; Bai, Qiang; Yang, Jing; Jiang, Sanlong; Miao, Yanming. . Remote Sensing. 2021, 13 (22): 4712. Bibcode:2021RemS...13.4712C. doi:10.3390/rs13224712 .
↑  Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia.  (PDF). Advances in Neural Information Processing Systems (Curran Associates, Inc.). 2017, 30  [2024-01-21]. （原始内容存档 (PDF)于2024-02-21）.
↑  Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua. . 2014. arXiv:1409.0473  [cs.CL].
↑  Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna. . Transactions of the Association for Computational Linguistics. 2020, 8: 842–866  [2024-01-21]. S2CID 211532403. arXiv:2002.12327 . doi:10.1162/tacl_a_00349. （原始内容存档于2022-04-03）.
↑  Movva, Rajiv; Balachandar, Sidhika; Peng, Kenny; Agostini, Gabriel; Garg, Nikhil; Pierson, Emma. . . 2024: 1223–1243  [2024-12-08]. arXiv:2307.10700 . doi:10.18653/v1/2024.naacl-long.67.
↑  Hern, Alex. . The Guardian. 14 February 2019  [20 January 2024]. （原始内容存档于14 February 2019）.
↑  . Euronews. November 30, 2023  [January 20, 2024]. （原始内容存档于January 14, 2024）.
↑  Heaven, Will. . MIT Technology Review. March 14, 2023  [January 20, 2024]. （原始内容存档于March 17, 2023）.
↑  Movva, Rajiv; Balachandar, Sidhika; Peng, Kenny; Agostini, Gabriel; Garg, Nikhil; Pierson, Emma. . . 2024: 1223–1243  [2024-12-08]. arXiv:2307.10700 . doi:10.18653/v1/2024.naacl-long.67.
↑  . ourworldindata.org. November 30, 2023  [January 20, 2024].
↑  . huggingface.co.   [June 12, 2024]. （原始内容存档于June 10, 2024）.
↑  Sharma, Shubham. . VentureBeat. 2025-01-20  [2025-01-26] （美国英语）.
↑  Zia, Dr Tehseen. . Unite.AI. 2024-01-08  [2024-12-28] （美国英语）.
↑  Peng, Bo;  et al. . 2023. arXiv:2305.13048  [cs.CL].
↑  Merritt, Rick. . NVIDIA Blog. 2022-03-25  [2023-07-25]. （原始内容存档于2023-11-17）.
↑  Gu, Albert; Dao, Tri, , 2023-12-01, arXiv:2312.00752
↑  Kaushal, Ayush; Mahowald, Kyle, , 2022-06-06, arXiv:2206.02608
↑  Yennie Jun. . Language models cost much more in some languages than others. 2023-05-03  [2023-08-17]. （原始内容存档于2023-08-17）. In other words, to express the same sentiment, some languages require up to 10 times more tokens.
↑  Petrov, Aleksandar; Malfa, Emanuele La; Torr, Philip; Bibi, Adel. . NeurIPS. June 23, 2023  [September 16, 2023]. arXiv:2305.15425 . （原始内容存档于December 15, 2023） –openreview.net.
↑  . platform.openai.com.   [2023-04-30]. （原始内容存档于April 23, 2023）.
↑  Paaß, Gerhard; Giesselbach, Sven. . . Artificial Intelligence: Foundations, Theory, and Algorithms. 2022: 19–78  [3 August 2023]. ISBN 9783031231902. doi:10.1007/978-3-031-23190-2_2. （原始内容存档于3 August 2023）.
↑  Petrov, Aleksandar; Emanuele La Malfa; Torr, Philip H. S.; Bibi, Adel. . 2023. arXiv:2305.15425  [cs.CL].
↑  Lundberg, Scott. . Medium. 2023-12-12  [2024-08-05] （英语）.
↑  Dodge, Jesse; Sap, Maarten; Marasović, Ana; Agnew, William; Ilharco, Gabriel; Groeneveld, Dirk; Mitchell, Margaret; Gardner, Matt. . 2021. arXiv:2104.08758  [cs.CL].
↑  Lee, Katherine; Ippolito, Daphne; Nystrom, Andrew; Zhang, Chiyuan; Eck, Douglas; Callison-Burch, Chris; Carlini, Nicholas.  (PDF). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. May 2022,. 1: Long Papers: 8424–8445. doi:10.18653/v1/2022.acl-long.577.
↑  Li, Yuanzhi; Bubeck, Sébastien; Eldan, Ronen; Del Giorno, Allie; Gunasekar, Suriya; Lee, Yin Tat, , 2023-09-11, arXiv:2309.05463
↑  Lin, Zhenghao; Gou, Zhibin; Gong, Yeyun; Liu, Xiao; Shen, Yelong; Xu, Ruochen; Lin, Chen; Yang, Yujiu; Jiao, Jian. . 2024-04-11. arXiv:2404.07965  [cs.CL].
↑  Brown, Tom B.;  et al. . 2020. arXiv:2005.14165  [cs.CL].
↑  Abdin, Marah; Jacobs, Sam Ade; Awan, Ammar Ahmad; Aneja, Jyoti; Awadallah, Ahmed; Awadalla, Hany; Bach, Nguyen; Bahree, Amit; Bakhtiari, Arash. . 2024-04-23. arXiv:2404.14219  [cs.CL].
↑  . IBM.   [2024-12-09].
↑  Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, John; Hilton, Jacob; Kelton, Fraser; Miller, Luke; Simens, Maddie; Askell, Amanda; Welinder, Peter; Christiano, Paul; Leike, Jan; Lowe, Ryan. . 2022. arXiv:2203.02155  [cs.CL].
↑  Shazeer, Noam; Mirhoseini, Azalia; Maziarz, Krzysztof; Davis, Andy; Le, Quoc; Hinton, Geoffrey; Dean, Jeff. . 2017-01-01. arXiv:1701.06538  [cs.LG].
↑  Lepikhin, Dmitry; Lee, HyoukJoong; Xu, Yuanzhong; Chen, Dehao; Firat, Orhan; Huang, Yanping; Krikun, Maxim; Shazeer, Noam; Chen, Zhifeng. . 2021-01-12. arXiv:2006.16668  [cs.CL].
↑  Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William. . Transactions on Machine Learning Research. 31 August 2022  [19 March 2023]. ISSN 2835-8856. （原始内容存档于22 March 2023）.
↑  Allamar, Jay. .   [2023-07-29]. （原始内容存档于2023-07-25）.
↑  Allamar, Jay. .   [2023-08-01].
↑  Paaß, Gerhard; Giesselbach, Sven. . . Artificial Intelligence: Foundations, Theory, and Algorithms. 2022: 19–78  [3 August 2023]. ISBN 9783031231902. doi:10.1007/978-3-031-23190-2_2. （原始内容存档于3 August 2023）.
↑  . Google. 15 February 2024  [18 February 2024]. （原始内容存档于18 February 2024）.
↑  . December 6, 2023  [January 20, 2024]. （原始内容存档于August 27, 2024）.
↑  . openai.com.   [January 20, 2024]. （原始内容存档于February 2, 2024）.
↑  Zaib, Munazza; Sheng, Quan Z.; Emma Zhang, Wei. . . 4 February 2020: 1–4. ISBN 9781450376976. S2CID 211040895. arXiv:2104.10810 . doi:10.1145/3373017.3373028.
↑  Jurafsky, Dan; Martin, James H.  (PDF) 3rd edition draft. 7 January 2023  [24 May 2022]. （原始内容存档 (PDF)于23 March 2023）.
↑  Jurafsky, Dan; Martin, James H.  (PDF) 3rd edition draft. 7 January 2023  [24 May 2022]. （原始内容存档 (PDF)于23 March 2023）.
↑  Wiggers, Kyle. . TechCrunch. 28 April 2022  [9 March 2023]. （原始内容存档于16 March 2023）.
↑  Sharir, Or; Peleg, Barak; Shoham, Yoav. . 2020. arXiv:2004.08900  [cs.CL].
↑  Biderman, Stella; Schoelkopf, Hailey; Anthony, Quentin; Bradley, Herbie; Khan, Mohammad Aflah; Purohit, Shivanshu; Prashanth, USVSN Sai. . April 2023. arXiv:2304.01373  [cs.CL].
↑  Maslej, Nestor; Fattorini, Loredana; Brynjolfsson, Erik; Etchemendy, John; Ligett, Katrina; Lyons, Terah; Manyika, James; Ngo, Helen; Niebles, Juan Carlos, , 2023-10-05, arXiv:2310.03715
↑  Section 2.1 and Table 1, Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario. . 2020. arXiv:2001.08361  [cs.LG].
↑  Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Rich. . Proceedings of the 31st International Conference on Machine Learning (PMLR). 2014-06-18: 595–603  [2023-07-02]. （原始内容存档于2023-07-02）.
↑  Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. . Advances in Neural Information Processing Systems (Curran Associates, Inc.). 2012, 25  [2023-07-02]. （原始内容存档于2023-07-02）.
↑  Antol, Stanislaw; Agrawal, Aishwarya; Lu, Jiasen; Mitchell, Margaret; Batra, Dhruv; Zitnick, C. Lawrence; Parikh, Devi. . ICCV. 2015: 2425–2433  [2023-07-02]. （原始内容存档于2023-07-02）.
↑  Li, Junnan; Li, Dongxu; Savarese, Silvio; Hoi, Steven. . 2023-01-01. arXiv:2301.12597  [cs.CV].
↑  Alayrac, Jean-Baptiste; Donahue, Jeff; Luc, Pauline; Miech, Antoine; Barr, Iain; Hasson, Yana; Lenc, Karel; Mensch, Arthur; Millican, Katherine; Reynolds, Malcolm; Ring, Roman; Rutherford, Eliza; Cabi, Serkan; Han, Tengda; Gong, Zhitao. . Advances in Neural Information Processing Systems. 2022-12-06, 35: 23716–23736  [2023-07-02]. arXiv:2204.14198 . （原始内容存档于2023-07-02）.
↑  Liu, Haotian; Li, Chunyuan; Wu, Qingyang; Lee, Yong Jae. . 2023-04-01. arXiv:2304.08485  [cs.CV].
↑  Zhang, Hang; Li, Xin; Bing, Lidong. . 2023-06-01. arXiv:2306.02858  [cs.CL].
↑  OpenAI. . 2023-03-27. arXiv:2303.08774  [cs.CL].
↑  OpenAI.  (PDF). September 25, 2023.
↑  Pichai, Sundar, , timestamp 15:31, 10 May 2023  [2023-07-02]
↑  Wiggers, Kyle. . TechCrunch. 11 September 2024  [14 September 2024].
↑  . OpenAI. 2024-09-12  [2025-02-03].
↑  . OpenAI. 2024-09-12  [2025-02-03].
↑  Metz, Cade. . The New York Times. 2024-12-20  [2025-02-03].
↑  Gibney, Elizabeth. . Nature. 2025-01-30  [2025-02-03].
↑  Metz, Cade. . The New York Times. 2024-12-20  [2025-02-03].
↑  Lei Huang; Weijiang Yu; Weitao Ma. . arXiv. （原始内容存档于2024-11-28）.
↑  Yucong Duan; Fuliang Tang; Zhendong Guo; Yingtian Mei; Yuxing Wang; Kunguang Wu; Zeyu Yang; Shuaishuai Huang; Shiming Gong. . ResearchGate. 2023. doi:10.13140/RG.2.2.12894.61762 –ResearchGate （英语）.
↑  Zhou, Karen; Tan, Chenhao. Bouamor, Houda; Pino, Juan; Bali, Kalika , 编. . Findings of the Association for Computational Linguistics: EMNLP 2023 (Singapore: Association for Computational Linguistics). 2023-12  [2023-12-26]. doi:10.18653/v1/2023.findings-emnlp.696. （原始内容存档于2024-04-24）.
↑  Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. . ResearchGate. 2024. doi:10.13140/RG.2.2.26652.67200 –ResearchGate.
↑  Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. . ResearchGate. 2024. doi:10.13140/RG.2.2.10019.63529 –ResearchGate.
↑  Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. . ResearchGate. 2024. doi:10.13140/RG.2.2.26397.12006 –ResearchGate.
↑  Yucong Duan; Fuliang Tang; Kunguang Wu; Zhendong Guo; Shuaishuai Huang; Yingtian Mei; Yuxing Wang; Zeyu Yang; Shiming Gong. . ResearchGate. 2024. doi:10.13140/RG.2.2.23041.67689 –ResearchGate.
|  论 编可微分计算 |
| --- | --- |
概论:  可微分编程  自動微分  张量微积分  信息几何  统计流形  神经形态工程（英语：）  模式识别  运算学习理论（英语：）  归纳偏置 
概念:  梯度下降 SGD（英语：）  聚类  回归   幻觉  对抗（英语：）  注意力  卷积  損失函數  反向传播   softmax  sigmoid  ReLU  正则化    扩散（英语：）  自回归 
应用:  机器学习  人工神经网络 深度学习  科学计算  人工智能  語言模型 大型语言模型 
硬件:  TPU  VPU  IPU（英语：）  憶阻器  SpiNNaker（英语：） 
软件库:  Theano  TensorFlow Keras  PyTorch  JAX  Flux.jl（英语：） 
架构:  多层感知器（MLP）  循环神经网络（RNN）  長短期記憶（LSTM）  门控循环单元（英语：）（GRU）  卷积神经网络（CNN）  残差神经网络（ResNet）  变换器  自编码器  变分自编码器（VAE）  生成对抗网络（GAN）  图神经网络（英语：）（GNN）  回响状态网络（英语：）（ESN）  神经图灵机（NTM）  可微分神经计算机（英语：）（DNC） 
  主题 计算机编程  技术   分类 人工神经网络  机器学习 
|  论 编机器学习同数据挖掘主題 |
| --- | --- |
基本概念: 学习 · 图灵测试 · 運算學習論
數學模型: 迴歸模型 · 人工神经网络（深度学习） · 生成对抗网络 · Transformer模型 · 大语言模型 · 決策樹 · 貝氏網路 · 支持向量机 · 关联规则学习
學習範式: 机器学习 ·  深度学习 · 迁移学习 ·  微调 (深度学习) ·  监督学习 ·  半监督学习 ·  無監督學習 · 强化学习 · Q学习 · 遺傳演算法
主要應用: 统计分类 · 表征学习 · 降维 · 聚类分析 · 异常检测
相關領域: 计算科學 · 人工智能 · 通用人工智慧 · 生成式人工智慧 · 提示工程 · 统计学 · 數據科學 · 计算机科学 · 信息与计算科学 · 神经科学 · 认知科学
|  论 编自然语言处理 |
| --- | --- |
一般术语:  语料库  口语语料库  停用词  词袋  完全人工智慧（英语：）  n元语法（双字母组、三元语法（英语：）） 
文本挖掘:  文本分割  词性标注（英语：）  拆句处理（英语：）  复合词处理（英语：）  搭配提取（英语：）  词干提取  词形还原  命名实体识别  指代  文本情感分析  概念挖掘（英语：）  语法分析  词义消歧  术语提取（英语：）  真实大小写处理（英语：） 
自动摘要（英语：）:  多文档摘要（英语：）  句子抽取（英语：）  文本简化（英语：） 
分佈語義（英语：）模型:  潜在语义学  Seq2Seq模型  Word2vec  語言模型 大型语言模型 基础模型  LLaMA  ChatGPT  GPT-4  文心一言  词嵌入 
机器翻译:  電腦輔助翻譯  基于实例（英语：）  基于规则（英语：） 
自动识别与数据采集:  语音识别  语音合成  光学字符识别  自然语言生成  提示工程 
主题模型:  弹珠分布（英语：）  隐含狄利克雷分布  潜在语义索引 
计算机辅助审查（英语：）:  自动作文评分（英语：）  语料库检索工具（英语：）  文法检查器（英语：）  预测文本（英语：）  拼寫檢查  语法猜测（英语：） 
自然语言用户界面（英语：）:  自动在线助手  聊天機器人  文字冒险游戏  問答系統 
|  论 编深度学习软件（英语：） |
| --- | --- |
开源软件:  Apache Singa（英语：）  Blocks（英语：）  Caffe  Deeplearning4j  Dlib（英语：）  Microsoft Cognitive Toolkit  MXNet  OpenNN  ONNX Runtime  PyTorch  scikit-learn  LangChain  Gradio  RETURNN（英语：）  TensorFlow Keras  Theano  Torch（英语：） 
专有:  蘋果公司 Core ML  IBM 沃森  Neural Designer（英语：）  Wolfram Mathematica  MATLAB Deep Learning Toolbox 
 分类  比较 
当每个注意力头根据自己的标准计算其他标记与“it_”标记的相关程度时，注意到由第二列表示的第二个注意力头主要关注前两行，即标记“The”和“animal”，而第三列主要关注下面两行，即“tired”，它已被标记为两个标记。
部分模型的训练成本估计