{{위키데이터 속성 추적}}
'''파운데이션 모델'''(foundation model)은 광범위한 사용 사례에 적용할 수 있도록 광범위한 데이터에 대해 훈련된 [[기계 학습]] 또는 [[딥 러닝]] 모델이다.<ref name=":1">Competition and Markets Authority (2023). ''AI Foundation Models: Initial Report''. Available at: https://assets.publishing.service.gov.uk/media/65081d3aa41cc300145612c0/Full_report_.pdf</ref> 파운데이션 모델은 [[인공지능]](AI)을 변화시켜 [[ChatGPT]]와 같은 탁월한 [[생성형 인공지능|생성형 AI]] 애플리케이션을 지원한다. 스탠포드 인간 중심 인공 지능 연구소(HAI)의 파운데이션 모델 연구 센터(CRFM)가 이 용어를 만들고 대중화했다.<ref name="CRFM">{{웹 인용|title=Introducing the Center for Research on Foundation Models (CRFM) |url=https://hai.stanford.edu/news/introducing-center-research-foundation-models-crfm |access-date=11 June 2022 |work=Stanford HAI|date=18 August 2021 }}</ref>

파운데이션 모델은 다양한 사용 사례를 지원할 수 있는 [[범용 기술]]이다. 파운데이션 모델을 구축하는 것은 리소스 집약적인 경우가 많으며, 가장 비싼 모델의 경우 기본 데이터 및 필요한 컴퓨팅 비용을 지불하는 데 수억 달러가 소요된다.<ref>Nestor Maslej, Loredana Fattorini, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Vanessa Parli, Yoav Shoham, Russell Wald, Jack Clark, and Raymond Perrault, “The AI Index 2023 Annual Report,” AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2023.</ref> 대조적으로, 특정 사용 사례에 맞게 기존 기반 모델을 조정하거나 직접 사용하는 것은 비용이 훨씬 저렴하다.

파운데이션 모델의 초기 예는 [[구글]]의 [[BERT (언어 모델)|BERT]]<ref>{{ArXiv 인용|title=A Primer in BERTology: What we know about how BERT works |first1=Anna |last1=Rogers |first2=Olga |last2=Kovaleva |first3=Anna |last3=Rumshisky |year=2020 |class=cs.CL |eprint=2002.12327 }}</ref> 및 [[오픈AI]]의 "GPT-n" 시리즈와 같은 [[언어 모델]](LM)이었다. 텍스트 외에도 이미지용 [[DALL-E]] 및 플라밍고,<ref name="deepmind_20220428">{{인용| title = Tackling multiple tasks with a single visual language model| access-date = 13 June 2022 |date=28 April 2022 | url = https://www.deepmind.com/blog/tackling-multiple-tasks-with-a-single-visual-language-model}}</ref> 음악용 뮤직젠(MusicGen),<ref>{{ArXiv 인용|last1=Copet |first1=Jade |title=Simple and Controllable Music Generation |date=2023-11-07 |eprint=2306.05284 |last2=Kreuk |first2=Felix |last3=Gat |first3=Itai |last4=Remez |first4=Tal |last5=Kant |first5=David |last6=Synnaeve |first6=Gabriel |last7=Adi |first7=Yossi |last8=Défossez |first8=Alexandre|class=cs.SD }}</ref> 로봇 제어용 RT-2<ref>{{웹 인용|date=2023-07-28 |title=Speaking robot: Our new AI model translates vision and language into robotic actions |url=https://blog.google/technology/ai/google-deepmind-rt2-robotics-vla-model/ |access-date=2023-12-11 |website=Google |language=en-us}}</ref> 등 다양한 양식에 걸쳐 기반 모델이 개발되었다. 파운데이션 모델은 AI 개발의 광범위한 변화를 구성한다. 파운데이션 모델은 천문학,<ref>{{ArXiv 인용|last1=Nguyen |first1=Tuan Dung |title=AstroLLaMA: Towards Specialized Foundation Models in Astronomy |date=2023-09-12 |eprint=2309.06126 |last2=Ting |first2=Yuan-Sen |last3=Ciucă |first3=Ioana |last4=O'Neill |first4=Charlie |last5=Sun |first5=Ze-Chang |last6=Jabłońska |first6=Maja |last7=Kruk |first7=Sandor |last8=Perkowski |first8=Ernest |last9=Miller |first9=Jack|class=astro-ph.IM }}</ref> 방사선학,<ref>{{ArXiv 인용|last1=Tu |first1=Tao |title=Towards Generalist Biomedical AI |date=2023-07-26 |eprint=2307.14334 |last2=Azizi |first2=Shekoofeh |last3=Driess |first3=Danny |last4=Schaekermann |first4=Mike |last5=Amin |first5=Mohamed |last6=Chang |first6=Pi-Chuan |last7=Carroll |first7=Andrew |last8=Lau |first8=Chuck |last9=Tanno |first9=Ryutaro|class=cs.CL }}</ref> 유전체학,<ref>{{cite bioRxiv |last1=Zvyagin |first1=Maxim |title=GenSLMs: Genome-scale language models reveal SARS-CoV-2 evolutionary dynamics |date=2022-10-11 |language=en |biorxiv=10.1101/2022.10.10.511571 |last2=Brace |first2=Alexander |last3=Hippe |first3=Kyle |last4=Deng |first4=Yuntian |last5=Zhang |first5=Bin |last6=Bohorquez |first6=Cindy Orozco |last7=Clyde |first7=Austin |last8=Kale |first8=Bharat |last9=Perez-Rivera |first9=Danilo}}</ref> 음악,<ref>{{웹 인용|last=Engineering |first=Spotify |date=2023-10-13 |title=LLark: A Multimodal Foundation Model for Music |url=https://research.atspotify.com/2023/10/llark-a-multimodal-foundation-model-for-music/ |access-date=2023-12-11 |website=Spotify Research |language=en-US}}</ref> 코딩,<ref>{{ArXiv 인용|last1=Li |first1=Raymond |title=StarCoder: may the source be with you! |date=2023-05-09 |eprint=2305.06161 |last2=Allal |first2=Loubna Ben |last3=Zi |first3=Yangtian |last4=Muennighoff |first4=Niklas |last5=Kocetkov |first5=Denis |last6=Mou |first6=Chenghao |last7=Marone |first7=Marc |last8=Akiki |first8=Christopher |last9=Li |first9=Jia|class=cs.CL }}</ref> 시계열 예측<ref>{{웹 인용|last=Se |first=Ksenia |last2=Spektor |first2=Ian |date=April 5, 2024 |title=Revolutionizing Time Series Forecasting: Interview with TimeGPT's creators |url=https://www.turingpost.com/p/timegpt |access-date=2024-04-11 |website=Turing Post |language=en}}</ref> 및 수학<ref>{{ArXiv 인용|last1=Azerbayev |first1=Zhangir |title=Llemma: An Open Language Model For Mathematics |date=2023-11-30 |eprint=2310.10631 |last2=Schoelkopf |first2=Hailey |last3=Paster |first3=Keiran |last4=Santos |first4=Marco Dos |last5=McAleer |first5=Stephen |last6=Jiang |first6=Albert Q. |last7=Deng |first7=Jia |last8=Biderman |first8=Stella |last9=Welleck |first9=Sean|class=cs.CL }}</ref>을 위해 구축되고 있다.

== 같이 보기 ==
* [[인공 초지능]]

== 각주 ==
{{각주}}

{{자연어 처리}}
{{인공지능의 존재 문제}}

[[분류:자연어 처리]]
[[분류:전산언어학]]
[[분류:계산 학문 분야]]
[[분류:비지도 학습]]
[[분류:딥 러닝]]
[[분류:언어 모델]]