{{위키데이터 속성 추적}}
{{기계 학습}}
[[파일:The-Transformer-model-architecture.png|섬네일]]
'''트랜스포머'''(transformer)는 [[어텐션 (기계 학습)|어텐션]] 메커니즘을 활용하는 [[딥 러닝]] 모형이다. 본래 [[자연어 처리]]에 활용되었으나, [[비전 트랜스포머]]의 등장 이후 [[컴퓨터 비전]] 분야에도 활용되고 있다. 트랜스포머가 개발되어 [[순환 신경망]](RNN)의 단점이 극복됨에 따라 [[자연어 처리]] 최고의 RNN 기법이었던 [[장단기 메모리]](Long Short-Term Memory, LSTM)가 트랜스포머에 의해 대체되는 추세이다. [[OpenAI]]에서 만든 [[GPT]] 모델들도 트랜스포머를 사용한다.

트랜스포머는 딥 러닝 모델이다. 이는 입력(재귀 출력 포함) 데이터의 각 부분의 중요도에 차별적으로 가중치를 부여하는 셀프어텐션(self-attention)의 채택으로 구별된다. 주로 자연어 처리(NLP)<ref name=":0">{{ArXiv 인용|last8=Polosukhin|first8=Illia|last7=Kaiser|first7=Lukasz|last6=Gomez|first6=Aidan N.|last5=Jones|first5=Llion|last4=Uszkoreit|first4=Jakob|last3=Parmar|first3=Niki|last2=Shazeer|first2=Noam|last1=Vaswani|first1=Ashish|date=2017-06-12|title=Attention Is All You Need|eprint=1706.03762|class=cs.CL}}</ref> 및 컴퓨터 비전(CV) 분야에서 사용된다.<ref>{{웹 인용|last1=He |first1=Cheng |title=Transformer in CV |url=https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e |website=Transformer in CV |date=31 December 2021 |publisher=Towards Data Science |access-date=19 June 2021 |archive-date=16 April 2023 |archive-url=https://web.archive.org/web/20230416160902/https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e?gi=78319b60873f |url-status=live }}</ref>

순환 신경망(RNN)과 마찬가지로 트랜스포머는 번역 및 텍스트 요약과 같은 작업에 사용되며, 자연어와 같은 순차적 입력 데이터를 처리하도록 설계되었다. 그러나 RNN과 달리 트랜스포머는 전체 입력을 한 번에 처리한다. 어텐션 메커니즘은 입력 시퀀스의 모든 위치에 대한 컨텍스트를 만들어낸다. 예를 들어 입력 데이터가 자연어 문장인 경우 트랜스포머는 한 번에 한 단어씩 처리할 필요가 없다. 따라서 RNN보다 더 많은 병렬화가 가능해지므로 훈련 시간이 단축된다.<ref name=":0" />

트랜스포머는 구글 브레인 팀에서 2017년에 도입했으며<ref name=":0" /> LSTM(Long Short-Term Memory)<ref name="wolf2020">{{서적 인용|last1=Wolf|first1=Thomas|last2=Debut|first2=Lysandre|last3=Sanh|first3=Victor|last4=Chaumond|first4=Julien|last5=Delangue|first5=Clement|last6=Moi|first6=Anthony|last7=Cistac|first7=Pierric|last8=Rault|first8=Tim|last9=Louf|first9=Remi|last10=Funtowicz|first10=Morgan|last11=Davison|first11=Joe|last12=Shleifer|first12=Sam|last13=von Platen|first13=Patrick|last14=Ma|first14=Clara|last15=Jernite|first15=Yacine|last16=Plu|first16=Julien|last17=Xu|first17=Canwen|last18=Le Scao|first18=Teven|last19=Gugger|first19=Sylvain|last20=Drame|first20=Mariama|last21=Lhoest|first21=Quentin|last22=Rush|first22=Alexander|title=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations|chapter=Transformers: State-of-the-Art Natural Language Processing|year=2020|pages=38–45|doi=10.18653/v1/2020.emnlp-demos.6|s2cid=208117506}}</ref>과 같은 RNN 모델을 대체하면서 점점 더 NLP 문제에 대한 선택 모델이 되고 있다.<ref name="lstm1997">{{저널 인용|last1=Hochreiter |first1=Sepp |author-link=Sepp Hochreiter |last2=Schmidhuber |first2=Jürgen |author-link2=Jürgen Schmidhuber |date=1 November 1997 |title=Long Short-Term Memory |journal=Neural Computation |volume=9 |issue=8 |pages=1735–1780 |doi=10.1162/neco.1997.9.8.1735 |issn=0899-7667 |pmid=9377276 |s2cid=1915014}}</ref> RNN 모델에 비해 트랜스포머는 병렬화에 더 적합하여 더 큰 데이터 세트에 대한 교육을 허용한다. 이로 인해 위키백과 코퍼스(Wikipedia Corpus) 및 커먼 크롤(Common Crawl)과 같은 대규모 언어 데이터 세트로 훈련된 BERT(Bidirectional Encoder Representations from Transformers) 및 최초형 GPT(Generative Pre-trained Transformer)와 같은 사전 훈련된 시스템이 개발되었다. 특정 작업에 맞게 미세 조정된다.<ref name=":6">{{웹 인용|url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|title=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing|website=Google AI Blog|date=2 November 2018 |access-date=2019-08-25|archive-date=2021-01-13|archive-url=https://web.archive.org/web/20210113211449/https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|url-status=live}}</ref><ref name=":7">{{웹 인용|url=https://openai.com/blog/better-language-models/|title=Better Language Models and Their Implications|date=2019-02-14|website=OpenAI|access-date=2019-08-25|archive-date=2020-12-19|archive-url=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/|url-status=live}}</ref>

== 참고 문헌 ==
{{참고 자료 시작}}
* Hubert Ramsauer ''et al.'' (2020), [https://arxiv.org/abs/2008.02217 "Hopfield Networks is All You Need"] {{Webarchive|url=https://web.archive.org/web/20210918150812/https://arxiv.org/abs/2008.02217 |date=2021-09-18 }}, preprint submitted for [[International Conference on Learning Representations|ICLR]] 2021. {{arxiv|2008.02217}}; see also authors' [https://ml-jku.github.io/hopfield-layers/ blog] {{Webarchive|url=https://web.archive.org/web/20210918150757/https://ml-jku.github.io/hopfield-layers/ |date=2021-09-18 }}
::– Discussion of the effect of a transformer layer as equivalent to a Hopfield update, bringing the input closer to one of the [[Fixed point (mathematics)|fixed points]] (representable patterns) of a continuous-valued [[Hopfield network]]
* Alexander Rush, [https://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated transformer] {{Webarchive|url=https://web.archive.org/web/20210922093841/https://nlp.seas.harvard.edu/2018/04/03/attention.html |date=2021-09-22 }}, Harvard NLP group, 3 April 2018
{{참고 자료 끝}}

== 각주 ==
{{각주}}

{{구글}}
{{토막글|컴퓨터 과학}}

[[분류:인공신경망]]