{{위키데이터 속성 추적}}
{{기계 학습}}
'''자기 지도 학습''' (SSL)은 [[기계 학습]]의 한 방법이다. 레이블이 지정되지 않은 샘플 [[자료|데이터]]에서 학습을 진행한다. [[지도 학습|지도학습]]과  [[비지도 학습]]의 중간 형태로, [[인공 신경망]] 또는 결정 리스트와 같은 인공지능 모델을 기반으로 한다.<ref>{{저널 인용|제목=Unsupervised Word Sense Disambiguation Rivaling Supervised Methods|저널=Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics|성=Yarowsky|이름=David|url=https://aclanthology.org/P95-1026/|날짜=1995|출판사=Association for Computational Linguistics|위치=Cambridge, MA|쪽=189–196|doi=10.3115/981658.981684|확인날짜=1 November 2022}}</ref> 자기 지도 학습 모델은 두 단계로 학습한다. 먼저 모델 파라미터를 초기화하는 데 도움이 되는 의사 레이블을 기반으로 작업을 수행한다.<ref>{{저널 인용|제목=Multi-task Self-Supervised Visual Learning|저널=2017 IEEE International Conference on Computer Vision (ICCV)|성=Doersch|이름=Carl|성2=Zisserman|이름2=Andrew|url=http://dx.doi.org/10.1109/iccv.2017.226|날짜=October 2017|출판사=IEEE|쪽=2070–2079|arxiv=1708.07860|doi=10.1109/iccv.2017.226|isbn=978-1-5386-1032-9}}</ref><ref name="auto1">{{저널 인용|제목=S4L: Self-Supervised Semi-Supervised Learning|저널=2019 IEEE/CVF International Conference on Computer Vision (ICCV)|성=Beyer|이름=Lucas|성2=Zhai|이름2=Xiaohua|url=http://dx.doi.org/10.1109/iccv.2019.00156|날짜=October 2019|출판사=IEEE|쪽=1476–1485|arxiv=1905.03670|doi=10.1109/iccv.2019.00156|isbn=978-1-7281-4803-8|성3=Oliver|이름3=Avital|성4=Kolesnikov|이름4=Alexander}}</ref> 둘째로, 지도 또는 비지도 학습으로 실제 모델 학습을 수행한다.<ref>{{저널 인용|제목=Unsupervised Visual Representation Learning by Context Prediction|저널=2015 IEEE International Conference on Computer Vision (ICCV)|성=Doersch|이름=Carl|성2=Gupta|이름2=Abhinav|url=http://dx.doi.org/10.1109/iccv.2015.167|날짜=December 2015|출판사=IEEE|쪽=1422–1430|arxiv=1505.05192|doi=10.1109/iccv.2015.167|isbn=978-1-4673-8391-2|성3=Efros|이름3=Alexei A.}}</ref><ref>{{저널 인용|제목=Fast and robust segmentation of white blood cell images by self-supervised learning|저널=Micron|성=Zheng|이름=Xin|성2=Wang|이름2=Yong|url=http://dx.doi.org/10.1016/j.micron.2018.01.010|날짜=April 2018|권=107|쪽=55–71|doi=10.1016/j.micron.2018.01.010|issn=0968-4328|pmid=29425969|성3=Wang|이름3=Guoyou|성4=Liu|이름4=Jianguo}}</ref><ref>{{저널 인용|제목=Boosting Few-Shot Visual Learning With Self-Supervision|저널=2019 IEEE/CVF International Conference on Computer Vision (ICCV)|성=Gidaris|이름=Spyros|성2=Bursuc|이름2=Andrei|url=http://dx.doi.org/10.1109/iccv.2019.00815|날짜=October 2019|출판사=IEEE|쪽=8058–8067|arxiv=1906.05186|doi=10.1109/iccv.2019.00815|isbn=978-1-7281-4803-8|성3=Komodakis|이름3=Nikos|성4=Perez|이름4=Patrick Perez|성5=Cord|이름5=Matthieu}}</ref> 자기 지도 학습은 최근 몇 년 동안 뛰어난 결과를 보여주고 있고, 음성 신호 처리에 실용적인 사례들을 만들어 냈으며 [[페이스북]] 및 기타 [[음성 인식]]에 사용되고 있다.<ref name="auto">{{웹 인용|url=https://ai.facebook.com/blog/wav2vec-state-of-the-art-speech-recognition-through-self-supervision/|제목=Wav2vec: State-of-the-art speech recognition through self-supervision|웹사이트=ai.facebook.com|언어=en|확인날짜=2021-06-09}}</ref> 자기 지도 학습의 매력은 낮은 품질의 데이터로 모델을 학습시키더라도 최종적으로 출력되는 결과물의 품질을 높일 수 있다는 것이다. 특히 자기 지도 학습은 인간이 사물을 분류하는 방법을 배우는 방식을 더 밀접하게 모방하고있다.<ref name="auto3">{{웹 인용|url=https://medium.com/what-is-artificial-intelligence/what-is-self-supervised-learning-will-machines-be-able-to-learn-like-humans-d9160f40cdd1|제목=What is Self-Supervised Learning? {{!}} Will machines ever be able to learn like humans?|성=Bouchard|이름=Louis|날짜=2020-11-25|웹사이트=Medium|언어=en|확인날짜=2021-06-09}}</ref>

== 유형 ==
이진 분류 작업의 경우 훈련 데이터는 긍정 샘플과 부정 샘플로 나눌 수 있다. 긍정 샘플은 타겟과 일치하는 것을 말한다. 예를 들어, 새를 식별하는 방법을 배우는 경우 긍정적인 훈련 데이터는 새가 포함된 사진이고 부정적인 데이터는 새를 포함하지 않는 사진이다.<ref name=":0">{{웹 인용|url=https://ai.facebook.com/blog/demystifying-a-key-self-supervised-learning-technique-non-contrastive-learning/|제목=Demystifying a key self-supervised learning technique: Non-contrastive learning|웹사이트=ai.facebook.com|언어=en|확인날짜=2021-10-05}}</ref>

=== 대조적 자기 지도 학습 ===
대조적 자기 지도 학습은 긍정 샘플과 부정 샘플을 모두 사용한다. 대조 학습의 [[손실 함수]]는 긍정 샘플 사이의 거리를 최소화하고 부정 샘플 사이의 거리를 최대화한다.<ref name=":0" />

=== 비 대조적 자기 지도 학습 ===
NCSSL(비 대조적 자기 지도 학습)은 긍정 샘플만을 사용한다. 우리의 직관과는 다르게, NCSSL은 단순하게 손실을 0으로 만드는 사소한 해결에 도달하기보다는 보다 유용한 로컬 최소값으로 손실을 수렴시킨다. 이진 분류의 예에서는 각 샘플을 긍정으로 분류하는 방법만을 간단하게 학습한다. 효과적인 NCSSL은 타겟 측에서 역전파하지 않는 온라인 측의 추가 예측자를 필요로 한다.<ref name=":0" />

== 다른 형태의 머신러닝과의 비교 ==
자기 지도 학습은 그 목표가 입력에서 분류된 출력을 생성하는 것인 한 지도 학습에 속한다. 그러나 반드시 명시적으로 레이블이 지정된 입력-출력 쌍을 사용할 필요는 없다. 대신 데이터에 포함된 상관 관계, 메타데이터 또는 입력에 있는 도메인 지식이 데이터에서 암시적으로 자동 추출된다.<ref name="auto2">{{저널 인용|제목=Problem Based Learning a Shift from Teaching Paradigm to the Learning Paradigm|저널=Indian Journal of Dental Education|성=R.|이름=Poornima|성2=L.|이름2=Ashok|url=http://dx.doi.org/10.21088/ijde.0974.6099.10117.6|날짜=2017|권=10|호=1|쪽=47–51|doi=10.21088/ijde.0974.6099.10117.6|issn=0974-6099}}</ref> 데이터에서 생성된 이러한 지도 신호를 교육에 사용할 수 있다.<ref name="auto3" />

자기 지도 학습은 샘플 데이터에 레이블이 필요하지 않다는 점에서 비지도 학습과 유사하다. 그러나 비지도 학습과 달리 자기 지도 학습은 고유한 데이터 구조를 사용하여 수행되지는 않는다.<ref name="auto2" />

준지도 학습은 지도 학습과 비지도 학습을 결합하여 학습 데이터의 작은 부분에만 레이블을 지정하면 된다.<ref name="auto1" />

전이 학습 모델에서는 한 작업을 위해 설계된 모델이 다른 작업에서 재사용 된다.<ref>{{저널 인용|제목=The Multiverse Loss for Robust Transfer Learning|저널=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|성=Littwin|이름=Etai|성2=Wolf|이름2=Lior|url=http://dx.doi.org/10.1109/cvpr.2016.429|날짜=June 2016|출판사=IEEE|쪽=3957–3966|arxiv=1511.09033|doi=10.1109/cvpr.2016.429|isbn=978-1-4673-8851-1}}</ref>

== 예시 ==
자기 지도 학습은 특히 음성 인식에 적합하다. [[페이스북|Facebook]]은 자체 지도 알고리즘인 wav2vec를 개발하여 서로를 기반으로 하는 두 개의 심층 [[합성곱 신경망|컨볼루션 신경망]] 을 사용하여 음성 인식을 수행한다.<ref name="auto" />

[[구글|Google]]의 BERT( Bidirectional Encoder Representations from Transformers ) 모델은 검색어의 맥락을 더 잘 이해하는 데 자기 지도 학습을 사용한다.<ref>{{웹 인용|url=http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html|제목=Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing|웹사이트=Google AI Blog|언어=en|확인날짜=2021-06-09}}</ref>

[[오픈AI|OpenAI]]의 [[GPT-3]]은 언어 처리에 사용할 수 있는 자동 회귀 언어 모델이다. 텍스트를 번역하거나 질문에 답하는 데 사용할 수 있다.<ref>{{저널 인용|제목=Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models|저널=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)|성=Wilcox|이름=Ethan|성2=Qian|이름2=Peng|url=http://dx.doi.org/10.18653/v1/2020.emnlp-main.375|날짜=2020|출판사=Association for Computational Linguistics|위치=Stroudsburg, PA, USA|쪽=4640–4652|arxiv=2010.05725|doi=10.18653/v1/2020.emnlp-main.375|성3=Futrell|이름3=Richard|성4=Kohita|이름4=Ryosuke|성5=Levy|이름5=Roger|성6=Ballesteros|이름6=Miguel}}</ref>

Bootstrap Your Own Latent는 ImageNet과 전송 및 준지도 학습 벤치마크에서 우수한 결과를 생성한 NCSSL이다. 

Yarowsky 알고리즘은 [[자연어 처리]]에서 자기 지도 학습의 한 예이다. 소수의 레이블이 지정된 샘플에서부터 [[다의어]] 단어의 어떤 의미가 텍스트의 주어진 지점에서 사용되고 있는지 예측하는 방법을 학습한다.

DirectPred는 [[경사 하강법|그래디언트 업데이트]]를 통해 학습하는 대신 예측자 가중치를 직접 설정하는 NCSSL이다.<ref name=":0" />

== 각주 ==
{{각주}}

== 외부 링크 ==
* {{웹 인용|url=https://medium.com/toyota-ventures/self-supervised-learning-a-key-to-unlocking-self-driving-cars-408b7a6fd3bd|제목=Self-Supervised Learning: A Key to Unlocking Self-Driving Cars?|성=Abshire|이름=Chris|날짜=2018-04-06|웹사이트=Toyota Ventures|언어=en|확인날짜=2021-10-05}}
* {{저널 인용|제목=Multi-task Self-Supervised Visual Learning|저널=2017 IEEE International Conference on Computer Vision (ICCV)|성=Doersch|이름=Carl|성2=Zisserman|이름2=Andrew|url=https://ieeexplore.ieee.org/document/8237488|날짜=October 2017|쪽=2070–2079|arxiv=1708.07860|doi=10.1109/ICCV.2017.226|isbn=978-1-5386-1032-9}}
* {{저널 인용|제목=Unsupervised Visual Representation Learning by Context Prediction|저널=2015 IEEE International Conference on Computer Vision (ICCV)|성=Doersch|이름=Carl|성2=Gupta|이름2=Abhinav|url=https://ieeexplore.ieee.org/document/7410524|날짜=December 2015|쪽=1422–1430|arxiv=1505.05192|doi=10.1109/ICCV.2015.167|isbn=978-1-4673-8391-2|성3=Efros|이름3=Alexei A.}}
* {{저널 인용|제목=Fast and robust segmentation of white blood cell images by self-supervised learning|저널=Micron|성=Zheng|이름=Xin|성2=Wang|이름2=Yong|url=https://www.sciencedirect.com/science/article/pii/S0968432817303037|날짜=2018-04-01|권=107|쪽=55–71|언어=en|doi=10.1016/j.micron.2018.01.010|issn=0968-4328|pmid=29425969|성3=Wang|이름3=Guoyou|성4=Liu|이름4=Jianguo}}
* {{웹 인용|url=https://www.marktechpost.com/2021/09/30/google-ais-new-study-enhance-reinforcement-learning-rl-agents-generalization-in-unseen-tasks-using-contrastive-behavioral-similarity-embeddings/|제목=Google AI's New Study Enhance Reinforcement Learning (RL) Agent's Generalization In Unseen Tasks Using Contrastive Behavioral Similarity Embeddings|성=Shenwai|이름=Tanushree|날짜=2021-09-30|웹사이트=MarkTechPost|언어=en-US|확인날짜=2021-10-07}}
* {{저널 인용|제목=Unsupervised Word Sense Disambiguation Rivaling Supervised Methods|저널=Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics|성=Yarowsky|이름=David|url=https://aclanthology.org/P95-1026/|날짜=1995|출판사=Association for Computational Linguistics|위치=Cambridge, MA|쪽=189–196|doi=10.3115/981658.981684|확인날짜=1 November 2022}}

[[분류:기계 학습]]