shopkeeper/korean_wiki_content_only_120125 huggingface dataset:
컴퓨터 과학에서 온라인 기계 학습(Online machine learning)은 데이터가 순차적으로 제공되고 각 단계에서 미래 데이터에 대한 최적의 예측기를 업데이트하는 기계 학습 방법으로, 전체 트레이닝 셋에서 한 번에 학습하여 최적의 예측기를 생성하는 배치 학습 기술과는 대조된다. 온라인 학습은 전체 데이터셋을 통해 훈련하는 것이 계산적으로 불가능하여 아웃 오브 코어(out-of-core) 알고리즘이 필요한 기계 학습 영역에서 일반적으로 사용되는 기술이다. 또한 알고리즘이 데이터의 새로운 패턴에 동적으로 적응해야 하는 상황이나, 데이터 자체가 시간의 함수로 생성되는 경우(예: 금융 국제 시장의 가격 예측)에도 사용된다. 온라인 학습 알고리즘은 치명적 망각에 취약할 수 있으며, 이는 증분 학습 접근 방식으로 해결될 수 있는 문제이다.
온라인 기계 학습 알고리즘은 광고 수익 극대화를 위한 후원 검색, 포트폴리오 최적화, 최단 경로 예측 (예: 지도 애플리케이션의 도로 교통과 같은 확률적 가중치 사용), 스팸 필터링, 실시간 사기 탐지, 전자 상거래를 위한 가변적 가격 책정 등 다양한 분야에 적용된다. 초기 훈련 후 지속적이고 실시간 적응을 가능하게 하기 위해 LLM(Large Language Model)에 온라인 학습 패러다임을 사용하는 것에 대한 관심도 커지고 있다.
지도 학습 설정에서, 입력 공간 formula_1와 출력 공간 formula_2에 대한 함수 formula_3를 학습하는 것이 목표이며, 이 함수는 formula_4 상의 결합분포 formula_5에서 추출된 인스턴스에 대해 잘 예측해야 한다. 실제로는 학습자는 인스턴스에 대한 실제 분포 formula_5를 알지 못한다. 대신, 학습자는 일반적으로 formula_7과 같은 예제들의 트레이닝 셋에 접근할 수 있다. 이 설정에서, 손실 함수는 formula_8로 주어지며, formula_9는 예측 값 formula_10와 실제 값 formula_11 사이의 차이를 측정한다. 이상적인 목표는 함수 공간인 가설 공간 formula_12에서 함수 formula_13를 선택하여 총 손실의 어떤 개념을 최소화하는 것이다. 모델 유형(통계적 또는 적대적)에 따라 다른 손실 개념을 고안할 수 있으며, 이는 다른 학습 알고리즘으로 이어진다.
온라인 학습의 통계적 관점.
통계적 학습 모델에서 훈련 표본 formula_14는 실제 분포 formula_5에서 추출되었다고 가정하며, 목표는 기대 "위험"을 최소화하는 것이다.
이러한 상황에서 일반적인 패러다임은 경험적 위험 최소화 또는 정규화된 경험적 위험 최소화(티호노프 정칙화를 통해)를 통해 함수 formula_17를 추정하는 것이다. 여기서 손실 함수의 선택은 정규화된 최소제곱법 및 서포트 벡터 머신과 같은 여러 잘 알려진 학습 알고리즘을 발생시킨다.
이 범주에서 순수한 온라인 모델은 새로운 입력 formula_18, 현재 최적의 예측기 formula_19 및 추가로 저장된 정보(일반적으로 훈련 데이터 크기와 무관한 저장 요구 사항을 가질 것으로 예상됨)에만 기반하여 학습한다. 비선형 커널 메소드와 같은 많은 공식에서는 진정한 온라인 학습이 불가능하지만, formula_20이 formula_19와 모든 이전 데이터 포인트 formula_22에 의존하도록 허용되는 재귀 알고리즘을 사용한 하이브리드 온라인 학습 형태를 사용할 수 있다. 이 경우, 모든 이전 데이터 포인트를 저장해야 하므로 공간 요구 사항이 더 이상 일정하다고 보장되지 않지만, 배치 학습 기술에 비해 새로운 데이터 포인트가 추가될 때 솔루션을 계산하는 데 시간이 덜 걸릴 수 있다.
위의 문제를 극복하기 위한 일반적인 전략은 미니 배치(mini-batch)를 사용하여 학습하는 것으로, 한 번에 formula_23개의 데이터 포인트의 작은 배치를 처리하며, 이는 총 훈련 포인트 수보다 훨씬 작은 formula_24에 대한 유사-온라인 학습으로 간주될 수 있다. 미니 배치 기술은 훈련 데이터를 반복적으로 통과하여 기계 학습 알고리즘의 최적화된 out-of-core 버전을 얻는 데 사용된다. 예를 들어, 확률적 경사 하강법이 있다. 역전파와 결합될 때, 이는 현재 인공 신경망 훈련을 위한 사실상의 훈련 방법이다.
예시: 선형 최소 제곱.
선형 최소 제곱의 간단한 예시는 온라인 학습의 다양한 아이디어를 설명하는 데 사용된다. 이 아이디어들은 다른 볼록 손실 함수와 같은 다른 설정에도 적용될 수 있을 만큼 충분히 일반적이다.
배치 학습.
formula_25가 학습될 선형 함수인 지도 학습 설정을 고려한다.
여기서 formula_27는 입력(데이터 포인트) 벡터이고 formula_28는 선형 필터 벡터이다.
목표는 필터 벡터 formula_29를 계산하는 것이다.
이를 위해, 제곱 손실 함수
를 사용하여 경험적 손실을 최소화하는 벡터 formula_29를 계산한다.
formula_1를 formula_35 데이터 행렬이라고 하고, formula_36를 첫 번째 formula_37개의 데이터 포인트가 도착한 후의 목표 값의 열 벡터라고 하자.
공분산 행렬 formula_38가 역행렬을 가진다고 가정하면 (그렇지 않으면 티호노프 정칙화를 사용하여 유사하게 진행하는 것이 선호됨), 선형 최소 제곱 문제에 대한 최적의 해 formula_39는 다음과 같이 주어진다.
이제 공분산 행렬 formula_41를 계산하는 데 formula_42 시간이 걸리고, formula_43 행렬을 역행렬하는 데 formula_44 시간이 걸리며, 나머지 곱셈은 formula_45 시간이 걸려 총 시간은 formula_46이 된다. 데이터셋에 총 formula_47개의 포인트가 있을 때, 모든 데이터 포인트 formula_48가 도착한 후 해를 다시 계산하는 순진한 접근 방식은 총 복잡도가 formula_49이다. formula_50 행렬을 저장하면 각 단계에서 업데이트하는 데 formula_51를 추가하는 데만 formula_45 시간이 걸려 총 시간이 formula_53으로 줄어들지만, formula_50를 저장하는 데 formula_45의 추가 저장 공간이 필요하다.
온라인 학습: 재귀적 최소 제곱.
재귀적 최소 제곱(RLS) 알고리즘은 최소 제곱 문제에 대한 온라인 접근 방식을 고려한다. formula_56 및 formula_57로 초기화하면 이전 섹션에서 주어진 선형 최소 제곱 문제의 해가 다음 반복으로 계산될 수 있음을 보여줄 수 있다.
위 반복 알고리즘은 formula_37에 대한 귀납법으로 증명될 수 있다. 증명은 또한 formula_61임을 보여준다. RLS를 적응형 필터의 맥락에서도 볼 수 있다(RLS 참조).
이 알고리즘의 formula_47단계 복잡도는 formula_63로, 해당 배치 학습 복잡도보다 한 자릿수 빠르다. 여기에서 각 단계 formula_37에서의 저장 요구 사항은 행렬 formula_65를 저장하는 것이며, 이는 formula_45로 일정하다. formula_50가 역행렬을 갖지 않는 경우, 문제 손실 함수의 정규화된 버전 formula_68를 고려한다. 그러면 동일한 알고리즘이 formula_69로 작동하며, 반복은 formula_70을 제공함이 쉽게 증명된다.
이 식
으로 대체되거나 formula_73가 formula_74으로 대체되면, 이는 확률적 경사 하강법 알고리즘이 된다. 이 경우, 이 알고리즘의 formula_47 단계에 대한 복잡도는 formula_76로 감소한다. 각 단계 formula_37에서의 저장 요구 사항은 formula_78로 일정하다.
그러나 위에서 설명한 대로 기대 위험 최소화 문제를 해결하기 위해 스텝 사이즈 formula_79를 신중하게 선택해야 한다. 감소하는 스텝 사이즈 formula_80를 선택함으로써 평균 반복 formula_81의 수렴을 증명할 수 있다. 이 설정은 최적화에서 잘 알려진 문제인 확률적 최적화의 특수한 경우이다.
증분 확률적 경사 하강법.
실제로는 데이터에 대해 여러 번의 확률적 경사 하강 통과(사이클 또는 에포크라고도 함)를 수행할 수 있다. 이렇게 얻은 알고리즘을 증분 경사 하강법이라고 하며 다음과 같은 반복에 해당한다.
확률적 경사 하강법과의 주요 차이점은 여기서는 formula_37번째 단계에서 어떤 훈련 포인트를 방문할지 결정하기 위해 시퀀스 formula_84가 선택된다는 것이다. 이러한 시퀀스는 확률적이거나 결정적일 수 있다. 그러면 반복 횟수는 포인트 수와 분리된다(각 포인트는 한 번 이상 고려될 수 있다). 증분 경사 하강법은 경험적 위험을 최소화하는 값을 제공하는 것으로 나타날 수 있다. 증분 기법은 매우 큰 데이터셋에 해당하는 경험적 오류와 같이 많은 항의 합으로 구성된 목적 함수를 고려할 때 유리할 수 있다.
커널 메소드.
커널은 위의 알고리즘을 비모수 모델(또는 매개변수가 무한 차원 공간을 형성하는 모델)로 확장하는 데 사용될 수 있다. 해당 절차는 더 이상 진정한 온라인이 아니며 대신 모든 데이터 포인트를 저장해야 하지만, 무차별 대입 방식보다 여전히 빠르다. 이 논의는 제곱 손실의 경우에만 한정되지만, 어떤 볼록 손실로도 확장될 수 있다.에 의해 쉽게 귀납적으로 증명될 수 있듯이, formula_85가 데이터 행렬이고 formula_86가 SGD 알고리즘의 formula_37 단계 후 출력이라면,
여기서 formula_89이고 시퀀스 formula_90는 다음 재귀를 만족한다.
formula_92 이고
여기서 formula_94는 formula_95에 대한 표준 커널이며, 예측기는 다음 형태를 갖는다.
이제 일반 커널 formula_97가 도입되고 예측기가 다음과 같다고 하면,
동일한 증명은 최소 제곱 손실을 최소화하는 예측기가 위의 재귀를 다음과 같이 변경함으로써 얻어짐을 보여준다.
위의 표현식은 formula_90를 업데이트하기 위해 모든 데이터를 저장해야 한다. formula_47번째 데이터 포인트에 대해 재귀를 평가할 때 총 시간 복잡도는 formula_102이며, 여기서 formula_103는 단일 쌍의 포인트에 대한 커널을 평가하는 비용이다. 따라서 커널을 사용하면 유한 차원 매개변수 공간 formula_104에서 매개변수 공간 formula_105에서 재귀를 수행함으로써 커널 formula_97로 표현되는 무한 차원 특징으로 이동할 수 있게 되었으며, 이 매개변수 공간의 차원은 훈련 데이터셋의 크기와 같다. 일반적으로 이는 표현자 정리의 결과이다.
온라인 볼록 최적화.
온라인 볼록 최적화(OCO)는 효율적인 알고리즘을 가능하게 하는 볼록 최적화를 활용하는 일반적인 의사 결정 프레임워크이다. 이 프레임워크는 다음과 같은 반복 게임 플레이 방식이다.
formula_107에 대해
목표는 후회, 즉 누적 손실과 나중에 가장 좋은 고정점 formula_113의 손실 간의 차이를 최소화하는 것이다. 예를 들어, 온라인 최소 제곱 선형 회귀의 경우를 고려하자. 여기서 가중치 벡터는 볼록 집합 formula_114에서 오고, 자연은 볼록 손실 함수 formula_115를 반환한다. 여기서 formula_116는 formula_117와 함께 암시적으로 보내진다.
그러나 일부 온라인 예측 문제는 OCO 프레임워크에 적합하지 않을 수 있다. 예를 들어, 온라인 분류에서는 예측 도메인과 손실 함수가 볼록하지 않다. 이러한 시나리오에서는 볼록화를 위한 두 가지 간단한 기술, 즉 무작위화 및 대리 손실 함수가 사용된다.
몇 가지 간단한 온라인 볼록 최적화 알고리즘은 다음과 같다.
선행자 따르기 (FTL).
가장 간단한 학습 규칙은 (현재 단계에서) 과거의 모든 라운드에 걸쳐 손실이 가장 적었던 가설을 선택하는 것이다. 이 알고리즘을 "선행자 따르기"(Follow the leader)라고 하며, 라운드 formula_118는 단순히 다음과 같이 주어진다.
이 방법은 탐욕 알고리즘으로 볼 수 있다. 온라인 2차 최적화(손실 함수가 formula_120인 경우)의 경우, formula_121로 증가하는 후회 경계를 보일 수 있다. 그러나 온라인 선형 최적화와 같은 다른 중요한 모델 패밀리의 경우 FTL 알고리즘에 대해 유사한 경계를 얻을 수 없다. 이를 위해 FTL에 정규화를 추가하여 수정한다.
정규화된 선행자 따르기 (FTRL).
이는 FTL 솔루션을 안정화하고 더 나은 후회 경계를 얻는 데 사용되는 FTL의 자연스러운 수정이다. 정규화 함수 formula_122가 선택되고 라운드 에서 다음과 같이 학습이 수행된다.
특별한 예로, 온라인 선형 최적화의 경우, 즉 자연이 formula_124 형태의 손실 함수를 반환하는 경우를 고려한다. 또한, formula_114라고 하자. 어떤 양수 formula_126에 대해 정규화 함수 formula_127가 선택되었다고 가정하자. 그러면 후회를 최소화하는 반복이 다음과 같이 됨을 보일 수 있다.
이는 formula_129로 다시 작성될 수 있으며, 이는 온라인 경사 하강법과 정확히 일치한다.
만약 가 formula_95의 일부 볼록 부분 공간이라면, 는 그 위에 투영되어야 하며, 이는 수정된 업데이트 규칙을 이끌어낸다.
이 알고리즘은 벡터 formula_132이 기울기를 축적하기 때문에 지연 투영(lazy projection)으로 알려져 있다. 또한 네스테로프의 이중 평균화 알고리즘으로도 알려져 있다. 선형 손실 함수와 이차 정규화의 이 시나리오에서, 후회는 formula_133로 경계지어지며, 따라서 평균 후회는 원하는 대로 으로 수렴한다.
온라인 부분 경사 하강법 (OSD).
위에서 선형 손실 함수 formula_134에 대한 후회 경계가 증명되었다. 알고리즘을 임의의 볼록 손실 함수로 일반화하기 위해, formula_110 근처에서 formula_117의 선형 근사로 formula_117의 subgradient formula_138를 사용하여 온라인 부분 경사 하강법 알고리즘을 얻는다.
매개변수 formula_139 초기화
OSD 알고리즘을 사용하여 분류를 위한 온라인 버전의 SVM에 대해 formula_133 후회 경계를 도출할 수 있으며, 이는 힌지 손실 formula_150을 사용한다.
기타 알고리즘.
Quadratic하게 정규화된 FTRL 알고리즘은 위에서 설명한 지연 투영 경사 알고리즘으로 이어진다. 임의의 볼록 함수와 정규화자에 대해 위를 사용하려면 온라인 미러 하강법을 사용한다. 선형 손실 함수에 대해 후회 최적의 정규화를 사후에 도출할 수 있으며, 이는 AdaGrad 알고리즘으로 이어진다. 유클리드 정규화의 경우, formula_133의 후회 경계를 보일 수 있으며, 이는 강하게 볼록하고 exp-오목 손실 함수에 대해 formula_152로 더욱 개선될 수 있다.
연속 학습.
연속 학습은 정보의 지속적인 흐름을 처리하여 학습된 모델을 끊임없이 개선하는 것을 의미한다. 지속적으로 변화하는 현실 세계에서 상호 작용하는 소프트웨어 시스템 및 자율 에이전트에게는 연속 학습 능력이 필수적이다. 그러나 비정상적인 데이터 분포에서 점진적으로 사용 가능한 정보를 지속적으로 습득하는 것은 일반적으로 치명적 망각으로 이어지기 때문에 기계 학습 및 인공 신경망 모델에게는 연속 학습이 어려운 과제이다.
온라인 학습의 해석.
온라인 학습 패러다임은 학습 모델의 선택에 따라 다양한 해석을 가지며, 각각 함수열 formula_153의 예측 품질에 대해 다른 함의를 갖는다. 이 논의에서는 전형적인 확률적 경사 하강법 알고리즘이 사용된다. 위에서 언급했듯이, 그 재귀는 다음과 같이 주어진다.
첫 번째 해석은 위에서 정의된 기대 위험 formula_155를 최소화하는 문제에 적용되는 확률적 경사 하강법을 고려한다. 실제로, 무한한 데이터 스트림의 경우, 예제 formula_156가 분포 formula_5에서 독립적이고 동일하게 분포되었다고 가정하므로, 위 반복에서 formula_158의 기울기 시퀀스는 기대 위험 formula_155의 기울기에 대한 확률적 추정치의 독립적이고 동일하게 분포된 표본이며, 따라서 확률적 경사 하강법에 대한 복잡도 결과를 적용하여 formula_160의 편차를 경계 지을 수 있다. 여기서 formula_161는 formula_155의 최소값이다. 이 해석은 유한 훈련 세트의 경우에도 유효하며; 데이터에 대한 여러 번의 통과로 인해 기울기가 더 이상 독립적이지 않지만, 특정 경우에는 복잡도 결과를 여전히 얻을 수 있다.
두 번째 해석은 유한 훈련 세트의 경우에 적용되며, SGD 알고리즘을 증분 경사 하강법의 한 예로 간주한다. 이 경우, 대신 경험적 위험을 살펴본다.
증분 경사 하강법 반복에서 formula_158의 기울기가 formula_165의 기울기에 대한 확률적 추정치이므로, 이 해석은 확률적 경사 하강법과도 관련이 있지만, 기대 위험이 아닌 경험적 위험을 최소화하는 데 적용된다. 이 해석은 기대 위험이 아닌 경험적 위험과 관련이 있으므로, 데이터에 대한 여러 번의 통과가 허용되며 실제로 formula_166의 편차에 대한 더 엄격한 경계를 제공한다. 여기서 formula_167은 formula_165의 최소값이다.
학습 패러다임
일반 알고리즘
학습 모델
북코퍼스(BookCorpus) 또는 토론토 북코퍼스(Toronto Book Corpus)는 독립 전자책 배포 웹사이트 스매시워즈에서 웹 스크래핑을 통해 수집한 약 7,000권의 자가 출판 도서 텍스트로 구성된 자료 집합이다. 이것은 오픈AI가 초기 GPT 모델을 훈련하는 데 사용한 주요 말뭉치였으며, 구글의 BERT를 포함한 다른 초기 대형 언어 모델의 훈련 데이터로도 사용되었다. 이 자료 집합은 약 9억 8천 5백만 단어로 구성되어 있으며, 로맨스, 과학 소설, 판타지를 포함한 다양한 장르의 도서로 이루어져 있다.
이 말뭉치는 토론토 대학교와 MIT 연구자들이 2015년에 발표한 "Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books"라는 논문에서 소개되었다.
저자들은 이 자료가 "아직 출판되지 않은 작가들이 쓴 무료 책"으로 구성되어 있다고 설명했지만, 이는 사실과 다르다. 이 책들은 자가 출판("독립") 작가들이 무료로 가격을 책정한 것이며, 스매시워즈 또는 스매시워즈 작가들의 동의나 허락 없이 다운로드되었고 스매시워즈 서비스 약관을 위반했다. 이 자료 집합은 처음에는 토론토 대학교 웹페이지에서 호스팅되었다. 원본 자료 집합의 공식 버전은 더 이상 공개적으로 이용할 수 없지만, 적어도 하나의 대체 버전인 BookCorpusOpen이 생성되었다. 2015년 원본 논문에는 문서화되어 있지 않지만, 이 말뭉치의 책들이 스크랩된 사이트는 현재 스매시워즈로 알려져 있다.
아이리스 플라워 데이터 세트, 붓꽃 자료 집합, 피셔의 붓꽃 자료 집합('Fisher's Iris data set)은 영국의 통계학자이자 생물학자인 로널드 피셔가 1936년 논문 "분류학적 문제에서 다중 측정의 사용(The use of multiple measurements in taxonomic problems)"에서 선형 판별 분석의 예시로 사용하고 유명해진 다변량 통계 자료 집합이다. 이 자료 집합은 에드가 앤더슨이 세 가지 관련 종의 붓꽃속 꽃의 형태학적 변이를 정량화하기 위해 자료를 수집했기 때문에 때로는 앤더슨의 붓꽃 자료 집합이라고도 불린다. 세 종 중 두 종은 가스페반도에서 "모두 같은 목초지에서 같은 날 채집되었고 같은 사람이 같은 장비로 같은 시간에 측정했다."
이 자료 집합은 세 종의 붓꽃(Iris setosa, Iris virginica, Iris versicolor) 각각 50개 샘플로 구성된다. 각 샘플에서 네 가지 특징이 측정되었다: 꽃받침과 꽃잎의 길이와 너비(센티미터). 이 네 가지 특징의 조합을 바탕으로 피셔는 각 종을 구별하는 선형 판별 모델을 개발했다. 피셔의 논문은 Annals of Eugenics(오늘날의 Annals of Human Genetics)에 게재되었다.
자료 집합의 사용.
원래 피셔의 선형 판별 분석이 적용된 예제 자료 집합으로 사용되었지만, 서포트 벡터 머신과 같은 기계 학습의 많은 통계적 분류 기술에 대한 전형적인 테스트 사례가 되었다.
그러나 이 자료 집합은 분명하게 분리되는 두 개의 클러스터만 포함하고 있기 때문에 클러스터 분석에서 흔히 사용되지는 않는다. 한 클러스터에는 Iris setosa가 포함되고, 다른 클러스터에는 Iris virginica와 Iris versicolor가 모두 포함되며 피셔가 사용한 종 정보 없이는 분리할 수 없다. 이는 데이터 마이닝에서 지도 학습 기법과 비지도 학습 기법의 차이를 설명하는 좋은 예시가 된다. 피셔의 선형 판별 모델은 객체 종을 알 때만 얻을 수 있다. 클래스 레이블과 클러스터는 반드시 같지 않다.
그럼에도 불구하고 세 가지 붓꽃 종 모두 비선형 및 분기 주성분에 대한 투영에서 분리 가능하다. 이 자료 집합은 과도한 노드 수, 굽힘 및 늘어짐에 대한 약간의 페널티를 부여하여 가장 가까운 트리로 근사된다. 그런 다음 소위 "지하철 노선도"가 구성된다. 자료 점들은 가장 가까운 노드에 투영된다. 각 노드에 대해 투영된 점들의 원그래프가 준비된다. 원그래프의 면적은 투영된 점들의 수에 비례한다. 이 도표(왼쪽)에서 다른 붓꽃 종의 샘플 대부분이 다른 노드에 속한다는 것이 분명하다. 붓꽃-버지니카의 작은 부분만이 붓꽃-버시컬러와 섞여 있다 (도표의 파란색-녹색 혼합 노드). 따라서 세 가지 붓꽃 종(Iris setosa, Iris virginica, Iris versicolor)은 비선형 주성분 분석의 비지도 학습 절차로 분리 가능하다. 이를 구별하기 위해서는 주성분 트리의 해당 노드를 선택하는 것만으로 충분하다.
자료 집합.
이 자료 집합은 꽃받침 길이, 꽃받침 너비, 꽃잎 길이, 꽃잎 너비, 종의 다섯 가지 속성에 따라 150개의 기록으로 구성된다.
붓꽃 자료 집합은 기계 학습 초급자를 위한 자료 집합으로 널리 사용된다. 이 자료 집합은 R 기본 패키지와 scikit-learn 기계 학습 라이브러리 내에 포함되어 있어 사용자들이 별도의 자료 출처를 찾을 필요 없이 접근할 수 있다.
자료 집합의 여러 버전이 출판되었다.
R 사용 예시 코드.
아래에 제시된 R 코드 예시는 이 문서 상단에 표시된 산점도를 재현한다:
?iris
pairs(iris[1:4], main="Iris Data (red=setosa,green=versicolor,blue=virginica)",
pch=21, bg=c("red","green3","blue")[unclass(iris$Species)])
install.packages(c("ggplot2","GGally")) # install packages if you don't have it.
library(ggplot2)
library(GGally)
ggpairs(data = iris, # your iris data
columns = 1:4, # columns for the scatter plot
mapping = aes(colour = Species,fill = Species),
title = 'Scatter Plot Matrix for Iris Data Set',
theme(plot.title = element_text(hjust = 0.5,face = 'bold')) +
scale_color_brewer(palette = 'Set1')
파이썬 사용 예시 코드.
from sklearn.datasets import load_iris
iris = load_iris()
print(iris)
이 코드는 다음과 같은 결과를 보여준다:
[4.9, 3., 1.4, 0.2],
[4.7, 3.2, 1.3, 0.2],
[4.6, 3.1, 1.5, 0.2]...
'target': array([0, 0, 0, ... 1, 1, 1, ... 2, 2, 2, ...
'target_names': array(['setosa', 'versicolor', 'virginica'], dtype='&lt;U10'),
[[분류:기계 학습의 데이터 세트]]
케이티 바우만(Katie Bouman), 본명 캐서린 루이스 바우만(Katherine Louise Bouman, 1989년~)은 컴퓨테이셔널 이미징 분야에서 일하는 미국의 공학자이자 컴퓨터 과학자이다. 그녀는 블랙홀 이미징을 위한 알고리즘, 즉 CHIRP(Continuous High-resolution Image Reconstruction using Patch priors) 개발을 주도했으며, 최초의 블랙홀 이미지를 포착한 사상수평선망원경 팀의 일원이었다.
2019년 6월 바우만을 조교수로 채용한 캘리포니아 공과대학교는 2020년 그녀에게 지명 교수직을 수여했다. 2021년에는 소행성 291387 케이티바우만이 그녀의 이름을 따서 명명되었다. 2024년에는 부교수가 되었다.
바우만은 웨스트라피엣에서 자랐다. 그녀의 아버지 찰스 바우만은 퍼듀 대학교의 전기 및 컴퓨터 공학 및 의공학 교수이다.
고등학생 시절, 바우만은 퍼듀 대학교에서 영상 연구를 수행했다. 그녀는 2007년에 웨스트 라피엣 주니어-시니어 고등학교를 졸업했다.
바우만은 미시간 대학교에서 전기 공학을 공부했으며 2011년에 숨마 쿰 라우데로 졸업했다. 그녀는 2013년에 석사 학위를 취득했으며, 2017년에 매사추세츠 공과대학교(MIT)에서 전기 공학 및 컴퓨터 과학 박사 학위를 취득했다.
MIT에서 그녀는 MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 일원이었다. 이 그룹은 또한 MIT의 헤이스택 천문대 및 사상수평선망원경과 긴밀하게 협력했다. 그녀는 미국 국립과학재단 대학원 펠로십의 지원을 받았다. 그녀의 석사 학위논문, 직물 움직임 관찰을 통한 재료 특성 추정(Estimating Material Properties of Fabric through the Observation of Motion)은 전기 공학 분야 최고의 석사 학위논문에 수여되는 에른스트 길망 상을 받았다. 그녀의 박사 학위논문, 물리 모델 반전을 통한 극한 영상: 모퉁이를 돌아보고 블랙홀을 영상화하기(Extreme imaging via physical model inversion: seeing around corners and imaging black holes)는 윌리엄 T. 프리먼의 지도를 받았다. 박사 학위를 받기 전, 바우만은 블랙홀의 첫 이미지를 포착하는 데 사용될 수 있는 알고리즘을 설명하는 TEDx 강연, '블랙홀 사진 찍는 법(How to Take a Picture of a Black Hole)'을 발표했다.
박사 학위를 취득한 후 바우만은 하버드 대학교에 사상수평선망원경 이미징 팀의 박사후 연구원으로 합류했다.
바우만은 2013년에 사상수평선망원경 프로젝트에 참여했다. 그녀는 CHIRP(Continuous High-resolution Image Reconstruction using Patch priors)으로 알려진 블랙홀 이미징을 위한 알고리즘 개발을 주도했다. CHIRP는 2019년 4월 최초의 블랙홀 이미지를 획득하는 데 사용된 이미지 검증 절차에 영감을 주었으며, 바우만은 이미지 검증, 사상수평선망원경으로 찍은 이미지 필터링 매개변수 선택, 그리고 서로 다른 이미지 재구성 기술의 결과를 비교하는 견고한 이미징 프레임워크 개발 참여를 통해 프로젝트에서 중요한 역할을 했다. 그녀의 그룹은 강한 중력장에서의 일반 상대성이론에 대해 더 많이 배우기 위해 사상수평선망원경의 이미지를 분석하고 있다.
바우만은 EHT 이미지에서 블랙홀 그림자의 발견에 대한 그녀의 반응을 보여주는 사진이 입소문을 타면서 상당한 언론의 주목을 받았다. 일부 언론과 인터넷 사용자는 바우만이 이미지 뒤의 "단독 천재"였다고 잘못 암시했다. 그러나 바우만 자신은 그 결과가 대규모 협력의 산물이며 과학에서 팀워크의 중요성을 보여준다고 반복해서 언급했다. 바우만은 또한 그녀의 동료 앤드류 채엘(Andrew Chael)이 팀이 달성한 작업을 자신에게만 돌리려는 시도를 포함하여 "동료이자 친구에 대한 끔찍하고 성차별적인 공격"을 비판하는 트위터 성명을 발표할 정도로 온라인 괴롭힘의 대상이 되었다.
바우만은 2019년 6월 캘리포니아 공과대학교(칼텍)에 조교수로 합류하여 컴퓨터 비전과 기계 학습을 사용하여 컴퓨테이셔널 이미징을 위한 새로운 시스템을 연구하고 있다. 2024년에는 컴퓨터 및 수학 과학, 전기 공학 및 천문학 부교수이자 로젠버그 학자로 승진했다. 바우만은 2020년에 칼텍에서 지명 교수직을 받았다. 2021년에는 왕립 사진 협회 진보 메달과 명예 회원 자격을 받았다.
그녀는 영국방송공사의 2019년 100인의 여성 중 한 명으로 인정받았다. 2024년, 바우만은 슬론 연구 펠로십을 수상했다.
통계학에서 후버 손실(Huber loss)은 로버스트 회귀에 사용되는 손실 함수로, 데이터의 이상치에 대해 제곱 오차 손실보다 덜 민감하다. 분류를 위한 변형도 때때로 사용된다.
후버 손실 함수는 추정량 에 의해 발생하는 페널티를 설명한다. 후버(1964)는 손실 함수를 다음과 같이 구분하여 정의한다.
이 함수는 의 작은 값에 대해서는 이차 함수이고, 큰 값에 대해서는 선형 함수이며, formula_2인 두 지점에서 다른 구간들의 값과 기울기가 동일하다. 변수 는 종종 잔차, 즉 관측값과 예측값의 차이 formula_3를 나타내므로, 전자는 다음과 같이 확장될 수 있다.
후버 손실은 절댓값 함수와 구형함수의 합성곱을 스케일링하고 변환한 것이다. 따라서 원점에서의 절댓값 함수의 모서리를 "부드럽게" 만든다.
두 가지 매우 일반적으로 사용되는 손실 함수는 제곱 손실, formula_5, 그리고 절댓값 손실, formula_6이다. 제곱 손실 함수는 산술 평균-비편향 추정량을 발생시키고, 절댓값 손실 함수는 중앙값-비편향 추정량(1차원 경우, 다차원 경우에 대해서는 기하중앙값-비편향 추정량)을 발생시킨다. 제곱 손실은 이상치에 의해 지배되는 경향이 있다는 단점이 있다. 즉, formula_7들의 집합에 대해 합산할 때(예: formula_8), 분포가 두꺼운 꼬리를 가질 때 표본 평균은 몇몇 특히 큰 formula_7 값에 의해 너무 많이 영향을 받는다. 추정 이론의 관점에서, 평균의 점근 상대 효율은 두꺼운 꼬리 분포에 대해 좋지 않다.
위에서 정의된 후버 손실 함수는 최소값 formula_10의 균일한 이웃에서 강볼록하다. 이 균일한 이웃의 경계에서 후버 손실 함수는 점 formula_11와 formula_12에서 아핀 함수로 미분 가능한 확장을 갖는다. 이러한 속성들은 평균의 평균-비편향, 최소-분산 추정량(이차 손실 함수 사용)의 민감도와 중앙값-비편향 추정량(절댓값 함수 사용)의 강건성을 결합할 수 있게 한다.
유사-후버 손실 함수.
유사-후버 손실 함수는 후버 손실 함수의 매끄러운 근사로 사용될 수 있다. 이는 대상/최소값에 가까울 때는 강볼록이고 극단적인 값에 대해서는 덜 가파르기 때문에 L2 제곱 손실과 L1 절댓값 손실의 가장 좋은 속성을 결합한다. 유사-후버 손실 함수가 최소값에 가까운 값에 대해 L2 손실에서 극단적인 값에 대해 L1 손실로 전환되는 스케일과 극단적인 값에서의 가파른 정도는 formula_13 값으로 제어할 수 있다. 유사-후버 손실 함수는 모든 차수에서 도함수가 연속임을 보장한다. 이는 다음과 같이 정의된다.
따라서 이 함수는 formula_7의 작은 값에 대해서는 formula_16를 근사하고, formula_7의 큰 값에 대해서는 기울기 formula_13를 가진 직선을 근사한다.
위의 형태가 가장 일반적이지만, 후버 손실 함수의 다른 매끄러운 근사도 존재한다.
분류를 위한 변형.
분류 목적을 위해, 수정된 후버 손실이라고 불리는 후버 손실의 변형이 때때로 사용된다. 예측 formula_19(실수 값 분류기 점수)와 실제 이항 클래스 레이블 formula_20이 주어질 때, 수정된 후버 손실은 다음과 같이 정의된다.
항 formula_22는 서포트 벡터 머신에서 사용되는 힌지 손실이다. 이차 평활화된 힌지 손실은 formula_23의 일반화이다.
후버 손실 함수는 로버스트 통계, M-추정, 가법 모델링에 사용된다.
헵 이론(Hebbian theory) 또는 헤비안 이론은 시냅스 효율성 증가가 시냅스전 세포의 시냅스후 세포에 대한 반복적이고 지속적인 자극으로 인해 발생한다고 주장하는 신경심리학 이론이다. 이는 학습 과정에서 신경 세포의 적응인 시냅스 가소성을 설명하려는 시도이다. 헵 이론은 도널드 헵이 1949년에 저술한 그의 저서 《행동의 조직》에서 소개되었다. 이 이론은 헵의 법칙(Hebb's rule), 헵의 가설(Hebb's postulate), 그리고 세포 집합체 이론(cell assembly theory)이라고도 불린다. 헵은 다음과 같이 진술했다.
공명 활동(또는 "흔적")의 지속성이나 반복이 안정성을 더하는 지속적인 세포 변화를 유도하는 경향이 있다고 가정하자. ... 세포 A의 축삭돌기가 세포 B를 흥분시킬 만큼 충분히 가깝고 반복적으로 또는 지속적으로 세포 B를 발화시키는 데 참여할 때, A가 B를 발화시키는 세포 중 하나로서 효율성이 증가하도록 두 세포 중 하나 또는 둘 다에서 어떤 성장 과정 또는 대사 변화가 일어난다.
이 이론은 종종 "함께 발화하는 뉴런은 함께 연결된다"로 요약된다. 그러나 헵은 세포 A가 세포 B를 "발화시키는 데 참여"해야 하며, 이러한 인과 관계는 세포 A가 세포 B와 동시에 발화하는 것이 아니라 세포 B 바로 전에 발화할 때만 발생할 수 있다고 강조했다. 헵의 작업에서 인과 관계의 이러한 측면은 시간적 선행을 요구하는 스파이크-타이밍-의존적 시냅스 가소성에 대해 현재 알려진 바를 예견했다.
헵 이론은 세포의 동시 활성화가 해당 세포들 사이의 시냅스 강도를 현저히 증가시키는 연합 학습 또는 헵 학습을 설명하려고 시도한다. 또한 교육 및 기억 재활을 위한 오류 없는 학습 방법에 대한 생물학적 근거를 제공한다. 인지 기능에서 인공 신경망 연구에서는 종종 비지도 학습의 신경학적 근거로 간주된다.
기억흔적, 세포 집합체 이론, 그리고 학습.
헵 이론은 뉴런이 어떻게 연결되어 기억흔적이 될 수 있는지에 대한 설명을 제공한다. 기억흔적은 특정 정보를 인코딩하는 겹치는 세포 집합체 또는 뉴런 그룹에 저장될 수 있다. 원래 특정 피질 뉴런 그룹의 반복 활동을 설명하기 위한 방법으로 만들어진 헵의 세포 집합체 형태와 기능에 대한 이론은 다음에서 이해할 수 있다.
일반적인 아이디어는 오래된 것으로, 동시에 반복적으로 활성화되는 두 세포 또는 세포 시스템은 '연합'되는 경향이 있어서 한 세포의 활동이 다른 세포의 활동을 촉진하게 된다.
헵은 또한 다음과 같이 썼다.
한 세포가 다른 세포를 발화시키는 데 반복적으로 도움을 줄 때, 첫 번째 세포의 축삭돌기는 두 번째 세포의 세포체와 접촉하는 시냅스 돌기(또는 이미 존재하는 경우 확장)를 발달시킨다.
D. 앨런 올포트(D. Alan Allport)는 세포 집합체 이론과 기억흔적 형성에 대한 그 역할에 관해 추가적인 아이디어를 제시하며, 부분적인 단서에 기반하여 정보를 검색하는 뇌의 능력인 자기연합(auto-association) 개념을 다음과 같이 설명한다.
만약 시스템에 대한 입력이 동일한 활동 패턴을 반복적으로 발생시킨다면, 그 패턴을 구성하는 활성 요소들의 집합은 점점 더 강하게 상호 연합될 것이다. 즉, 각 요소는 다른 모든 요소를 켜는 경향이 있고 (음수 가중치로는) 패턴의 일부를 형성하지 않는 요소들을 끄는 경향이 있을 것이다. 다른 말로 하면, 패턴 전체가 '자기연합'될 것이다. 우리는 학습된 (자기연합된) 패턴을 기억흔적(engram)이라고 부를 수 있다.
노벨상 수상자 에릭 캔들의 연구실에서 수행된 연구는 해양 복족류 캘리포니아 군소의 시냅스에서 헵 학습 메커니즘의 역할을 지지하는 증거를 제공했다. 해양 무척추동물의 말초신경계의 시냅스는 실험에서 조절하기가 훨씬 쉽기 때문에, 캔들의 연구는 헵의 장기강화와 활동 의존적 시냅스전 촉진이 캘리포니아 군소의 시냅스 가소성과 고전적 조건형성에 모두 필요하며 상호작용한다는 것을 발견했다.
무척추동물에 대한 연구가 학습과 기억의 근본적인 메커니즘을 확립했지만, 척추동물 뉴런 간의 장기적인 시냅스 변화에 대한 많은 연구는 뇌 세포의 비생리학적 실험 자극을 포함한다. 그러나 척추동물 뇌에서 연구된 생리학적으로 관련 있는 시냅스 변형 메커니즘 중 일부는 헵 과정의 예시로 보인다. 한 검토에 따르면 시냅스 강도의 장기적인 변화는 헵 및 비-헵 메커니즘을 모두 사용하여 생리학적으로 관련 있는 시냅스 활동에 의해 유도될 수 있다.
인공 뉴런과 인공 신경망에서 헵의 원리는 모델 뉴런 간의 가중치를 변경하는 방법을 결정하는 방법으로 설명될 수 있다. 두 뉴런이 동시에 활성화되면 두 뉴런 사이의 가중치는 증가하고, 개별적으로 활성화되면 감소한다. 동시에 양수이거나 음수 경향이 있는 노드는 강한 양수 가중치를 가지며, 반대 경향이 있는 노드는 강한 음수 가중치를 갖는다.
다음은 헵 학습의 공식적인 설명이다(다른 많은 설명도 가능하다).
여기서 formula_2는 뉴런 formula_3에서 뉴런 formula_4로의 연결 가중치이고, formula_5는 뉴런 formula_4에 대한 입력이다. 이것은 가중치가 모든 훈련 예시 후에 업데이트되는 패턴 학습의 한 예시이다. 홉필드 네트워크에서는 formula_7인 경우 (반사적 연결은 허용되지 않음) 연결 formula_2가 0으로 설정된다. 이진 뉴런(활성화가 0 또는 1)의 경우, 연결된 뉴런이 패턴에 대해 동일한 활성화를 가지면 연결은 1로 설정된다.
여러 훈련 패턴이 사용될 때, 표현식은 개별 패턴의 평균이 된다.
여기서 formula_2는 뉴런 formula_3에서 뉴런 formula_4로의 연결 가중치이고, formula_13는 훈련 패턴의 수이며 formula_14는 뉴런 formula_4에 대한 formula_16번째 입력이다. 이것은 모든 훈련 예시가 제시된 후에 가중치가 업데이트되는 에포크(epoch)별 학습이며, 이 마지막 항은 이산 및 연속 훈련 세트에 모두 적용 가능하다. 다시 홉필드 네트워크에서는 formula_7인 경우 (반사적 연결은 허용되지 않음) 연결 formula_2가 0으로 설정된다.
헵 학습의 변형 중 하나로 차단(blocking)과 같은 다른 신경 학습 현상을 고려한 것은 해리 클로프의 수학적 모델이다. 클로프의 모델은 단순한 적응 메커니즘을 가진 시스템의 일부가 신경망과 같이 더 발전된 적응 행동을 가진 복잡한 시스템의 기반이 될 수 있다고 가정한다.
비지도 학습, 안정성, 그리고 일반화와의 관계.
헵 학습은 시냅스전 및 시냅스후 활동의 동시성에만 기반한 단순한 특성을 가지고 있기 때문에, 이러한 형태의 가소성이 어떻게 의미 있는 학습으로 이어지는지 직관적으로 명확하지 않을 수 있다. 그러나 헵 가소성이 입력의 통계적 속성을 비지도 학습으로 분류될 수 있는 방식으로 파악한다는 것을 보여줄 수 있다.
이는 간단한 예시에서 수학적으로 나타낼 수 있다. 단일 속도 기반 뉴런의 속도를 formula_19라고 가정하고, 그 입력의 속도를 formula_20라고 하자. 뉴런 formula_19의 반응은 일반적으로 입력의 선형 조합인 formula_22에 이어서 활성화 함수 formula_23로 설명된다.
이전 섹션에서 정의한 대로, 헵 가소성은 시냅스 가중치 formula_25의 시간적 진화를 설명한다.
단순화를 위해 항등 반응 함수 formula_27를 가정하면 다음과 같이 쓸 수 있다.
또는 행렬 형태로:
이전 장에서와 같이, 에포크별 학습이 수행되면 formula_30의 이산 또는 연속 (시간) 훈련 세트에 대한 평균 formula_31을 구할 수 있다.formula_32여기서 formula_33는 formula_34이라는 추가 가정(즉, 입력의 평균이 0) 하에서 입력의 상관 행렬이다. 이것은 formula_35개의 결합된 선형 미분 방정식 시스템이다. formula_36는 대칭행렬이므로 대각화 가능하며, 그 고유 벡터 기저에서 작업하여 해를 다음과 같은 형태로 찾을 수 있다.
여기서 formula_38는 임의의 상수이고, formula_39는 formula_36의 고유 벡터이며 formula_41는 해당 고유값이다.
상관 행렬은 항상 양의 정부호 행렬이므로 고유값은 모두 양수이며, 위 해결책이 항상 시간에 따라 지수적으로 발산한다는 것을 쉽게 알 수 있다.
이는 헵 법칙의 이 버전이 불안정하기 때문에 발생하는 본질적인 문제이다. 지배적인 신호가 있는 모든 네트워크에서 시냅스 가중치는 지수적으로 증가하거나 감소할 것이다. 직관적으로, 이것은 시냅스전 뉴런이 시냅스후 뉴런을 흥분시킬 때마다 둘 사이의 가중치가 강화되어 미래에 더 강한 흥분을 유발하는 식으로 자기 강화 방식으로 진행되기 때문이다. 시냅스후 뉴런의 발화율을 비선형 포화 반응 함수 formula_23를 추가하여 제한하는 것이 해결책이라고 생각할 수도 있지만, 사실 어떤 뉴런 모델에서도 헵 법칙은 불안정하다는 것을 보여줄 수 있다. 따라서 뉴런의 네트워크 모델은 일반적으로 BCM 이론, 오야의 법칙, 또는 일반화된 헵 학습 알고리즘과 같은 다른 학습 이론을 사용한다.
그럼에도 불구하고, 위 불안정한 해결책의 경우에도 충분한 시간이 지나면 한 항이 다른 항을 지배하게 되며,
여기서 formula_44는 formula_36의 가장 큰 고유값이다. 이때, 시냅스후 뉴런은 다음 연산을 수행한다.
다시 말하지만, formula_47는 formula_48들 사이의 상관 행렬에서 가장 큰 고유값에 해당하는 고유 벡터이기 때문에, 이는 입력의 첫 번째 주성분을 계산하는 것과 정확히 일치한다.
이 메커니즘은 추가적인 시냅스후 뉴런을 추가함으로써 입력의 완전한 PCA(주성분 분석)를 수행하도록 확장될 수 있다. 단, 시냅스후 뉴런이 모두 동일한 주성분을 선택하는 것을 방지해야 한다. 예를 들어, 시냅스후 층에 측면 억제를 추가할 수 있다. 이로써 우리는 헵 학습을 PCA와 연결했는데, 이는 네트워크가 입력의 유용한 통계적 측면을 파악하고 이를 출력에서 정제된 방식으로 "설명"할 수 있다는 점에서 비지도 학습의 기본적인 형태이다.
헵 학습과 거울 신경 세포.
헵 학습과 스파이크-타이밍-의존적 시냅스 가소성은 거울 신경 세포가 어떻게 출현하는지에 대한 영향력 있는 이론에 사용되었다. 거울 신경 세포는 개인이 행동을 수행할 때와 다른 사람이 유사한 행동을 수행하는 것을 보거나 들을 때 모두 발화하는 뉴런이다. 이러한 뉴런의 발견은 개인이 다른 사람의 행동을 어떻게 이해하는지 설명하는 데 매우 영향력이 있었다. 왜냐하면 사람이 다른 사람의 행동을 인지할 때, 그 사람이 유사한 행동을 수행하는 데 사용할 뇌의 운동 프로그램이 활성화되어, 인지에 정보를 추가하고 인지자 자신의 운동 프로그램에 기반하여 그 사람이 다음에 무엇을 할지 예측하는 데 도움을 주기 때문이다. 거울 뉴런 기능에 대한 이 아이디어의 한계는 개인이 행동을 수행할 때와 다른 사람이 유사한 행동을 수행하는 것을 듣거나 볼 때 모두 반응하는 뉴런을 어떻게 발달시키는지 설명하는 것이다.
신경과학자 크리스티안 케이저스와 심리학자 데이비드 페럿은 개인이 행동을 수행하는 것을 관찰하거나 듣는 것이 마치 스스로 행동을 수행하는 것처럼 뇌 영역을 활성화한다고 제안했다. 이러한 재-구심성 감각 신호는 행동의 시각, 소리, 느낌에 반응하는 뉴런의 활동을 유발한다. 이 감각 뉴런의 활동은 행동을 유발하는 운동 뉴런의 활동과 시간적으로 지속적으로 겹치기 때문에, 헵 학습은 행동의 시각, 소리, 느낌에 반응하는 뉴런과 행동을 유발하는 뉴런을 연결하는 시냅스가 강화될 것이라고 예측한다. 사람들이 거울을 보거나, 옹알이를 듣거나, 다른 사람에게 모방될 때도 마찬가지이다. 이러한 재-구심성 신호가 반복적으로 발생한 후, 행동의 감각적 및 운동적 표상을 연결하는 시냅스는 너무 강해져서 운동 뉴런이 행동의 소리나 시각에 발화하기 시작하고, 거울 뉴런이 생성된다.
수많은 실험은 헵 학습이 거울 뉴런 형성에 중요하는 아이디어를 뒷받침하는 증거를 제공한다. 증거에 따르면 운동 프로그램은 새로운 청각 또는 시각 자극과 운동 프로그램 실행의 반복적인 짝짓기 후 유발될 수 있다. 예를 들어, 피아노를 쳐본 적이 없는 사람들은 피아노 음악을 들을 때 피아노 연주와 관련된 뇌 영역을 활성화하지 않는다. 피아노를 5시간 배우면서 참가자가 건반을 누를 때마다 피아노 소리에 노출되면 나중에 피아노 음악을 들을 때 뇌의 운동 영역 활동을 유발하기에 충분하다는 것이 입증되었다. 스파이크-타이밍-의존적 시냅스 가소성이 시냅스전 뉴런의 발화가 시냅스후 뉴런의 발화를 예측하는 경우에만 발생한다는 사실과 일치하게, 감각 자극과 운동 프로그램 간의 연결도 자극이 운동 프로그램에 따라 달라지는 경우에만 강화되는 것으로 보인다.
헵 이론과 인지 신경과학.
헵 학습은 의사 결정 및 사회 학습과 같은 인지 과정과 연관되어 있다. 인지 신경과학 분야는 선조체 및 전두엽 피질과 같은 보상 처리 및 사회 인지를 담당하는 뇌 영역과 헵 이론의 교차점을 탐색하기 시작했다. 특히, 헵 모델에 노출된 선조체 투사는 생체 내에서 장기강화 및 장기 억제를 나타낸다. 또한, 전두엽 피질의 자극에 대한 모델("혼합 선택성")은 무작위 연결성만으로는 완전히 설명되지 않지만, 헵 패러다임이 통합되면 모델에서 혼합 선택성 수준에 도달한다. 피터 퍼트넘(Peter Putnam)과 로버트 W. 풀러는 이러한 영역에서의 헵 가소성이 습관 형성, 강화 학습, 심지어 사회적 유대감 발달과 같은 행동의 근간이 될 수 있다고 가설을 세웠다.
헵 모델이 장기강화에 널리 사용됨에도 불구하고, 헵 이론은 모든 형태의 장기 시냅스 가소성을 다루지는 않는다. 헵은 억제성 시냅스에 대한 규칙이나 역인과적 스파이크 시퀀스(시냅스전 뉴런이 시냅스후 뉴런보다 나중에 발화하는 경우)에 대한 예측을 제시하지 않았다. 시냅스 변형은 활성화된 뉴런 A와 B 사이에서만 발생하는 것이 아니라 인접한 시냅스에서도 발생할 수 있다. 따라서 모든 형태의 이종시냅스 가소성과 항상성 가소성은 비-헵적인 것으로 간주된다. 한 가지 예는 시냅스전 말단으로의 역행성 신호이다. 역행성 전달체로 가장 흔히 인식되는 화합물은 높은 용해성과 확산성 때문에 종종 주변 뉴런에 영향을 미치는 일산화 질소이다. 볼륨 학습으로 알려진 이러한 유형의 확산성 시냅스 변형은 전통적인 헵 모델에 포함되지 않는다.
현대의 발전, 인공지능, 그리고 계산적 발전.
현대 연구는 헵의 원래 아이디어를 확장했다. 예를 들어 스파이크-타이밍-의존적 시냅스 가소성(STDP)은 뉴런 스파이크의 정확한 타이밍을 헵 이론에 통합하여 헵의 원리를 정교하게 다듬는다. 또한 실험적 발전은 헵 학습을 의사 결정 및 정서 조절과 같은 복잡한 행동과 연결시켰다. 인공지능(AI) 및 양자 컴퓨팅에 대한 현재 연구는 적응형 알고리즘을 개발하고 기계 학습 모델을 개선하기 위해 헵의 개념을 계속 활용하고 있다.
AI에서 헵 학습은 전통적인 신경망을 넘어 응용 분야를 확장했다. 중요한 발전 중 하나는 강화 학습 알고리즘인데, 여기서 헵과 유사한 학습이 훈련 단계 동안 자극의 타이밍과 강도에 따라 가중치를 업데이트하는 데 사용된다. 일부 연구자들은 인공 시스템 학습을 위한 생물학적으로 더 그럴듯한 모델을 개발하기 위해 헵 원리를 적용했으며, 이는 AI 응용 분야에서 모델 효율성과 수렴을 향상시킬 수 있다.
헵 학습의 양자 컴퓨팅 적용은 점차 관심이 높아지는 분야이다. 고전 신경망이 헵 이론의 주요 적용 분야이지만, 최근 연구에서는 양자에서 영감을 받은 알고리즘의 잠재력을 탐구하기 시작했다. 이러한 알고리즘은 양자 중첩 및 얽힘 원리를 활용하여 양자 시스템의 학습 과정을 향상시킨다. 현재 연구는 헵 원리가 보다 효율적인 양자 기계 학습 모델 개발에 어떻게 영향을 미칠 수 있는지 탐구하고 있다.
헵 학습을 개선하거나 확장하는 새로운 계산 모델이 등장했다. 예를 들어, 일부 모델은 이제 신경 스파이크의 정확한 타이밍(스파이크-타이밍-의존적 시냅스 가소성과 같이)을 고려하며, 다른 모델은 도파민과 같은 신경전달물질이 시냅스 연결의 강도에 어떻게 영향을 미치는지 설명하기 위해 신경조절의 측면을 통합했다. 이러한 고급 모델은 헵 학습이 뇌에서 어떻게 작동하는지에 대한 보다 미묘한 이해를 제공하며, 보다 사실적인 계산 모델 개발에 기여하고 있다.
헵 학습에 대한 최근 연구는 전통적인 헵 모델에서 종종 간과되는 억제성 뉴런의 역할에 초점을 맞추고 있다. 고전적인 헵 이론은 주로 흥분성 뉴런에 초점을 맞추지만, 신경 학습의 보다 포괄적인 모델은 흥분성 및 억제성 시냅스 간의 균형 잡힌 상호 작용을 고려한다. 연구에 따르면 억제성 뉴런은 신경 회로의 안정성을 유지하는 데 중요한 조절을 제공할 수 있으며, 헵 학습에서 폭주하는 양성 피드백을 방지할 수 있다.
LMArena(이전 이름: 챗봇 아레나, Chatbot Arena)는 익명의 크라우드 소싱 쌍별 비교를 통해 대형 언어 모델 (LLM)을 평가하는 공개 웹 기반 플랫폼이다. 사용자들은 두 개의 익명 모델에 프롬프트를 입력하여 응답을 받고, 더 나은 응답을 제공한 모델에 투표하면 모델의 정체가 공개된다. 사용자들은 직접 테스트할 모델을 선택할 수도 있다.
LMArena는 인공지능 산업에서 인기가 많으며, 주요 기업들은 오픈AI의 GPT-4o 및 o1, 구글 딥마인드의 제미나이, 앤트로픽의 클로드와 같은 대형 언어 모델을 제공하고, 그 후속 순위를 사용하여 홍보한다.