신경망 스케일링 법칙

1998년부터 2024년까지 다양한 벤치마크에서 AI 모델의 성능 기계 학습에서 **신경망 스케일링 법칙**(Neural scaling law)은 인공 신경망의 성능이 주요 요인이 확대되거나 축소됨에 따라 어떻게 변하는지를 설명하는 스케일링 법칙이다. 이러한 요인에는 일반적으로 매개변수 수, 훈련 데이터셋 크기,bibcode=2024PNAS..12111878Bfirst9=Yanqi 및 훈련 비용이 포함된다. 일부 모델은 테스트 시간 연산을 증가시켜 추론을 스케일링하여 성능 향상을 보이기도 하며, 이는 신경망 스케일링 법칙이 훈련 단계를 넘어 배포 단계까지 확장됨을 보여준다.
# 서론
일반적으로 딥 러닝 모델은 모델 크기, 훈련 데이터셋 크기, 훈련 비용 및 훈련 후 오류율(예: 테스트 세트 오류율)의 네 가지 매개변수로 특성화될 수 있다. 이들 각 변수는 실수로 정의되며, 일반적으로 N, D, C, L (각각 매개변수 수, 데이터셋 크기, 계산 비용, 손실)로 표기된다. 신경망 스케일링 법칙은 이러한 매개변수 간의 이론적 또는 경험적 통계 법칙이다. 다른 스케일링 법칙을 가진 다른 매개변수들도 있다.
## 모델 크기
대부분의 경우 모델의 크기는 단순히 매개변수 수이다. 그러나 전문가 혼합 모델과 같은 희소 모델을 사용하면 복잡성이 발생한다.arxiv=2201.05596 희소 모델에서는 추론 시 매개변수의 일부만 사용된다. 반면, 트랜스포머 모델과 같은 대부분의 다른 종류의 인공 신경망은 추론 시 항상 모든 매개변수를 사용한다.
## 훈련 데이터셋 크기
훈련 데이터셋의 크기는 일반적으로 데이터 포인트 수로 측정된다. 더 큰 훈련 데이터셋은 일반적으로 모델이 학습할 수 있는 더 풍부하고 다양한 정보원을 제공하므로 선호된다. 이는 모델을 새롭고 보지 못한 데이터에 적용할 때 일반화 성능을 향상시킬 수 있다.Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. 그러나 훈련 데이터셋의 크기를 늘리면 모델 훈련에 필요한 계산 자원과 시간도 증가한다. 대부분의 대형 언어 모델에 사용되는 "사전 훈련 후 미세 조정" 방법에는 사전 훈련 데이터셋과 미세 조정 데이터셋의 두 가지 종류의 훈련 데이터셋이 있다. 이들의 크기는 모델 성능에 다른 영향을 미친다. 일반적으로 미세 조정 데이터셋은 사전 훈련 데이터셋 크기의 1% 미만이다.eprint=2305.11206 경우에 따라 소량의 고품질 데이터만으로도 미세 조정에 충분하며, 더 많은 데이터가 반드시 성능 향상으로 이어지지는 않는다.
## 훈련 비용
시간에 따른 첨단 AI 모델 훈련을 위한 상각된 하드웨어 및 에너지 비용 훈련 비용은 일반적으로 시간(모델 훈련에 걸리는 시간)과 계산 자원(필요한 처리 능력 및 메모리 양)으로 측정된다. 효율적인 훈련 알고리즘, 최적화된 소프트웨어 라이브러리, GPU 또는 TPU와 같은 전문 하드웨어에서의 병렬 컴퓨팅을 통해 훈련 비용을 크게 줄일 수 있다는 점에 유의해야 한다. 인공 신경망 모델 훈련 비용은 모델 크기, 훈련 데이터셋 크기, 훈련 알고리즘의 복잡성 및 사용 가능한 계산 자원을 포함한 여러 요인의 함수이다. 특히, 훈련 데이터셋 크기를 두 배로 늘린다고 해서 훈련 비용이 반드시 두 배가 되는 것은 아니다. 동일한 데이터셋에 대해 모델을 여러 번 훈련할 수 있기 때문이다(각 훈련은 "에포크"임).
## 성능
시그모이드 함수로 나타낸 AI 규모 대비 MMLU 성능publisher=Google 성능 location=그림 2 인공 신경망 모델의 성능은 주어진 입력 데이터에 대해 출력을 정확하게 예측하는 능력에 따라 평가된다. 모델 성능 평가를 위한 일반적인 지표는 다음과 같다. * 언어 모델링을 위한 토큰당 음의 로그 가능도(퍼플렉시티의 로그); * 정확도, 정밀도, 재현율 및 F1 점수는 분류 작업용; * 평균 제곱 오차 (MSE) 또는 평균 절대 오차 (MAE)는 회귀 작업용; * 게임 플레이class=cs.LG 또는 인간 심판의 선호도와 같은 다른 모델과의 경쟁에서 엘로 평점.LMSYS 챗봇 리더보드 성능은 더 많은 데이터, 더 큰 모델, 다른 훈련 알고리즘, 과적합 방지를 위한 모델 정칙화, 검증 세트를 사용한 조기 중단을 통해 향상될 수 있다. 정확도, 정밀도 등과 같이 성능이 [0, 1] 범위 내의 숫자인 경우, 그림에서 볼 수 있듯이 비용의 시그모이드 함수로 스케일링되는 경우가 많다.
# 예시

## (헤스트니스, 나랑 외, 2017)
2017년 논문은 실험 데이터에 대한 통계 분석을 통해 피팅된 신경망 스케일링 법칙의 일반적인 참조 지점이다. 논문에서 인용된 2000년대 이전의 이전 연구들은 이론적이거나 규모가 훨씬 작았다. 이전 연구들은 일반적으로 스케일링 지수가 L \propto D^{-\alpha} 와 같이 스케일링되며, \alpha \in \\{0.5, 1, 2\\} 라고 밝혔지만, 이 논문은 \alpha \in [0.07, 0.35]임을 발견했다. 그들이 변화시킨 요인들 중 오직 작업(task)만이 지수 \alpha를 변경할 수 있었다. 아키텍처 최적화, 정규화기, 손실 함수를 변경하는 것은 비례 계수만 변경하고 지수는 변경하지 않았다. 예를 들어, 동일한 작업에 대해 한 아키텍처는 L = 1000 D^{-0.3} 일 수 있지만 다른 아키텍처는 L = 500 D^{-0.3}일 수 있다. 그들은 또한 주어진 아키텍처에 대해 고정된 데이터셋 크기에서 가장 낮은 손실 수준에 도달하는 데 필요한 매개변수 수가 다른 지수 \beta에 대해 N \propto D^{\beta}와 같이 증가한다는 것을 발견했다. 그들은 LSTM을 사용한 기계 번역(\alpha \sim 0.13 ), LSTM을 사용한 생성 언어 모델링(\alpha \in [0.06, 0.09], \beta \approx 0.7), ResNet을 사용한 ImageNet 분류(\alpha \in [0.3, 0.5], \beta \approx 0.6), 두 가지 하이브리드(CNN 또는 어텐션 디코더로 보완된 LSTM) 아키텍처를 사용한 음성 인식(\alpha \approx 0.3)을 연구했다.
## (헤니건, 카플란 외, 2020)
2020년 분석first19=Sam은 광범위한 값에 걸쳐 C, N, D, L 간의 통계적 관계를 연구하여 N \in [10^3, 10^9], C\in [10^{12}, 10^{21}] 범위 및 여러 모달리티(텍스트, 비디오, 이미지, 텍스트-이미지 등)에 걸쳐 유사한 스케일링 법칙을 발견했다. 특히, 그들이 발견한 스케일링 법칙은 다음과 같다(의 표 1). * 각 모달리티에 대해 그들은 두 C, N 중 하나를 고정하고 다른 하나를 변경했다(D는 D = C/6N을 사용하여 함께 변경됨). 달성 가능한 테스트 손실은 다음을 만족한다. L = L_0 + \left( \frac{x_0}{x}\right)^\alpha 여기서 x는 변경된 변수이고, L_0, x_0, \alpha는 통계적 피팅을 통해 찾아야 할 매개변수이다. 매개변수 \alpha가 가장 중요하다. ** N이 변경된 변수일 때, \alpha는 모델 모달리티에 따라 0.037 에서 0.24 범위이다. 이는 Chinchilla 스케일링 논문의 \alpha = 0.34 에 해당한다. ** C가 변경된 변수일 때, \alpha는 모델 모달리티에 따라 0.048 에서 0.19 범위이다. 이는 Chinchilla 스케일링 논문의 \beta = 0.28 에 해당한다. * 고정된 계산 예산이 주어졌을 때, 최적의 모델 매개변수 수는 일관되게 다음과 같다. N_{opt}(C) =\left(\frac{C}{5\times 10^{-12}\text{petaFLOP-day\right)^{0.7} = 9.0\times 10^{-7} C^{0.7} 매개변수 9.0 \times 10^{-7}은 다른 모달리티에 따라 최대 10배까지 달라진다. 지수 매개변수 0.7은 다른 모달리티에 따라 0.64에서 0.75까지 달라진다. 이 지수는 Chinchilla 스케일링 논문의 \approx 0.5에 해당한다. * D_{opt}(C) \propto N_{opt}(C)^{0.4} \propto C^{0.28}이 "강력히 제안되었지만" (통계적으로 확인되지는 않음). 이 지수는 Chinchilla 스케일링 논문의 \approx 0.5에 해당한다. L = L_0 + (C_0/C)^{0.048}의 스케일링 법칙은 GPT-3 훈련 중 확인되었다(그림 3.1eprint=2005.14165).
## 친칠라 스케일링 (호프만 외, 2022)
language=en 특정 스케일링 법칙("친칠라 스케일링")은 하나의 에포크 동안 자기회귀적으로 훈련된 대형 언어 모델에 대해 코사인 학습률 스케줄을 사용하면 다음과 같다고 말한다.eprint=2203.15556 \begin{cases} C = C_0 ND\\\ L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta + L_0 \end{cases} 여기서 변수들은 다음과 같다. * C는 모델 훈련 비용으로, FLOPS 단위이다. * N은 모델의 매개변수 수이다. * D는 훈련 세트의 토큰 수이다. * L은 훈련된 LLM이 테스트 데이터셋에서 달성한 토큰당 평균 음의 로그-가능도 손실(내트/토큰)이다. ** L_0는 테스트 데이터에 대한 이상적인 생성 과정의 손실을 나타낸다. ** \frac{A}{N^\alpha}는 N개의 매개변수를 가진 트랜스포머 언어 모델이 이상적인 생성 과정보다 성능이 떨어진다는 사실을 나타낸다. ** \frac{B}{D^\beta}는 D개의 토큰으로 훈련된 모델이 이상적인 생성 과정보다 성능이 떨어진다는 사실을 나타낸다. 그리고 통계적 매개변수들은 다음과 같다. * C_0 = 6은 하나의 토큰에 대해 훈련하는 데 매개변수당 6 FLOP가 소요됨을 의미한다. 이는 Kaplan et al.의 추정치이다.arxiv=2001.08361 훈련 비용은 추론 비용보다 훨씬 높다. 훈련은 순방향 및 역전파를 모두 포함하는 반면, 추론은 하나의 토큰을 추론하는 데 매개변수당 1~2 FLOP가 소요된다. * \alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69. 비록 Besiroglu et al.class=cs.AI은 통계적 추정치가 약간 틀렸으며 \alpha = 0.35, \beta = 0.37, A = 482.01, B = 2085.43, L_0 = 1.82여야 한다고 주장한다. 통계 법칙은 N\in [7\times 10^7, 1.6 \times 10^{10}], D \in [5\times 10^9, 5\times 10^{11}], C \in [10^{18}, 10^{24}] 범위의 실험 데이터에 맞춰졌다. 2개의 방정식으로 4개의 변수가 관련되어 있으므로, 1개의 추가 제약 조건과 1개의 추가 최적화 목표를 부과하면 4개의 변수 모두를 풀 수 있다. 특히, 어떤 고정된 C에 대해서든 L을 최소화하는 4개의 변수 모두를 고유하게 풀 수 있다. 이는 고정된 C에 대한 최적의 D_{opt}(C), N_{opt}(C)를 제공한다. N_{o p t}(C)=G\left(\frac{C}{6}\right)^a, \quad D_{o p t}(C)=G^{-1}\left(\frac{C}{6}\right)^b, \quad \text { where } \quad G=\left(\frac{\alpha A}{\beta B}\right)^{\frac{1}{\alpha+\beta, \quad a=\frac{\beta}{\alpha+\beta} \text {, and } b=\frac{\alpha}{\alpha+\beta} \text {. } 수치 값을 대입하면 "친칠라 효율적"인 모델 크기와 훈련 데이터셋 크기, 그리고 달성 가능한 테스트 손실을 얻을 수 있다. \begin{cases} N_{opt}(C) = 0.6 \; C^{0.45} \\\ D_{opt}(C) = 0.3 \; C^{0.55} \\\ L_{opt}(C) = 1070 \; C^{-0.154} + 1.7 \end{cases} 유사하게, 우리는 고정된 모델 매개변수 크기에 대한 최적 훈련 데이터셋 크기 및 훈련 계산 예산을 찾을 수 있다. "친칠라 효율적" 모델 크기와 훈련 데이터셋 크기에 대한 다른 추정치도 있다. 위는 L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta + L_0의 통계 모델을 기반으로 한다. 우회하지 않고 D_{opt}(C), N_{opt}(C)에 대한 통계 법칙을 직접 피팅할 수도 있으며, 이를 통해 다음을 얻을 수 있다. \begin{cases} N_{opt}(C) = 0.1 \; C^{0.5}\\\ D_{opt}(C) = 1.7 \; C^{0.5} \end{cases} 또는 표로 나타내면: {| class="wikitable" |+ !N_{opt}(C) !C / FLOP !C / FLOPs of training Gopher !D_{opt}(C) |- |4억 |1.92e+19 |1/29968 |80억 |- |10억 |1.21e+20 |1/5706 |202억 |- |100억 |1.23e+22 |1/2819 |2051억 |- |670억 |5.76e+23 |1 |1조 5천억 |- |1750억 |3.85e+24 |6.7 |3조 7천억 |- |2800억 |9.90e+24 |17.2 |5조 9천억 |- |5200억 |3.43e+25 |59.5 |11조 |- |1조 |1.27e+26 |221.3 |21조 2천억 |- |10조 |1.30e+28 |22515.9 |216조 2천억 |}
### 불일치
트랜스포머 언어 모델 훈련을 위한 친칠라 스케일링 법칙 분석은 주어진 훈련 계산 예산(C)에서 해당 예산에 대한 최소 사전 훈련 손실을 달성하기 위해 모델 매개변수 수(N)와 훈련 토큰 수(D)가 동일한 비율로 스케일링되어야 한다고 제안한다. 즉, N_{opt}(C) \propto C^{0.5}, D_{opt}(C) \propto C^{0.5}이다. 이 결론은 Kaplan et al.의 분석 결과와 다르다. Kaplan et al.은 N이 D보다 더 빠르게 증가해야 한다고 밝혔다. 즉, N_{opt}(C) \propto C^{0.73}, D_{opt}(C) \propto C^{0.27}이다. 이 불일치는 주로 두 연구가 모델 크기를 측정하는 데 다른 방법을 사용했기 때문이다. Kaplan et al.: * 토큰 임베딩 레이어의 매개변수를 세지 않았는데, 이는 더 작은 모델 크기에서 분석할 때 편향된 계수로 이어진다. * 친칠라 그룹보다 작은 모델을 연구하여 효과를 증폭시켰다. * L_\infty = 0이라고 가정했다. 하이퍼파라미터 튜닝 및 학습률 스케줄의 차이로 인해 부수적인 효과도 발생한다. Kaplan et al.: * 작은 모델에 비해 너무 긴 웜업 스케줄을 사용하여 효율성이 떨어지는 것처럼 보였다. * 최적화 하이퍼파라미터를 완전히 튜닝하지 않았다.
### 친칠라 스케일링을 넘어서
친칠라 스케일링은 많은 대규모 훈련 실행의 기준점이 되었으므로, "친칠라 스케일링을 넘어서"려는 동시적인 노력이 있었다. 이는 훈련 파이프라인의 일부를 수정하여 더 적은 노력으로 동일한 손실을 얻거나, "친칠라 최적"보다 의도적으로 더 오래 훈련하는 것을 의미한다. 일반적으로 목표는 스케일링 법칙 지수를 더 크게 만드는 것이다. 이는 동일한 손실을 훨씬 적은 계산으로 훈련할 수 있음을 의미한다. 예를 들어, 데이터 필터링은 스케일링 법칙 지수를 더 크게 만들 수 있다.class=cs.LG 또 다른 연구 분야는 제한된 데이터를 다루는 방법을 연구한다. 친칠라 스케일링 법칙에 따르면, 가장 큰 언어 모델의 훈련 데이터셋 크기는 이미 인터넷에서 사용 가능한 데이터에 근접하기 때문이다.class=cs.CL은 데이터셋에서 구성된 "노이즈 제거 목표"의 혼합으로 데이터셋을 증강하면 성능이 향상됨을 발견했다.arxiv=2305.16264는 사용 가능한 모든 데이터가 이미 소진된 경우(예: 희귀 언어) 최적 스케일링을 연구한다. 이 경우 동일한 데이터셋에 대해 여러 에포크를 훈련해야 한다(친칠라 스케일링은 하나의 에포크만 필요함). Phi 소형 언어 모델 시리즈는 대형 언어 모델이 생성한 교과서와 유사한 데이터로 훈련되었으며, 이 데이터는 사용 가능한 계산량에 의해서만 제한된다.class=cs.CL 친칠라 최적성은 "훈련 계산에 최적"으로 정의되었지만, 실제 생산 품질 모델에서는 훈련 완료 후 많은 추론이 발생한다. 훈련 중 "과훈련"은 추론 중 더 나은 성능을 의미한다.class=cs.LG LLaMA 모델은 이러한 이유로 과훈련되었다. 후속 연구에서는 친칠라 최적보다 최대 32배 더 큰 데이터셋 크기에 대해 과훈련 체제에서의 스케일링 법칙을 발견했다.class=cs.CL
## 손상된 신경망 스케일링 법칙 (BNSL)
2022년 분석class=cs.LG은 인공 신경망의 많은 스케일링 동작이 매끄럽게 파괴된 멱법칙 함수 형태를 따른다는 것을 발견했다. y = a + \bigg(bx^{-c_0}\bigg) \prod_{i=1}^n \left(1 + \left(\frac{x}{d_i}\right)^{1/f_i}\right)^{-c_i * f_i} 여기서 x는 스케일링되는 양(예: C, N, D, 훈련 단계 수, 추론 단계 수 또는 모델 입력 크기)을 나타내고, y는 제로샷, 프롬프트, 또는 미세 조정 설정에서 관심 있는 다운스트림(또는 업스트림) 성능 평가 지표(예: 예측 오류, 교차 엔트로피, 보정 오류, AUROC, BLEU 점수 백분율, F1 점수, 보상, 엘로 평점, 해결률 또는 FID 점수)를 나타낸다. 매개변수 a, b, c_0, c_1 ... c_n, d_1 ... d_n, f_1 ... f_n는 통계적 피팅을 통해 찾아진다. 로그-로그 플롯에서 f_i가 너무 크지 않고 a가 y축에서 제거되었을 때, 이 함수 형태는 호로 연결된 일련의 선형 세그먼트처럼 보인다. 세그먼트 사이의 n개의 전환을 "단절"이라고 부르며, 이로부터 손상된 신경망 스케일링 법칙(BNSL)이라는 이름이 유래했다. 인공 신경망의 스케일링 동작이 이 함수 형태를 따르는 것으로 밝혀진 시나리오는 대규모 비전, 언어, 오디오, 비디오, 확산, 생성 모델링, 멀티모달 학습, 대조 학습, AI 정렬, AI 능력, 로봇공학, 분포 외(OOD) 일반화, 지속 학습, 전이학습, 불확실성 추정/보정, 분포 외 탐지, 적대적 강건성, 지식 증류, 희소성, 검색, 양자화, 가지치기, 공정성, 분자, 컴퓨터 프로그래밍/코딩, 수학 단어 문제, 산술, 창발 능력, 이중 하강, 지도 학습, 비지도/자기 지도 학습, 강화 학습(단일 에이전트 및 다중 에이전트)을 포함한다. 인공 신경망의 스케일링 동작이 이 함수 형태를 따르는 것으로 밝혀진 아키텍처는 잔차 신경망, 트랜스포머, MLP, MLP-믹서, 순환 신경망, 합성곱 신경망, 그래프 신경망, U-Net, 인코더-디코더 (및 인코더만) (및 디코더만) 모델, 앙상블 (및 비앙상블), MoE (전문가 혼합) (및 비MoE) 모델, 희소 가지치기 (및 비희소 가지치기) 모델을 포함한다.
## 추론 스케일링
다양한 훈련 시간 및 테스트 시간 계산에서 헥스 보드 게임을 플레이하도록 훈련된 알파제로 에이전트의 엘로 평점추론 언어 모델 훈련 계산을 늘리는 것 외에도 추론 계산(또는 "테스트 시간 계산")을 늘릴 수도 있다. 예를 들어, 알파고의 엘로 평점은 플레이당 몬테카를로 트리 탐색에 더 많은 시간을 할애할수록 꾸준히 향상된다.url-access=subscriptionlocation=그림 4 알파고 제로의 경우, 엘로를 120점 올리려면 모델 크기와 훈련을 2배 늘리거나, 테스트 시간 검색을 2배 늘려야 한다.via=YouTube 2024년 5월 23일 목요일 오후 3시 30분 폴 지. 앨런 스쿨 강의 유사하게, 경쟁 수준 코딩 문제를 해결하기 위한 언어 모델인 AlphaCode는 더 많은 검색 시간을 통해 성능이 꾸준히 향상되었다(로그-선형적으로).issn=0036-8075 헥스의 경우, 훈련 시간 계산 10배는 테스트 시간 계산 15배에 해당한다. 헤즈업 노 리밋 텍사스 홀덤의 리브라투스와 디플로머시의 시세로를 비롯한 많은 추상적 부분 정보 게임에서 추론 시간 검색은 유사한 트레이드오프 비율로 성능을 향상시키며, 훈련 시간 계산에서 최대 100,000배의 효과적인 증가를 가져온다. 2024년, 오픈AI o1 보고서는 o1의 성능이 훈련 시간 계산과 테스트 시간 계산 모두 증가함에 따라 꾸준히 향상되었음을 문서화했으며, 수학, 과학적 추론 및 코딩 작업에서 테스트 시간 계산 스케일링의 수많은 예를 제시했다.language=enpublisher=OpenAI 테스트 시간 계산을 확장하는 한 가지 방법은 **과정 기반 감독**이다. 이는 모델이 질문에 답하기 위해 단계별 추론 사슬을 생성하고, 다른 모델(인간 또는 AI)이 최종 답변뿐만 아니라 중간 단계 중 일부에 대해 보상 점수를 제공하는 방식이다. 과정 기반 감독은 다른 모델 없이 합성 보상 점수를 사용하여 임의로 확장할 수 있다. 예를 들어, 몬테카를로 롤아웃을 실행하고 추론의 각 단계에 대해 올바른 답변으로 이어질 가능성에 따라 점수를 매기는 방식이다. 또 다른 방법은 **수정 모델**을 사용하는 것이다. 이는 문제를 여러 번 해결하도록 훈련된 모델로, 매번 이전 시도를 수정한다.
## 기타 예시

### 비전 트랜스포머
비전 트랜스포머는 언어 트랜스포머와 유사하게 스케일링 법칙을 보인다. 2022년 연구에서는 매개변수 개수가 N\in [5\times 10^6, 2\times 10^9]인 비전 트랜스포머를 이미지 세트 크기가 D \in [3\times 10^{7}, 3\times 10^{9}]인 이미지 세트에서 훈련하여 C\in [0.2, 10^4] (TPUv3-코어-일 단위)의 계산을 수행했다.pages=12104–12113 모델 훈련 후, ImageNet 훈련 세트에서 미세 조정된다. 미세 조정된 모델이 ImageNet 테스트 세트를 분류하는 오류 확률을 L이라고 하자. 그들은 \min_{N, D} L = 0.09 + \frac {0.26}{(C + 0.01)^{0.35임을 발견했다.
### 신경망 기계 번역
Ghorbani, Behrooz et al.eprint=2109.07740은 신경망 기계 번역 (구체적으로, 영어를 원문으로, 독일어를 번역문으로)의 트랜스포머 인코더-디코더 모델에 대한 스케일링 법칙을 연구했다. 이 모델들은 동일한 데이터셋에서 수렴할 때까지 훈련되었으므로, 계산 비용 C 또는 데이터셋 크기 D에 대한 스케일링 법칙은 피팅하지 않았다. 그들은 N \in [10^8, 3.5 \times 10^9]를 변화시켰다. 세 가지 결과를 발견했다. * L은 N_E, N_D의 스케일링 법칙 함수이며, 여기서 N_E, N_D는 인코더 및 디코더 매개변수 수이다. 이는 단순히 총 매개변수 수 N = N_E + N_D의 함수가 아니다. 함수는 L\left(N_e, N_d\right)=\alpha\left(\frac{\bar{N}_e}{N_e}\right)^{p_e}\left(\frac{\bar{N}_d}{N_d}\right)^{p_d}+L_{\infty} 형태를 가지며, 여기서 \alpha, p_e, p_d, L_{\infty}, \bar N_e, \bar N_d는 피팅된 매개변수이다. 그들은 N이 고정될 때 N_d/N \approx 0.55가 손실을 최소화한다는 것을 발견했다. * 훈련 및 테스트 데이터셋이 "원문 중심(source-natural)"일 때보다 "번역문 중심(target-natural)"일 때 L이 더 작은 모델에서 "포화된다"(즉, L_\infty에 도달한다). "원문 중심" 데이터 포인트는 영어-독일어 문장 쌍을 의미하며, 모델은 영어 문장을 독일어로 번역하도록 요청받고, 영어 문장은 원어민 영어 작가가 작성한 반면 독일어 문장은 기계 번역기가 영어 문장을 번역한 것이다.arxiv=1804.09849 두 종류의 데이터셋을 구축하기 위해 저자들은 온라인에서 자연스러운 영어 및 독일어 문장을 수집한 다음 기계 번역을 사용하여 번역본을 생성했다. * 모델이 커질수록 원문 기반 데이터셋으로 훈련된 모델은 낮은 손실을 달성할 수 있지만 BLEU 점수는 나빠진다. 이와 대조적으로, 번역문 기반 데이터셋으로 훈련된 모델은 낮은 손실과 좋은 BLEU 점수를 동시에 달성한다(그림 10, 11). 저자들은 원문 기반 데이터셋이 균일하고 단조로운 번역문 문장을 가지고 있으며, 따라서 번역문 문장을 예측하도록 훈련된 모델은 빠르게 과적합될 것이라고 가정한다. doi-access=free는 기계 번역을 위해 N \in [4 \times 10^5 , 5.6 \times 10^7] 크기의 트랜스포머를 D \in [6\times 10^5, 6 \times 10^9] 데이터셋 크기에서 훈련했다. 그들은 Kaplan et al. (2020)의 스케일링 법칙이 기계 번역에 적용된다는 것을 발견했다. 즉, L(N, D)=\left[\left(\frac{N_C}{N}\right)^{\frac{\alpha_N}{\alpha_D+\frac{D_C}{D}\right]^{\alpha_D}이다. 그들은 또한 BLEU 점수가 BLEU \approx C e^{-kL}로 스케일링된다는 것을 발견했다.
### 전이학습
Hernandez, Danny et al.eprint=2102.01293는 언어 모델의 전이학습에 대한 스케일링 법칙을 연구했다. 그들은 세 가지 방식으로 트랜스포머 계열을 훈련했다. * 영어로 사전 훈련 후 파이썬으로 미세 조정 * 영어와 파이썬을 동일하게 혼합하여 사전 훈련 후 파이썬으로 미세 조정 * 파이썬으로만 훈련 여기서 아이디어는 영어로 사전 훈련하면 모델이 파이썬 텍스트 테스트 세트에서 낮은 손실을 달성하는 데 도움이 된다는 것이다. 모델에 매개변수 수 N이 있고, D_F 파이썬 토큰으로 미세 조정된 후 손실 L을 달성했다고 가정하자. 다른 모델이 동일한 N을 가지고 D_F + D_T 파이썬 토큰으로 훈련한 후 동일한 L을 달성한다면, 그 모델의 "전이된 토큰 수"를 D_T라고 한다. 그들은 영어 텍스트로 사전 훈련한 경우 D_T=1.9 e 4\left(D_F\right)^{.18}(N)^{.38}을, 영어 및 비파이썬 코드로 사전 훈련한 경우 D_T=2.1 e 5\left(D_F\right)^{.096}(N)^{.38}을 발견했다.
### 정밀도
쿠마르 외는 언어 모델 훈련에서 수치 정밀도에 대한 스케일링 법칙을 연구한다. 그들은 정수 및 부동 소수점 유형 모두에서 다양한 수치 정밀도를 가진 가중치, 활성화, KV 캐시를 사용하여 언어 모델 계열을 훈련하여 정밀도 함수로서 손실에 미치는 영향을 측정한다. 훈련의 경우, 그들의 스케일링 법칙은 정밀도의 영향을 전체 "유효 매개변수 개수"로 묶어 손실 스케일링을 제어한다. 매개변수화는 N \mapsto N_\text{eff}(P) = N(1-e^{-P/\gamma})를 사용한다. 이는 낮은 정밀도에서의 훈련이 비트와 함께 지수적으로 변하는 방식으로 모델의 실제 용량을 감소시켜 성능을 저하시키는 방법을 보여준다. 추론의 경우, 그들은 친칠라 최적성을 넘어선 언어 모델의 극심한 과훈련이 효율적인 딥 러닝의 표준 기술인 양자화에 모델이 더 민감하게 만들 수 있음을 발견했다. 이는 가중치 양자화로 인한 손실 저하가 사전 훈련 중에 관찰된 토큰/매개변수 비율 D/N에서 대략적인 멱법칙으로 증가함을 관찰함으로써 입증된다. 따라서 사전 훈련 양자화를 적용할 경우 극심한 토큰 예산으로 사전 훈련된 모델이 더 적당한 토큰 예산으로 훈련된 모델보다 검증 손실 측면에서 더 나쁜 성능을 보일 수 있다. 과훈련의 영향을 조사한 다른 연구에는 Sardana et al. 및 Gadre et al.이 있다.
### 덴싱 법칙
Xiao et al.은 시간에 따른 모델의 매개변수 효율성("밀도")을 고려했다. 아이디어는 시간이 지남에 따라 연구자들이 매개변수를 더 효율적으로 사용하는 모델을 발견할 것이라는 것이다. 즉, 동일한 성능을 가진 모델이 더 적은 매개변수를 가질 수 있다는 것이다. 모델은 실제 매개변수 수 N을 가질 수 있는데, 이는 모델의 실제 매개변수 수로 정의된다. 그리고 "유효" 매개변수 수 \hat N을 가질 수 있는데, 이는 이전의 잘 알려진 모델이 MMLU와 같은 일부 벤치마크에서 동일한 성능에 도달하는 데 필요했을 매개변수 수로 정의된다. \hat N은 직접 측정되지 않고, 실제 모델 성능 S를 측정한 다음, 이전에 피팅된 친칠라 스케일링 법칙과 같은 스케일링 법칙에 다시 대입하여, 이전에 피팅된 스케일링 법칙에 따라 그 성능 S에 도달하는 데 필요한 \hat N이 얼마인지를 얻는다. 덴싱 법칙은 \ln \left(\frac{\hat N}{N}\right)_{max} = At + B라고 명시하며, 여기서 t는 실제 시간(일 단위)이다.