Update README.md
Browse files
README.md
CHANGED
|
@@ -17,8 +17,7 @@ pipeline_tag: text-generation
|
|
| 17 |
</div>
|
| 18 |
|
| 19 |
|
| 20 |
-
AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성 박사(Saxo)가 meta-llama/Meta-Llama-3-8B를 베이스모델로 GCP상의 H100-60G 8개를 통해 SFT-DPO 훈련을 한(8000 Tokens) 모델.
|
| 21 |
-
Accelerate, Deepspeed Zero-3 라이브러리를 사용했으며 Flash Attention 은 Disable 로 설정
|
| 22 |
|
| 23 |
Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, trained the meta-llama/Meta-Llama-3-8B base model on 8 H100-60Gs on GCP for 4 hours of instructional training (8000 Tokens).
|
| 24 |
Accelerate, Deepspeed Zero-3 libraries were used.
|
|
|
|
| 17 |
</div>
|
| 18 |
|
| 19 |
|
| 20 |
+
AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성 박사(Saxo)가 meta-llama/Meta-Llama-3-8B를 베이스모델로 GCP상의 H100-60G 8개를 통해 SFT-DPO 훈련을 한(8000 Tokens) 한글 기반 모델.
|
|
|
|
| 21 |
|
| 22 |
Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, trained the meta-llama/Meta-Llama-3-8B base model on 8 H100-60Gs on GCP for 4 hours of instructional training (8000 Tokens).
|
| 23 |
Accelerate, Deepspeed Zero-3 libraries were used.
|