Update README.md

README.md

@@ -1,3 +1,36 @@
 ---
-license: cc-by-4.0
+license: cc-by-sa-4.0
 ---
+<h1>AIFT-instruct-42dot_LLM-SFT-1.3B-dpo</h1>
+
+<b><학습 데이터 구축></b>
+<br>
+kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용.
+그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로
+해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로 
+역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고, 
+aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약)
+각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경
+AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제
+영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행
+총 데이터 4만개 정도 사용하였습니다.
+<br>
+
+dpo데이터의 경우는 hh-rlhf데이터를 gpt-3.5-turbo를 활용해 답변을 재생성하였습니다
+<br>
++  TruthfulQA 관련 문제 추가를 진행하였습니다.(속설 관련 참거짓 문제)
++ 기계독해 관련 학습 데이터를 ChatGPT를 통해서 답변을 얻어 학습
++ 문법관련 학습 데이터 
+<br>
+###학습 데이터 파일은 비공개입니다. 
+<br>
+
+<모델>
+<br>
+42dot에서 공개한 42dot_LLM-SFT-1.3B을 베이스 모델로 하여 학습 진행하였습니다.
+<br>
+<br>
+<br>
+<b><학습></b>
+<br>
+학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.