README.md

Quantization made by Richard Erkhov.

Github

Discord

Request more models

AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3 - GGUF

• Model creator: https://huggingface.co/AIFT/
• Original model: https://huggingface.co/AIFT/AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3/

Name	Quant method	Size
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q2_K.gguf	Q2_K	2.24GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.IQ3_XS.gguf	IQ3_XS	2.48GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.IQ3_S.gguf	IQ3_S	2.6GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q3_K_S.gguf	Q3_K_S	2.59GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.IQ3_M.gguf	IQ3_M	2.69GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q3_K.gguf	Q3_K	2.86GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q3_K_M.gguf	Q3_K_M	2.86GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q3_K_L.gguf	Q3_K_L	3.08GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.IQ4_XS.gguf	IQ4_XS	3.18GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q4_0.gguf	Q4_0	3.32GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.IQ4_NL.gguf	IQ4_NL	3.35GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q4_K_S.gguf	Q4_K_S	3.34GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q4_K.gguf	Q4_K	3.5GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q4_K_M.gguf	Q4_K_M	3.5GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q4_1.gguf	Q4_1	3.66GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q5_0.gguf	Q5_0	4.0GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q5_K_S.gguf	Q5_K_S	4.0GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q5_K.gguf	Q5_K	4.09GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q5_K_M.gguf	Q5_K_M	4.09GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q5_1.gguf	Q5_1	4.34GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q6_K.gguf	Q6_K	4.72GB
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo-3.Q8_0.gguf	Q8_0	6.12GB

Original model description:

license: cc-by-sa-4.0

orca-platypus - instruct-dpo-3 모델 v1.2

<학습 데이터 구축> kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용. 그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로 해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로 역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고, aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약) 각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경 AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제 영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행 총 데이터 4만개 정도 사용하였습니다.

<DPO학습 데이터> DPO 데이터는 CommonGen과 TruthfulQA에 초점을 맞추어 약 17,000개의 데이터를 학습하였습니다.

• ko-hh-rlhf 데이터에서 chosen 데이터부분을 ChatGPT를 통해 변경한 데이터를 추가 학습하였습니다.
• ko-hh-rlhf 59000여개의 데이터의 chosen 데이터를 모두 gpt-3.5를 통해 재생성한 후 일부 데이터를 필터링하여 삭제 진행하였습니다.
  
• TruthfulQA 관련 문제 추가를 진행하였습니다.(속설 관련 참거짓 문제)
• 기계독해 관련 학습 데이터를 ChatGPT를 통해서 답변을 얻어 학습
• 문법관련 학습 데이터
  

###학습 데이터 파일은 비공개입니다.
<학습> 학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.