Pre-trained model?
#1
by
maywell
- opened
안녕하세요. 해당 모델이 pre-trained 모델인지, intruction 튜닝이 이루어진 모델인지 여쭙고 싶습니다.
그리고 모델의 벤치마크 자료도 제공해주신다면 감사하겠습니다.
안녕하세요. maywell님 먼저 공개해주신 Instruction Tuning데이터가 저희 모델에 많은 도움이 되었습니다 감사합니다 ㅎㅎ
답변을 드리면 다음과 같습니다.
- 한국어-영어로 pre-trainining과 Instruction 튜닝이 함께 진행된 모델입니다.
- 벤치마크는 Human Evaluation, GPT preference와 같은 정성평가만 진행했습니다. 현재 한국어 공개 모델중엔 최상급인데 저희가 논문제출을 위해 자세한 분석내용을 공개하지 못하는것 이해부탁드립니다 ㅠㅠ.
4지선다 객관식문제 단답형 로직문제와 같은 정량평가는 전혀 고려하지 않았기 때문에 저희도 성능이 어떤지 모르겠는데요, 아마 성능은 좋지 않을꺼같습니다.
왜냐하면 Bllossom 모델은 실제 User의 사용성을 고려해 요약, 검색, 번역, 논문작성, 이메일, 일상대화 등을 주로 튜닝했어요. 다만, 로직이나 4지선다 객관식 문제 잘풀게 추가 튜닝하면 리더보드에서도 좋은성능보이지 않을까 합니다.
답변 해주셔서 감사드립니다. 좋은 모델 열심히 사용해보겠습니다! 남은 주말 즐겁게 보내시길.
maywell
changed discussion status to
closed