Spaces:

upstage

/

open-ko-llm-leaderboard

like 367

Running on CPU Upgrade

안녕하세요. Evaluation prompt 관련 궁금한 것이 있어 문의 드립니다.
모델마다 사전에 정의한 prompt 가 다를텐데, 이런 것들이 leaderboard 제출 시 반영이 되는지 궁금합니다.

예를 들어, ||~ ||, ### User, [INST] ~[/INST] 등의 방식들이 있어, 이를 지키지 않을 시 성능 저하가 발생됩니다.

이런 것들을 반영할 수 있는 평가인지 궁금합니다.