content.py

benchname = 'KOFFVQA'

intro_md = f'''

# {benchname} 리더보드

이 페이지에서는 {benchname} 벤치마크로 측정한 VLM들의 한국어 성능을 보실 수 있습니다.

이 페이지는 지속적으로 업데이트할 계획이며, 리더보드에 추가할 모델 요청을 받고 있습니다. 자세한 정보는 "Submit" 탭을 확인해 주세요.

* 모델 이름의 링크를 클릭했을 때 오류가 나는 경우, 우클릭 메뉴에서 "새 탭에서 링크 열기"를 사용하면 됩니다.

'''.strip()

about_md = f'''

# About

{benchname} 벤치마크는 한국어 사용 환경에서 VLM의 다방면 성능을 측정하고 비교하기 위한 벤치마크입니다.

이 벤치마크는 10개 task에서의 총 275개의 한국어 질문이 있으며, 객관적 정답이 있지만 형식의 제한은 없는 서술형 문항(Free-form VQA)으로 구성되어 있습니다.

## News

* **2024-12-06**: 릴리즈

'''.strip()

submit_md = f'''

# Submit (coming soon)

아직은 모델 추가 요청을 받고 있지 않습니다. 요청 시스템이 마련되면 요청을 받기 시작할 예정입니다.

'''.strip()