from src.display_models.model_metadata_type import ModelType

TITLE = """<h1 align="center" id="space-title">🚀 Open Ko-LLM Leaderboard</h1>"""

INTRODUCTION_TEXT = f"""
🚀 Open Ko-LLM Leaderboard는 한국어 초거대 언어모델의 성능을 객관적으로 평가합니다.

"제출" 페이지에서 모델 제출 시 자동으로 평가됩니다. 평가에 사용되는 GPU는 KT의 지원으로 운영됩니다.
평가에 사용되는 데이터는 전문 지식, 추론 능력, 환각, 윤리, 상식의 다섯가지 요소를 평가하기 위한 데이터셋으로 구성되어 있습니다.
벤치마크 데이터셋에 대한 더 자세한 정보는 "정보" 페이지에서 제공되고 있습니다.

업스테이지와 NIA가 공동 주최하며 업스테이지가 운영합니다.
"""

LLM_BENCHMARKS_TEXT = f"""
# Context
뛰어난 LLM 모델들이 앞다투어 공개되고 있지만 이는 대부분 영어 중심의, 영어 문화권에 익숙한 모델입니다. 저희는 한국어 리더보드 🚀 Open Ko-LLM을 운영하여 한국어와 한국 문화의 특성을 반영한 모델을 평가하고자 합니다. 이를 통해 한국어 사용자들이 편리하게 리더보드를 이용하고 참여하여 한국의 연구 수준 향상에 기여할 수 있기를 바랍니다. 

## Icons
{ModelType.PT.to_str(" : ")} model
{ModelType.FT.to_str(" : ")} model
{ModelType.IFT.to_str(" : ")} model
{ModelType.RL.to_str(" : ")} model
만약 아이콘이 없다면 아직 모델에 대한 정보가 부족함을 나타냅니다.
모델에 대한 정보는 issue를 통해 전달해주세요! 🤩

🏴‍☠️ : 해당 아이콘은 이 모델이 커뮤니티에 의해 주의 대상으로 선정되었으므로 이용 자제를 바란다는 의미입니다. 아이콘을 클릭 시 해당 모델에 대한 discussion으로 이동합니다.
(높은 리더보드 순위를 위해 평가셋을 학습에 이용한 모델 등이 주의 대상으로 선정됩니다)

## How it works

📈 HuggingFace OpenLLM에서 운영하는 4개의 태스크(HellaSwag, MMLU, Arc, Truthful QA)의 데이터를 한국어로 번역한 데이터셋을 비롯해 총 6가지의 데이터로 벤치마크를 구성했습니다. 
- Ko-HellaSwag (업스테이지 제공)
- Ko-MMLU (업스테이지 제공)
- Ko-Arc (업스테이지 제공)
- Ko-Truthful QA (업스테이지 제공)
- KoCommongen (NIA 한국지능정보사회진흥원 제공)
- 텍스트 윤리검증 데이터 (NIA 한국지능정보사회진흥원 제공)
LLM 시대에 걸맞는 평가를 위해 상식, 전문 지식, 추론, 환각, 윤리의 다섯가지 요소를 평가하기에 적합한 데이터셋들을 벤치마크로 선정했습니다. 최종 점수는 6개의 평가 데이터에 대한 평균 점수로 환산합니다.

KT로부터 평가에 사용되는 GPU를 제공받았습니다.

## Details and logs
You can find:
- 좀 더 자세한 수치 정보는: https://huggingface.co/datasets/open-llm-leaderboard/results
- 모델의 입출력에 대한 자세한 정보는: https://huggingface.co/datasets/open-llm-leaderboard/details
- 모델의 평가 큐와 평가 상태는: https://huggingface.co/datasets/open-llm-leaderboard/requests

## Reproducibility
평가 결과를 재현하기 위해서는 [이 버전](https://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463)의 데이터셋을 이용하세요. (밑에는 코드 및 평가 환경이라서 일단 skip)

The total batch size we get for models which fit on one A100 node is 16 (8 GPUs * 2). If you don't use parallelism, adapt your batch size to fit. 
*You can expect results to vary slightly for different batch sizes because of padding.*

The tasks and few shots parameters are:
- ARC: 25-shot, *arc-challenge* (`acc_norm`)
- HellaSwag: 10-shot, *hellaswag* (`acc_norm`)
- TruthfulQA: 0-shot, *truthfulqa-mc* (`mc2`)
- MMLU: 5-shot, *hendrycksTest-abstract_algebra,hendrycksTest-anatomy,hendrycksTest-astronomy,hendrycksTest-business_ethics,hendrycksTest-clinical_knowledge,hendrycksTest-college_biology,hendrycksTest-college_chemistry,hendrycksTest-college_computer_science,hendrycksTest-college_mathematics,hendrycksTest-college_medicine,hendrycksTest-college_physics,hendrycksTest-computer_security,hendrycksTest-conceptual_physics,hendrycksTest-econometrics,hendrycksTest-electrical_engineering,hendrycksTest-elementary_mathematics,hendrycksTest-formal_logic,hendrycksTest-global_facts,hendrycksTest-high_school_biology,hendrycksTest-high_school_chemistry,hendrycksTest-high_school_computer_science,hendrycksTest-high_school_european_history,hendrycksTest-high_school_geography,hendrycksTest-high_school_government_and_politics,hendrycksTest-high_school_macroeconomics,hendrycksTest-high_school_mathematics,hendrycksTest-high_school_microeconomics,hendrycksTest-high_school_physics,hendrycksTest-high_school_psychology,hendrycksTest-high_school_statistics,hendrycksTest-high_school_us_history,hendrycksTest-high_school_world_history,hendrycksTest-human_aging,hendrycksTest-human_sexuality,hendrycksTest-international_law,hendrycksTest-jurisprudence,hendrycksTest-logical_fallacies,hendrycksTest-machine_learning,hendrycksTest-management,hendrycksTest-marketing,hendrycksTest-medical_genetics,hendrycksTest-miscellaneous,hendrycksTest-moral_disputes,hendrycksTest-moral_scenarios,hendrycksTest-nutrition,hendrycksTest-philosophy,hendrycksTest-prehistory,hendrycksTest-professional_accounting,hendrycksTest-professional_law,hendrycksTest-professional_medicine,hendrycksTest-professional_psychology,hendrycksTest-public_relations,hendrycksTest-security_studies,hendrycksTest-sociology,hendrycksTest-us_foreign_policy,hendrycksTest-virology,hendrycksTest-world_religions* (average of all the results `acc`)

## Quantization
To get more information about quantization, see:
- 8 bits: [blog post](https://huggingface.co/blog/hf-bitsandbytes-integration), [paper](https://arxiv.org/abs/2208.07339)
- 4 bits: [blog post](https://huggingface.co/blog/4bit-transformers-bitsandbytes), [paper](https://arxiv.org/abs/2305.14314)

"""

EVALUATION_QUEUE_TEXT = f"""
# 🚀 Open-Ko LLM 리더보드의 평가 큐입니다.
이곳에 추가된 모델들은 곧 자동적으로 KT의 GPU 위에서 평가될 예정입니다!

## <모델 제출 전 확인하면 좋은 것들>

### 1️⃣ 모델과 토크나이저가 AutoClasses로 불러올 수 있나요?
```
from transformers import AutoConfig, AutoModel, AutoTokenizer
config = AutoConfig.from_pretrained("your model name", revision=revision)
model = AutoModel.from_pretrained("your model name", revision=revision)
tokenizer = AutoTokenizer.from_pretrained("your model name", revision=revision)
```

만약 이 단계가 실패했다면 에러 메세지를 따라 모델을 디버깅한 후에 제출해주세요. 
⚠️ 모델이 public 상태여야 합니다!
⚠️ 만약 모델이 use_remote_code=True여야 한다면 잠시 기다려주세요. 현재로서는 아직 이 옵션을 지원하지 않지만 작동할 수 있도록 하고 있습니다!

### 2️⃣ 모델의 weight를 safetensors로 바꿨나요?
safetensors는 weight를 보관하는 새로운 포맷으로, 훨씬 안전하고 빠르게 사용할 수 있습니다. 또한 모델의 parameter 개수를 Extended Viewer에 추가할 수 있습니다

### 3️⃣ 모델이 오픈 라이센스를 따르나요?
🚀 Open-Ko LLM은 Open LLM을 위한 리더보드로, 많은 사람들이 다양한 모델을 사용하기를 바랍니다

### 4️⃣ 모델 카드를 작성하셨나요?
리더보드에 모델에 대한 추가 정보를 업로드할 때 작성하신 모델 카드가 업로드됩니다

## 모델이 실패한 경우:
만약 제출한 모델의 상태가 FAILED가 된다면 이는 모델이 실행 중단되었음을 의미합니다. 먼저 위의 네 단계를 모두 따랐는지 확인해보세요. 모든 단계를 따랐음에도 불구하고 실행 중단되었을 때는 EleutherAIHarness 를 로컬에서 실행할 수 있는지 확인하기 위해 위의 코드를 수정 없이 실행하세요. (태스크 별 예시의 수를 제한하기 위해 —limit 파라미터를 추가할 수 있습니다.)
"""

CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
CITATION_BUTTON_TEXT = r"""
@misc{open-llm-leaderboard,
  author = {Edward Beeching, Clémentine Fourrier, Nathan Habib, Sheon Han, Nathan Lambert, Nazneen Rajani, Omar Sanseviero, Lewis Tunstall, Thomas Wolf},
  title = {Open LLM Leaderboard},
  year = {2023},
  publisher = {Hugging Face},
  howpublished = "\url{https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard}"
}
@software{eval-harness,
  author       = {Gao, Leo and
                  Tow, Jonathan and
                  Biderman, Stella and
                  Black, Sid and
                  DiPofi, Anthony and
                  Foster, Charles and
                  Golding, Laurence and
                  Hsu, Jeffrey and
                  McDonell, Kyle and
                  Muennighoff, Niklas and
                  Phang, Jason and
                  Reynolds, Laria and
                  Tang, Eric and
                  Thite, Anish and
                  Wang, Ben and
                  Wang, Kevin and
                  Zou, Andy},
  title        = {A framework for few-shot language model evaluation},
  month        = sep,
  year         = 2021,
  publisher    = {Zenodo},
  version      = {v0.0.1},
  doi          = {10.5281/zenodo.5371628},
  url          = {https://doi.org/10.5281/zenodo.5371628}
}
@misc{clark2018think,
      title={Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge}, 
      author={Peter Clark and Isaac Cowhey and Oren Etzioni and Tushar Khot and Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      year={2018},
      eprint={1803.05457},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}
@misc{zellers2019hellaswag,
      title={HellaSwag: Can a Machine Really Finish Your Sentence?}, 
      author={Rowan Zellers and Ari Holtzman and Yonatan Bisk and Ali Farhadi and Yejin Choi},
      year={2019},
      eprint={1905.07830},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
@misc{hendrycks2021measuring,
      title={Measuring Massive Multitask Language Understanding}, 
      author={Dan Hendrycks and Collin Burns and Steven Basart and Andy Zou and Mantas Mazeika and Dawn Song and Jacob Steinhardt},
      year={2021},
      eprint={2009.03300},
      archivePrefix={arXiv},
      primaryClass={cs.CY}
}
@misc{lin2022truthfulqa,
      title={TruthfulQA: Measuring How Models Mimic Human Falsehoods}, 
      author={Stephanie Lin and Jacob Hilton and Owain Evans},
      year={2022},
      eprint={2109.07958},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}"""