mu0gum/polyglot-ko-1.3b-slim_orca_10000-epoch2

베이스 모델 : EleutherAI/polyglot-ko-1.3b

학습 데이터 : nlp-with-deeplearning/Ko.SlimOrca

학습 데이터 10000건을 샘플링하여 학습 (system 미포함)

학습 데이터 예시
"prompt": "이 글을 토대로 “한 남성이 호주 시드니의 한 식당에서 한 여성과 데이트를 하던 남성이 칼에 찔린 뒤 살인·살인미수 혐의로 기소됐다”는 글을 쓴다.", "completion": "제목: 시드니의 비극적 공격: 저녁 식사 중 칼에 찔린 희생자, 살인 혐의 및 살인 미수 혐의\n\n서론\n\n한 남성이 한 부부를 공격해 두 희생자를 모두 찌른 것으로 알려진 가운데 호주 시드니에서 현지 식당에서 로맨틱한 저녁 데이트가 유혈사태로 끝나자 평범해 보이는 저녁이 비극적으로 변했다. 지방 당국은 그 끔찍한 범죄와 관련하여 용의자를 살인 및 살인 미수로 기소했다. 이 기사에서 우리는 소름끼치는 사건, 용의자, 그리고 그것이 지역사회에 끼친 영향을 조사한다.\n\n사건\n\n놀라운 행사는 호주 시드니의 한 인기 레스토랑에서 열렸습니다. 한 여성과 그녀의 데이트 상대는 곧 펼쳐질 비극적인 상황을 잘 모르고 즐겁게 식사를 즐기고 있었다. 대화를 나누고 저녁 식사에 빠져들자 한 남성이 부부에게 다가가 경고도 없이 날카로운 물체로 찌르기 시작했다.\n\n가해자가 난동을 부리면서 식당의 손님들은 안전을 위해 앞다퉈 나섰다. 방조범들은 신속히 응급구조대에 전화를 했고, 그들은 즉시 현장에 도착했다. 두 희생자 모두 인근 병원으로 급히 이송됐지만 이 여성은 부상으로 사망했다. 그녀가 데이트하고 있던 남자는 목숨을 걸고 싸우면서 위독한 상태로 남아 있었다.\n\n용의자\n\n초기 조사에 따르면 공격자로 추정되는 사람은 피해자와 알려진 연관성이 없었으며, 이는 갑작스럽고 잔인한 폭행의 신비로운 성격을 더했다. 목격자들은 가해자가 구체적인 동기는 없는 것으로 보이며 무의식적으로 행위를 수행하는 것으로 보인다고 전했다.\n\n철저한 수사에 이어 지역 경찰이 용의자를 파악해 검거했다. 이 과정에서 가해자로 추정되는 사람은 범죄 행위 이력과 문제가 된 과거가 있는 것으로 밝혀졌지만, 이것이 비극적인 사건에 영향을 미쳤는지는 불분명하다.\n\n당국은 그 남자를 극악무도한 범죄와 관련하여 공식적으로 살인 및 살인 미수 혐의로 기소했다. 그는 공판기일을 결정하기 위한 심리를 기다리고 있으며, 유죄가 확정되면 종신형에 처해질 수 있다.\n\n지역사회의 대응\n\n그 범죄의 충격적인 성격은 시드니 주민들이 끔찍한 사건을 받아들이기 위해 고군분투하면서 흔들리게 했다 테러가 발생한 식당은 이후 폐쇄됐으며, 희생자들을 추모하기 위해 외부에 임시 기념관이 조성됐다.\n\n많은 사람들은 세계에서 가장 안전한 도시 중 하나로 여겨지는 곳에서 그러한 사악한 범죄가 어떻게 일어날 수 있는지에 대해 의문을 제기했다. 이 비극적인 사건은 지역 공무원들이 현재의 보안 조치를 재평가하고 공공 안전을 강화하기 위한 전략을 고안하도록 박차를 가했다. 주민들이 가해 혐의자의 행동을 파악하고 향후 유사한 사건이 발생하지 않도록 노력하면서 정신건강과 범죄 재활을 둘러싼 논의도 수면 위로 떠올랐다.\n\n칼에 찔린 후, 그 지역 사회는 희생자들과 그들의 가족들에 대한 슬픔과 지지의 폭우와 함께 뭉쳤다 촛불 집회가 열렸고, 생존한 희생자의 치료비와 회복을 돕기 위한 온라인 모금 운동이 진행 중이다.\n\n결론\n\n시드니에서의 비극적인 공격은 무분별한 폭력 행위가 언제 어디서든 일어날 수 있다는 것을 소름끼치게 상기시키는 역할을 한다. 이 끔찍하고 겉보기에 무작위적인 잔혹 행위에 대한 공동체의 대응은 향후 이러한 사건을 방지하기 위한 결속력과 결단력 중 하나였다. 사건이 전개되면서 비극적으로 짧은 목숨을 잃은 참혹한 죽음을 슬퍼하고 이 상상할 수 없는 시련을 계속 견디면서 회복 중인 피해자를 부양하고 있는 피해자와 그 가족들은 공동체의 가슴에 남아 있다."

학습 방법 : Lora

Lora Config

lora_alpha: 16
lora_dropout: 0.05,
r: 8

ko-lm-evaluation-harness 결과

```
       kobest_boolq     0.502137
```
```
        kobest_copa     0.683000
```
```
   kobest_hellaswag     0.402000
```
```
    kobest_sentineg     0.725441
```
```
       kohatespeech     0.420382
```
```
kohatespeech_apeach     0.509549
```
kohatespeech_gen_bias 0.450106
```
         korunsmile     0.426313
```
```
               nsmc     0.688540
```
```
           pawsx_ko     0.488000
```
```
     Average_score     0.529547
```