|
|
|
<!-- markdownlint-disable first-line-h1 --> |
|
<!-- markdownlint-disable html --> |
|
<div align="center"> |
|
<img src="./assets/imgs/orion_start.PNG" alt="logo" width="30%" /> |
|
</div> |
|
|
|
<div align="center"> |
|
<h1> |
|
Orion-14B |
|
</h1> |
|
</div> |
|
|
|
<div align="center"> |
|
|
|
<div align="center"> |
|
<b>๐ฐ๐ทํ๊ตญ์ด</b> | <a href="./README.md">๐่ฑ่ช</a> | <a href="./README_zh.md">๐จ๐ณไธญๆ</a> | <a href="./README_ja.md">๐ฏ๐ตๆฅๆฌ่ช</a> |
|
</div> |
|
|
|
<h4 align="center"> |
|
<p> |
|
๐ค <a href="https://huggingface.co/OrionStarAI" target="_blank">HuggingFaceํํ์ด์ง</a> | ๐ค <a href="https://modelscope.cn/organization/OrionStarAI" target="_blank">ModelScopeํํ์ด์ง</a><br>๐ฌ <a href="https://huggingface.co/spaces/OrionStarAI/Orion-14B-App-Demo" target="_blank">HuggingFace์จ๋ผ์ธ ์์ฉ</a> | ๐ซ <a href="https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary" target="_blank">ModelScopeๅจ็บฟ่ฏ็จ</a><br>๐บ <a href="https://github.com/OrionStarAI/Orion" target="_blank">GitHub</a><br>๐ <a href="https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf" target="_blank">๊ธฐ์ ๋ฆฌํฌํธ</a> |
|
<p> |
|
</h4> |
|
|
|
</div> |
|
|
|
|
|
|
|
# ๋ชฉ๋ก |
|
|
|
- [๐ ๋ชจํ ์๊ฐ](#model-introduction) |
|
- [๐ ๋ค์ด๋ก๋ ๊ฒฝ๋ก](#model-download) |
|
- [๐ ํ๊ฐ๊ฒฐ๊ณผ](#model-benchmark) |
|
- [๐ ๋ชจํ ์ถ๋ฆฌ](#model-inference) |
|
- [๐ ์ฑ๋ช
ํฉ์](#declarations-license) |
|
- [๐ฅ ๊ธฐ์
์๊ฐ](#company-introduction) |
|
|
|
|
|
|
|
<a name="model-introduction"></a><br> |
|
# 1. ๋ชจ๋ธ์๊ฒ |
|
|
|
|
|
-Orion-14B-Base๋ 2.5์กฐ ํ ํฐ์ ๋ค์ํ ๋ฐ์ดํฐ ์งํฉ์ผ๋ก ํ๋ จ๋ 140์ต ๊ฐ์ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค์ค ์ธ์ด ๋ชจ๋ธ์ด๋ค. ์ค๊ตญ์ด, ์์ด, ์ผ๋ณธ์ด, ํ๊ตญ์ด ๋ฐ ๊ธฐํ ์ธ์ด๋ฅผ ํฌํจํ๋ค.๋ค์ค ์ธ์ด ํ๊ฒฝ์์ ์ผ๋ จ์ ์
๋ฌด์์ ํ์ํ ์ฑ๋ฅ์ ๋ณด์ธ๋ค. Orion-14B ์๋ฆฌ์ฆ์ ๋ชจ๋ธ๋ค์ ์ฃผ์ ๊ณต๊ฐ ๊ธฐ์ค ์ธก์ ์์ ์ฐ์ํ ์ฑ์ ์ ๊ฑฐ๋์์ผ๋ฉฐ ์ฌ๋ฌ๊ฐ์ง ์งํ๊ฐ ๋์ผํ ํ๋ผ๋ฉํฐ๋ฅผ ๊ฐ์ง ๋ค๋ฅธ ๋ชจ๋ธ๋ค์ ํ์ ํ ์ด์ํ๋ค. ๊ตฌ์ฒด์ ์ธ ๊ธฐ์ ๋ํ
์ผ์ [๊ธฐ์ ๋ณด๊ณ ์]๋ฅผ ์ฐธ๊ณ ํ์ธ์. |
|
(https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf)ใ |
|
|
|
- Orion-14B์๋ฆฌ์ฆ ๋ํ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ํน์ง์ด ์๋ค. |
|
- ๋ฒ ์ด์ค20B ํ๋ผ๋ฉํฐ ๋ ๋ฒจ์ธ ๋ํ ๋ชจ๋ธ์ ์ข
ํฉ์ ์ธ ํ๊ฐ ๊ฒฐ๊ณผ๊ฐ ์ฐ์ํ๋ค |
|
- ๋ค๊ตญ์ด ๋ฅ๋ ฅ์ด ๋ฐ์ด๋๊ณ ์ผ๋ณธ์ด์ ํ๊ตญ์ด ํ
์คํธ ์ธํธ์์ ํ์ ํ ์์ ๋ค |
|
- ๋ฏธ์ธ์กฐ์ ๋ชจ๋ธ์ ์ ์์ฑ์ด ๊ฐํ๋ฉฐ ์ธ์ ํ์์ ๋ธ๋ผ์ธ๋ ํ
์คํธ์์ ํ์ฝ์ด ๋๋๋ฌ์ง๋ค |
|
- ๊ธด ์ปจํ
์คํธ ๋ฒ์ ์ ์ต๋ 320k๊น์ง ์ง์ํ๋ 200k ํ ํฐ์ ๋ฐ์ด๋ ๊ธด ํ
์คํธ๋ฅผ ์ง์งํ๋ค |
|
- ์ ๋ํ ๋ฒ์ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70% ์ค์ด๊ณ ์ถ๋ก ์๋๋ฅผ 30% ๋์ด๋ฉฐ ์ฑ๋ฅ ์์ค์ 1% ๋ฏธ๋งํ๋ค |
|
<table style="border-collapse: collapse; width: 100%;"> |
|
<tr> |
|
<td style="border: none; padding: 10px; box-sizing: border-box;"> |
|
<img src="./assets/imgs/opencompass_en.png" alt="opencompass" style="width: 100%; height: auto;"> |
|
</td> |
|
<td style="border: none; padding: 10px; box-sizing: border-box;"> |
|
<img src="./assets/imgs/model_cap_en.png" alt="modelcap" style="width: 100%; height: auto;"> |
|
</td> |
|
</tr> |
|
</table> |
|
|
|
- ๊ตฌ์ฒด์ ์ผ๋ก ๋งํ๋ฉด Orion-14B์๋ฆฌ์ฆ ๋ํ ์ธ์ด ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ์ ํฌํจํ๋ค: |
|
- **Orion-14B-Base:** 2.5์ต ํ ์ผ์ค ๋ค์ํ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ 140์ต ํ๋ผ๋ฉํฐ ๊ท๋ชจ์ ๋ค์ธ์ด ๊ธฐ๋ฐ ๋ชจ๋ธ. |
|
- **Orion-14B-Chat:** ๊ณ ํ๋ฆฌํฐ ์ฝํผ์ค ๋ฏธ์ธ์กฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํ ๋ํํ ๋ชจ๋ธ. ๋ํ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ๋ฅผ ์ํด ๋ ๋์ ์ฌ์ฉ์ ์ธํฐ๋์
๊ฒฝํ์ ์ ๊ณตํ๋๋ก ํ๋ค. |
|
- **Orion-14B-LongChat:** 200k ํ ํฐ ๊ธธ์ด์ ํจ๊ณผ์ ์ด๋ฉฐ ์ต๋ 320k๊น์ง ์ง์ํ๋ฉฐ ๊ธด ํ
์คํธ ํ๊ฐ ์ธํธ์์ ๋
์ ๋ชจ๋ธ๊ณผ ๋น๊ตํ ์ ์๋ค. |
|
- **Orion-14B-Chat-RAG:** ๋ง์ถฐ ์ ์ ๋ ๊ฒ์ ํฅ์ ์์ฑ ๋ฐ์ดํฐ ์ธํธ์์ ๋ฏธ์ธ์กฐ์ ํ์ฌ ๊ฒ์ ํฅ์ ์์ฑ ์์
์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ์ ๊ณตํ ์ฑํ
๋ชจ๋ธ. |
|
- **Orion-14B-Chat-Plugin:** ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์
์ ๋ง์ถฐ ์ ์ ๋ ์ฑํ
๋ชจ๋ธ. ์์ด์ ํธ์ ๊ด๋ จ๋ ์ํฉ์ ์์ฃผ ์ ์ ์ฉ๋์ด ๋ํ ์ธ์ด ๋ชจ๋ธ์ด ํ๋ฌ๊ทธ์ธ ๋ฐ ํจ์ ์ ์ฉ ์์คํ
์ ์ญํ ์ ํ๋ค. |
|
- **Orion-14B-Base-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ฒ ์ด์ค ๋ชจ๋ธ. ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ 70%๋ฅผ ์ค์ด๋ฉฐ ์ถ๋ฆฌ ์๋๋ฅผ 30% ๋์ฌ 1%์ ์ต์ํ์ ์ฑ๋ฅ ์์ค๋ง ๊ฐ์ ธ์๋ค. |
|
- **Orion-14B-Chat-Int4:** int4๋ก ๊ณ๋ํํ๋ ๋ํ ๋ชจ๋ธ. |
|
|
|
|
|
<a name="model-download"></a><br> |
|
# 2. ๋ค์ด๋ก๋ ๊ฒฝ๋ก |
|
|
|
๋ฐํ๋ ๋ชจ๋ธ ๋ฐ ๋ค์ด๋ก๋ ๋งํฌ๋ ๋ค์ ํ๋ฅผ ์ฐธ์กฐํ์ธ์: |
|
|
|
| ๋ชจ๋ธ ๋ช
์นญ | HuggingFace๋ค์ด๋ก๋ ๋งํฌ | ModelScope๋ค์ด๋ก๋ ๋งํฌ | |
|
|---------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------| |
|
| โพ ๋ฒ ์ด์ค ๋ชจ๋ธ | [Orion-14B-Base](https://huggingface.co/OrionStarAI/Orion-14B-Base) | [Orion-14B-Base](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base/summary) | |
|
| ๐ ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat](https://huggingface.co/OrionStarAI/Orion-14B-Chat) | [Orion-14B-Chat](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat/summary) | |
|
| ๐ ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธ | [Orion-14B-LongChat](https://huggingface.co/OrionStarAI/Orion-14B-LongChat) | [Orion-14B-LongChat](https://modelscope.cn/models/OrionStarAI/Orion-14B-LongChat/summary) | |
|
| ๐ ๊ฒ์ ํฅ์ ๋ชจ๋ธ | [Orion-14B-Chat-RAG](https://huggingface.co/OrionStarAI/Orion-14B-Chat-RAG) | [Orion-14B-Chat-RAG](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-RAG/summary) | |
|
| ๐ ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธ | [Orion-14B-Chat-Plugin](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Plugin) | [Orion-14B-Chat-Plugin](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Plugin/summary)| |
|
| ๐ผ ๋ฒ ์ด์คInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Base-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Base-Int4) | [Orion-14B-Base-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Base-Int4/summary) | |
|
| ๐ฆ ๋ํInt4๊ณ๋ํ ๋ชจ๋ธ | [Orion-14B-Chat-Int4](https://huggingface.co/OrionStarAI/Orion-14B-Chat-Int4) | [Orion-14B-Chat-Int4](https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Int4/summary) | |
|
|
|
|
|
<a name="model-benchmark"></a><br> |
|
# 3. ํ๊ฐ ๊ฒฐ๊ณผ |
|
|
|
## 3.1. ๋ฒ ์ด์ค ๋ชจ๋ธOrion-14B-Baseํ๊ฐ |
|
|
|
### 3.1.1. ์ ๋ฌธ ์ง์ ๋ฐ ์ํ๋ฌธ์ ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ | C-Eval | CMMLU | MMLU | AGIEval | Gaokao | BBH | |
|
|--------------------|----------|----------|----------|----------|----------|----------| |
|
| LLaMA2-13B | 41.4 | 38.4 | 55.0 | 30.9 | 18.2 | 45.6 | |
|
| Skywork-13B | 59.1 | 61.4 | 62.7 | 43.6 | 56.1 | 48.3 | |
|
| Baichuan2-13B | 59.0 | 61.3 | 59.5 | 37.4 | 45.6 | 49.0 | |
|
| QWEN-14B | 71.7 | 70.2 | 67.9 | 51.9 | **62.5** | 53.7 | |
|
| InternLM-20B | 58.8 | 59.0 | 62.1 | 44.6 | 45.5 | 52.5 | |
|
| **Orion-14B-Base** | **72.9** | **70.6** | **69.9** | **54.7** | 62.1 | **56.5** | |
|
|
|
### 3.1.2. ์ดํด ๋ฐ ํต์ ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ |RACE-middle|RACE-high| HellaSwag| PIQA | Lambada | WSC | |
|
|--------------------|----------|----------|----------|----------|----------|----------| |
|
| LLaMA 2-13B | 63.0 | 58.9 | 77.5 | 79.8 | 76.5 | 66.3 | |
|
| Skywork-13B | 87.6 | 84.1 | 73.7 | 78.3 | 71.8 | 66.3 | |
|
| Baichuan 2-13B | 68.9 | 67.2 | 70.8 | 78.1 | 74.1 | 66.3 | |
|
| QWEN-14B | 93.0 | 90.3 | **80.2** | 79.8 | 71.4 | 66.3 | |
|
| InternLM-20B | 86.4 | 83.3 | 78.1 | **80.3** | 71.8 | 68.3 | |
|
| **Orion-14B-Base** | **93.2** | **91.3** | 78.5 | 79.5 | **78.8** | **70.2** | |
|
|
|
### 3.1.3. OpenCompassํ๊ฐ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ | Average | Examination | Language | Knowledge | Understanding | Reasoning | |
|
|------------------|----------|----------|----------|----------|----------|----------| |
|
| LLaMA 2-13B | 47.3 | 45.2 | 47.0 | 58.3 | 50.9 | 43.6 | |
|
| Skywork-13B | 53.6 | 61.1 | 51.3 | 52.7 | 64.5 | 45.2 | |
|
| Baichuan 2-13B | 49.4 | 51.8 | 47.5 | 48.9 | 58.1 | 44.2 | |
|
| QWEN-14B | 62.4 | 71.3 | 52.67 | 56.1 | 68.8 | 60.1 | |
|
| InternLM-20B | 59.4 | 62.5 | 55.0 | **60.1** | 67.3 | 54.9 | |
|
|**Orion-14B-Base**| **64.3** | **71.4** | **55.0** | 60.0 | **71.9** | **61.6** | |
|
|
|
### 3.1.4. ์ผ๋ณธ์ด ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ |**Average**| JCQA | JNLI | MARC | JSQD | JQK | XLS | XWN | MGSM | |
|
|--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------| |
|
| PLaMo-13B | 52.3 | 56.7 | 42.8 | 95.8 | 70.6 | 71.0 | 8.70 | 70.5 | 2.40 | |
|
| WebLab-10B | 50.7 | 66.6 | 53.7 | 82.1 | 62.9 | 56.2 | 10.0 | 72.0 | 2.40 | |
|
| ELYZA-jp-7B | 48.8 | 71.7 | 25.3 | 86.6 | 70.8 | 64.1 | 2.50 | 62.1 | 7.20 | |
|
| StableLM-jp-7B | 51.1 | 33.4 | 43.3 | **96.7** | 70.6 | 78.1 | 10.7 | 72.8 | 2.80 | |
|
| LLaMA 2-13B | 46.3 | 75.0 | 47.6 | 38.8 | 76.1 | 67.7 | 18.1 | 63.2 | 10.4 | |
|
| Baichuan 2-13B | 57.1 | 73.7 | 31.3 | 91.6 | 80.5 | 63.3 | 18.6 | 72.2 | 25.2 | |
|
| QWEN-14B | 65.8 | 85.9 | 60.7 | 97.0 | 83.3 | 71.8 | 18.8 | 70.6 | 38.0 | |
|
| Yi-34B | 67.1 | 83.8 | 61.2 | 95.2 | **86.1** | 78.5 | **27.2** | 69.2 | 35.2 | |
|
| **Orion-14B-Base** | **69.1** | **88.2** | **75.8** | 94.1 | 75.7 | **85.1** | 17.3 | **78.8** | **38.0** | |
|
|
|
### 3.1.5. ํ๊ตญ์ด ํ
์คํธ ์ธํธn-shotํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ | **Average**<br>n=0 n=5 | HellaSwag<br>n=0 n=5 | COPA<br> n=0 n=5 | BooIQ<br>n=0 n=5 | SentiNeg<br>n=0 n=5| |
|
|------------------|------------------------------|------------------------------|------------------------------|------------------------------|------------------------------| |
|
| KoGPT | 53.0 70.1 | 55.9 58.3 | 73.5 72.9 | 45.1 59.8 | 37.5 89.4 | |
|
| Polyglot-ko-13B | 69.6 73.7 |**59.5** **63.1**|**79.4** **81.1**| 48.2 60.4 | 91.2 90.2 | |
|
| LLaMA 2-13B | 46.7 63.7 | 41.3 44.0 | 59.3 63.8 | 34.9 73.8 | 51.5 73.4 | |
|
| Baichuan 2-13B | 52.1 58.7 | 39.2 39.6 | 60.6 60.6 | 58.4 61.5 | 50.3 72.9 | |
|
| QWEN-14B | 53.8 73.7 | 45.3 46.8 | 64.9 68.9 | 33.4 83.5 | 71.5 95.7 | |
|
| Yi-34B | 54.2 72.1 | 44.6 44.7 | 58.0 60.6 | 65.9 90.2 | 48.3 92.9 | |
|
|**Orion-14B-Base**|**74.5** **79.6**| 47.0 49.6 | 77.7 79.4 |**81.6** **90.7**|**92.4** **98.7**| |
|
|
|
### 3.1.6. ๋ค๊ตญ์ด ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ | Train Lang | Japanese | Korean | Chinese | English | |
|
|--------------------|------------|----------|----------|----------|----------| |
|
| PLaMo-13B | En,Jp | 52.3 | * | * | * | |
|
| Weblab-10B | En,Jp | 50.7 | * | * | * | |
|
| ELYZA-jp-7B | En,Jp | 48.8 | * | * | * | |
|
| StableLM-jp-7B | En,Jp | 51.1 | * | * | * | |
|
| KoGPT-6B | En,Ko | * | 70.1 | * | * | |
|
| Polyglot-ko-13B | En,Ko | * | 70.7 | * | * | |
|
| Baichuan2-13B | Multi | 57.1 | 58.7 | 50.8 | 57.1 | |
|
| Qwen-14B | Multi | 65.8 | 73.7 | 64.5 | 65.4 | |
|
| Llama2-13B | Multi | 46.3 | 63.7 | 41.4 | 55.3 | |
|
| Yi-34B | Multi | 67.1 | 72.2 | 58.7 | **68.8** | |
|
| **Orion-14B-Base** | Multi | **69.1** | **79.5** | **67.9** | 67.3 | |
|
|
|
## 3.2. ๋ํ ๋ชจ๋ธOrion-14B-Chatํ๊ฐ |
|
### 3.2.1. ๋ํ ๋ชจ๋ธMTBench์ฃผ๊ด์ ํ๊ฐ |
|
| ๋ชจ๋ธ ๋ช
์นญ | 1๋ผ์ด๋ | 2๋ผ์ด๋ | **ํ๊ท ** | |
|
|----------------------|----------|----------|----------| |
|
| Baichuan2-13B-Chat | 7.05 | 6.47 | 6.76 | |
|
| Qwen-14B-Chat | 7.30 | 6.62 | 6.96 | |
|
| Llama2-13B-Chat | 7.10 | 6.20 | 6.65 | |
|
| InternLM-20B-Chat | 7.03 | 5.93 | 6.48 | |
|
| **Orion-14B-Chat** | **7.68** | **7.07** | **7.37** | |
|
|
|
\*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค |
|
|
|
### 3.2.2. ๋ํ ๋ชจ๋ธAlignBench์ฃผ๊ด์ ํ๊ฐ |
|
| ๋ชจ๋ธ ๋ช
์นญ | ์ํ ๋ฅ๋ ฅ | ๋
ผ๋ฆฌ์ ์ถ๋ฆฌ | ๊ธฐ๋ณธ ๋ฅ๋ ฅ | ์ค๊ตญ์ด ์ดํด | ์ข
ํฉ์ ๋ฌธ๋ต | ๊ธ์ฐ๊ธฐ ๋ฅ๋ ฅ | ๋กค ํ๋ ์ด | ์ ๋ฌธ ์ง์ | **ํ๊ท ** | |
|
|--------------------|----------|----------|----------|----------|----------|----------|----------|----------|----------| |
|
| Baichuan2-13B-Chat | 3.76 | 4.07 | 6.22 | 6.05 | 7.11 | 6.97 | 6.75 | 6.43 | 5.25 | |
|
| Qwen-14B-Chat | **4.91** | **4.71** | **6.90** | 6.36 | 6.74 | 6.64 | 6.59 | 6.56 | **5.72** | |
|
| Llama2-13B-Chat | 3.05 | 3.79 | 5.43 | 4.40 | 6.76 | 6.63 | 6.99 | 5.65 | 4.70 | |
|
| InternLM-20B-Chat | 3.39 | 3.92 | 5.96 | 5.50 | **7.18** | 6.19 | 6.49 | 6.22 | 4.96 | |
|
| **Orion-14B-Chat** | 4.00 | 4.24 | 6.18 | **6.57** | 7.16 | **7.36** | **7.16** | **6.99** | 5.51 | |
|
|
|
\*์ด ํ๊ฐ๋ vllm์ ์ด์ฉํ์ฌ ์ถ๋ฆฌํ๋ค |
|
|
|
## 3.3. ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธOrion-14B-LongChatํ๊ฐ |
|
### 3.3.1. ๊ธด ์ปจํ
์คํธ ๋ชจ๋ธLongBenchํ๊ฐ |
|
| ๋ชจ๋ธ ๋ช
์นญ | NarrativeQA| MultiFieldQA-en| MultiFieldQA-zh | DuReader | QMSum | VCSUM | TREC | TriviaQA | LSHT | RepoBench-P | |
|
|--------------------------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------|-----------| |
|
| GPT-3.5-Turbo-16k | **23.60** | **52.30** | **61.20** | 28.70 | 23.40 | **16.00** | 68.00 | **91.40** | 29.20 | 53.60 | |
|
| LongChat-v1.5-7B-32k | 16.90 | 41.40 | 29.10 | 19.50 | 22.70 | 9.90 | 63.50 | 82.30 | 23.20 | 55.30 | |
|
| Vicuna-v1.5-7B-16k | 19.40 | 38.50 | 43.00 | 19.30 | 22.80 | 15.10 | 71.50 | 86.20 | 28.80 | 43.50 | |
|
| Yi-6B-200K | 14.11 | 36.74 | 22.68 | 14.01 | 20.44 | 8.08 | 72.00 | 86.61 | 38.00 | **63.29** | |
|
| Orion-14B-LongChat | 19.47 | 48.11 | 55.84 | **37.02** | **24.87** | 15.44 | **77.00** | 89.12 | **45.50** | 54.31 | |
|
|
|
## 3.4. ๊ฒ์ ํฅ์ ๋ชจ๋ธOrion-14B-Chat-RAGํ๊ฐ |
|
### 3.4.1. ์๊ธฐ ๋ง๋ ๊ฒ์ ํฅ์ ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ |
|
|๋ชจ๋ธ ๋ช
์นญ|์๋ต ํจ๊ณผ(ํค์๋)|*์๋ต ํจ๊ณผ(์ฃผ๊ด์ ์ ์)|์ธ์ฉ ๋ฅ๋ ฅ|๊ธฐ๋ณธ ๋ ๋งก๋ ๋ฅ๋ ฅ|*AutoQA|*๋ฐ์ดํฐ ์ถ์ถ| |
|
|---------------------|------|------|------|------|------|------| |
|
| Baichuan2-13B-Chat | 85 | 76 | 1 | 0 | 69 | 51 | |
|
| Qwen-14B-Chat | 79 | 77 | 75 | 47 | 68 | 72 | |
|
| Qwen-72B-Chat(Int4) | 87 | 89 | 90 | 32 | 67 | 76 | |
|
| GPT-4 | 91 | 94 | 96 | 95 | 75 | 86 | |
|
| Orion-14B-Chat-RAG | 86 | 87 | 91 | 97 | 73 | 71 | |
|
\* ์ฌ๋ ํ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ๋ฆฌํจ๋ค |
|
|
|
## 3.5. ํ๋ฌ๊ทธ์ธ ๋ชจ๋ธOrion-14B-Chat-Pluginํ๊ฐ |
|
### 3.5.1. ์๊ธฐ ๋ง๋ ํ๋ฌ๊ทธ์ธ ํ
์คํธ ์ธํธ ํ๊ฐ ๊ฒฐ๊ณผ |
|
| ๋ชจ๋ธ ๋ช
์นญ | ํ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋ถ์์ ํ๋ผ๋ฉํฐ ์๋ ์๋ณ | ๋น ํ๋ฌ๊ทธ์ธ ์ ์ฉ ์๋ณ | |
|
|-----------------------|--------|-----------|--------| |
|
| Baichuan2-13B-Chat | 25 | 0 | 0 | |
|
| Qwen-14B-Chat | 55 | 0 | 50 | |
|
| GPT-4 | **95** | 52.38 | 70 | |
|
| Orion-14B-Chat-Plugin | 92.5 | **60.32** | **90** | |
|
|
|
## 3.6. ๊ณ๋ํ ๋ชจ๋ธOrion-14B-Base-Int4ํ๊ฐ |
|
### 3.6.1. ๊ณ๋ํ ์ ํ ์ ๋ฐ์ ์ธ ๋น๊ต |
|
|๋ชจ๋ธ ๋ช
์นญ|๋ชจ๋ธ ํฌ๊ธฐ(GB)|์ถ๋ฆฌ ์๋(ํ ํฐ ์/์ด)|C-Eval |CMMLU |MMLU |RACE | HellaSwag| |
|
|-------------------------|------|-----|------|------|------|------|------| |
|
| OrionStar-14B-Base | 28.0 | 135 | 72.8 | 70.6 | 70.0 | 93.3 | 78.5 | |
|
| OrionStar-14B-Base-Int4 | 8.3 | 178 | 71.8 | 69.8 | 69.2 | 93.1 | 78.0 | |
|
|
|
|
|
<a name="model-inference"></a><br> |
|
# 4. ๋ชจ๋ธ ์ถ๋ฆฌ |
|
|
|
์ถ๋ฆฌ์ ํ์ํ ๋ชจ๋ธ ๊ฐ์ค์น, ์์ค ์ฝ๋, ๋ฐฐ์น๋ Hugging Face์ ๊ฒ์๋์ด ๋ค์ด๋ก๋ ๋งํฌ๋ ์ด ํ์ผ ๋งจ ์ฒ์์ ์๋ ํ๋ฅผ ์ฐธ์กฐํ์ธ์. ์ ํฌ๋ ์ฌ๊ธฐ์ ๋ค์ํ ์ถ๋ฆฌ ๋ฐฉ์์ ๋ณด์ฌ ์ฃผ๊ณ ํ๋ก๊ทธ๋จ์ Hugging Face๋ก๋ถํฐ ํ์ํ ์๋ฃ๋ฅผ ์๋์ผ๋ก ๋ค์ด๋ก๋ ํ ๊ฒ์ด๋ค. |
|
|
|
## 4.1. Python ์ฝ๋ ๋ฐฉ์ |
|
|
|
```python |
|
import torch |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
from transformers.generation.utils import GenerationConfig |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/Orion-14B", use_fast=False, trust_remote_code=True) |
|
model = AutoModelForCausalLM.from_pretrained("OrionStarAI/Orion-14B", device_map="auto", |
|
torch_dtype=torch.bfloat16, trust_remote_code=True) |
|
|
|
model.generation_config = GenerationConfig.from_pretrained("OrionStarAI/Orion-14B") |
|
messages = [{"role": "user", "content": "์๋
! ์ด๋ฆ์ด ๋ญ์์!"}] |
|
response = model.chat(tokenizer, messages, streaming=Flase) |
|
print(response) |
|
|
|
``` |
|
|
|
์์ ๋ ์ฝ๋์์ ๋ชจ๋ธ์ ์ง์ ๋ `device_map='auto'`๋ก๋ฉํ๋ฉด ๋ชจ๋ ์ฌ์ฉํ ์ ์๋ ๊ทธ๋ํฝ ์นด๋๋ฅผ ์ฌ์ฉํ ๊ฒ์ด๋ค. ์ฌ์ฉํ ์ฅ์น๋ฅผ ์ง์ ํ๋ ค๋ฉด `export CUDA_VISIBLE_DEVICES=0,1`(๊ทธ๋ํฝ ์นด๋ 0๊ณผ 1์ ์ฌ์ฉ)๊ณผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ์ ์ดํ ์ ์๋ค. |
|
|
|
## 4.2. ๋ช
๋ น์ค ํด ๋ฐฉ์ |
|
|
|
```shell |
|
CUDA_VISIBLE_DEVICES=0 python cli_demo.py |
|
``` |
|
|
|
์ด ๋ช
๋ น์ค ํด์ Chat ์๋๋ฆฌ์ค๋ฅผ ์ํด ์ค๊ณ๋์์ผ๋ฏ๋ก ์ด ํด๋ก ๋ฒ ์ด์ค ๋ชจ๋ธ์ ์ ์ฉํ๋ ๊ฒ ์ง์ํ์ง ์๋๋ค. |
|
|
|
## 4.3. ์คํฌ๋ฆฝํธ ์ง์ ์ถ๋ฆฌ |
|
|
|
```shell |
|
# base model |
|
CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/Orion-14B --tokenizer OrionStarAI/Orion-14B --prompt ์๋
. ์ด๋ฆ์ด ๋ญ์์ |
|
|
|
# chat model |
|
CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt ์๋
. ์ด๋ฆ์ด ๋ญ์์ |
|
|
|
``` |
|
|
|
## 4.4. ์์ ๋
ธ์ถ |
|
|
|
### 4.4.1. ์ก๋ด |
|
|
|
````` |
|
์ฌ์ฉ์๏ผ์๋
,์ด๋ฆ์ด ๋ญ์์ |
|
Orion-14B๏ผ์๋
! ์ ๋ ์ธ๊ณต์ง๋ฅ ์กฐ์ ์
๋๋ค. ์ ํด์ง ์ด๋ฆ์ ์๊ณ ๋ง์๋๋ก ๋ถ๋ฌ๋ ๋ฉ๋๋ค. ๋์์ค ์ ์๋ ๊ฑฐ ์๋์? |
|
์ฌ์ฉ์๏ผ์ด์ผ๊ธฐ ํ๋ ๋๋ ์ค |
|
Orion-14B๏ผ์์ ์ ์ญ์ด๋ผ๋ ์ด๋ฆฐ ์๋
์ด ์์๋ค. ๊ทธ๋ ์์ ๋ง์์ ์ด์๋ค. ์ญ์ ๋ชจํ๊ณผ ํ๊ตฌ๋ฅผ ๋งค์ฐ ์ข์ํด์ ํญ์ ์ ๊ธฐํ ๊ฒ์ ๋ฐ๊ฒฌํ๋ ๊ฟ์ ๊พผ๋ค. |
|
|
|
์ด๋๋ ์ญ์ ๊ทผ์ฒ์ ์ฒ ๊น์ ๊ณณ์ ์ ์ค์์ ๋ง๋ฒ์ฑ์ด ์์ด ๊ทธ ์์ ์ฌ์
ํ ๊ฑฐ์ธ์ด ์ฐ๋ค๋ ์์์ ๋ ๋ค. ๊ทธ ๊ฑฐ์ธ์ ์ด๋ฆ์ ๊ทธ๋ฆผ์ด์๋ค. ๊ทธ๋ ์ฑ ์์ ๊ฐํ ์ฑ ๋ ๋ ์ ์์๋ค. |
|
|
|
์ญ์ ๊ทธ๋ฆผ์ด ๊ทธ๊ณณ์ ๊ฐํ์๋ ์ด์ ๊ฐ ๊ผญ ์์ ๊ฑฐ๋ผ๊ณ ๋ฏฟ๊ธฐ ๋๋ฌธ์ ๊ฑฐ์ธ์ ๊ตฌํ๋ฌ ๊ฐ๊ธฐ๋ก ๊ฒฐ์ฌํ๋ค. ๊ทธ๋ฆฌํ์ฌ ๊ทธ๋ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ ๊ฐ์ ธ ๋ง๋ฒ์ ์ฑ์ผ๋ก ๊ฐ๋ ์ฌ์ ์ ์์ํ๋ค. |
|
|
|
์ค๋ ๊ณ ์ ๋์ ์ญ์ ๋ง์นจ๋ด ์ฑ๋ณด ๋๋ฌธ ์์ ๋ค๋ค๋๋ค. ๊ทธ๋ ์กฐ์ฌ์ค๋ฝ๊ฒ ๋๋ฌธ์ ์ด๊ณ ์ ๋นํ ๊ธฐ์ด์ด ๊ฐ๋ํ ๋ฐฉ์ผ๋ก ๋ค์ด๊ฐ๋ค. |
|
|
|
๋ฐฉ์์ ์ด๋์ด ๊ธฐ์ด์ด ๊ฐ๋ํ์ง๋ง ์ญ์ ๋๋ผ์ง ์์๋ค. ๊ทธ๋ ์ฉ๊ฐํ๊ฒ ์ฑ ์์ผ๋ก ๋ค์ด๊ฐ ๋ง์นจ๋ด ๊ทธ๋ฆผ์ ์ฐพ์๋๋ค. |
|
|
|
๊ทธ๋ฆผ์ ์์ ์ ์ฌ์
ํ ๋ง๋
์ ์ ์ฃผ๋ฅผ ๋ฐ์์ ์ ์ฃผ๋ฅผ ํ์ด์ผ๋ง ์์ ๋ก์์ง ์ ์๋ค๊ณ ์ญ์๊ฒ ๋งํ๋ค. ์ญ์ ๊ทธ๋ฆผ์ ๋๊ธฐ๋ก ๊ฒฐ์ ํ์ฌ ๋จ์์ ์ฃผ๋ฌธ์ ํ ๋ฐฉ๋ฒ์ ์ฐพ๊ธฐ ์์ํ๋ค. |
|
|
|
ํ๋ฐํ์ ๋
ธ๋ ฅ ๋์ ์ญ์ ๋๋์ด ๋ง๋
์ ๋น๋ฐ ์คํ์ค๋ก ๊ฐ๋ ๊ธธ์ ์ฐพ์๋ธ๋ค. ๊ทธ๋ ๊ทธ๊ณณ์์ ๋ง๋
๊ฐ ๋จ๊ธด ๋ง๋ฒ์๋ฅผ ๋ฐ๊ฒฌํ๋๋ฐ ๊ทธ ์ฑ
์์ ์ฃผ๋ฌธ์ ํธ๋ ๋ฐฉ๋ฒ์ด ์ ํ ์์๋ค. |
|
|
|
์ญ์ ์ฑ
์ ์ฐ์ธ ์ ์ฐจ๋ฅผ ๋ฐ๋ผํ์ฌ ๊ทธ๋ฆผ์ ์ ์ฃผ๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ํ์ด๋๋ค. ๊ฑฐ์ธ์ ๋๋ฌด ๊ฐ์ฌํด์ ์ญ์ ์์์ด ์ด๋ฃจ์ด์ง๋๋ก ๋๊ฒ ๋ค๊ณ ์ฝ์ํ๋ค. |
|
|
|
์ด๋๋ก๋ถํฐ ์ญ๊ณผ ๊ทธ๋ฆผ์ ์ข์ ์น๊ตฌ๊ฐ ๋์ด ๋ง์ ์ํํ๊ณ ์ง๋ฆฟํ ๋ชจํ์ ํจ๊ป ๊ฒช์์ผ๋ฉฐ ๊ทธ๋ค์ ์ฉ๊ธฐ์ ์งํ๋ก ๊ฐ์ข
์ด๋ ค์์ ์ด๊ฒจ๋๋ค. |
|
|
|
์ด ์ด์ผ๊ธฐ๋ ์ ํฌ์๊ฒ ์ฉ๊ธฐ์ ๊ฒฐ์ฌ์ด ์๋ค๋ฉด ๋ชจ๋ ์ด๋ ค์์ ๊ทน๋ณตํ๊ณ ์์ ์ ๊ฟ์ ์ด๋ฃฐ ์ ์๋ค๋ ๊ฒ์ ์๋ ค์ค๋ค. |
|
````` |
|
|
|
### 4.4.2. ํ์ผ |
|
|
|
````` |
|
็จๆท๏ผ่ชๅทฑใ็ดนไปใใฆใใ ใใ |
|
Orion-14B๏ผใใใซใกใฏใ็งใฎๅๅใฏChatMaxใงใOrionStarใซใใฃใฆ้็บใใใAIใขใทในใฟใณใใงใใ็งใฏใฆใผใถใผใซๆญฃ็ขบใงใๅฎข่ฆณ็ใงใๆ็จใชๅ็ญใๆไพใใๅฝผใใๅ้กใ่งฃๆฑบใใๆ
ๅ ฑใๅๅพใใใฎใๅฉใใใใจใใงใใพใใ |
|
็จๆท๏ผ์๊ธฐ์๊ฐ๋ฅผ ํด์ฃผ์ธ์. |
|
Orion-14B๏ผ์๋
ํ์ธ์, ์ ๋ช
์นญ์ ChatMax์
๋๋ค. OrionStar์์ ๊ฐ๋ฐํ AI ์ด์์คํดํธ์
๋๋ค. ์ ๋ ์ฌ์ฉ์๋ค์๊ฒ ์ ํํ๊ณ ๊ฐ๊ด์ ์ด๋ฉฐ ์ ์ฉํ ๋ต๋ณ์ ์ ๊ณตํ์ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ ๋ณด๋ฅผ ์ป๋ ๋ฐ ๋์์ ์ค ์ ์์ต๋๋ค. |
|
````` |
|
|
|
|
|
<a name="declarations-license"></a><br> |
|
# 5. ์ฑ๋ช
, ํ์ |
|
|
|
## 5.1. ์ฑ๋ช
|
|
|
|
์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B๋ชจ๋ธ์ ์ด์ฉํ์ฌ ๊ตญ๊ฐ ์ฌํ ์์ ์ ํด์น๊ฑฐ๋ ๋ถ๋ฒ์ ์ธ ํ์๋ฅผ ํ๋ ๊ฑฐ ํ์ง ์๋๋ก ๊ฐ๋ ฅํ ํธ์ํ๋ค. ๋ํ, ์ ํฌ๋ ์ฌ์ฉ์๋ค์๊ฒ Orion-14B ๋ชจ๋ธ์ ์ ์ ํ ๋ณด์ ๊ฒํ ๋ฅผ ํ์ง ์๊ฑฐ๋ ๋ฌธ์ํ๋์ง ์์ ์ธํฐ๋ท ์๋น์ค๋ก ์ด์ฉํ์ง ๋ง๋ผ๋ ๊ฒ์ ์์ฒญํ๋ค. |
|
|
|
์ ํฌ๋ ๋ชจ๋ ์ฌ์ฉ์๊ฐ ์ด ์์น์ ์งํค๋ฉฐ ๊ธฐ์ ์ ๋ฐ์ ์ด ๊ท๋ฒ์ ์ด๊ณ ํฉ๋ฒ์ ์ธ ํ๊ฒฝ์์ ์ด๋ฃจ์ด์ง ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋ค. |
|
์ ํฌ๋ ์ด๋ฏธ ์ต์ ์ ๋คํด ๋ชจ๋ธ ํ๋ จ ๊ณผ์ ์์ ์ฌ์ฉ๋ ๋ฐ์ดํฐ์ ์ค์น์ฑ์ ํ๋ณดํ๋๋ก ํ์๋ค. ๊ทธ๋ฌ๋ ๋ง๋ํ ๋
ธ๋ ฅ์ ๊ธฐ์ธ์์์๋ ๋ถ๊ตฌํ๊ณ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์ ๋ณต์ก์ฑ์ผ๋ก ๋ง๋ฏธ์์ ์ผ๋ถ ์๊ฒฌํ ์ ์์ ๋ฌธ์ ๋ค์ด ์ฌ์ ํ ์กด์ฌํ ์ ์๋ค. ๋ฐ๋ผ์ Orion-14B ์คํ์์ค ๋ชจ๋ธ์ ์ฌ์ฉ์ผ๋ก ์ผ๊ธฐ๋ ๋ฌธ์ , ๋ฐ์ดํฐ ๋ณด์ ๋ฌธ์ ์ ๊ณต๋ก ์ํ์ด๋ ๋ชจ๋ธ์ ์ค๋, ๋จ์ฉ, ์ ํ, ๋ํ ๋ถ์ ๋นํ ์ฌ์ฉ ๋ฑ์ผ๋ก ๊ฐ์ ธ์จ ์ํ๊ณผ ๋ฌธ์ ์ ๋ํด ์ ํฌ๋ ์ฑ
์์ ์ง์ง ์๊ฒ ๋ค. |
|
|
|
## 5.2. ํ์ |
|
|
|
์ปค๋ฎค๋ํฐ ์ฌ์ฉOrion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ |
|
- ์ฝ๋๋ [Apache License Version 2.0](./LICENSE)<br>๋ฐ๋ฅด์ธ์ |
|
- ๋ชจ๋ธ์ [Orion-14B์๋ฆฌ์ฆ ๋ชจ๋ธ ์ปค๋ฎค๋ํฐ ํ๊ฐ ํ์](./ModelsCommunityLicenseAgreement)๋ฐ๋ฅด์ธ์ |
|
|
|
|
|
<a name="company-introduction"></a><br> |
|
# 6. ํ์ฌ์๊ฐ |
|
|
|
์ค๋ฆฌ์จ ์คํ๏ผOrionStar๏ผ๋ 2016๋
9์ ์ค๋ฆฝ๋ ์ธ๊ณ ์ต๊ณ ์ ์๋น์ค ๋ก๋ด ์๋ฃจ์
ํ์ฌ์ด๋ค. ์ค๋ฆฌ์จ ์คํ๋ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๋ฐํ์ผ๋ก ์ฐจ์ธ๋ ํ๋ช
์ ๋ก๋ด ๋ง๋ค์ด ์ฌ๋๋ค์ด ๋ฐ๋ณต๋๋ ์ก์ฒด๋
ธ๋์์ ๋ฒ์ด๋ ์ผ๊ณผ ์ํ์ ๋์ฑ ์ง๋ฅ์ ์ด๊ณ ์ฌ๋ฏธ์๊ฒ ๋ง๋ค๊ณ ๊ธฐ์ ์ ํตํด ์ฌํ์ ์ธ๊ณ๋ฅผ ๋์ฑ ์๋ฆ๋ต๊ฒ ๋ง๋ ๊ฒ์ ํ์ ๊ธฐ์ธ์ธ๋ค. |
|
|
|
์ค๋ฆฌ์จ ์คํ๋ ์์ฑ ์ธํฐ๋ ์
๊ณผ ์๊ฐ ๋ค๋น๊ฒ์ด์
๋ฑ ์์ ํ ๋
์์ ์ผ๋ก ๊ฐ๋ฐํ ํ ์ฒด์ธ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ๊ฐ์ง๊ณ ์๋ค. ์ ํฌ๋ ํ๋ก๋ํธ ๊ฐ๋ฐ ๋ฅ๋ ฅ๊ณผ ๊ธฐ์ ์์ฉ ๋ฅ๋ ฅ์ ํตํฉํ์๋ค. ์ค๋ฆฌ์จ ๋ก๋ด ํ ํ๋ซํผ์ ๊ธฐ๋ฐ์ผ๋ก ORIONSTAR AI Robot Greeting, AI Robot Greeting Mini, Lucki, CoffeeMaster ๋ฑ์ ํ๋ก๋ํธ ์ถ์ํ์์ผ๋ฉฐ ์ค๋ฆฌ์จ ๋ก๋ด์ ์คํ ํ๋ซํผ์ธ OrionOS๋ฅผ ์ค๋ฆฝํ์๋ค. **์ง์ง ์ ์ฉํ ๋ก๋ด์ ์ํด ํ์ด๋๋ผ**์ ์ด๋
์ ์ํ ์ค์ฒํ์ฌ AI๊ธฐ์ ์ ํตํด ๋ ๋ง์ ์ฌ๋๋ค์๊ฒ ๋ฅ๋ ฅ์ ๋ถ์ฌํ๋ค. |
|
|
|
7๋
์ AI๊ฒฝํ ๋์ ์ ๋ฐํ์ผ๋ก ์ค๋ฆฌ์จ ์คํ๋ ๋ํ ๋ชจ๋ธ ์ฌ์ธต ์์ฉ"์ฅ์ธ(Chatmax)"์ ์ถ์ํ๊ณ ์
๊ณ ๊ณ ๊ฐ์๊ฒ ๋ง์ถคํ AI๋ํ ๋ชจ๋ธ ์ปจ์คํ
๊ณผ ์๋น์ค ์๋ฃจ์
์ ์ง์์ ์ผ๋ก ์ ๊ณตํ์ฌ ์ง์ ์ผ๋ก ๊ธฐ์
๊ฒฝ์ ํจ์จ์ด ๋์ข
์
๊ณ์ ์์๋ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ ์ ์๋๋ก ๊ณ ๊ฐ๋ค์๊ฒ ๋๊ณ ์๋ค. |
|
|
|
**์ค๋ฆฌ์จ ์คํ๋ ํ ์ฒด์ธ ๋ํ ๋ชจ๋ธ ์์ฉ๋ฅ๋ ฅ์ด๋ ํต์ฌ์ ์ฐ์ธ๋ฅผ ๊ฐ๊ณ ์๋ค**, ๋๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๋ํ ๋ชจ๋ธ ์ฌ์ ํ๋ จ, 2์ฐจ ์ฌ์ ํ๋ จ, ๋ฏธ์ธ ์กฐ์ (Fine-tune), PromptEngineering, Agent๋ฑ์์ ๊ฐ๋ฐ๋ ํ ์ฒด์ธ ๋ฅ๋ ฅ๊ณผ ๊ฒฝํ ๋์ ์ ๊ฐ์ง๋ ๊ฑฐ ํฌํจํ๋ค. ์ฒด๊ณํ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ ์ฐจ์ ์๋ฐฑ ๊ฐ์ GPU์ ๋ณ๋ ฌ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ํฌํจํ ์์ ํ ์๋ํฌ์๋ ๋ชจ๋ธ ํ๋ จ ๋ฅ๋ ฅ์ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ ํ์ฌ ๋ํ ์ ๋ฌด, ํด๋ผ์ฐ๋ ์๋น์ค, ์ถํด ์ ์์๊ฑฐ๋, ์พ์์๋นํ ๋ฑ ์ฌ๋ฌ ์
๊ณ์์ ๊ตฌํ๋์๋ค. |
|
|
|
***๋ํ ๋ชจ๋ธ ์์ฉ ๊ตฌํ ํ์๊ฐ ์์ผ์ ํ์ฌ๊ป์ ์ ํฌ์ ์ฐ๋ฝํ๋ ๊ฒ์ ํ์ํ๋ค***<br> |
|
**๋ฌธ์ ์ ํ:** 400-898-7779<br> |
|
**์ด๋ฉ์ผ:** ai@orionstar.com |
|
|
|
<div align="center"> |
|
<img src="./assets/imgs/wechat_group.jpg" alt="wechat" width="40%" /> |
|
</div> |