- Foundation Model Bllossom 8B
- datasets
- AWQ Quantization
- Paged Attention vLLM
Query
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline
BASE_MODEL = "sh2orc/llama-3-korean-8b-awq"
llm = LLM(model=BASE_MODEL)
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'
instruction = 'ํ์ด์ฌ merge sort ์ฝ๋์ ์์ธํ ์ค๋ช
๋ ๊ฐ์ด ์ ์ํด์ค'
messages = [
{
"role": "system",
"content": "๋น์ ์ ํ๋ฅญํ AI ๋น์์
๋๋ค. ์งง์ ๋ต๋ณ์ ์ ์ํ๊ณ , ๋ค์์ผ๋ก ์์ธ ์ค๋ช
์ ํด์ฃผ์ธ์. You are a great AI assistant. Give a short answer, then elaborate. "
},
{
"role": "user",
"content": instruction
},
]
prompt_message = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.8, top_p=0.95,max_tokens=2048))
for output in outputs:
propt = output.prompt
generated_text = output.outputs[0].text
print(generated_text)
Result
Merge Sort๋ ๋ฐฐ์ด์ ๋๋ก ๋๋ ๋ค, ์ฌ๊ท์ ์ผ๋ก ์ ๋ ฌ๋ ๋ ๊ฐ๋ฅผ ํฉํ์ฌ ์ ๋ ฌํ๋ ์๊ณ ๋ฆฌ์ฆ์
๋๋ค. ๋ค์์ ํ์ด์ฌ์ผ๋ก ๊ตฌํํ Merge Sort ์ฝ๋์
๋๋ค.
```python
def merge_sort(arr):
if len(arr) <= 1:
return arr
mid = len(arr) // 2
left = arr[:mid]
right = arr[mid:]
left = merge_sort(left)
right = merge_sort(right)
return merge(left, right)
def merge(left, right):
result = []
i = 0
j = 0
while i < len(left) and j < len(right):
if left[i] < right[j]:
result.append(left[i])
i += 1
else:
result.append(right[j])
j += 1
while i < len(left):
result.append(left[i])
i += 1
while j < len(right):
result.append(right[j])
j += 1
return result
arr = [4, 3, 2, 8, 6, 1, 5, 7, 3, 2, 1]
result = merge_sort(arr)
print(result)
```
์ ์ฝ๋๋ฅผ ์คํํ๋ฉด ๋ค์๊ณผ ๊ฐ์ ๊ฒฐ๊ณผ๊ฐ ์ถ๋ ฅ๋ ๊ฒ์
๋๋ค.
```
[1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8]
```
Merge Sort๋ฅผ ์์ธํ ์ค๋ช
ํ๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
1. ์ ์: Merge Sort๋ ๋ฐฐ์ด์ ๋ ๊ฐ์ ๋ถ๋ถ ๋ฐฐ์ด์ผ๋ก ๋๋ ๋ค, ์ฌ๊ท์ ์ผ๋ก ์ ๋ ฌ๋ ๋ ๊ฐ๋ฅผ ํฉํ์ฌ ์ ๋ ฌํ๋ ์๊ณ ๋ฆฌ์ฆ์
๋๋ค.
2. ๋์: Merge Sort๋ ๋ฐฐ์ด์ ๋ถํ ํ์ฌ ๋ ๊ฐ์ ๋ถ๋ถ ๋ฐฐ์ด์ ๋ง๋ญ๋๋ค. ๊ทธ ํ, ์ฌ๊ท์ ์ผ๋ก ์ ๋ ฌ๋ ๋ ๊ฐ๋ฅผ ํฉํ์ฌ ์ ๋ ฌ๋ ๊ฒฐ๊ณผ๋ฅผ ์ป์ต๋๋ค.
3. ์๊ฐ ๋ณต์ก๋: Merge Sort์ ์๊ฐ ๋ณต์ก๋๋ O(n log n)์ด๋ฉฐ, ์ด๋ ๋ฐฐ์ด์ ์์๋ฅผ ์ฌ๊ท์ ์ผ๋ก ๋ถํ ํ๊ณ ์กฐํฉํ๋ ๊ณผ์ ์์ ๋ฐ์ํ๋ ๋น๊ต ๋ฐ ์ด๋์ ์๋ฅผ ๊ณ ๋ คํฉ๋๋ค.
4. ์ฅ๋จ์ : Merge Sort๋ ์์ ์ ์ธ ์ ๋ ฌ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก, ๋ฐฐ์ด์ ์์๋ฅผ ๋นํ์ฑํ ์ ์งํ๋ฉฐ ์ ๋ ฌํ ์ ์์ต๋๋ค. ๊ทธ๋ฌ๋ ๋ฐฐ์ด์ ์์๊ฐ ๋ง์ ๊ฒฝ์ฐ, ์ฌ๊ท์ ์ผ๋ก ๋ถํ ๋ ๋ถ๋ถ ๋ฐฐ์ด์ ์๋ฅผ ์ ํํ๊ธฐ ๋๋ฌธ์ ์๊ฐ ๋ณต์ก๋๊ฐ ๋์์ง ์ ์์ต๋๋ค.
๋ฐ๋ผ์, Merge Sort๋ ์ ๋ ฌ์ ์ํ ๊ฒฝ์ฐ ์์ ์ ์ธ ์ ๋ ฌ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ๊ณ ๋ คํ๋ ๊ฒ์ด ์ข์ต๋๋ค.