File size: 10,261 Bytes
1e8959c 590b14a 9336fcf 1e8959c 590b14a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 |
---
license: apache-2.0
library_name: peft
---
# Food Order Understanding in Korean
This is a LoRA adapter as a result of fine-tuning the pre-trained model `meta-llama/Llama-2-7b-chat-hf`. It is designed with the expectation of understanding Korean food ordering sentences, and analyzing food menus, option names, and quantities.
## Usage
Here is an example of loading the model.
Note the pretrained model is `meta-llama/Llama-2-7b-chat-hf`.
```python
peft_model_id = "jangmin/qlora-llama2-7b-chat-hf-food-order-understanding-30K"
config = PeftConfig.from_pretrained(peft_model_id)
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, quantization_config=bnb_config, cache_dir=cache_dir, device_map={"":0})
model = PeftModel.from_pretrained(model, peft_model_id)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path, cache_dir=cache_dir)
model.eval()
```
Inferece can be done as follows.
```python
instruction_prompt_template = """
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ์ฃผ๋ฌธ ๋ฌธ์ฅ: {0} ### ๋ถ์ ๊ฒฐ๊ณผ:
"""
def gen(x):
q = instruction_prompt_template.format(x)
gened = model.generate(
**tokenizer(
q,
return_tensors='pt',
return_token_type_ids=False
).to('cuda'),
max_new_tokens=256,
early_stopping=True,
do_sample=True,
eos_token_id=tokenizer.eos_token_id
)
decoded_results = tokenizer.batch_decode(gened, skip_special_tokens=True)
return decoded_results[0]
```
A generated sample is as follows.
```python
print(gen("์์ด์ค์๋ฉ๋ฆฌ์นด๋
ธ ํจ์ฌ์ด์ฆ ํ์ ํ๊ณ ์. ๋ธ๊ธฐ์ค๋ฌด๋ ํ์ ์ฃผ์ธ์. ๋, ์ฝ๋๋ธ๋ฃจ๋ผ๋ผ ํ๋์."))
```
```
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์์ด์ค์๋ฉ๋ฆฌ์นด๋
ธ ํจ์ฌ์ด์ฆ ํ์ ํ๊ณ ์. ๋ธ๊ธฐ์ค๋ฌด๋ ํ์ ์ฃผ์ธ์. ๋, ์ฝ๋๋ธ๋ฃจ๋ผ๋ผ ํ๋์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์์ด์ค์๋ฉ๋ฆฌ์นด๋
ธ, ์ต์
:ํจ์ฌ์ด์ฆ, ์๋:ํ์
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๋ธ๊ธฐ์ค๋ฌด๋, ์๋:ํ์
- ๋ถ์ ๊ฒฐ๊ณผ 2: ์์๋ช
:์ฝ๋๋ธ๋ฃจ๋ผ๋ผ, ์๋:ํ๋
``````
More examples are as follows.
```
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์ค๋์ ๋น๊ฐ์ค๋๊น ์ด๊ฑฐ ๋จน์. ์ผ์ ์งฌ๋ฝ ๊ณฑ๋ฐฐ๊ธฐ ํ๋ํ๊ตฌ์, ์ฌ์ฒ ํ์์ก ์ค์ง ํ๊ทธ๋ฆ ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์ผ์ ์งฌ๋ฝ,์ต์
:๊ณฑ๋ฐฐ๊ธฐ,์๋:ํ๋
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:์ฌ์ฒ ํ์์ก,์ต์
:์ค์ง,์๋:ํ๊ทธ๋ฆ
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์ฐธ์ด์ฌ ํ๋ณ, ์ฝ์นด์ฝ๋ผ 1.5๋ฆฌํฐ ํ๋ณ, ํ
์ฌ๋ผ ํ๋ณ์ด์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์ฐธ์ด์ฌ, ์๋:ํ๋ณ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:์ฝ์นด์ฝ๋ผ, ์ต์
:1.5๋ฆฌํฐ, ์๋:ํ๋ณ
- ๋ถ์ ๊ฒฐ๊ณผ 2: ์์๋ช
:ํ
์ฌ๋ผ, ์๋:ํ๋ณ
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ๊ผฌ๋ง๋ฌด์นจ 1์ธ๋ถํ๊ณ ์, ๋ญ๋๋ฆฌํ ์ค์ ์ฃผ์ธ์. ๊ทธ๋ฆฌ๊ณ ์์ฃผ๋ ํ๋ณ ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:๊ผฌ๋ง๋ฌด์นจ,์๋:1์ธ๋ถ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๋ญ๋๋ฆฌํ,์ต์
:์ค์
- ๋ถ์ ๊ฒฐ๊ณผ 2: ์์๋ช
:์์ฃผ,์๋:ํ๋ณ
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ๊น์น์ฐ๊ฐ 3์ธ๋ถํ๊ณ ์, ๊ณ๋๋ง์ด ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:๊น์น์ฐ๊ฐ,์๋:3์ธ๋ถ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๊ณ๋๋ง์ด
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ๋ถ๊ณ ๊ธฐ๋ฒ๊ฑฐ์ธํธ 1๊ฐํ๊ณ ์ ๊ฐ์ํ๊น ์ถ๊ฐํด์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:๋ถ๊ณ ๊ธฐ๋ฒ๊ฑฐ, ์๋:1๊ฐ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๊ฐ์ํ๊น
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ๋ถ๋ญ๋ณถ์๋ฉด 1๊ฐ๋ ์ฌ๋ฆฌ๊ณฐํ๋ฉด 2๊ฐ ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:๋ถ๋ญ๋ณถ์๋ฉด, ์๋:1๊ฐ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:์ฌ๋ฆฌ๊ณฐํ๋ฉด, ์๋:2๊ฐ
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์นดํ๋ผ๋ผ ์์ด์ค ์ท์ถ๊ฐ ํ์ํ๊ตฌ์. ์ค์ฝ ํ๋ ์ฃผ์ธ์ ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์นดํ๋ผ๋ผ,์ต์
:์์ด์ค,์ท์ถ๊ฐ,์๋:ํ์
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:์ค์ฝ,์๋:ํ๋
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์ฌ๊ธฐ์ ์ถ์ฒ๋ญ๊ฐ๋น 4์ธ๋ถํ๊ณ ์. ๋ผ๋ฉด์ฌ๋ฆฌ ์ถ๊ฐํ๊ฒ ์ต๋๋ค. ์ฝ๋ผ 300ml ๋์บ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์ถ์ฒ๋ญ๊ฐ๋น, ์๋:4์ธ๋ถ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๋ผ๋ฉด์ฌ๋ฆฌ
- ๋ถ์ ๊ฒฐ๊ณผ 2: ์์๋ช
:์ฝ๋ผ, ์ต์
:300ml, ์๋:๋์บ
๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.
### ๋ช
๋ น: ์์์์ ์กฐ๋ญ์ด๋ก๊ตญ 3์ธ๋ถํ๊ณ ์. ๋ก๋ง๋ ํ์ธํธ ์ฃผ์ธ์. ### ์๋ต:
- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์กฐ๋ญ์ด๋ก๊ตญ,์๋:3์ธ๋ถ
- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๋ก๋ง๋,์๋:ํ์ธํธ
```
## Training
Fine-tuning was conducted using https://github.com/artidoro/qlora on an RTX-4090 machine, and took approximately 9 hours.
The max_steps parameter was set to 5,000, which allowed nearly two complete scans of the entire dataset.
Below is my training script.
```bash
python qlora.py \
--cache_dir /Jupyter/huggingface/.cache \
--model_name_or_path meta-llama/Llama-2-7b-chat-hf \
--use_auth \
--output_dir ../output/llama2-gpt4-30k-food-order-understanding-7b \
--logging_steps 10 \
--save_strategy steps \
--data_seed 42 \
--save_steps 500 \
--save_total_limit 40 \
--evaluation_strategy steps \
--eval_dataset_size 1024 \
--max_eval_samples 1000 \
--per_device_eval_batch_size 12 \
--max_new_tokens 32 \
--dataloader_num_workers 1 \
--group_by_length \
--logging_strategy steps \
--remove_unused_columns False \
--do_train \
--do_eval \
--lora_r 64 \
--lora_alpha 16 \
--lora_modules all \
--double_quant \
--quant_type nf4 \
--bf16 \
--bits 4 \
--warmup_ratio 0.03 \
--lr_scheduler_type constant \
--gradient_checkpointing \
--dataset /Jupyter/dev_src/ASR-for-noisy-edge-devices/data/food-order-understanding-gpt4-30k.json \
--target_max_len 512 \
--per_device_train_batch_size 12 \
--gradient_accumulation_steps 1 \
--max_steps 5000 \
--eval_steps 500 \
--learning_rate 0.0002 \
--adam_beta2 0.999 \
--max_grad_norm 0.3 \
--lora_dropout 0.1 \
--weight_decay 0.0 \
--seed 0 \
--report_to tensorboard
```
## Dataset
The dataset was constructed using GPT-API with `gpt-4`. A prompt template is desginged to generate examples of sentence pairs of a food order and its understanding. Total 30k examples were generated.
Note that it cost about $400 to generate 30K examples through 3,000 API calls.
Some generated examples are as follows:
```json
{
'input': '๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.\n๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.\n\n### ๋ช
๋ น: ์ ์ก๋ณถ์ ํ๊ทธ๋ฆํ๊ณ ์, ๋น๋น๋ฐฅ ํ๊ทธ๋ฆ ์ถ๊ฐํด์ฃผ์ธ์. ### ์๋ต:\n',
'output': '- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์ ์ก๋ณถ์,์๋:ํ๊ทธ๋ฆ\n- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:๋น๋น๋ฐฅ,์๋:ํ๊ทธ๋ฆ'
},
{
'input': '๋ค์์ ๋งค์ฅ์์ ๊ณ ๊ฐ์ด ์์์ ์ฃผ๋ฌธํ๋ ์ฃผ๋ฌธ ๋ฌธ์ฅ์ด๋ค. ์ด๋ฅผ ๋ถ์ํ์ฌ ์์๋ช
, ์ต์
๋ช
, ์๋์ ์ถ์ถํ์ฌ ๊ณ ๊ฐ์ ์๋๋ฅผ ์ดํดํ๊ณ ์ ํ๋ค.\n๋ถ์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํด์ฃผ๊ธฐ ๋ฐ๋๋ค.\n\n### ๋ช
๋ น: ์ฌ์ฒํ์์ก ๊ณฑ๋ฐฐ๊ธฐ ์ฃผ๋ฌธํ๊ณ ์, ์ค์ํฌ๋ฆผ์นํจ๋ ํ๋ ์ถ๊ฐํด์ฃผ์ธ์. ### ์๋ต:\n',
'output': '- ๋ถ์ ๊ฒฐ๊ณผ 0: ์์๋ช
:์ฌ์ฒํ์์ก,์ต์
:๊ณฑ๋ฐฐ๊ธฐ\n- ๋ถ์ ๊ฒฐ๊ณผ 1: ์์๋ช
:์ค์ํฌ๋ฆผ์นํจ,์๋:ํ๋'
}
```
## Note
I have another fine-tuned Language Model, `jangmin/qlora-polyglot-ko-12.8b-food-order-understanding-32K`, which is based on `EleutherAI/polyglot-ko-12.8b`. The dataset was generated using `gpt-3.5-turbo-16k`. I believe that the quality of a dataset generated by `GPT-4` would be superior to that generated by `GPT-3.5`. |