See axolotl config

axolotl version: 0.3.0

base_model: scb10x/typhoon-7b
model_type: MistralForCausalLM
tokenizer_type: LlamaTokenizer
is_mistral_derived_model: true

load_in_8bit: false
load_in_4bit: false
strict: false

datasets:
  - path: finetune-data.jsonl
    type: alpaca
dataset_prepared_path: last_run_prepared
val_set_size: 0.05
output_dir: ./out

sequence_len: 8192
sample_packing: false
pad_to_sequence_len: true
eval_sample_packing: false

wandb_project: typhoon-7b
wandb_entity:
wandb_watch:
wandb_name:
wandb_log_model:

gradient_accumulation_steps: 8
micro_batch_size: 1
num_epochs: 4
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 0.000005

train_on_inputs: false
group_by_length: false
bf16: true
fp16: false
tf32: false

gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true

warmup_ratio: 0.05
evals_per_epoch: 5
eval_table_size:
eval_table_max_new_tokens: 128
saves_per_epoch: 5
save_total_limit: 10
debug:
deepspeed:
weight_decay: 0.0
fsdp:
fsdp_config:
special_tokens:
  bos_token: "<s>"
  eos_token: "</s>"
  unk_token: "<unk>"

typhoon-7b-rag-instruct-th

This model is a fine-tuned version of scb10x/typhoon-7b on the ping98k/dolly-rag-instruct-th dataset. It achieves the following results on the evaluation set:

• Loss: 0.7682

Model description

prompt

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
ท่าอากาศยานสุวรรณภูมิห่างจากกรุงเทพเท่าไหร่

### Input:
=======START OF DOCUMENT=======
ท่าอากาศยานสุวรรณภูมิ (IATA: BKK, ICAO: VTBS) เป็นสนามบินที่ตั้งอยู่ที่ถนนเทพรัตนและทางพิเศษบูรพาวิถี ในเขตตำบลหนองปรือและตำบลราชาเทวะ อำเภอบางพลี จังหวัดสมุทรปราการ ห่างจากใจกลางกรุงเทพมหานครประมาณ 25 กิโลเมตร เปิดให้บริการเชิงพาณิชย์เต็มรูปแบบอย่างเป็นทางการเมื่อวันที่ 28 กันยายน พ.ศ. 2549[3] ท่าอากาศยานสุวรรณภูมิ เป็นท่าอากาศยานที่ใหญ่ที่สุดในประเทศไทย เป็นท่าอากาศยานที่ให้บริการเที่ยวบินระหว่างประเทศ (International Airport)[4] และ เป็นท่าอากาศยานที่มีสายการบินจำนวนมากที่สุดในประเทศไทย รัฐบาลได้กำหนดให้ท่าอากาศยานนานาชาติสุวรรณภูมิเป็นท่าอากาศยานหลักของประเทศไทยแทนท่าอากาศยานดอนเมือง และตั้งเป้าให้เป็นศูนย์กลางการบินในทวีปเอเชีย อีกทั้งการเน้นพัฒนาคุณภาพการให้บริการของท่าอากาศยานให้ได้รับการจัดอันดับ 1 ใน 10 ท่าอากาศยานที่มีคุณภาพการบริการดีที่สุดในโลกในปี พ.ศ. 2553[5]ปัจจุบันคุณ กิตติพงศ์ กิตติขจร เป็นผู้อำนวยการท่าอากาศยานสุวรรณภูมิ
=======NEXT DOCUMENT=======
ท่าอากาศยานสุวรรณภูมิให้บริการสายการบินที่ทำการบินแบบประจำในช่วง 27 ตุลาคม พ.ศ. 2562 ถึง 31 ธันวาคม พ.ศ. 2562 สูงสุด 104 สายการบิน ขนส่งอากาศยาน 11 สายการบิน และสายการบินเช่าเหมาลำ 1 สายการบิน สายการบินเช่าเหมาลำภายในประเทศทำการบินไปสนามบินเกาะไม้ซี้ 1 สายการบิน รวม 117 สายการบิน ซึ่งถือว่าบริการตามจำนวนสายการบินมากที่สุดแห่งหนึ่งของโลก (สามารถรองรับเที่ยวบิน 76 เที่ยวต่อชั่วโมงและผู้โดยสาร 45 ล้านคนต่อปี) [9]และศูนย์กลางการขนส่งทางอากาศ (สามารถรองรับสินค้าได้ 3 ล้านตันต่อปี) [9] นอกจากนี้ยังมีทางหลวงพิเศษที่ทันสมัยซึ่งเชื่อมต่อระหว่างท่าอากาศยาน กรุงเทพมหานคร และนิคมอุตสาหกรรมอิสเทิร์น ซีบอร์ด สายการบินหลายแห่ง ได้แก่ การบินไทย การบินไทยสมายล์ บางกอกแอร์เวย์ และไทยเวียดเจ็ทแอร์ ได้เลือกท่าอากาศยานสุวรรณภูมิเป็นศูนย์กลางการบิน
=======END OF DOCUMENT=======

### Response:

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-06
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• distributed_type: multi-GPU
• num_devices: 2
• gradient_accumulation_steps: 8
• total_train_batch_size: 16
• total_eval_batch_size: 2
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 23
• num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss
3.4821	0.0	1	4.2554
0.7752	0.2	48	0.7134
0.7287	0.41	96	0.6403
0.6135	0.61	144	0.6305
0.7828	0.81	192	0.6020
0.3375	1.02	240	0.5951
0.471	1.22	288	0.6191
0.2798	1.42	336	0.6249
0.5071	1.63	384	0.6213
0.2792	1.83	432	0.6176
0.069	2.03	480	0.6393
0.0742	2.23	528	0.6877
0.1309	2.44	576	0.6892
0.0349	2.64	624	0.6701
0.0639	2.84	672	0.6657
0.0273	3.05	720	0.6895
0.0311	3.25	768	0.7606
0.0307	3.45	816	0.7636
0.0791	3.66	864	0.7664
0.0747	3.86	912	0.7682

Framework versions

• Transformers 4.37.0.dev0
• Pytorch 2.0.1+cu118
• Datasets 2.16.1
• Tokenizers 0.15.0