kingkim/kodialogpt_v3.0_SecurityManual

results

This model is a fine-tuned version of kingkim/kodialogpt_v1.1_SecurityManual on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.9083

Model description

해당 모델은 빌딩 보안 매뉴얼을 학습한 파인튜닝된 모델로, 보안 상황에서의 대처 방법을 질문과 답변 형식으로 학습했습니다. 저층부 및 고층부 화재 대응, 침입자 발생 시 대응 방법 등 다양한 보안 상황에서의 매뉴얼을 바탕으로 훈련되었습니다.

Intended uses & limitations

용도:

• 보안 요원 훈련 시스템
• 빌딩 보안 관련 응답 시스템
• 매뉴얼 기반 챗봇 응용 프로그램

제한 사항:

• 모델은 빌딩 보안 매뉴얼 데이터만을 기반으로 학습되었으며, 다른 보안 시나리오에 대한 일반화 능력은 제한적일 수 있습니다.

Training and evaluation data

본 모델은 빌딩 보안 매뉴얼을 바탕으로 만들어진 데이터셋을 기반으로 학습되었습니다. kingkim/DS_Building_SecurityManual kingkim/DS_Building_SecurityManual_V3 kingkim/DS_Building_SecurityManual_V5 데이터셋은 실제 매뉴얼을 바탕으로 작성되었으며, 200개 이상의 보안 시나리오를 포함하고 있습니다.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 2
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 8
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
2.2114	0.9565	11	1.5838
0.8439	2.0	23	1.2342
0.6033	2.9565	34	0.9828
0.3294	4.0	46	0.9062
0.2423	4.7826	55	0.9083

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.19.1