README.md

metadata

license: apache-2.0
tags:
  - generated_from_trainer
metrics:
  - wer
base_model: openai/whisper-large-v3
model-index:
  - name: whisper_final
    results: []

구음장애 환자를 위한 음성인식 모델

공모전

• 재단법인 미래와 소프트웨어와 함께하는 제 3회아이디어 공모전

프로젝트

• "구음장애 음성 데이터를 활용한 고령 환자의 의사소통 개선방안"

Model description

본 모델은 "구음장애 음성 데이터를 활용한 고령 환자의 의사소통 개선방안" 프로젝트의 구음장애환자에 대한 한국어 음성인식 모델임. OpenAI의 Whisper 모델을 파인튜닝 하여 구음장애의 음성적 특성을 반영한 모델을 구축하였음.

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-07
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 10
• num_epochs: 1
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
4.2932	0.09	10	4.6306	16.0442
4.2744	0.18	20	4.1942	16.2348
3.7418	0.27	30	3.7625	15.5107
3.2037	0.36	40	3.5635	14.6723
3.4714	0.45	50	3.4383	14.3674
2.8962	0.55	60	3.3494	14.1768
2.7958	0.64	70	3.2752	18.2927
2.8691	0.73	80	3.2208	19.5884
2.8693	0.82	90	3.1857	20.6174
2.9474	0.91	100	3.1644	20.6555
3.1712	1.0	110	3.1551	20.6174

Framework versions

• Transformers 4.38.0.dev0
• Pytorch 2.1.0+cu121
• Datasets 2.16.1
• Tokenizers 0.15.1