daegyeong48/whisper-small-ko-fall-help-ct2-int8

Korean Fall and Help Speech Whisper Small - CTranslate2 INT8

한국어 낙상 및 도움 요청 음성 인식을 위해 파인튜닝한 Whisper Small 모델의 CTranslate2 INT8 배포 버전입니다. 1인 가구 시니어의 낙상 사고 감지 캡스톤 프로젝트에서 CPU 추론용으로 사용합니다.

이 저장소에는 모델 가중치와 실행 설정만 포함하며, AI Hub 원본 데이터와 직접 녹음한 음성은 포함하지 않습니다.

Model details

항목	내용
기반 모델	seastar105/whisper-small-ko-zeroth
언어	한국어
작업	자동 음성 인식(ASR)
파인튜닝	LoRA, q_proj와 v_proj 대상
배포 형식	CTranslate2
양자화	INT8
실행 장치	CPU
모델 크기	약 234.4 MB

Training data

학습에는 AI Hub 위급상황 음성·음향 데이터 중 프로젝트 목적에 맞는 낙상 및 도움 요청 음성과 직접 녹음한 위급 표현을 사용했습니다.

최종 추가 학습 단계의 구성은 다음과 같습니다.

• AI Hub 학습 음성: 5,000개
• 직접 녹음 음성: 119개를 학습에서 5회 반복
• 최종 학습 행: 5,595개
• 검증 음성: AI Hub 1,000개
• 주요 라벨: fall_related, help_direct

직접 녹음 반복은 적은 수의 목표 발화를 보강하기 위한 학습 샘플링이며, 서로 다른 녹음 595개를 의미하지 않습니다.

Audio input

프로젝트 입력 규격은 다음과 같습니다.

• 샘플레이트: 16,000 Hz
• 채널: mono
• 파일 형식: WAV, 16-bit PCM 권장
• 마이크 추론 구간: 기본 5초
• 언어: ko

모델 내부에서는 Whisper 전용 80-bin Log-Mel 특징을 사용합니다.

Evaluation

평가 데이터는 총 2,398개입니다.

• AI Hub 미사용 평가 음성: 2,370개
• 새 직접 녹음 평가 음성: 28개
• fall_related: 1,199개
• help_direct: 1,199개

동일한 CPU / CTranslate2 INT8 / beam_size=1 조건의 결과입니다. CER과 WER은 비율이며 낮을수록 좋습니다.

모델	CER	WER	키워드 인식률
Zeroth baseline INT8	0.4376 (43.76%)	0.8383 (83.83%)	88.49%
LoRA fine-tuned INT8	0.0231 (2.31%)	0.0651 (6.51%)	99.58%

직접 녹음 평가 28개만 분리한 최종 INT8 결과는 CER 0.1956, WER 0.3571, 키워드 인식률 78.57%였습니다. 전체 결과보다 낮으므로 실제 환경과 다양한 화자의 발음에 대한 추가 검증이 필요합니다.

Download

비공개 저장소를 내려받으려면 먼저 Hugging Face에 로그인해야 합니다.

hf auth login
hf download daegyeong48/whisper-small-ko-fall-help-ct2-int8 `
  --local-dir whisper_models/whisper-small-ko-fall-help-userx5-ct2-int8

Usage

from faster_whisper import WhisperModel

model = WhisperModel(
    "whisper_models/whisper-small-ko-fall-help-userx5-ct2-int8",
    device="cpu",
    compute_type="int8",
)

segments, info = model.transcribe(
    "sample.wav",
    language="ko",
    task="transcribe",
    beam_size=1,
    without_timestamps=True,
)

text = "".join(segment.text for segment in segments).strip()
print(text)

프로젝트의 마이크 스크립트를 사용할 때는 다음과 같이 실행합니다.

python tools/transcribe_mic_int8.py --seconds 5 --device 1

Limitations

• 한국어 낙상 및 도움 요청 표현에 특화된 연구용 모델입니다.
• 심하게 뭉개진 발음, 구음장애 음성, 먼 거리 녹음, 큰 생활 소음에서는 성능이 낮아질 수 있습니다.
• 키워드 중심 데이터로 학습되어 일반적인 장문 받아쓰기 성능을 보장하지 않습니다.
• 직접 녹음 평가 표본이 28개로 작으므로 실제 사용 성능을 대표하기에는 제한이 있습니다.
• 실제 응급 신고나 의료 판단을 이 모델 하나에만 의존하면 안 됩니다.

공개 전환 전에는 기반 모델과 사용 데이터의 재배포 조건을 별도로 확인해야 합니다.