Notesoop-STT-Ko-v2

  

Notesoop-STT-Ko-v2는 노트숲(Notesoop)이 개발한 차세대 한국어 온디바이스 음성인식(ASR) 모델입니다. 기존 Notesoop-STT-Ko-v1을 대폭 발전·확장한 모델이며, Apple Silicon(PyTorch MPS), NVIDIA CUDA GPU, 멀티코어 CPU에서 모두 고속 추론이 가능합니다.

Google EmbeddingGemma-2의 오디오 인코더 표현(MRL 256차원) 위에 경량 Conformer 음향 리더, 2,048 BPE 초구면 코사인 CTC 헤드, 서브밀리초(< 1ms) 네이티브 C++17 빔 서치와 5-Gram KenLM 언어 디코더를 결합한 비자기회귀(Non-Autoregressive) 단일 패스 아키텍처입니다.

V1이 대학 전공 강의에 특화되어 있었다면, V2는 300GB 강의 음성에 230GB 자유 대화 음성을 더한 총 530GB 코퍼스로 학습하여 강의뿐 아니라 일상 대화, 인터뷰, 회의 등 일반 한국어 음성 전반에서 정확도와 메모리 효율을 크게 높였습니다.

핵심 성과

Apple M1 Pro 16GB, PyTorch MPS 실측 기준

실전 강의 (41분 43초, Field Test)

지표	결과	Whisper-large-v3 대비
처리 시간	59.3초 (42.2배속, RTF 0.0237)	11.9배 빠름
CER	21.19%	4.36%p 낮음
VRAM	1.4GB	4.5배 적음

표준 벤치마크 (Zeroth-Korean, V1 → V2)

지표	V1	V2	개선
CER	15.88%	10.47%	-5.41%p
WER	45.28%	35.07%	-10.21%p
추론 속도	20.3x	28.5x	+40.4%
Host RAM	2,639MB	1,405MB	-46.7%

📄 커스텀 Apple Metal Compute Shader 학습 엔진, Zero-Disk 530GB 스트리밍 파이프라인, 수식 분석은 TECHNICAL_REPORT_v2.md를 참고하세요.

목차

1. Background & Design Goals
2. Model Specifications
3. What's New in V2
4. Benchmark
5. Quickstart
6. Repository Structure
7. License & Citation

---

Background & Design Goals

노트숲은 "학습의 비효율을 줄여, 사용자가 도구가 아닌 배움에 집중할 수 있는 경험을 만든다" 는 미션 아래 온디바이스 AI 음성 기술을 연구하고 있습니다. V1이 긴 강의에서의 온디바이스 고속 전사 가능성을 입증했다면, V2는 다양한 발화 환경과 하드웨어에서 안정적으로 동작하도록 설계되었습니다.

• 범용 한국어 인식력 (General Domain ASR): 정제된 강의·발표뿐 아니라 일상 대화, 빠른 발화, 추임새, 인터뷰 등 비정형 구어체에서도 높은 정확도를 제공합니다.
• 실질적인 온디바이스 속도 (Non-Autoregressive Efficiency): 병렬 처리 구조와 GPU-CPU 비동기 파이프라인으로 긴 오디오도 실시간 대비 수십 배 빠르게 전사합니다.
• 초경량 리소스 (Low Memory Footprint): 약 1.3~1.4GB의 메모리만 사용하므로 기본형 맥북(8GB/16GB)과 모바일·엣지 환경에서도 PDF 열람·필기 앱과 함께 쾌적하게 동작합니다.
• 크로스플랫폼 & 오픈 생태계: Apple MPS, NVIDIA CUDA(bfloat16), CPU 백엔드와 macOS/Linux/Windows용 C++ 빔 서치 빌드를 지원하며, 모델 가중치와 추론 엔진 전체를 Apache-2.0 라이선스로 공개합니다.

---

Model Specifications

16kHz Mono Audio
  └─▶ 128-Bin Log-Mel (20ms Win / 10ms Hop)
        └─▶ Frozen EmbeddingGemma-2 Backbone (MRL 256-dim, L2-Norm)
              └─▶ 10-Layer Conformer Reader (d=384, h=6, k=15)
                    └─▶ Spherical Cosine CTC Head (2,048 BPE)
                          └─▶ C++17 Rolling-Hash Beam Search (< 1ms) + 5-Gram KenLM (80.2MB)
                                └─▶ Overlap Deduplication & Clean Transcript

항목	상세 사양
Model Name	Notesoop-STT-Ko-v2 (신규 모델)
Audio Backbone	google/embeddinggemma-2 (Frozen, 16kHz Mono, 128-Mel, MRL 256-dim)
Acoustic Reader	경량 한국어 Conformer Reader (10-Layer, 34.3M params, d=384, h=6, k=15)
Vocabulary / Tokenizer	2,048 BPE SentencePiece (ko_bpe_2048.model)
Language Rescoring	KenLM 5-Gram 한국어 언어 모델 (320만 문장, 80.2MB)
Beam Search Engine	Native C++17 Rolling-Hash CTC Beam Search (< 1ms / chunk, Python Fallback 지원)
Supported Backends	PyTorch MPS (bfloat16), NVIDIA CUDA (bfloat16), Multi-core CPU
Training Data	총 530GB (AI Hub 강의 음성 300GB + 자유 대화 음성 230GB)
Domain Coverage	전공 강의, 학술 발표, 일상 대화, 인터뷰, 회의 등
License	Apache-2.0

파라미터 구성

배포 체크포인트 (checkpoints/NoteSoop_stt_v2_best.pt, 133MB)

모듈	파라미터
AudioToVectorReader	34.3M (34,281,601)
CosineCTCHead	0.53M (526,594)
합계 (학습 파라미터)	34.8M (34,808,195)

• BatchNorm 통계 버퍼를 포함한 state_dict는 34,815,875 원소입니다.

동결 백본 (google/embeddinggemma-2, 특징 추출 단계에서 MRL 256차원 표현 추출)

모듈	파라미터
audio_tower	304.8M
embed_audio	0.8M
language_model	271.0M
합계	576.6M (576,613,664)

• 미사용 embed_vision(0.39M) 포함 시 577.0M입니다.

---

What's New in V2

구분	Notesoop-STT-Ko-v1	Notesoop-STT-Ko-v2 (New)	핵심 개선 효과
학습 코퍼스	약 300GB (강의 음성)	총 530GB (강의 300GB + 자유 대화 230GB)	구어체·일상 대화 및 즉흥 발화 대응 강화
토크나이저	25,000 형태소·음절 사전	2,048 SentencePiece BPE	출력 차원 12.2배 축소, OOV 대응력 향상, RAM 47% 절감
언어 모델	KenLM 3-Gram (82.7MB)	KenLM 5-Gram (320만 문장, 80.2MB)	장거리 조사·어미 호응 및 띄어쓰기 정확도 향상
빔 서치 / 병합	기본 C++ / Python 빔 서치	C++17 Rolling-Hash (< 1ms) + Fuzzy LCS 병합	디코딩 병목 제거, 청크 경계 중복 억제
지원 플랫폼	Apple Silicon MPS 중심	Apple MPS · NVIDIA CUDA · Multi-core CPU	장치 자동 감지, Linux/macOS/Windows 자동 빌드

1. 230GB 자유 대화 음성 추가 학습 (총 530GB)

전공 용어와 격식체 중심의 300GB 강의 음성에, 다양한 성별·연령대의 자연스러운 구어체가 담긴 230GB 자유 대화 음성을 결합했습니다. 불규칙한 발화 속도, 추임새, 구어체 축약, 강의 중 즉흥 설명 구간에 대한 음향 강건성이 크게 향상되었습니다.

2. 2,048 BPE 토크나이저 & 5-Gram KenLM 언어 모델

형태소와 음절을 균형 있게 압축하는 2,048 크기 SentencePiece BPE 사전으로 희소 토큰 문제를 해소하고 미등록 어휘(OOV)·외래어 복원력을 높였습니다. 여기에 320만 문장으로 구축한 5-Gram KenLM(80.2MB) 을 결합해 문맥 자연스러움과 띄어쓰기 완성도를 끌어올렸습니다.

3. 크로스플랫폼 고성능 추론 & 지능형 청크 병합

• device="auto"로 CUDA / MPS / CPU 중 최적의 백엔드를 자동 선택하고 bfloat16 Fastpath를 적용합니다.
• GPU 배치 포워드와 멀티스레드 C++ 빔 서치를 비동기로 중첩 실행합니다.
• 청크 오버랩 구간에는 최대 8-어절 정확 매칭, 문자 단위 Fuzzy LCS 정렬, 반복 발화 필터를 순차 적용하여 매끄러운 장문 전사 결과를 만듭니다.

---

Benchmark

Notesoop-STT-Ko-v2를 (1) 공인 표준 벤치마크(Zeroth-Korean) 와 (2) 실제 대학 전공 강의 롱폼 녹음(41분 43초 Field Test) 으로 평가했습니다. 모든 온디바이스 측정은 Apple M1 Pro (16GB 통합 메모리, PyTorch MPS bfloat16, KenLM 5-Gram Beam Search 최적화 파이프라인) 기준입니다.

1. 표준 한국어 벤치마크 (Zeroth-Korean Test Set, 457문장)

Bingsu/zeroth-korean 테스트 세트(457개 발화, 1시간 11분 27초 / 4,287초) 전수 평가 결과입니다.

모델명	소요 시간 ⏱️	RTF	실시간 배속 ⚡	Host RAM	MPS VRAM 🖥️	CER 🎯	WER
Notesoop-STT-Ko-v2 (2K BPE + 5-Gram KenLM) 🚀	150.21초 (2분 30초)	0.0350	28.5x	1,405.5 MB	1,376.1 MB	10.47%	35.07%
Notesoop-STT-Ko-v1 (Notesoop MPS)	211.12초 (3분 31초)	0.0492	20.3x	2,639.2 MB	1,469.4 MB	15.88%	45.28%
개선폭 (V1 → V2)	-60.91초 (-28.8%)	-0.0142	+40.4% 가속	-46.7%	-6.3%	-5.41%p	-10.21%p

• CER 5.41%p 개선 (15.88% → 10.47%): 자유 대화 음성 추가 학습과 2K BPE 도입으로 오차율을 상대 기준 약 34.1% 줄였습니다.
• WER 10.21%p 개선 (45.28% → 35.07%): 5-Gram KenLM 결합으로 어절 경계와 띄어쓰기 정확도가 크게 향상되었습니다.
• 추론 속도 40.4% 향상 (20.3x → 28.5x): 1시간 11분 분량을 단 2분 30초에 전사합니다.
• Host RAM 46.7% 절감 (2,639.2MB → 1,405.5MB): 시스템 메모리 점유율이 절반 가까이 줄어 8GB/16GB 기기에서도 여유롭게 실행됩니다.

---

2. 실전 전공 강의 롱폼 녹음 (41분 43초, Field Test)

배경 소음, 말더듬, 잔향이 포함된 실제 대학 전공 강의 녹음(2,503.34초)에 대한 실측 비교입니다.

모델명	디바이스 / 백엔드	전사 소요 시간 ⏱️	체감 속도 ⚡	RTF	CER 🎯	WER	MPS VRAM 🖥️
Notesoop-STT-Ko-v2 (최적화 파이프라인) 🚀	Apple MPS (bf16)	59.3초 (59.32s)	42.2x	0.0237	21.19%	37.77%	1,394 MB
Notesoop-STT-Ko-v1 (공식 README 기준)	Apple MPS (bf16)	1분 2초 (62.70s)	39.9x	0.0251	22.46%	39.25%	1,537 MB
Whisper-medium (OpenAI)	Apple MPS	4분 11초 (251.5s)	10.0x	0.1005	26.68%	45.82%	3,467 MB
Whisper-large-v3 (OpenAI)	Apple MPS	11분 45초 (704.9s)	3.6x	0.2816	25.55%	42.10%	6,325 MB

• 1분 벽 돌파 (42.2x): 41분 43초 분량의 강의를 59.32초에 전사하여 Whisper-large-v3(704.9초) 대비 약 11.9배 빠릅니다.
• 대형 모델 대비 높은 정확도: CER 21.19% 로 V1(22.46%) 대비 1.27%p 향상되었고, Whisper-large-v3(25.55%) 대비 4.36%p 낮습니다.
• 초경량 메모리 (VRAM 1,394MB): Whisper-large-v3(6,325MB) 대비 약 4.5배 적은 VRAM을 사용하므로, 다른 작업과 동시에 실행해도 스와핑이나 병목이 거의 없습니다.

---

Quickstart

1. Installation

요구 사항

• OS: macOS (Apple Silicon M1 이상 권장), Linux/Windows (NVIDIA CUDA GPU 지원)
• Python: 3.10 이상
• git-lfs: 대용량 모델 파일(.pt, .bin, .model) 다운로드
• ffmpeg: 다양한 오디오 포맷(.m4a, .mp3, .flac 등) 디코딩

# 1) Git LFS 활성화 후 레포지토리 복제
git lfs install
git clone https://huggingface.co/Phsoft-ai/Notesoop-STT-Ko-v2
cd Notesoop-STT-Ko-v2

# 2) 의존성 설치
pip install -r requirements.txt

참고

• ffmpeg: macOS는 brew install ffmpeg, Ubuntu/Debian은 sudo apt install ffmpeg
• KenLM 설치 실패 시: pip install https://github.com/kpu/kenlm/archive/master.zip
• 오디오 인코더: 첫 실행 시 google/embeddinggemma-2 가중치를 Hugging Face에서 자동으로 내려받습니다. 접근 권한이 필요한 환경이라면 먼저 huggingface-cli login을 실행하세요.

---

2. CLI Usage

transcribe.py로 음성 파일을 바로 전사할 수 있습니다. (.wav, .m4a, .mp3, .flac 등 지원)

# 기본 실행 (장치 자동 감지, KenLM 5-Gram 활성화)
python transcribe.py --audio sample_audio.wav

# NVIDIA CUDA GPU에서 대용량 배치 전사 (RTX 3090/4090, A100 등)
python transcribe.py --audio my_audio.wav --device cuda --batch_size 16

# Apple Silicon MPS에서 실행
python transcribe.py --audio my_audio.m4a --device mps --batch_size 4

# 장시간 오디오 전사 후 텍스트 파일로 저장
python transcribe.py --audio lecture.m4a --output result.txt

# Greedy 디코딩 모드 (KenLM 비활성화, 가장 빠름)
python transcribe.py --audio sample_audio.wav --no_kenlm

주요 CLI 옵션

옵션	기본값	설명
--audio	sample_audio.wav	입력 오디오 파일 경로
--device	auto	연산 디바이스 (auto, cuda, mps, cpu)
--batch_size	4	청크 배치 크기 (CUDA에서는 8~16 권장)
--chunk_sec	15.0	슬라이딩 윈도우 청크 길이(초)
--overlap_sec	1.0	청크 간 중첩 길이(초)
--beam_size	16	CTC 빔 서치 크기
--alpha / --beta	0.18 / 0.35	KenLM 언어 모델 가중치(alpha) / 어절 삽입 보너스(beta)
--no_kenlm	False	KenLM 리스코어링 비활성화 (Greedy 디코딩)
--output	None	전사 결과를 저장할 .txt 파일 경로

---

3. C++ Fast Beam Search 빌드 (선택 사항)

< 1ms 수준의 C++17 CTC Beam Search 엔진을 직접 빌드하려면 다음을 실행합니다.

# macOS (.dylib), Linux (.so), Windows (.dll) 공유 라이브러리 자동 컴파일
python build_fast_beam.py

macOS용 바이너리는 src/libfast_beam_search_v3.dylib로 기본 포함되어 있습니다. 바이너리가 없어도 transcribe.py 실행 시 시스템 컴파일러(g++/clang++)가 있으면 자동으로 컴파일되며, 컴파일러가 없으면 Python Fallback으로 안전하게 동작합니다.

---

4. Benchmark Suite

RTF, 실시간 배속, Host RAM / GPU VRAM 점유율, CER/WER을 직접 측정할 수 있는 독립 벤치마크 도구를 제공합니다.

# 기본 벤치마크 (장치 자동 감지)
python benchmark.py --audio sample_audio.wav

# 정답 텍스트 대비 CER/WER 측정 및 JSON 저장 (CUDA 예시)
python benchmark.py --audio sample_audio.wav --ground_truth reference.txt --device cuda --batch_size 16 --output_json result.json

---

5. Python API

from transcribe import EmbeddingGemmaSTTV2

# 추론 엔진 초기화 (CUDA / MPS / CPU 자동 감지)
stt = EmbeddingGemmaSTTV2(
    device="auto",        # "auto", "cuda", "mps", "cpu"
    use_kenlm=True,
    beam_size=16
)

# 음성 전사
transcript, rtf = stt.transcribe(
    audio_path="sample_audio.wav",
    chunk_sec=15.0,
    overlap_sec=1.0,
    batch_size=4
)

print(f"전사 결과: {transcript}")
print(f"처리 배속: {1.0 / rtf:.1f}x Real-time (RTF: {rtf:.4f})")

---

Repository Structure

Notesoop-STT-Ko-v2/
├── README.md                            # Model Card 및 사용 설명서
├── TECHNICAL_REPORT_v2.md               # 아키텍처·Metal 학습·벤치마크 테크니컬 리포트
├── LICENSE                              # Apache-2.0 라이선스
├── requirements.txt                     # 필수 라이브러리 목록
├── transcribe.py                        # 통합 전사 CLI 및 Python API (Batched + Async)
├── benchmark.py                         # CUDA / MPS / CPU 성능(VRAM, RTF, CER/WER) 벤치마크
├── build_fast_beam.py                   # C++ Fast Beam Search 다중 OS 빌드 스크립트
├── sample_audio.wav                     # 테스트용 샘플 오디오
├── checkpoints/
│   └── NoteSoop_stt_v2_best.pt          # Conformer Reader 모델 가중치 (133MB)
├── lm/
│   └── ko_bpe_2048_lm.bin               # 5-Gram KenLM 언어 모델 (80.2MB)
├── tokenizer/
│   └── ko_bpe_2048.model                # 2,048 BPE SentencePiece 토크나이저
└── src/
    ├── model.py                         # Conformer Reader 신경망 (CUDA bf16 / MPS 네이티브)
    ├── dataset.py                       # 한국어 2K BPE 토크나이저 및 텍스트 정규화
    ├── decoder.py                       # KenLM 5-Gram 빔 서치 디코더 (다중 OS C++ 엔진 로더)
    ├── fast_beam_search_v3.cpp          # C++17 Rolling-Hash CTC Beam Search 소스
    ├── libfast_beam_search_v3.dylib     # macOS 사전 빌드 바이너리
    ├── mps_kernels.py                   # Apple Silicon Metal Compute Shader 학습 커널
    └── step2_extract_features.py        # EmbeddingGemma-2 오디오 특징 추출기

---

License & Citation

본 모델과 코드는 Apache License 2.0 하에 공개되며, 연구 및 상업적 목적으로 자유롭게 사용할 수 있습니다.

@misc{notesoop2026sttkov2,
  author = {Notesoop AI Team},
  title = {Notesoop-STT-Ko-v2: Advanced Korean On-Device Speech Recognition},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/Phsoft-ai/Notesoop-STT-Ko-v2}},
  note = {Cross-Platform On-Device Korean STT (Apple Silicon MPS / NVIDIA CUDA / CPU)}
}

---

Notesoop (노트숲) — 학습의 비효율을 줄여, 도구가 아닌 배움에 집중할 수 있는 경험을 만듭니다.
강의 녹음, 필기 연동, 핵심 요약부터 복습 퀴즈까지 하나로 이어지는 학습 환경을 노트숲 앱에서 경험해보세요.