Robot-tics: model + dữ liệu đang dùng cho robot hướng dẫn bệnh viện (Godot sim)

Bộ model tốt nhất hiện đang chạy trong run_simulation.py của repo GitHub QuangManhAI/Data-Science-Major-Project (nhánh feat/human-walk-animation), cùng giọng NPC và âm nền. Cấu trúc thư mục giống hệt repo: tải về thẳng vào thư mục gốc repo là các file nằm đúng chỗ code tìm.

Thành phần	Đường dẫn	Ghi chú
Vision (YOLO26n detect, 17 lớp bệnh viện)	models/yolo26n_hospital_robot_v6_best/	mAP50 92.6 %, .pt + .onnx
RL điều hướng (PPO Pure-Vision V2, 21-D, không LiDAR)	experiments/checkpoints/PPOHospital-PureVisionV2_best.pt	rl_policy_server.py mặc định
RL tương tác (PPO Engagement V3, 35-D, 4 hành động: quay về người nói, ngẩng đầu, hỏi)	experiments/checkpoints/PPOHospital-EngageV3_best.pt	--policy v3; cần code nhánh feat/rl-v3-engagement có quan sát 35-D (nhớ hướng giọng nói)
RL V3 bản cũ (31-D, vòng 3) cho code nhánh trước khi có 35-D	experiments/checkpoints/PPOHospital-EngageV3_round3_31d.pt	đổi tên thành PPOHospital-EngageV3_best.pt để dùng
Nhận diện bệnh nhân lúc dẫn: YuNet (mặt), OSNet x0.25 MSMT17 (ReID thân), SFace (chỉ để đánh giá)	models/identity/
STT (PhoASR-whisper-small fine-tune bệnh viện)	models_finetuned/phoasr_small_hospital_best/	voice/config.py tự chọn
NLU intent (PhoBERT fine-tune)	models_finetuned/phobert-intent/	--nlu phobert
Tách từ cho PhoBERT (VnCoreNLP RDRSegmenter)	models/VnCoreNLP/	cần Java ≥ 8
TTS (VieNeu-TTS v3 Turbo, ONNX fp32)	models/Vie-neu-v3-turbo/ (onnx_update/ + file gốc)	.venv-tts
Codec cho TTS (MOSS Audio Tokenizer Nano ONNX)	models/MOSS-Audio-Tokenizer-Nano-ONNX/
Giọng NPC: 8 nam + 14 nữ người lớn, 1669 clip	data/processed/manifest.csv, data/processed/wav/	sau đó chạy voice.sync_voices
Âm nền bệnh viện	sim_vision/godot/assets/sounds/
Cache câu trả lời TTS	data/tts_cache/

Tải về và chạy

Hướng dẫn đầy đủ từng bước (cho người hoặc AI agent): file SETUP_FROM_HF.md ở gốc repo GitHub. Tóm tắt:

cd Data-Science-Major-Project            # thư mục gốc repo, nhánh feat/human-walk-animation
hf auth login                            # repo private: cần token có quyền đọc
hf download ManhQuangAI/Robot-tics --local-dir . --exclude "README.md" --exclude ".gitattributes"
cd sim_vision/python && .venv/bin/python -m voice.sync_voices && cd ../..
sim_vision/python/.venv/bin/python run_simulation.py --controller rl --nlu phobert

Lưu ý:

• Đặt file thật vào đúng chỗ (đừng để symlink sang thư mục khác): onnxruntime từ chối file .data nằm ngoài thư mục model, và VnCoreNLP tìm models/wordsegmenter cạnh file .jar.
• Giọng NPC là bản thu của người thật (đã loại trẻ em và người rút dữ liệu): chỉ dùng trong đồ án, giữ repo private.
• Không gồm PhoBERT-base-v2 / PhoASR-whisper-small gốc (chỉ cần khi train lại).

Giấy phép thành phần bên thứ ba

VieNeu-TTS v3 Turbo và MOSS Audio Tokenizer: Apache-2.0. PhoASR-whisper-small (gốc của bản fine-tune STT): Qualcomm Responsible AI License. PhoBERT-base-v2 (gốc của bản fine-tune NLU): AGPL-3.0. VnCoreNLP: GPL-3.0. Repo để private, chỉ dùng cho đồ án.