YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
HFD — Humanoid Full-Duplex
HFD研究持续交互中的人形机器人全双工行为:接收语音与可选的图像/视频,连续生成动作,并在视觉问答时生成语音回答。
任务包括 turn-taking、interruption(含stop)、backchannel、hesitation、pause。视觉问答叠加到这些交互任务中,不另设独立的SWA任务。代码中保留的swa名称用于模块与历史配置兼容。
当前入口
# 正式训练:参数集中在脚本顶部;使用作业分配的GPU
bash posttrain-full-duplex-audio-command.sh
# 仅打印训练配置,不启动训练
bash posttrain-full-duplex-audio-command.sh --print-config
# 自动推理/渲染:可指定run目录;省略时选择兼容的最新run
bash infer_render_auto.sh /path/to/run
直接执行bash infer_render_auto.sh会选择兼容的最新run并持续监听。
该入口接替原infer_render_auto_multiturn.sh;任务集合、train/val样例、多卡队列、
checkpoint间隔和异步渲染逻辑不变。无需另起内部worker,也不要同时启动两份自动推理。
训练环境复用.venv-psi。依赖、模型和数据路径必须可用,启动器会检查;不要把配置打印成功当成完整训练验证。关键参数在训练脚本顶部,固定配置与环境变量映射在当前配方。完整续训与WandB续接参数见训练脚本末尾说明。
历史数据工具已移入backup/,不是日常训推入口:
backup/prepare_full_duplex_continuous_audio.sh用于连续背景音数据重建(旧流程还会导出hidden),
backup/prepare_omni_training_data.sh及其调用的backup/cache_video_omni_embeds.py
用于历史数据重建/兼容。已有数据训练无需运行它们,
不要为清理目录而重新执行造数据。旧canonical-motion消融、旧OSS索引预构建、
早期hidden包装入口已退役,恢复方式见清理记录。
项目结构
| 位置 | 用途 |
|---|---|
posttrain-full-duplex-audio-command.sh |
正式训练入口 |
infer_render_auto.sh |
唯一自动推理入口:多任务、多卡、异步渲染 |
scripts/infer/run_audio_case.sh |
调度器内部音频样例/渲染执行器,不需单独启动 |
src/psi/models/、src/psi/trainers/ |
HFD模型和训练器;含仍在复用的Psi0基础实现 |
src/psi/data/seed/ |
音频/动作、视觉问答、流式session数据构造 |
src/psi/runtime/ |
推理运行时 |
scripts/data/ |
数据准备、质检、GT渲染和审核看板 |
scripts/infer/ |
推理、任务样例与异步渲染调度 |
assets/stats/ |
动作归一化等统计量,不能当作旧宣传素材删除 |
tests/ |
回归测试 |
doc/、experiments/ |
技术文档与历史实验报告 |
runs/ |
本机运行产物,不纳入Git |
HFD仍沿用psi包名、部分基础模型、数据变换和训练基类。不能按文件名含psi0就删除,也不要重命名包来“清理”:旧checkpoint和当前导入路径都依赖它。
数据与审核看板
- 当前数据盘点:数据量、存储与路径;是有日期的快照,实时准入情况以清单为准。
- 看板使用说明:候选、已准入素材、人工备注和审核进度。
- 已有索引时启动网页:
.venv-psi/bin/python scripts/data/review_dashboard/server.py。 - 网页默认监听本机8770,远程使用DSW/IDE端口代理;
/progress显示审核进度。机器重启后,网页和审核后台需要分别恢复,普通tmux不提供开机自启。 - 数据位于项目外的
videogen/等目录;审核运行记录在项目外hfd_experiments/。不要把机器审核pending清单当作正式可训练清单。
历史代码与来源
无关的Psi0 baseline、旧训练入口和SIMPLE示例已从当前目录移除,范围与可恢复备份见合并工作留痕。共享基础代码、环境、数据、模型权重和历史实验文档未随之清理。
本项目复用Psi0的基础实现;原版权声明和LICENSE保留。原上游README在Git历史及本次可恢复备份中保留,本页仅说明HFD当前入口。
历史变更见CHANGELOG.md,对话决策见DIALOG.md,更多技术文档见doc/README.md。