YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

HFD — Humanoid Full-Duplex

HFD研究持续交互中的人形机器人全双工行为:接收语音与可选的图像/视频,连续生成动作,并在视觉问答时生成语音回答。

任务包括 turn-taking、interruption(含stop)、backchannel、hesitation、pause。视觉问答叠加到这些交互任务中,不另设独立的SWA任务。代码中保留的swa名称用于模块与历史配置兼容。

当前入口

# 正式训练:参数集中在脚本顶部;使用作业分配的GPU
bash posttrain-full-duplex-audio-command.sh

# 仅打印训练配置,不启动训练
bash posttrain-full-duplex-audio-command.sh --print-config

# 自动推理/渲染:可指定run目录;省略时选择兼容的最新run
bash infer_render_auto.sh /path/to/run

直接执行bash infer_render_auto.sh会选择兼容的最新run并持续监听。 该入口接替原infer_render_auto_multiturn.sh;任务集合、train/val样例、多卡队列、 checkpoint间隔和异步渲染逻辑不变。无需另起内部worker,也不要同时启动两份自动推理。

训练环境复用.venv-psi。依赖、模型和数据路径必须可用,启动器会检查;不要把配置打印成功当成完整训练验证。关键参数在训练脚本顶部,固定配置与环境变量映射在当前配方。完整续训与WandB续接参数见训练脚本末尾说明。

历史数据工具已移入backup/,不是日常训推入口: backup/prepare_full_duplex_continuous_audio.sh用于连续背景音数据重建(旧流程还会导出hidden), backup/prepare_omni_training_data.sh及其调用的backup/cache_video_omni_embeds.py 用于历史数据重建/兼容。已有数据训练无需运行它们, 不要为清理目录而重新执行造数据。旧canonical-motion消融、旧OSS索引预构建、 早期hidden包装入口已退役,恢复方式见清理记录。

项目结构

位置 用途
posttrain-full-duplex-audio-command.sh 正式训练入口
infer_render_auto.sh 唯一自动推理入口:多任务、多卡、异步渲染
scripts/infer/run_audio_case.sh 调度器内部音频样例/渲染执行器,不需单独启动
src/psi/models/、src/psi/trainers/ HFD模型和训练器;含仍在复用的Psi0基础实现
src/psi/data/seed/ 音频/动作、视觉问答、流式session数据构造
src/psi/runtime/ 推理运行时
scripts/data/ 数据准备、质检、GT渲染和审核看板
scripts/infer/ 推理、任务样例与异步渲染调度
assets/stats/ 动作归一化等统计量,不能当作旧宣传素材删除
tests/ 回归测试
doc/、experiments/ 技术文档与历史实验报告
runs/ 本机运行产物,不纳入Git

HFD仍沿用psi包名、部分基础模型、数据变换和训练基类。不能按文件名含psi0就删除,也不要重命名包来“清理”:旧checkpoint和当前导入路径都依赖它。

数据与审核看板

  • 当前数据盘点:数据量、存储与路径;是有日期的快照,实时准入情况以清单为准。
  • 看板使用说明:候选、已准入素材、人工备注和审核进度。
  • 已有索引时启动网页:.venv-psi/bin/python scripts/data/review_dashboard/server.py。
  • 网页默认监听本机8770,远程使用DSW/IDE端口代理;/progress显示审核进度。机器重启后,网页和审核后台需要分别恢复,普通tmux不提供开机自启。
  • 数据位于项目外的videogen/等目录;审核运行记录在项目外hfd_experiments/。不要把机器审核pending清单当作正式可训练清单。

历史代码与来源

无关的Psi0 baseline、旧训练入口和SIMPLE示例已从当前目录移除,范围与可恢复备份见合并工作留痕。共享基础代码、环境、数据、模型权重和历史实验文档未随之清理。

本项目复用Psi0的基础实现;原版权声明和LICENSE保留。原上游README在Git历史及本次可恢复备份中保留,本页仅说明HFD当前入口。

历史变更见CHANGELOG.md,对话决策见DIALOG.md,更多技术文档见doc/README.md。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support