SherryShen1/echo-foundation-model-inference-submission

心脏超声基础模型推理验证结果

本仓库用于交付一组心脏超声基础模型的工程推理验证结果、QA-level VQA 数据结构解析结果与相关推理代码。仓库为去标识化版本，不包含原始超声图像、DICOM、患者姓名、检查日期、原始病例文件夹或带身份信息的原始路径。

1. 验证内容

本次共验证 6 个心脏超声相关模型：

模型	输出类型
EchoCLIP	512 维 image embedding
EchoCLIP-R	512 维 image embedding
EchoFM	1024 维 video/frame sequence embedding
EchoJEPA	1024 维 video/frame sequence embedding
EchoPrime	512 维 embedding、切面识别、21 项心脏结构/功能预测
PanEcho	40 项心脏结构/功能预测

数据规模：

项目	数量
去标识化病例数	10
clip 数	349
模型数	6

所有模型均完成 349/349 个 clip 推理，失败数为 0。

同时已完成 QA-level VQA 数据结构解析：

项目	数量
QA 样本数	10
QA 对应 frame-list/video 数	349
VQA baseline	UNSUPPORTED baseline

说明：当前 6 个基础模型的已验证输出不是直接 VQA 自然语言答案，也没有直接 ASD 预测头，因此 VQA 部分只交付数据结构、manifest、能力判断、保守 baseline 和 evaluation summary，不声称完成临床诊断准确率验证。

2. 重要说明

本仓库结果用于工程可运行性验证和模型适用性比较，不代表临床诊断准确率。

由于当前样本缺少人工真实标签，本仓库不能直接计算 ASD 或其他疾病诊断准确率。若后续需要进行诊断性能评价，需要补充病例级或 clip 级真实标签，并明确评价指标，例如 accuracy、AUC、sensitivity、specificity 等。

3. 隐私与去标识化

本仓库不包含：

• 原始超声图像；
• DICOM；
• 原始 frame 图片；
• 患者姓名；
• 检查日期；
• 原始病例编号；
• 原始病例文件夹；
• 带身份信息的本地路径。

去标识化策略：

原始信息	仓库中处理方式
病例 ID	映射为 case_XX
clip ID	映射为 clip_XXXX
原始 frame 路径	删除，仅保留 frames_used_count 和局部索引
本机路径	删除或替换为说明性占位
原始影像文件	不上传

4. 仓库结构

echo-foundation-model-inference-submission/
├── README.md
├── SUBMISSION_NOTE.md
├── check_jsonl.py
├── jsonl_check_summary.csv
├── echo_inference_readable_results.xlsx
├── manifest_deidentified.json
├── readable_tables/
├── results_deidentified_jsonl/
├── vqa_outputs/
├── reports/
├── code/
├── scripts/
└── model_setup/

5. 结果文件

results_deidentified_jsonl/ 中每个文件对应一个模型：

EchoCLIP_results_deidentified.jsonl
EchoCLIP-R_results_deidentified.jsonl
EchoFM_results_deidentified.jsonl
EchoJEPA_results_deidentified.jsonl
EchoPrime_results_deidentified.jsonl
PanEcho_results_deidentified.jsonl

JSONL 格式含义：

一行 = 一个去标识化 clip 的一个模型推理结果

readable_tables/ 中提供便于人工查看的 CSV 表格，echo_inference_readable_results.xlsx 提供 Excel 版本。

vqa_outputs/ 中提供 QA-level VQA 解析与 baseline 文件：

VQA_EVALUATION_REPORT.md
qa_structure_preview.csv
vqa_manifest_deidentified.jsonl
vqa_model_capability_summary.csv
vqa_baseline_predictions.csv
vqa_evaluation_summary.csv
vqa_candidate_files_summary.csv

6. 代码与模型权重

code/ 中包含本次整理后的推理脚本和 VQA evaluation 脚本。

scripts/run_vqa_evaluation.py 是本次 QA-level VQA 结构解析与 baseline 文件生成脚本。

model_setup/ 中包含模型准备说明和 EchoPrime 官方 release 大文件下载脚本。

本仓库当前默认不包含大体积模型权重文件。若需要复现完整推理，需要另行配置官方模型权重和本地数据路径。是否上传权重文件应根据师姐/老师需求、Hugging Face 存储限制和各模型 license 再确认。

7. 复现提示

如果后续需要重新跑推理，需要准备：

1. 原始本地超声数据；
2. 6 个模型对应权重；
3. 官方模型代码或本仓库 code/run_echo_inference.py 所需依赖；
4. Python 环境，包括 PyTorch、torchvision、transformers、open_clip、pandas、Pillow、OpenCV 等。

本仓库主要用于交付工程推理验证结果，不包含原始数据本体。