Workspace-Bench/Workspace-Bench huggingface dataset:
角色: Operations Manager
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 公司需要分析各产品线在不同区域市场的销售表现。请遍历 /产品管理/区域销售/ 目录下各区域的交易数据，结合 /产品管理/产品信息/ 中的产品目录和 /产品管理/客户档案/ 中的客户信息，完成以下分析：（1）统计各产品线的销售额和订单量；（2）对比各区域市场的销售表现；（3）分析订单金额分布（Deal Size）；（4）识别各产品线的头部客户；（5）生成产品线销售分析报告 Product_Line_Sales_Analysis.md 保存到 /产品管理/ 目录下。
输出文件:
Product_Line_Sales_Analysis.md
评估标准:
报告文件 Product_Line_Sales_Analysis.md 是否成功生成且可正常读取？
报告总体概览中是否正确给出总销售额约$10,032,628.85和总订单量2823笔？
各产品线销售额排名中，Classic Cars是否以$3,919,615.66排名第一，Trains是否以$226,243.47排名最末？
各区域销售对比中，EMEA是否以约$4,979,272.41总销售额排名第一，Japan是否以约$455,173.22排名最末？
报告中是否指出 Japan 区域平均订单金额最高约 $3,762.59，表明该区域客户购买力相对较强？
订单金额分布分析中，Medium订单数量是否为1384笔占比49.0%，Small是否为1282笔占比45.4%，Large是否仅157笔占比5.6%？
Classic Cars产品线头部客户第一名是否为Euro Shopping Channel，总销售额约为$409,484.24？
Vintage Cars产品线头部客户第一名是否为Mini Gifts Distributors Ltd.，总销售额约为$168,967.80？
Trains产品线头部客户前三名是否为Euro Shopping Channel、Mini Gifts Distributors Ltd.、Dragon Souveniers, Ltd.？
报告中是否包含完整的Top 5全公司客户排名表格，包含客户名称、总销售额和订单数？
订单状态分析中，Shipped订单是否为2617笔占比约92.7%，Cancelled订单是否为60笔？
报告中是否包含对核心产品线Classic Cars的分析，指出其贡献近40%销售额？
报告总结中是否指出EMEA区域是最大市场，贡献接近一半销售额？
报告总结中是否提到Japan市场规模虽小但平均订单金额最高，存在挖掘潜力？
报告总结中是否对客户管理提出建议，明确指出应对 Euro Shopping Channel、Mini Gifts Distributors Ltd. 两大核心客户建立专属服务机制？
报告是否完整覆盖以下核心分析模块：数据概览、各产品线销售额与订单量分析、区域市场销售对比、订单金额分布分析、各产品线头部客户识别、订单状态分布分析、总结与建议？
报告中所有金额是否都保留两位小数，格式是否统一添加千分位分隔符？
报告中是否针对表现最差的 Trains 产品线，明确提出了产品策略调整的相关建议？
报告中是否明确说明分析数据来源于任务指定的三类数据源：/ 产品管理 / 区域销售 / 交易数据、/ 产品管理 / 产品信息 / 产品目录、/ 产品管理 / 客户档案 / 客户信息，无超出任务范围的数据源？
考察能力: Workspace Exploration
Result-Providing Files Utilization
Lineage Tracing
Semantic Content Relations Understanding
角色: Operations Manager
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 公司需要制定下一年度的全球市场产品策略。请遍历 /全球业务/ 下的所有数据目录，综合各区域市场的订单数据、产品目录、物流分析和客户分群数据，完成以下分析：（1）对比5个市场（USCA、Asia Pacific、Europe、LATAM、Africa）的销售额和利润率；（2）分析各产品类目在不同市场的盈利表现；（3）评估物流成本对利润的影响；（4）对比不同客户分群的贡献度；（5）生成全球市场产品盈利策略报告 Global_Product_Strategy.md 保存到 /全球业务/ 目录下。
输出文件:
Global_Product_Strategy.md
评估标准:
报告文件 Global_Product_Strategy.md 是否成功生成并可正常读取？
分析是否包含全部五个市场（USCA、Asia Pacific、Europe、LATAM、Africa）共 1000 条订单记录？
报告中总销售额是否为 $1,710,971.47、总利润是否为 $288,920.44、整体利润率是否为 16.89%？
报告中 Asia Pacific 销售额是否统计为 $800,511.75（最高），Africa 利润率是否统计为 23.91%（最高），LATAM 利润率是否统计为 14.78%（最低）？
报告中 Europe 市场销售额是否统计为 $503,568.21，利润率 17.70%，USCA 利润率是否统计为 22.15%？
报告中是否明确指出 Technology 类目整体利润率 19.16% 最高，Furniture 类目整体利润率 13.66% 最低？
报告中 Office Supplies 类目整体利润率是否为 17.49%，位于 Technology 和 Furniture 之间？
报告中是否正确统计总物流成本为 $272,384.90，占总销售额比例为 15.92%？
报告中 Standard Class 物流是否标注平均成本 $219.75，平均配送 4.92 天；Same Day 是否标注平均成本 $333.80，平均配送 0.02 天？
报告中 First Class 和 Second Class 的订单数、平均成本、配送天数数据是否准确呈现？
报告中 Consumer 客户分群是否标注销售额 $873,512.42，利润率 18.11%（最高贡献）？
报告中 Home Office 客户分群是否标注利润率 13.34%（最低），平均折扣 0.0971（最高折扣）？
报告中 Corporate 客户分群数据是否标注订单量 300，销售额 $524,287.05，利润率 16.96%？
报告中高折扣区间 (>20%) 是否标注 101 个订单，整体利润率 -35.00%（整体亏损）？
报告中是否包含五个市场每个市场各产品类目的销售额、利润、利润率细分表格？
报告中是否针对市场拓展提出具体建议（深耕Asia Pacific、保持Africa优势、改善LATAM利润率）？
报告中是否针对产品组合提出具体建议（优先推广Technology、重新评估Furniture定价）？
报告中是否针对物流成本优化提出具体建议（引导非紧急订单使用 Standard Class、Same Day 仅限高价值高利润订单使用）？
报告中是否针对客户分群管理提出具体建议（重点服务Consumer、收紧Home Office折扣）？
报告中是否针对折扣政策提出具体建议（禁止超过20%无审批折扣，高折扣导致亏损）
报告最后是否总结概括：高吸引力市场（Africa/USCA）、最盈利类目（Technology）、最大成本因素（物流）、四大政策修正方向？
分析报告是否综合了市场、产品、物流、客户四个维度的数据分析结果，而不仅仅是数据罗列？
最终策略建议是否基于数据分析结果提出，每个建议都对应前面分析发现的问题？
报告是否明确给出整体利润率提升 2-4 个百分点至 19%-21% 的预期目标？
报告是否针对高折扣订单提出建立管理层审批机制的管控建议？
考察能力: Workspace Exploration
Result-Providing Files Utilization
Lineage Tracing
Semantic Content Relations Understanding
Heterogeneous File Understanding
角色: Operations Manager
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 公司使用 Superstore 销售管理系统，数据分散在多个目录中。请结合 /销售管理/区域销售数据/ 目录下各区域的销售数据，结合 /销售管理/产品信息/ 中的产品目录和 /销售管理/客户档案/ 中的客户信息，按'Category×Region'和'Category×Segment'两个维度做交叉汇总（销售额、利润、订单数），找出利润率最高和最低的Category，同时分析折扣≥50%的订单的利润情况（是否亏损），最终生成一份 Regional_Sales_Analysis_Report.md 保存到 /销售管理/ 目录下。
输出文件:
Regional_Sales_Analysis_Report.md
评估标准:
报告文件 Regional_Sales_Analysis_Report.md 是否成功生成，且完整覆盖任务要求：双维度交叉汇总、利润率极值分析、高折扣订单亏损分析？
Category×Region 交叉汇总表中是否包含 12 个交叉分组（3个Category × 4个Region），并且包含销售额、利润、订单数三列数据？
Category×Region 汇总中，Furniture in Central 的总销售额是否约等于 163797，总利润是否约等于 -2871.05？
Category×Region 汇总中，Technology in West 的去重订单数（按唯一 Order ID 统计）是否约等于 490，总销售额是否约等于 251992？
Category×Segment 交叉汇总表中是否包含 9 个交叉分组（3个Category × 3个Segment），并且包含销售额、利润、订单数三列数据？
Category×Segment 汇总中，Technology in Consumer 的总利润是否约等于 70797.8，去重订单数（按唯一 Order ID 统计）是否约等于 809？
品类汇总表中是否包含利润率（Profit/Sales）的计算列？
报告中是否正确指出利润率最高的Category是Technology，其利润率约为17.4%？
报告中是否正确指出利润率最低的 Category 是 Furniture，其利润率约为 2.5%？
Office Supplies 品类的利润率是否在报告中显示为约 17.0%？
报告中是否分析了折扣≥50%的订单，并且明确指出去重订单数（按唯一 Order ID 统计）是729单？
报告中是否正确统计出折扣≥50%的亏损订单数（按唯一 Order ID 统计）是729单，亏损占比100%？
报告中是否明确得出结论：折扣≥50%的订单整体是亏损的？
报告中是否列出去重订单分析数为5,009单（按唯一 Order ID 统计），包含三个产品品类（Furniture, Office Supplies, Technology）？
报告中是否列出包含三个客户细分（Consumer, Corporate, Home Office）和四个区域？
报告中是否同时包含 Category×Region 和 Category×Segment 两个维度的交叉汇总表？
所有交叉汇总表的销售额、利润、订单数计算是否准确，Markdown 表格格式是否清晰、维度完整？
报告中产品 Category 分类数据是否准确，无错误分类？
报告中客户 Segment 分组数据是否完整，无丢失 / 错误？
报告中是否将折扣≥50% 的订单利润表现与全量订单整体利润水平进行了对比分析，完整呈现高折扣订单对整体利润的影响？
报告中是否明确标注利润率的统一计算公式为「利润率 = 利润 ÷ 销售额 ×100%」，计算口径与分析要求一致？
考察能力: Workspace Exploration
Result-Providing Files Utilization
Semantic Content Relations Understanding
Heterogeneous File Understanding
角色: Backend Developer
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 公司需要分析员工流失问题。请遍历 /人力资源/员工档案/ 目录下各部门的花名册，结合 /人力资源/绩效考核/ 中的绩效数据及其字段说明文件、/人力资源/薪酬数据/compensation_details.csv 中的薪酬信息、以及 /人力资源/满意度调研/ 中的满意度评分及其字段说明文件，通过 EmployeeNumber 关联各文件，完成以下分析：（1）统计各部门(Department)和各岗位(JobRole)的离职率；（2）对比离职员工(Attrition=Yes)与在职员工在薪酬、满意度、加班、通勤距离等维度的差异；（3）找出流失率最高的部门和岗位(JobRole)并给出改善建议。生成 Employee_Attrition_Analysis.md 保存到 /人力资源/ 目录下。
输出文件:
Employee_Attrition_Analysis.md
评估标准:
是否在 /人力资源/ 下生成了 Employee_Attrition_Analysis.md？
是否读取了员工档案、绩效考核、薪酬数据、满意度调研四个目录下的文件？
报告中是否包含各部门的离职率统计（Sales约20.6%，R&D约13.8%，HR约19.0%）？
是否识别出Sales Representative为流失率最高的岗位（39.8%），并标注具体离职率数值？
是否对比了离职 vs 在职员工的平均 MonthlyIncome 差异？
是否分析了满意度(EnvironmentSatisfaction, JobSatisfaction)与离职的关系？
是否分析了 OverTime、DistanceFromHome 等因素与离职的关联？
是否通过 EmployeeNumber 将不同文件的数据进行了关联合并？
报告是否针对流失率最高的部门（Sales）和岗位（Sales Representative） 给出对应改善建议？
报告是否完整完成任务 3 项核心分析：①部门 / 岗位离职率统计、②离职与在职员工多维度对比、③高流失主体改善建议？
考察能力: Workspace Exploration
Result-Providing Files Utilization
Lineage Tracing
Semantic Content Relations Understanding
Heterogeneous File Understanding
角色: Backend Developer
任务难度: 简单（步骤不超过5步且包含协同类型1）
任务: 执行月度运营成本合规性审计。请分析所有增长部门的月度报告（增长报告_*.txt），提取“获取成本（CAC）”数值。筛选出 CAC 高于 100元 的高风险月份，并计算这些高风险月份的平均 CAC。生成一份行政预警文件 Budget_Alert_Memo.txt，明确指出超支月份及平均超支幅度，提醒财务进行问询。
输出文件:
Budget_Alert_Memo.txt
评估标准:
Budget_Alert_Memo.txt 文件中是否正确识别出全部3个CAC高于100元的高风险月份，无遗漏？
Budget_Alert_Memo.txt 文件中是否包含2024年07月且其CAC数值记录为118元？
Budget_Alert_Memo.txt 文件中是否包含2024年09月且其CAC数值记录为115元？
Budget_Alert_Memo.txt 文件中是否包含2024年11月且其CAC数值记录为102元？
Budget_Alert_Memo.txt 文件中是否未将任何CAC≤100元的月份列入高风险列表？
Budget_Alert_Memo.txt 文件中记录的高风险月份总数是否为3个月？
Budget_Alert_Memo.txt 文件中计算的高风险月份平均CAC结果是否为111.67元（允许误差±0.1）？
Budget_Alert_Memo.txt 文件中计算的平均超支幅度相对于100元阈值是否约为11.67%？
Budget_Alert_Memo.txt 文件中是否包含明确的财务问询提醒，要求财务对超支月份进行核查？
Budget_Alert_Memo.txt 文件中是否以表格形式列出超支月份信息，包含报告期间、获取成本（CAC）、超出阈值（元）三列？
Budget_Alert_Memo.txt 文件中2024年07月的超支差额是否正确计算为+18元？
Budget_Alert_Memo.txt 文件中2024年09月的超支差额是否正确计算为+15元？
Budget_Alert_Memo.txt 文件中2024年11月的超支差额是否正确计算为+2元？
提取数据过程是否正确去除了所有 CAC 数值中的人民币符号 ¥，转换为可用于计算的纯数值？
是否扫描并处理了data目录下全部10份增长报告文件，没有遗漏？
Budget_Alert_Memo.txt 文件中是否包含审计概述说明，明确任务目标是筛选CAC高于100元的高风险月份？
Budget_Alert_Memo.txt 文件中是否明确标注审计警戒阈值为CAC > 100元？
Budget_Alert_Memo.txt 文件中是否提出了督促增长部门落实成本优化措施、将 CAC 降低至阈值范围内的行动建议？
Budget_Alert_Memo.txt 文件中是否包含审计日期信息？
Budget_Alert_Memo.txt 文件的预警提示中，是否明确了成本核查的重点方向（如获客渠道投放效率），与本次审计的业务目标匹配？
Budget_Alert_Memo.txt 文件中所有超支月份的 CAC 数值，均可溯源至对应月份的增长报告原始文件，无凭空捏造、与原始数据不符的内容？
考察能力: Workspace Exploration
Result-Providing Files Utilization
Lineage Tracing
Semantic Content Relations Understanding
角色: Logistics Manager
任务难度: 简单（步骤不超过5步且包含协同类型1）
任务: 帮我整理一下下载文件夹，筛选出与国家集中采购相关的文件，将结果写入output1.md放在该文件夹内，要求用表格形式记录，注明相关文件总数和分类说明（包含各类别文件总数）。
输出文件:
output1.md
评估标准:
output1.md文件是否成功生成且内容不为空
输出文件中是否包含第八批国家集采头孢西丁注射剂型广东省第二采购年约定采购量表.xlsx
输出文件中是否包含第九批国家药品集中采购广东省备供企业供应清单.xlsx
输出文件中是否包含第九批国家药品集中采购广东省中选产品供应清单_包含残缺规格.xlsx
输出文件中是否包含第九批国家药品集中采购广东约定采购量基数表.xlsx
输出文件中是否包含第五批国家集采续签中选品种下一采购年约定采购量表.xlsx
输出文件中是否包含第五批国家集中采购续签药品清单.xlsx
输出文件中是否包含广东参与河南十四省联盟药品集中带量采购医疗机构约定采购量明细表.xlsx
输出文件中是否包含4-2-2 2018-2023年国家组织药品集中带量采购.xlsx
输出文件中是否包含4-2-3 2020-2023年全国省级医药集中采购平台药品网采.xlsx
输出文件中是否明确标注总共有9个相关文件
输出文件中是否对筛选出的文件进行了分类说明
输出文件中是否使用表格形式展示文件清单
筛选结果中是否不包含爱美客管理层持股变化.xlsx等与集采无关的文件
筛选结果中是否不包含朗姿股份相关的股本结构、限售股解禁文件
筛选结果中是否不包含卫生总费用、恶性肿瘤死亡率等公共卫生统计文件
分类说明中是否明确区分了国家药品集采批次文件、联盟采购文件和统计汇总文件
分类说明中国家药品集采批次文件计数是否为6个
分类说明中联盟采购文件计数是否为1个
分类说明中统计汇总文件计数是否为2个
考察能力: Semantic Content Relations Understanding
Heterogeneous File Understanding
角色: Researcher
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 我在桌面temp文件夹中发现了几个ppt，我之后要一次讲相同主题的全部内容，帮我把相同主题的ppt合并一下，新ppt的命名与原来相近体现主题，内容不要重复，只要保留不同的ppt进行合并，将生成的ppt文件放在该文件夹内
输出文件:
ACSP.pptx
ActCom-SlidePresentation.pptx
评估标准:
是否生成了两个合并后的PPT文件：ACSP.pptx和ActCom-SlidePresentation.pptx
ACSP.pptx文件大小是否在800KB到900KB之间（合并后的预期大小）
ActCom-SlidePresentation.pptx文件大小是否在12MB到13MB之间（合并后的预期大小）
ACSP.pptx是否包含85张幻灯片（ACSPUnit3_ENG有45页 + ACSPUnit4_ENG有20页 + ACSP_Unit7_ST有20页）
ActCom-SlidePresentation.pptx是否包含40张幻灯片（L1有22页 + L2有18页）
合并ACSP组时是否排除了重复文件ACSP_Unit6_SFC.pptx（该文件与ACSPUnit3_ENG内容完全相同，哈希一致）
ACSP组的合并顺序是否遵循依赖关系：ACSPUnit3_ENG在ACSPUnit4_ENG之前，ACSPUnit4_ENG在ACSP_Unit7_ST之前
ActCom组的合并顺序是否L1在L2之前，符合依赖关系要求
合并后的文件名ACSP是否与原文件主题ACSP前缀一致，保留原主题命名
合并后的文件名ActCom-SlidePresentation是否与原文件名ActCom-L1/L2核心名称一致，体现主题
ACSP.pptx中是否包含ACSPUnit3_ENG的所有45张幻灯片内容
ACSP.pptx中是否包含ACSPUnit4_ENG的所有20张幻灯片内容
ACSP.pptx中是否包含ACSP_Unit7_ST的所有20张幻灯片内容
ActCom-SlidePresentation.pptx中是否包含ActCom-L1-SlidePresentation的所有22张幻灯片内容
ActCom-SlidePresentation.pptx中是否包含ActCom-L2-Slide Presentation的所有18张幻灯片内容
所有原始PPT文件都被正确识别分为两个主题组：ACSP和ActCom
合并后的PPT文件可以正常打开，没有损坏
合并后的PPT没有重复的幻灯片内容，因为已移除重复文件
输出文件名是否符合要求：ACSP.pptx 和 ActCom-SlidePresentation.pptx
合并后的PPT保持了原始幻灯片的内容和格式
考察能力: Result-Providing Files Utilization
Semantic Content Relations Understanding
角色: Backend Developer
任务难度: 简单（步骤不超过5步且包含协同类型1）
任务: 我找到了一些数据文件，在桌面的项目文件夹中的日志目录下，可以帮我总结一下每个开发者使用过的编程语言吗，将姓名与编程语言对应后用生成output16.md文件记录放在该文件夹内
输出文件:
output16.md
评估标准:
输出文件output16.md是否包含Markdown格式的开发者与编程语言对应表格
输出文件output16.md中开发者总数是否为12位
输出文件output16.md中统计显示编程语言总数是否为8种
输出文件output16.md中列出的所有编程语言是否包含C++, Go, Java, Node.js, PHP, Python, Ruby, Rust共8种
输出文件output16.md中关键对应编程语言是否为Go, Java, Rust三种
输出文件output16.md中周建对应编程语言是否为C++, PHP, Python三种
输出文件output16.md中胡军对应编程语言是否为Node.js, PHP, Rust三种
输出文件output16.md中吴浩对应编程语言是否包含Go, Java, Node.js, PHP, Python, Ruby六种
输出文件output16.md中张明对应编程语言是否为Python, Rust两种
输出文件output16.md中李强对应编程语言是否包含Go, Java, PHP, Python, Rust五种
输出文件output16.md中王杰对应编程语言是否为Go, Java, Ruby, Rust四种
输出文件output16.md中赵亮对应编程语言是否只有Node.js一种
输出文件output16.md中郑鹏对应编程语言是否包含C++, Java, Node.js, Python, Rust五种
输出文件output16.md中陈林对应编程语言是否为PHP, Python, Ruby三种
输出文件output16.md中马超对应编程语言是否包含C++, Go, Node.js, Ruby四种
输出文件output16.md中黄军对应编程语言是否为Go, Ruby, Rust三种
是否从所有JSON文件中正确提取了author字段信息
是否从所有JSON文件中正确提取了tags编程语言信息
是否对同一开发者重复的编程语言进行了去重处理
输出结果是否按开发者姓名拼音顺序排序
考察能力: Result-Providing Files Utilization
Lineage Tracing
角色: Backend Developer
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 我发现ansible文件夹存在一些后端服务的源代码文件如config和controller，可以帮我把他整理出来，并且生成一份技术栈报告。报告需包含每种语言的文件数、代码行数以及主要用途说明，将结果用output18.md文件记录放在该文件夹内
输出文件:
output18.md
评估标准:
输出文件output18.md是否包含总文件数为17个的统计结果
输出文件output18.md是否统计出Go语言为5个文件，代码行数为218行
输出文件output18.md是否统计出JavaScript语言为2个文件（不包含那个实际是Python的文件），代码行数68行
输出文件output18.md是否统计出TypeScript语言为4个文件，代码行数150行
输出文件output18.md是否统计出Java语言为3个文件，代码行数75行
输出文件output18.md是否统计出Python语言为3个文件，代码行数105行
输出文件output18.md是否识别出config_4872.test.js扩展名是js但实际内容是Python pytest测试代码
输出文件output18.md的汇总表格中总行数合计是否为616行
输出文件output18.md中是否说明Go语言主要用途是提供HTTP请求处理器和RESTful API端点
输出文件output18.md中是否说明JavaScript基于Express.js框架构建后端服务
输出文件output18.md中是否说明TypeScript基于Koa框架构建后端服务
输出文件output18.md中是否说明Java基于Spring Boot框架的Spring Service组件
输出文件output18.md中是否说明Python使用dataclass定义数据模型
输出文件output18.md中是否包含一个表格汇总所有语言的文件数行数信息
输出文件output18.md中总结部分是否提到所有文件都是后端服务模板代码，包含config和controller分层
Go语言统计中是否包含config_1109.go、config_2083.go、config_3474.go、config_5688.go、controller_1330.go这5个文件
Python统计中是否包含那个错误扩展名的config_4872.test.js文件
输出文件output18.md中是否说明Java使用SLF4J进行日志记录
输出文件output18.md中是否说明TypeScript使用log4js进行日志管理
输出文件output18.md中是否总结出所有代码都遵循RESTful API设计风格
输出文件output18.md中汇总表格是否包含语言、文件数量、代码行数三列
输出文件output18.md中是否提到Python中config_4872.test.js包含pytest单元测试用例
考察能力: Result-Providing Files Utilization
Lineage Tracing
Heterogeneous File Understanding
角色: Researcher
任务难度: 简单（步骤不超过5步且包含协同类型1）
任务: 我现在想读一下论文，帮我整理一下下载文件夹，把其中重复的论文筛选出来，将结果用md文件记录放在该文件夹内
输出文件:
output2.md
评估标准:
output2.md中是否包含总体统计信息，且总论文文件数为17篇
output2.md中是否正确统计不重复论文数为14篇
output2.md中是否正确统计重复论文数为3篇
output2.md中是否正确统计重复分组数为2组
output2.md中是否包含重复论文分组1：2601.09974v1的信息
output2.md中是否正确列出2601.09974v1的3个重复文件完整名称
output2.md中是否正确给出2601.09974v1的文件大小为1498825字节
output2.md中是否正确给出2601.09974v1的哈希值为2fb4e69405425c6c
output2.md中是否包含重复论文分组2：2601.12234v1的信息
output2.md中是否正确列出2601.12234v1的2个重复文件完整名称
output2.md中是否正确给出2601.12234v1的文件大小为8348227字节
output2.md中是否正确给出2601.12234v1的哈希值为c756075753d2d8e5
output2.md中是否包含完整的无重复论文列表
无重复论文列表中是否包含4d55a9a5ad5d429b_2512.21898v2.pdf
无重复论文列表中是否包含a58ccd58d76c162d_2601.10349v1.pdf
无重复论文列表中是否包含668925b8fcc8a479_2601.12951v1.pdf
output2.md是否使用清晰的Markdown标题层级结构
output2.md是否区分了重复论文分组和无重复论文两个部分
考察能力: Workspace Exploration
角色: Logistics Manager
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 我发现ansible文件夹存在一些聊天记录，可以帮我总结一下吗，指出谁做出了哪些修改，还有将提醒会议修改了时间的消息发给群组中所有员工，同时还要注明信息来源方便查看，将结果用md文件记录放在该文件夹内
输出文件:
output20.md
评估标准:
output20.md文件是否存在且可正常读取？
output20.md中是否包含修改总结部分，整理所有7条API文档更新记录？
output20.md中是否明确记录郑鹏更新了inventory-service的API文档，且来源标注为chat_8002.txt？
output20.md中是否明确记录王杰更新了api-gateway的API文档，且来源标注为chat_1376.txt？
output20.md中是否明确记录关键更新了api-gateway的API文档，且来源标注为chat_2395.txt？
output20.md中是否记录周建两次更新，第一次是notification-service（来源chat_3163.txt），第二次是message-broker（来源chat_6805.txt）？
output20.md中是否明确记录张明更新了notification-service的API文档，且来源标注为chat_5034.txt？
output20.md中是否明确记录赵亮更新了message-broker的API文档，且来源标注为chat_7486.txt？
output20.md中每条API更新记录后是否都注明了对应的chat文件来源？
output20.md中是否包含独立的会议时间变更通知部分？
会议通知部分是否明确说明今日站会改到下午3点进行？
output20.md列出的接收通知员工列表是否正好包含李强、胡军、郑鹏、吴浩、孙威、黄军、王杰、陈林、周建、赵亮、张明、马超、刘涛、关键共14人？
output20.md中是否说明chat_1376.txt中会议时间变更的发起人是孙威？
output20.md中是否说明chat_2395.txt中会议时间变更的发起人是周建？
output20.md中是否记录chat_5034.txt由李强发起会议时间变更询问，且李强回复自己没问题下午见？
output20.md中是否说明多个聊天记录中发起人不同，但最终会议时间变更信息一致？
output20.md中是否包含独立的信息矛盾说明部分？
output20.md是否明确指出notification-service存在周建和张明两人分别更新记录，且标注了各自的来源文件？
output20.md是否明确指出api-gateway存在王杰和关键两人分别更新记录，且标注了各自的来源文件？
output20.md是否明确指出message-broker存在周建和赵亮两人分别更新记录，且标注了各自的来源文件？
output20.md中是否包含独立的重复更新说明部分，列出所有存在多人更新的服务？
考察能力: Result-Providing Files Utilization
Lineage Tracing
角色: Researcher
任务难度: 简单（步骤不超过5步且包含协同类型1）
任务: 帮我整理一下下载文件夹，分类统计一下各文件数目，将结果用md文件记录放在该文件夹内
输出文件:
output3.md
评估标准:
输出文件中是否包含Markdown文件(.md)的统计数目为8个
输出文件中是否包含PDF文件(.pdf)的统计数目为17个
输出文件中是否包含Excel 97-2003文件(.xls)的统计数目为2个
输出文件中是否包含Excel文件(.xlsx)的统计数目为22个
输出文件中是否包含总文件数目的统计结果为49个
统计结果中.md文件数目是否正确为8个，包含Config_cn.md、Config_en.md、Entrance_cn.md、Entrance_en.md、Extension_cn.md、Extension_en.md、Introduction_cn.md、Introduction_en.md
统计结果中.xls文件数目是否正确为2个，包含21-2 卫生总费用(北京2000-2022年).xls和22-6 甲乙类法定报告传染病发病率及死亡率情况(河南2023年).xls
输出文件中是否清晰区分了.xls和.xlsx两种不同的Excel格式，没有合并统计
输出文件总文件数计算是否正确，8+17+2+22=49
输出文件是否包含总计部分的说明
统计结果中pdf文件数目是否正确为17个
统计结果中xlsx文件数目是否正确为22个
输出文件文件名是否正确为output3.md
输出内容格式是否符合Markdown语法规范
输出文件是否列出了每种文件类型下的所有文件名
输出文件中Markdown文件部分是否列出了全部8个文件名
输出文件中PDF文件部分是否列出了全部17个文件名
输出文件中.xlsx文件部分是否列出了全部22个文件名
输出文件是否包含文件列表二级标题
考察能力: Heterogeneous File Understanding
角色: Researcher
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 我现在想调研一些论文，帮我整理一下桌面上今天下载的论文，找出其中与机器人领域相关的论文，将找到文件的地址结果用md文件记录放在该文件夹内
输出文件:
output4.md
评估标准:
输出文件output4.md是否正确列出了所有与机器人领域相关的论文，总共包含正好9篇论文条目
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2512.21898v2.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.09974v1 (1).pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.09974v1 (2).pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.09974v1.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.12141v1.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.12099v1.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.10651v1.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.11421v1.pdf`的机器人相关论文
输出文件output4.md是否包含完整路径为`/桌面/今天论文下载/2601.12049v1.pdf`的机器人相关论文
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.12667v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.12904v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.11147v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.12951v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.10349v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.12234v1 (1).pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.12234v1.pdf
输出文件output4.md中是否不包含任何路径包含非机器人相关论文2601.11969v2.pdf
输出文件output4.md中列出的所有9篇论文路径是否都正确以/桌面/今天论文下载/开头
输出文件output4.md是否使用Markdown格式，包含一级标题和1到9的有序列表
考察能力: Workspace Exploration
Semantic Content Relations Understanding
角色: Researcher
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 将工作目录下的数据文件按照文件类型分类，创造对应子文件夹，并移动文件到对应文件夹，最后输出output.md的文件树结构到该目录下
输出文件:
output.md
评估标准:
output.md 文件是否成功生成且可正常读取？
data 目录下是否成功创建 markdown 和 excel 两个子文件夹？
markdown 子文件夹中是否包含共 10 个 markdown 文件？
excel 子文件夹中是否包含共 26 个 Excel 文件？
data 根目录下是否不再残留 .md 或 .xlsx 文件？
子文件夹名称 markdown 是否正确对应存放所有 .md 后缀文件？
子文件夹名称 excel 是否正确对应存放所有 .xlsx 后缀文件？
10 个 markdown 文件是否全部移动到 markdown 文件夹？
26 个 excel 文件是否全部移动到 excel 文件夹？
output.md 中是否清晰展示了当前完整的文件树结构？
output.md 中是否标注了总文件数为 36 个？
output.md 中是否标注了 Markdown 文件数量为 10 个？
output.md 中是否标注了 Excel 文件数量为 26 个？
output.md 中文件树是否包含 markdown 文件夹下的全部 10 个文件名？
output.md 中文件树是否包含 excel 文件夹下的全部 26 个文件名？
是否按文件类型成功完成了所有文件分类？
分类完成后，文件总数 10+26 是否等于原始数据文件总数 36？
过程中是否正确创建了 output_cc 目录用于存放输出结果？
是否成功将 output.md 输出到 output_cc 目录中？
考察能力: Result-Providing Files Utilization
Heterogeneous File Understanding
角色: Researcher
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 我的桌面下有一些研究相关的ScreenShot，但是我没有进行重命名，现在不知道文件内容，帮我总结辨析一下，注意文件的分类关联，生成一份总结文档，输出到桌面，文件名为ScreenShot_summary.md
输出文件:
ScreenShot_summary.md
评估标准:
输出文件ScreenShot_summary.md是否包含了全部7张截图的内容描述？
总结文档是否将7张截图正确分为AI Agent架构设计、CL-Bench论文、开发环境三个组？
AI Agent架构部分是否提到了INPUT & ROUTING LAYER、TASK DISTRIBUTION LAYER、AGENT PARADIGM LAYER、OPERATION AGENT LAYER、VLM / LLM API LAYER共五个层级？
AI Agent架构中TASK DISTRIBUTION LAYER是否列出了Question Answering、Spreadsheet Manipulation、Data Visualization三类任务？
AGENT PARADIGM LAYER是否对比了Planning-Then-Execution和Reflection-Then-Action两种范式？
是否说明了ScreenShot_2026-01-10_210325_653.png是Planning-Then-Execution流程的放大图？
完整架构图中OPERATION AGENT LAYER是否包含Planning Agent、Execution Agent、Code Agent三个角色？
CL-Bench论文部分是否正确指出论文标题为CL-BENCH: A Benchmark for Context Learning？
CL-Bench论文摘要中是否提到模型平均仅解决17.2%的任务，GPT-5.1最佳成绩为23.7%？
CL-Bench数据统计是否提到包含500个复杂上下文、1,899个任务和31,607个验证标准？
CL-Bench分类部分是否提到将context分为四大类别，进一步划分为18个子类别？
Category 1 Domain Knowledge Reasoning是否包含finance、healthcare、humanities等子领域？
Category 2 Rule System Application是否包含game mechanics、programming syntax、legal regulations等子类别？
是否指出论文作者团队来自Hunyuan Team, Tencent和Fudan University？
开发环境组Chrome截图中当前用户是否为周煊赫？
VS Code截图中正在运行哪个脚本，是否正确识别为download_arxiv.py？
download_arxiv.py下载状态是否正确记录为已下载3972篇，失败221篇？
是否说明三张Agent架构截图存在递进关系，是同一设计过程的不同阶段？
是否说明两张论文截图是同一篇论文的不同页面？
是否统计出总截图数量为7张，其中2026-01-10有3张，2026-02-07有4张？
总结文档是否使用markdown格式，包含标题、表格、分段等正确格式？
是否总结出所有截图整体都围绕大语言模型/AI Agent研究方向？
考察能力: Workspace Exploration
Task-Providing File Utilization
Semantic Content Relations Understanding
角色: Researcher
任务难度: 中等（步骤不超过10步且包含协同类型2）
任务: 我现在获得了一个新项目ST-Raptor，请帮我梳理一下项目结构，生成一份项目结构文档，以便理解各个文件的作用，输出到该目录下命名为ST-Raptor项目总结.md
输出文件:
ST-Raptor项目总结.md
评估标准:
输出文件 ST-Raptor项目总结.md 是否包含项目概述，说明了ST-Raptor是半结构化表格问答工具？
输出文件中根目录文件表格是否包含所有9个核心文件（main.py、embedding.py、table_preprocess.py、gradio_app.py、ai_evaluate.py、clean_cache.py、requirements.txt、README.md、README.zh-CN.md、LICENSE）？
输出文件中是否正确说明main.py是项目主入口，负责批量基准测试功能？
输出文件中是否正确说明embedding.py实现了EmbeddingModel单例类，提供实体嵌入和语义匹配功能？
输出文件中是否正确说明table_preprocess.py的作用是将Excel表格批量转换为HO-Tree结构？
输出文件中是否正确说明gradio_app.py是基于Gradio的可视化Web界面？
输出文件中是否正确说明ai_evaluate.py的作用是评估模型输出，计算准确率、BLEU、ROUGE、METEOR等指标？
输出文件中是否正确说明clean_cache.py的作用是清理缓存文件夹？
输出文件中是否正确说明requirements.txt存储项目所有Python依赖包？
输出文件中是否正确说明README.md是英文说明文档，README.zh-CN.md是中文说明文档？
输出文件中是否正确说明LICENSE是MIT开源许可证？
输出文件中是否分模块详细说明了表格处理模块、嵌入模块、主问答模块、可视化界面模块、评估模块的功能？
输出文件中是否清晰描述了ST-Raptor的三阶段工作流程：表格预处理阶段 → 问题回答阶段 → 评估阶段？
输出文件中是否列出了ST-Raptor的五项主要技术特点：HO-Tree结构、双阶段验证、灵活集成、多种输入格式、可视化交互？
输出文件中是否说明ST-Raptor支持LLM、VLM、Embedding的本地部署和API调用两种方式？
输出文件中是否说明SSTQA基准数据集包含102张表格和764个问答对，ST-Raptor在该数据集上达到72.39%准确率？
输出文件中是否给出了批量基准测试、启动可视化界面、表格预处理、评估结果的正确使用命令？
输出文件是否为正确的Markdown格式，包含标题分级和表格，结构清晰易读？
输出文件是否梳理出各个模块的主要类和函数，说明每个类和函数的作用？
输出文件是否说明了EmbeddingModel使用单例模式设计的实现？
考察能力: Workspace Exploration
Semantic Content Relations Understanding
Heterogeneous File Understanding
角色: Researcher
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 桌面下的4篇论文是我所需要引用的论文，上网帮我寻找一下其对应的bibtex代码，并综合汇总到一起，输出论文bibtex整理.txt到桌面
输出文件:
论文bibtex整理.txt
评估标准:
输出文件中是否包含4个完整的bibtex条目，对应4篇指定论文？
第一个bibtex条目是否对应arXiv:2601.00840v2，标题是否为"A Global Atlas of Digital Dermatology to Map Innovation and Disparities"？
第一个bibtex条目是否包含Fabian Gröger、Simone Lionetti、Philippe Gottfrois等共10位作者，eprint是否为2601.00840？
第二个bibtex条目是否对应arXiv:2601.00908v1，标题是否为"Conformal Prediction Under Distribution Shift: A COVID-19 Natural Experiment"？
第二个bibtex条目作者是否仅为Chorok Lee，eprint是否为2601.00908？
第三个bibtex条目是否对应arXiv:2601.00912v1，标题是否为"The Discovery Gap: How Product Hunt Startups Vanish in LLM Organic Discovery Queries"？
第三个bibtex条目作者是否仅为Amit Prakash Sharma，eprint是否为2601.00912？
第四个bibtex条目是否对应arXiv:2601.00920v1，标题是否为"MODE: Efficient Time Series Prediction with Mamba Enhanced by Low-Rank Neural ODEs"？
第四个bibtex条目是否包含Xingsheng Chen、Regina Zhang、Bo Gao等共8位作者，eprint是否为2601.00920？
所有四个bibtex条目是否使用正确的bibtex语法结构，每个条目都用大括号包裹？
所有四个bibtex条目是否都包含title、author、year、url、eprint、archivePrefix、primaryClass这些必要字段？
所有四个bibtex条目的eprint字段是否与对应的arXiv ID（不含版本号）一致？
所有四个bibtex条目的archivePrefix是否均为arXiv？
输出文件是否为纯文本格式，可直接用于LaTeX引用？
四个bibtex条目年份是否均为2026年？
输出文件中是否包含所有四篇论文的正确arXiv URL链接，格式为https://arxiv.org/abs/xxxx.xxxxx？
第一篇论文的primaryClass是否为cs.DL？
第二篇和第四篇论文的primaryClass是否均为cs.LG？
第三篇论文的primaryClass是否为cs.IR？
输出文件中四个bibtex条目之间是否用空行分隔，格式清晰易读？
考察能力: Workspace Exploration
Task-Providing File Utilization
Lineage Tracing
Semantic Content Relations Understanding
角色: Researcher
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 根据刚下载的恶性肿瘤死亡率表格，总结恶性肿瘤死亡率情况，生成总结文档，以供ai学习使用，输出文件名为恶性肿瘤死亡率情况.md
输出文件:
恶性肿瘤死亡率情况.md
评估标准:
输出文件恶性肿瘤死亡率情况.md是否为合法可阅读的markdown格式文件？
总结中是否包含1973—1975、1990—1992、2004—2005、2017、2018五个时间段恶性肿瘤总死亡率数据？
总结中是否明确给出合计数据中2018年恶性肿瘤总死亡率为174.41/10万？
总结中是否指出四十多年间恶性肿瘤总死亡率从83.65/10万增长到174.41/10万，增长超过一倍？
总结中是否说明2018年合计前十位恶性肿瘤中肺癌以48.49/10万位居死亡率第一位？
总结中是否描述了恶性肿瘤顺位变化，指出1970年代胃癌位居第一，肺癌仅排第四，2004年之后肺癌稳居第一？
总结中是否包含女性恶性肿瘤死亡率数据，指出2018年女性恶性肿瘤总死亡率为127.30/10万？
总结中是否说明女性前十位恶性肿瘤包含女性乳腺癌、子宫颈癌、卵巢癌三种女性特异性肿瘤？
总结中是否包含城乡总死亡率对比表格，且数据准确，显示2018年城市总死亡率178.01/10万，农村171.44/10万？
总结中是否指出城市地区结直肠癌17.03/10万、女性乳腺癌11.11/10万死亡率明显高于农村结直肠癌12.46/10万、女性乳腺癌8.44/10万？
总结中是否指出农村地区肝癌25.19/10万、胃癌21.13/10万、食管癌16.66/10万死亡率高于城市肝癌22.79/10万、胃癌18.09/10万、食管癌11.47/10万？
总结中主要结论第一条是否明确说明肺癌已成为中国死亡率最高的恶性肿瘤，死亡率从7.09/10万增长到48.49/10万，增长近6倍？
总结中是否指出消化系统肿瘤肝癌、胃癌、食管癌、结直肠癌均位列死亡率前五名，是恶性肿瘤死亡的主要原因？
总结中是否指出女性乳腺癌死亡率从1970年代的1.65/10万升至2018年的9.66/10万？
总结最后是否标注了正确的数据来源，包含历次中国恶性肿瘤死亡抽样回顾调查和近年肿瘤登记年报？
总结是否同时覆盖了合计、女性、城市、农村四个维度的数据？
是否清晰呈现了不同年代的死亡率变化趋势，使用表格展示五个时间段数据？
总结文档结构是否清晰，分为总体变化、前十顺位变化、女性特点、城乡差异、主要结论几个部分？
总结中是否明确指出2018年合计前十位恶性肿瘤中肝癌死亡率为24.11/10万，排名第二位？
总结中是否得出城乡癌谱差异明显，城市结直肠癌乳腺癌死亡率更高，农村消化道肿瘤死亡率更高的结论？
考察能力: Workspace Exploration
Semantic Content Relations Understanding
角色: Researcher
任务难度: 困难（步骤超过10步且包含协同类型3）
任务: 桌面下的ScreenShot_2026-02-07_132218_499.png和ScreenShot_2026-02-07_132225_683.png是我在学习论文一篇论文时的截图，请帮我在论文文件夹中找到这篇论文，并提取论文的摘要，输出为output.txt文件
输出文件:
output.txt
评估标准:
output.txt文件中是否包含论文标题 "CL-BENCH: A BENCHMARK FOR CONTEXT LEARNING"？
output.txt文件中是否包含完整的ABSTRACT章节标题？
output.txt中提取的摘要开头是否为 "Current language models (LMs) excel at reasoning over prompts using pre-trained knowledge"？
摘要内容是否提到CL-bench包含500个复杂上下文、1899个任务和31607个验证标准？
摘要中是否提到评估结果：十个前沿语言模型平均只解决了17.2%的任务？
摘要中是否提到最佳表现模型GPT-5.1只解决了23.7%的任务？
摘要结尾是否提到CL-bench是构建具备上下文学习能力语言模型的一步，推进其在真实场景部署？
是否从两张截图中正确识别出论文标题为CL-Bench: A Benchmark for Context Learning？
是否正确匹配到论文文件CL-Bench.pdf而不是其他论文文件？
提取的摘要内容是否完整覆盖原论文摘要的所有段落，没有遗漏关键信息？
提取的摘要是否准确陈述了上下文学习(context learning)是人类自然具备但被当前研究 largely overlooked 的关键能力？
摘要是否准确说明解决CL-bench中的任务需要模型从上下文中学习训练数据中没有的新知识、规则系统和复杂程序？
是否成功读取了两张png截图文件识别出论文信息？
是否成功读取了CL-Bench.pdf论文文件找到摘要位置？
是否成功以txt格式输出提取的摘要内容？
摘要是否明确区分了CL-bench远超出长上下文任务和传统上下文学习任务的范围？
摘要中是否提到所有任务和评估标准都是由经验丰富的领域专家设计的？
考察能力: Workspace Exploration
Lineage Tracing
Semantic Content Relations Understanding
Heterogeneous File Understanding