Skill: rouclaw/ai-content-collector (version 1.10.1)

--- name: ai-content-collector description: "AI及汽车行业信息扫描收集工具。从指定渠道搜索和收集AI/汽车行业最新动态，整理为结构化Excel表格。覆盖：研发、营销、制造运营、财经人力、AI基础设施、模型能力、智能体开发平台、AI安全。触发：(1)收集AI/汽车行业动态、新闻、资讯 (2)扫描行业信息 (3)整理资料到Excel (4)信息周报/日报" tools: ["WebSearch", "WebFetch", "Bash", "Read", "Write"] --- # AI 资料收集工具 从指定渠道搜索和收集 AI 及汽车行业最新资料，整理成结构化 Excel 表格。 --- ## 🔴 强制规则（违反任何一条即判定为失败） ### 规则1: 禁止使用不可靠来源 **禁止收录的来源**（这些是论坛/社区/UGC，不是新闻，不可交叉印证）： | 禁止来源 | 原因 | |----------|------| | zhihu.com（知乎） | 用户生成内容，观点非事实，无法交叉验证 | | weibo.com（微博） | 社交媒体，信息未经核实 | | bbs、论坛、贴吧 | 用户讨论，非权威报道 | | quora.com、reddit.com | UGC内容，同上 | | 任何问答页面 | "如何评价XX"不是新闻 | | toutiao.com（今日头条） | 算法推荐聚合，信息源混杂不可靠 | **必须使用的来源**（权威媒体，可交叉印证）： | 来源 | 域名 | 可靠性 | |------|------|--------| | IT之家 | ithome.com | ✅ 科技新闻 | | 腾讯新闻 | new.qq.com | ✅ 综合新闻 | | 新华网 | xinhuanet.com | ✅ 官方权威 | | 澎湃新闻 | thepaper.cn | ✅ 深度报道 | | 36氪 | 36kr.com | ✅ 行业资讯 | | 新浪财经 | finance.sina.com.cn | ✅ 财经数据 | | 每日经济新闻 | nbd.com.cn | ✅ 财经+科技 | | 机器之心 | jiqizhixin.com | ✅ AI专业媒体 | | 财新网 | caixin.com | ✅ 财经权威 | | 第一财经 | yicai.com | ✅ 财经+产业 | | 中国新闻网 | chinanews.com | ✅ 官方新闻 | | 证券时报 | stcn.com | ✅ 上市公司信息 | | 各公司官方博客 | blog.google、openai.com | ✅ 一手信息 | > ⚠️ 搜索结果中出现 zhihu.com/weibo.com/toutiao.com 链接时，**直接跳过**，不要点击、不要抓取、不要收录。 ### 规则2: 必须抓取详情页，禁止使用搜索摘要 **搜索结果中的 snippet ≠ 摘要**。每条收录的信息必须经过以下流程： ``` 搜索发现链接 → web_fetch抓取原文 → 从原文提取核心要点 → 写入摘要 ``` **禁止的摘要写法**： ``` ❌ "关键词搜索结果：个人怎么才能使用OpenAI?" → 这是搜索snippet ❌ "如何评价OpenAI最新发布的GPT-5.4 mini?" → 这是搜索snippet ❌ "OpenAI发布了新模型" → 没有从原文提取 ``` **合格的摘要写法**： ``` ✅ "谷歌在Cloud Next大会发布第八代TPU，首次拆分训练与推理专用芯片。推理成本降低40%，Meta和Anthropic已签大单。" → 从原文提取，含具体数据 ✅ "K2.6开源发布，1T参数MoE架构，256K上下文。SWE-Bench Pro超越GPT-5.4和Claude Opus 4.6。" → 从原文提取，含评测数据 ``` ### 规则3: 每次执行必须重新搜索，禁止复用历史数据 - 用户每次要求收集信息时，**必须从头执行全部搜索**，不得复用之前的搜索结果 - 即使同一用户短时间内多次请求，也要重新搜索 - 不得使用缓存的搜索结果或之前生成的数据 - **所有搜索调用必须实际执行**，不能假设"上次搜过了所以跳过" - **绝对不能因为"上次已搜索过同类信息"而省略任何搜索步骤** ### 规则4: 日期必须精确到日 - 发布时间必须是 `YYYY-MM-DD` 格式 - `YYYY-MM` 格式 → **丢弃** - `YYYY` 格式 → **丢弃** - 无法确认精确日期的记录 → **丢弃** ### 规则5: 禁止回退到纯英文来源 - **不允许因为"中文站点无法访问"而放弃中文来源** - 当 `web_search` 中文结果不足时，必须使用 `web_fetch` 直接抓取中文新闻站列表页（见步骤2B降级策略） - 英文来源（The Verge、TechCrunch等）**只能作为补充，不能成为主体** - 最终报告中，中文来源占比必须 ≥60% ### 规则6: 多渠道交叉印证，禁止单一来源垄断 - **单一域名链接占比不得超过50%**：如果超过50%的记录链接来自同一域名（如全部来自ithome.com），必须从其他渠道补充 - **每条记录至少2个不同渠道验证**：对每个事件，必须从至少2个不同权威媒体搜索确认，选择最权威可信的链接作为主链接 - **摘要应综合多渠道信息**：核心要点摘要应融合多个渠道的报道内容，而非仅依赖单一来源 - **文档/链接选择最权威来源**：优先选择：官方来源 > 通讯社(新华社等) > 深度媒体(澎湃/财新) > 综合媒体(腾讯新闻) > 科技媒体(IT之家/36氪) --- ## 依赖检查（必须首先执行） ```bash python3 -c "import openpyxl" 2>/dev/null || echo "MISSING: openpyxl" ``` | 依赖 | 用途 | 安装命令 | |------|------|----------| | python3 | 生成Excel | 系统自带 | | openpyxl | Excel文件生成 | `pip3 install openpyxl` | **如果依赖缺失，输出以下提示后停止**： ``` ⚠️ 缺少必要依赖：[依赖名] 请运行：[安装命令] 安装完成后重新执行本技能。 ``` --- ## 📊 质量基线（必须达标） 以下标准基于实际产出周报的质量验证，每条记录必须对标： | 指标 | 最低标准 | 优秀标准 | 实际案例 | |------|----------|----------|----------| | 总记录数 | ≥15条 | ≥25条 | 25条（周报） | | 类别覆盖 | ≥6个类别 | 8个类别全覆盖 | 8/8全覆盖 | | 摘要字数 | 50-100字 | 70-100字含具体数据 | 平均76字 | | 日期格式 | YYYY-MM-DD | YYYY-MM-DD | 100%合规 | | 链接有效性 | ≥90%可访问 | 100%可访问 | 100%有效 | | 来源具体度 | 公司/机构名 | 公司+部门/团队 | "Google Cloud"非"Google" | | 不可靠来源占比 | 0% | 0% | 0%知乎/微博 | | 中文来源占比 | ≥60% | ≥80% | 80%中文来源 | | 单一域名占比 | ≤50% | ≤30% | 无单一域名超50% | | 交叉印证率 | ≥50%记录 | ≥80%记录 | 至少2渠道验证 | ### 每条记录质量对照 **优秀记录示例**（必须达到此质量）： ``` 材料类别: AI基础设施 来源/发布机构: Google Cloud ← 具体到部门 材料名称: 谷歌发布第八代TPU v8双芯：TPU 8t训练+TPU 8i推理 ← 事件+具体型号+关键差异 发布时间: 2026-04-22 ← 精确到日 核心要点摘要: 谷歌在Cloud Next大会发布第八代TPU，首次拆分训练与推理专用芯片。推理成本降低40%，Meta和Anthropic已签大单。同时宣布7.5亿美元基金推动企业AI采用。 ← 从原文提取，含具体数据 文档/链接: https://www.thepaper.cn/newsDetail_forward_33029483 ← 深度媒体为主链接 印证来源: https://www.36kr.com/p/xxx, https://www.ithome.com/0/941/418.htm ← 不同域名佐证 ``` **不合格记录示例**（必须避免）： ``` ❌ 来源/发布机构: 知乎 → 禁止来源 ❌ 来源/发布机构: 科技公司 → 太泛 ❌ 材料名称: 如何评价OpenAI最新发布 → 这是知乎问答标题，不是新闻事件 ❌ 核心要点摘要: 关键词搜索结果：... → 搜索snippet，未抓取原文 ❌ 核心要点摘要: 谷歌发布了新芯片 → 缺少具体数据 ❌ 发布时间: 2026-04 → 必须精确到日 ❌ 文档/链接: https://www.zhihu.com/ → 禁止来源 ❌ 文档/链接: https://www.theverge.com/... → 英文来源，必须有中文源交叉印证 ❌ 印证来源: https://www.ithome.com/0/941/xxx → 与主链接同域名，不算交叉印证 ❌ 印证来源: 无 → 每条记录应有≥1个不同域名的佐证 ❌ 全部15条链接都是ithome.com → 单渠道垄断，必须分散到多个媒体 ``` ### 类别最低记录数 | 类别 | 周报最低条数 | 说明 | |------|-------------|------| | AI基础设施 | ≥3 | 含算力、芯片、数据中心 | | 模型能力 | ≥3 | 含大模型发布、开源、评测 | | 智能体开发平台 | ≥2 | 含Agent、MCP、开发平台 | | AI安全 | ≥2 | 含合规、治理、政策 | | 研发 | ≥2 | 含技术创新、政策支持 | | 制造运营 | ≥2 | 含量产、产线、机器人 | | 财经人力 | ≥1 | 含融资、营收、人事 | | 营销 | ≥1 | 含市场、品牌、合作 | --- ## 🚫 绝对禁止事项 1. **禁止编造日期**：发布时间必须是文章中明确标注的日期 2. **禁止使用模糊日期**：发布时间必须是 `YYYY-MM-DD` 格式，不接受 `YYYY-MM` 或 `YYYY` 3. **禁止收录旧数据**：严格按用户指定时间范围过滤 4. **禁止收录产品介绍页**：只收录新闻/事件/报告发布，不收录常驻产品页面 5. **禁止自行推测内容**：无法核实的内容直接丢弃 6. **禁止收录知乎/微博/论坛/今日头条内容**：只收录权威新闻媒体和官方来源 7. **禁止用搜索snippet当摘要**：必须抓取原文提取核心要点 8. **禁止摘要无数据**：核心要点摘要必须包含至少1个具体数值（百分比、金额、数量、排名等） 9. **禁止来源笼统**：来源/发布机构必须具体到公司/部门，不能写"行业"、"科技公司"等泛称 10. **禁止标题空洞**：材料名称必须包含具体事件或关键差异点 11. **禁止复用历史搜索数据**：每次执行必须重新搜索 12. **禁止跳过详情抓取**：每条记录必须从原文页面获取信息 13. **禁止因中文搜索不足就放弃中文来源**：必须执行降级策略（步骤2B），不得直接回退英文媒体 14. **禁止提示用户"技术限制"作为借口**：中文来源不足时主动用web_fetch抓取列表页，不得输出"部分中文站点无法访问" 15. **禁止单渠道垄断**：单一域名链接占比超过50%时，必须从其他渠道补充并替换 16. **禁止无交叉印证**：每条记录至少应有1个不同域名的佐证链接，重大事件必须有2个不同渠道 --- ## ✅ 搜索策略：三级搜索确保中文来源 ### 核心原则：绝不放弃中文来源 ``` 第一级：web_search + site: 限定权威来源（主力） ↓ 结果不足？ 第二级：web_fetch 直接抓取中文新闻站列表页（降级） ↓ 仍不足？ 第三级：web_search 英文来源补充（仅补充，不超过40%） ``` ### 第一级：站内搜索锁定权威来源 用 `site:` 限定权威媒体，避免泛搜返回知乎： ```javascript // ✅ 正确：限定权威媒体来源 web_search({ query: "site:ithome.com 大模型 发布 最新", freshness: "week", count: 10 }) web_search({ query: "site:new.qq.com AI 芯片 最新", freshness: "week", count: 10 }) // ❌ 错误：泛搜返回大量知乎结果 web_search({ query: "AI大模型 最新" }) // 会返回大量 zhihu.com 链接 ``` ### 第二级：web_fetch 直接抓取中文新闻站列表页（关键降级策略） **当 `web_search` 返回的中文结果不足10条时，必须执行此步骤。这是解决"中文站点无法访问"问题的核心策略。** 直接 `web_fetch` 访问以下中文新闻站的列表页/频道页，从页面中提取最新文章标题和链接： ```javascript // IT之家 AI频道 - 最可靠的中文科技新闻源 web_fetch({ url: "https://www.ithome.com/tag/AI/", fetchInfo: "提取页面中所有AI相关新闻的标题、链接和日期" }) web_fetch({ url: "https://www.ithome.com/tag/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/", fetchInfo: "提取页面中所有人工智能相关新闻的标题、链接和日期" }) // 36氪 AI频道 web_fetch({ url: "https://36kr.com/information/AI/", fetchInfo: "提取页面中所有AI相关新闻的标题、链接和日期" }) // 机器之心 - AI专业媒体 web_fetch({ url: "https://www.jiqizhixin.com/", fetchInfo: "提取首页所有文章的标题、链接和日期" }) // 澎湃新闻 科技频道 web_fetch({ url: "https://www.thepaper.cn/channel_25951", fetchInfo: "提取科技频道所有新闻的标题、链接和日期" }) // 腾讯新闻 科技频道 web_fetch({ url: "https://new.qq.com/ch/tech/", fetchInfo: "提取科技频道所有新闻的标题、链接和日期" }) // 新浪财经 科技频道 web_fetch({ url: "https://finance.sina.com.cn/tech/", fetchInfo: "提取科技频道所有新闻的标题、链接和日期" }) ``` **执行条件**： - 步骤2A 的 `web_search` 返回的中文权威来源链接 < 10条 - 或者搜索结果中超过50%是知乎/微博等不可靠来源 **从列表页提取信息后**： 1. 从页面中找到日期在 `DATE_START` ~ `DATE_END` 范围内的文章 2. 对每篇文章执行 `web_fetch` 抓取详情页 3. 提取核心要点写入摘要 ### 第三级：英文来源补充（严格限制） 英文来源**只能作为中文来源的补充**，不得超过总记录数的40%： ```javascript // 仅在中文来源不足时使用 web_search({ query: "site:theverge.com AI latest", freshness: "week", count: 5 }) web_search({ query: "site:techcrunch.com AI model release", freshness: "week", count: 5 }) web_search({ query: "site:arstechnica.com AI chip", freshness: "week", count: 5 }) ``` > ⚠️ 英文来源必须有中文权威媒体交叉印证。如果某个事件只有英文媒体报道、无任何中文来源提及，可以收录但需在摘要末尾标注 `[仅英文来源]`。 --- ## 收集流程（7步） ``` 步骤1: 解析需求 → 计算日期范围 ↓ 步骤2A: 站内搜索（site:限定权威来源，排除知乎微博） ↓ 中文结果不足10条？ 步骤2B: web_fetch 直接抓取中文新闻站列表页（降级策略，必须执行） ↓ 仍不足？ 步骤2C: 英文来源补充（不超过总数40%） ↓ 步骤3: 逐条 web_fetch 抓取原文详情（必须步骤，不可跳过） ↓ 步骤4: 从原文提取结构化信息 + 日期验证 + 事实核查 ↓ 步骤5: 生成 Excel 文件（必须完成） ↓ 步骤6: 输出文本表格 + 质量自检 ``` --- ## 步骤1: 解析需求，计算日期范围 | 用户表述 | 计算方式 | 示例（今天是2026-04-23） | |----------|----------|--------------------------| | 最近一周 | 今天 - 6天 ~ 今天 | 2026-04-16 ~ 2026-04-23 | | 最近两周 | 今天 - 13天 ~ 今天 | 2026-04-09 ~ 2026-04-23 | | 最近一个月 | 今天 - 29天 ~ 今天 | 2026-03-24 ~ 2026-04-23 | 将日期范围记录为 `DATE_START` 和 `DATE_END`，后续搜索必须使用。 --- ## 步骤2A: 站内搜索锁定权威来源 ### 搜索方式 ```javascript // 方式1：site: 限定权威来源（推荐） web_search({ query: "site:ithome.com 大模型 发布 最新", freshness: "week", count: 10 }) // 方式2：OR 组合多个权威来源 web_search({ query: "site:ithome.com OR site:36kr.com OR site:new.qq.com AI 发布", freshness: "week", count: 10 }) // 方式3：负向排除不可靠来源 web_search({ query: "AI大模型 发布 最新 -site:zhihu.com -site:weibo.com -site:toutiao.com", freshness: "week", count: 10 }) ``` > ⚠️ 搜索结果中如果出现 zhihu.com / weibo.com / toutiao.com 链接，**直接丢弃**，不要点击或抓取。 ### 搜索模板（共15次，确保多渠道覆盖） > ⚠️ **关键原则**：每组搜索必须分散到不同权威媒体站点，不得全部集中在 ithome.com。每次搜索应交替使用不同的 site: 组合。 #### 搜索组A：模型厂商动态（4次，覆盖4组不同媒体） ```javascript // A1：国际厂商 - IT之家+36氪 web_search({ query: "site:ithome.com OR site:36kr.com OpenAI Anthropic Google Gemini 大模型 发布", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // A2：国际厂商 - 腾讯新闻+澎湃（与A1不同渠道交叉） web_search({ query: "site:new.qq.com OR site:thepaper.cn OpenAI Anthropic Google 大模型 发布 最新", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // A3：国内厂商 - 每经+新浪财经 web_search({ query: "site:nbd.com.cn OR site:finance.sina.com.cn 阿里千问 字节豆包 智谱 腾讯混元 Kimi 发布", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // A4：开源模型 - 机器之心+第一财经（排除知乎） web_search({ query: "site:jiqizhixin.com OR site:yicai.com DeepSeek Meta Llama 开源模型 发布 -site:zhihu.com -site:weibo.com -site:toutiao.com", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) ``` #### 搜索组B：AI基础设施与智能体（3次，覆盖3组不同媒体） ```javascript // B1：AI算力/芯片 - IT之家+新浪财经 web_search({ query: "site:ithome.com OR site:finance.sina.com.cn AI算力 芯片 GPU TPU 数据中心 英伟达", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // B2：AI算力/芯片 - 36氪+每经（与B1交叉） web_search({ query: "site:36kr.com OR site:nbd.com.cn AI算力 英伟达 AMD 芯片 数据中心", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // B3：智能体/Agent - 机器之心+腾讯新闻 web_search({ query: "site:jiqizhixin.com OR site:new.qq.com AI Agent 智能体 MCP 框架 平台", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) ``` #### 搜索组C：AI安全与政策（2次，覆盖2组不同媒体） ```javascript // C1：AI安全 - 新华网+澎湃 web_search({ query: "site:xinhuanet.com OR site:thepaper.cn AI安全 合规 治理 监管 政策", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // C2：AI政策 - 政府官方+财新 web_search({ query: "site:gov.cn OR site:caixin.com 人工智能 政策 法规 工信部 国务院", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) ``` #### 搜索组D：汽车行业（2次，覆盖2组不同媒体） ```javascript // D1：汽车行业 - 新浪财经+每经 web_search({ query: "site:finance.sina.com.cn OR site:nbd.com.cn 汽车 智驾 产销 比亚迪 吉利", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // D2：智能制造 - 证券时报+腾讯新闻 web_search({ query: "site:stcn.com OR site:new.qq.com 上汽 美的 三一 智能制造 AI", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) ``` #### 搜索组E：机器人与咨询报告（2次，覆盖2组不同媒体） ```javascript // E1：机器人 - 澎湃+第一财经 web_search({ query: "site:thepaper.cn OR site:yicai.com 人形机器人 量产 特斯拉 宇树 优必选", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) // E2：咨询报告 - 36氪+IT之家 web_search({ query: "site:36kr.com OR site:ithome.com 麦肯锡 德勤 Gartner IDC 行业报告 AI", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 10, country: "CN", language: "zh" }) ``` #### 搜索组F：交叉印证搜索（2次，确保多渠道覆盖） ```javascript // F1：本周重大事件 - 多站交叉（不限定site:，排除不可靠来源） web_search({ query: "AI 大模型 发布 芯片 最新新闻 -site:zhihu.com -site:weibo.com -site:toutiao.com", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 15, country: "CN", language: "zh" }) // F2：汽车+AI交叉 - 多站交叉 web_search({ query: "汽车 智能制造 机器人 AI 最新 -site:zhihu.com -site:weibo.com -site:toutiao.com", freshness: "week", date_after: DATE_START, date_before: DATE_END, count: 15, country: "CN", language: "zh" }) ``` --- ## 步骤2B: 降级策略 — web_fetch 直接抓取中文新闻站 **触发条件**：步骤2A返回的中文权威来源链接 < 10条 **执行方式**：并行 web_fetch 以下列表页，从中提取文章标题、链接、日期： | 站点 | 列表页URL | 抓取目标 | |------|-----------|----------| | IT之家 | `https://www.ithome.com/tag/AI/` | AI标签页所有文章 | | IT之家 | `https://www.ithome.com/tag/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/` | 人工智能标签页 | | 36氪 | `https://36kr.com/information/AI/` | AI频道 | | 机器之心 | `https://www.jiqizhixin.com/` | 首页文章列表 | | 澎湃新闻 | `https://www.thepaper.cn/channel_25951` | 科技频道 | | 腾讯新闻 | `https://new.qq.com/ch/tech/` | 科技频道 | | 新浪科技 | `https://finance.sina.com.cn/tech/` | 科技频道 | | 每经网 | `https://www.nbd.com.cn/columns/232/` | 科技频道 | **操作步骤**： ``` 1. 并行 web_fetch 所有列表页 2. 从返回的HTML/Markdown中提取： - 文章标题 - 文章链接（补全为完整URL） - 发布日期（与 DATE_START~DATE_END 比对） 3. 筛选日期范围内的文章 4. 对筛选出的文章逐条 web_fetch 抓取详情页 5. 从详情页提取核心要点 ``` > ⚠️ 列表页 web_fetch 可能返回403（部分站点有反爬），如果某个站点403，跳过该站点，继续抓取其他站点。不要因为一个站点403就放弃所有中文来源。 --- ## 步骤2C: 英文来源补充（严格限制） **触发条件**：步骤2A + 2B 仍无法收集到 ≥15条中文来源记录 **执行方式**： ```javascript web_search({ query: "site:theverge.com AI model release latest", freshness: "week", count: 5 }) web_search({ query: "site:techcrunch.com AI chip infrastructure", freshness: "week", count: 5 }) web_search({ query: "site:arstechnica.com AI safety policy", freshness: "week", count: 5 }) web_search({ query: "site:blog.google OR site:openai.com announcement", freshness: "week", count: 5 }) ``` **限制**： - 英文来源记录数 ≤ 总记录数的40% - 每条英文记录必须有中文权威媒体交叉印证 - 无中文印证的标注 `[仅英文来源]` --- ## 步骤3: 抓取原文详情（核心步骤，不可跳过） **这是防止"搜索snippet当摘要"的关键步骤。** 对每一条搜索结果： 1. **检查链接域名**：如果是 zhihu.com/weibo.com/论坛/toutiao.com → 直接跳过 2. **web_fetch 抓取原文**：获取完整文章内容 3. **从原文提取**：发布日期、核心数据、事件细节 4. **如果 web_fetch 返回403或空**：跳过该链接，不要用搜索snippet替代 ### 不同站点的抓取策略 | 站点 | 抓取方式 | 说明 | |------|----------|------| | IT之家、36氪、澎湃、腾讯新闻 | **web_fetch** | 通常允许访问 | | 新华网、新浪财经、第一财经 | **web_fetch** | 通常允许访问 | | 财新网、每经网 | **web_fetch** | 通常允许访问 | | 机器之心 | **web_fetch** | AI专业媒体，通常允许 | | 知乎、微博、微信、今日头条 | **直接跳过** | 禁止收录 | > ⚠️ 如果 web_fetch 返回 403 或空内容，**丢弃该条记录**。绝不能用搜索snippet代替原文摘要。 --- ## 步骤4: 提取结构化信息 + 交叉印证 + 日期验证 ### 7个字段 | 字段 | 格式要求 | 合格示例 | 不合格示例 | |------|----------|----------|------------| | 材料类别 | 8选1 | AI基础设施 | 科技 | | 来源/发布机构 | 具体到公司/部门 | Google Cloud | 知乎、行业 | | 材料名称 | 具体事件+关键指标 | 谷歌发布第八代TPU v8双芯：TPU 8t训练+TPU 8i推理 | AI芯片发布 | | 发布时间 | **必须 YYYY-MM-DD** | 2026-04-22 | 2026-04 | | 核心要点摘要 | 50-100字，含≥1个具体数据，综合多渠道 | 推理成本降低40%（36氪），Meta和Anthropic已签大单（澎湃） | 关键词搜索结果：... | | 文档/链接 | 最权威可信的原文URL | https://www.thepaper.cn/... | https://www.zhihu.com/... | | 印证来源 | ≥1个不同域名的佐证链接 | https://www.36kr.com/..., https://finance.sina.com.cn/... | 无、同域名链接 | ### 交叉印证流程（每条记录必须执行） ``` 1. 识别事件关键词 → 提取核心实体（如"谷歌 TPUv8"） 2. 用关键词在至少1个不同权威媒体搜索验证 web_search({ query: "谷歌 TPUv8 发布 site:new.qq.com OR site:36kr.com", freshness: "week", count: 5 }) 3. 找到佐证链接 → 记录到「印证来源」字段 4. 选择最权威的链接作为主「文档/链接」 5. 综合多渠道信息写入摘要，重要数据标注来源 ``` **链接权威性优先级**（选择主链接时参考）： ``` 1. 官方来源（openai.com、blog.google） → 最高权威 2. 通讯社/官方媒体（xinhuanet.com） → 官方背书 3. 深度媒体（thepaper.cn、caixin.com） → 深度调查 4. 综合新闻（new.qq.com、chinanews.com） → 广泛传播 5. 行业媒体（36kr.com、jiqizhixin.com） → 专业领域 6. 科技媒体（ithome.com） → 快速报道 ``` > ⚠️ 如果某个事件只能找到单一来源，在「印证来源」列填"单源"，摘要末尾标注 `[待核实]`。 ### 日期验证（每条记录必须通过，任一不通过则丢弃） ``` □ 发布时间是否为 YYYY-MM-DD 格式？（不是则丢弃） □ 发布时间是否 >= DATE_START？（不是则丢弃） □ 发布时间是否 <= DATE_END？（不是则丢弃） □ 发布时间是否合理？（不是未来日期，不是1年前的日期） ``` ### 来源可靠性验证 ``` □ 链接域名是否为权威媒体？（知乎/微博/论坛/今日头条 → 丢弃） □ 来源/发布机构是否具体？（"行业"/"科技公司" → 丢弃） □ 摘要是否从原文提取？（搜索snippet → 丢弃） □ 摘要是否含具体数据？（无数据 → 重写或丢弃） □ 英文来源是否≤40%？（超过 → 减少英文记录） □ 印证来源是否≥1个不同域名？（单一来源标注[待核实]） □ 单一域名链接是否≤50%？（超过 → 必须从其他渠道补充） ``` ### 事实核查 对重大事件（新模型发布、政策法规、企业重大合作、融资数据），必须2个不同权威来源交叉验证。只能找到1个来源时，摘要末尾标注 `[待核实]`。 ### 去重 - 按 URL 去重 - 按事件去重：同一事件保留信息最全且日期最新的一条 - 按标题去重：标题高度相似(>80%)视为同一事件 --- ## 步骤5: 生成 Excel 文件（必须完成） 使用 Python + openpyxl 生成： ```python from openpyxl import Workbook from openpyxl.styles import Font, Alignment, PatternFill, Border, Side from datetime import datetime wb = Workbook() ws = wb.active ws.title = "信息扫描周报" headers = ["材料类别", "来源/发布机构", "材料名称", "发布时间", "核心要点摘要", "文档/链接", "印证来源"] hfont = Font(name='Arial', bold=True, color='FFFFFF', size=11) hfill = PatternFill(start_color='2F5496', end_color='2F5496', fill_type='solid') border = Border(left=Side(style='thin'), right=Side(style='thin'), top=Side(style='thin'), bottom=Side(style='thin')) for col, h in enumerate(headers, 1): c = ws.cell(row=1, column=col, value=h) c.font, c.fill, c.border = hfont, hfill, border c.alignment = Alignment(horizontal='center', vertical='center', wrap_text=True) cat_colors = { 'AI基础设施': 'E2EFDA', '模型能力': 'D6E4F0', '智能体开发平台': 'FCE4D6', 'AI安全': 'F2DCDB', '研发': 'D9E2F3', '制造运营': 'E2EFDA', '财经人力': 'FFF2CC', '营销': 'EDEDED', } link_font = Font(name='Arial', size=10, color='0563C1', underline='single') for ri, item in enumerate(data, 2): for ci, val in enumerate(item, 1): ws.cell(row=ri, column=ci, value=val) for ci in range(1, 8): cell = ws.cell(row=ri, column=ci) cell.border = border cell.font = Font(name='Arial', size=10) cell.alignment = Alignment(vertical='center', wrap_text=True) color = cat_colors.get(item[0]) if color: ws.cell(row=ri, column=1).fill = PatternFill(start_color=color, end_color=color, fill_type='solid') ws.cell(row=ri, column=1).alignment = Alignment(horizontal='center', vertical='center', wrap_text=True) ws.cell(row=ri, column=4).alignment = Alignment(horizontal='center', vertical='center') # 文档/链接列（F列）- 设置为可点击超链接 url_cell = ws.cell(row=ri, column=6) url = str(url_cell.value or '') if url.startswith('http'): url_cell.hyperlink = url url_cell.font = link_font else: url_cell.font = Font(name='Arial', size=10) # 印证来源列（G列）- 设为可点击超链接 # 规则：如果有多个佐证链接，只取第一个设为hyperlink（openpyxl限制）， # 其余链接以纯文本显示在下方，用户可复制到浏览器打开 ref_cell = ws.cell(row=ri, column=7) ref_val = str(ref_cell.value or '') ref_urls = [u.strip() for u in ref_val.replace('，', ',').split(',') if u.strip().startswith('http')] if len(ref_urls) >= 1: ref_cell.hyperlink = ref_urls[0] ref_cell.font = link_font if len(ref_urls) > 1: # 多个佐证：第一个可点击，其余附在单元格值中 ref_cell.value = ref_val elif ref_val and ref_val != '单源': ref_cell.font = Font(name='Arial', size=10) ws.column_dimensions['A'].width = 16 ws.column_dimensions['B'].width = 22 ws.column_dimensions['C'].width = 52 ws.column_dimensions['D'].width = 12 ws.column_dimensions['E'].width = 65 ws.column_dimensions['F'].width = 50 ws.column_dimensions['G'].width = 50 ws.freeze_panes = 'A2' ws.auto_filter.ref = f'A1:G{len(data)+1}' date_str = datetime.now().strftime("%Y-%m-%d") filepath = f"信息扫描周报_{date_str}.xlsx" wb.save(filepath) print(f"已保存: {filepath}，共 {len(data)} 条记录") ``` **openpyxl 未安装时降级为 CSV**： ```python import csv date_str = datetime.now().strftime("%Y-%m-%d") filepath = f"信息扫描周报_{date_str}.csv" with open(filepath, 'w', newline='', encoding='utf-8-sig') as f: writer = csv.writer(f) writer.writerow(["材料类别", "来源/发布机构", "材料名称", "发布时间", "核心要点摘要", "文档/链接", "印证来源"]) for item in data: writer.writerow(item) ``` --- ## 步骤6: 输出文本表格 + 质量自检 输出文本表格后，必须执行质量自检： ``` | 材料类别 | 来源 | 材料名称 | 发布时间 | 核心要点摘要 | 文档/链接 | |----------|------|----------|----------|--------------|----------| | 模型能力 | OpenAI | GPT-Image-2发布 | 2026-04-21 | ... | https://... | ``` ### 质量自检清单（必须逐项检查并报告） ``` □ 总记录数是否 ≥15条？ □ 8个类别是否都有覆盖？ □ 所有日期是否为 YYYY-MM-DD 格式？ □ 所有链接域名是否为权威媒体（无知乎/微博/论坛/今日头条）？ □ 所有摘要是否从原文提取（无"关键词搜索结果"字样）？ □ 所有摘要是否含具体数据？ □ 所有来源/发布机构是否具体到公司/部门？ □ 是否所有搜索都是本次新执行的（非历史数据复用）？ □ 中文来源占比是否 ≥60%？ □ 英文来源是否 ≤40%？ □ 单一域名链接占比是否 ≤50%？（如ithome.com不超过50%） □ 交叉印证率是否 ≥50%？（至少一半记录有≥2个不同渠道佐证） □ 所有「印证来源」是否为不同域名？（不能与「文档/链接」同域名） ``` 如果自检不通过，必须补充搜索和修正，直到达标。 --- ## 扫描对象参考 ### 国家机构 国务院、工信部、信通院、发改委、中国汽车工业协会、自动化所、国家网信办 ### 咨询公司 麦肯锡、波士顿、德勤、普华永道、毕马威、安永、IBM、Gartner、IDC ### 模型厂商 Google(Gemini)、OpenAI、Meta(Llama)、阿里(千问)、字节(豆包)、百度(文心)、腾讯(混元)、月之暗面(Kimi)、智谱(GLM)、DeepSeek ### 机器人厂商 特斯拉(Optimus)、波士顿动力、优必选、银河通用、宇树科技、松延动力 ### 头部企业 美的、比亚迪、上汽、三一、吉利 --- ## 权威搜索来源 搜索时用 `site:` 限定以下来源，或用 `-site:zhihu.com -site:weibo.com` 排除不可靠来源： | 来源 | 搜索词建议 | 可靠性 | |------|------------|--------| | IT之家 | `site:ithome.com` | ✅ 权威科技媒体 | | 腾讯新闻 | `site:new.qq.com` | ✅ 综合新闻 | | 新华网 | `site:xinhuanet.com` | ✅ 官方权威 | | 澎湃新闻 | `site:thepaper.cn` | ✅ 深度报道 | | 36氪 | `site:36kr.com` | ✅ 行业资讯 | | 新浪财经 | `site:finance.sina.com.cn` | ✅ 财经数据 | | 每日经济新闻 | `site:nbd.com.cn` | ✅ 财经+科技 | | 机器之心 | `site:jiqizhixin.com` | ✅ AI专业媒体 | | 财新网 | `site:caixin.com` | ✅ 财经权威 | | 第一财经 | `site:yicai.com` | ✅ 财经+产业 | ### 模型能力评估渠道 | 评估渠道 | 网址 | |----------|------| | LMArena | https://lmarena.ai | | DataLeader | https://www.datalearner.com/leaderboards | | SuperCLUE | https://www.superclueai.com | | Artificial Analysis | https://artificialanalysis.ai | ### 上市公司信息 | 渠道 | 网址 | |------|------| | 巨潮资讯网 | http://www.cninfo.com.cn | | 港交所披露易 | https://www.hkexnews.hk | --- ## 可选增强 Skill 安装指南 以下 Skill 非必需，但安装后可显著提升搜索和抓取效果： ### multi-search-engine（推荐，无需 API Key） ```bash npx clawhub@latest install multi-search-engine ``` 增强能力：17引擎聚合搜索 + `tbs=qdr:w` 时间过滤 + 微信公众号搜索 + `site:` 站内搜索 ### xcrawl-search + xcrawl-scrape（解决403反爬） ```bash npx clawhub@latest install xcrawl-search npx clawhub@latest install xcrawl-scrape ``` 增强能力：绕过99%反爬机制 + JS渲染 + 中文位置语言优化 > 安装后需按 xcrawl Skill 的说明配置 API Key。安装和配置请遵循各 Skill 的官方文档。 --- ## 注意事项 1. **站内搜索优先**：用 `site:ithome.com` 等限定权威来源，避免泛搜返回知乎 2. **排除不可靠来源**：搜索时加 `-site:zhihu.com -site:weibo.com -site:toutiao.com` 排除论坛和社交媒体 3. **必须抓取原文**：每条记录必须 web_fetch 原文，搜索snippet不能替代摘要 4. **禁止复用历史数据**：每次执行必须重新搜索，不得使用缓存或之前的搜索结果 5. **禁止知乎/微博/今日头条来源**：只收录权威新闻媒体和官方来源，确保可交叉印证 6. **绝不放弃中文来源**：web_search 中文结果不足时，必须执行步骤2B（web_fetch抓取中文站列表页），不得直接回退英文媒体 7. **中文来源占比 ≥60%**：英文来源只能作为补充，不超过40% 8. **时间过滤**：web_search 用 `freshness:"week"` 9. **日期验证不可跳过**：每条记录必须 YYYY-MM-DD 且在范围内 10. **事实核查**：重大事件2源交叉验证 11. **宁缺毋滥**：无法确认日期或事实的条目直接丢弃 12. **必须有链接**：文档/链接列不能为空，且必须是权威媒体 13. **必须生成Excel**：步骤5不能跳过 14. **并行搜索**：所有搜索并行执行 15. **403处理**：web_fetch 返回403时丢弃该条，不用snippet替代 16. **质量自检**：生成Excel前，对照「质量自检清单」逐项检查 17. **摘要必须有数据**：每条摘要必须含≥1个具体数值 18. **来源必须具体**：来源/发布机构必须具体到公司/部门名 19. **列表页降级必执行**：中文搜索结果不足时必须抓取列表页，不能跳过 20. **多渠道搜索**：每次搜索组必须覆盖不同媒体站点，不得全部集中在IT之家 21. **交叉印证必执行**：每个事件至少从2个不同渠道搜索确认，综合多渠道信息写入摘要 22. **链接权威性优先**：主链接选最权威来源（官方>通讯社>深度媒体>综合媒体>科技媒体），IT之家等科技媒体链接不应超过50% 23. **印证来源独立域名**：印证来源必须与主链接不同域名，同域名不算交叉印证


Security scan verdicts — ClawScan: clean | static analysis: clean | VirusTotal: clean | SkillSpector: suspicious (MEDIUM)