Skill: z1one0415/evidence-cleaner (version 2.0.0)

--- name: evidence-cleaner description: LLM通用证据清洗技能。将原始搜索结果、网页片段、OCR残片等原始材料清洗为可用证据，减少脏输入、伪实体、重复片段和错域材料对后续判断的污染。在搜索结果返回后、进入freshness判定或叙事生成前使用。触发条件：搜索结果质量差、证据量大但信噪比低、需要标准化证据格式。 --- # Evidence Cleaner — 证据清洗技能 ## 核心职责 将原始材料（搜索结果、网页片段、OCR残片、RSS条目等）清洗为标准化可用证据。 **做什么：** - 剥离 DOM/HTML/JS 噪声残留 - 检测并过滤伪实体（不存在的人物、机构、事件） - 去重与压缩重复片段 - 降权错域来源（二手转载、匿名来源等） - 将 snippet 标准化为统一格式 **不做什么：** - ❌ 不生成主叙事或最终结论 - ❌ 不做搜索或补充信息 - ❌ 不做时间新鲜度判定（交给 freshness-judge） - ❌ 不改写证据的语义内容（只做格式标准化） ## 最小输入 | 字段 | 类型 | 必需 | 说明 | |------|------|------|------| | `raw_evidence_items[]` | array | ✅ | 原始证据条目，每条含 `source_url`、`title`、`snippet`、`raw_text`（可选） | | `primary_subject` | string | ✅ | 本次任务的主体对象（用于判断相关性） | | `canonical_time_frame` | object | ❌ | `{start, end, granularity}` 时间框架，供下游 freshness-judge 使用 | | `cleaning_goal` | string | ✅ | 清洗目标，如 "为新闻分析准备证据" / "为技术调研去噪" | ## 输出格式 ```json { "cleaned_evidence": [ { "id": "ev_001", "source_url": "https://...", "title": "...", "cleaned_snippet": "标准化后的文本", "source_reliability": "A", "cleaning_actions": ["dom_stripped", "truncated_restored"], "original_index": 0 } ], "removed_noise": [ { "id": "noise_001", "original_snippet": "被移除的内容摘要", "removal_reason": "pure_advertisement", "noise_category": "ad" } ], "downranked_items": [ { "id": "ev_002", "original_rank": 1, "new_rank": 15, "downrank_reason": "secondary_repost", "warning": "内容可能被篡改，建议交叉验证" } ], "warnings": [ "3条证据包含疑似AI幻觉引用", "2条证据来源为匿名账号，建议谨慎使用" ], "cleaning_stats": { "total_input": 25, "kept": 18, "removed": 4, "downranked": 3, "snr_ratio": 0.72 } } ``` ## 清洗 5 步流程 ### Step 1: DOM 噪声剥离 从网页抓取结果中移除非内容噪声。 - 识别并剥离：HTML 标签残留、CSS 样式文本、JS 代码片段、Cookie 提示条文本 - 识别并剥离：导航栏、页脚、面包屑、侧边栏、"相关推荐"、广告文案 - 识别并剥离：阅读量/点赞数/评论数等元数据噪声 - **检测方法**：正则匹配 HTML 标签名/CSS 属性；特征词检测（"推荐阅读""为您推荐""猜你喜欢"） - **参考**：[references/noise-patterns.md](references/noise-patterns.md) ### Step 2: 伪实体检测 检测证据中引用的人物、机构、事件是否真实存在。 - 检查人名/机构名是否为已知实体（对比上下文一致性） - 检查事件引用是否有时间/地点等可验证锚点 - 标记 AI 幻觉产生的虚假引用（如引用不存在的论文/报告） - 标记相似名称混淆（如 "中国银行" vs "中国人民银行"） - **检测方法**：上下文交叉验证；已知实体库比对；逻辑一致性检查 - **参考**：[references/noise-patterns.md](references/noise-patterns.md) 伪实体模式章节 ### Step 2.5: 同源矛盾检测 当多条证据来自同一机构/作者/数据源，且结论相互矛盾时，标记为同源矛盾。 **检测规则**： - 同一机构（如MIT）在不同时间发布的两篇研究结论方向相反 - 同一数据源（如Gartner报告）在不同版本中数据点不一致 - 同一作者/团队在不同媒体上发表的观点矛盾 **处理方式**： - 不丢弃任何一方（双方证据均保留） - 在两条证据上均添加 `same_source_contradiction` 标记 - 在 `warnings[]` 中记录矛盾描述和来源 - 在 `cleaning_stats` 中新增 `same_source_contradictions` 计数 **输出示例**： ```json { "cleaned_evidence": [ { "id": "ev_003", "flags": ["same_source_contradiction"], "contradiction_note": "与ev_007同源(MIT)，结论方向相反" } ], "warnings": [ "同源矛盾: MIT的两项研究(ev_003 vs ev_007)结论方向相反，建议交叉验证" ], "cleaning_stats": { "same_source_contradictions": 1 } } ``` ### Step 3: 去重压缩 识别并合并重复或高度相似的证据条目。 - 精确去重：标题和 snippet 完全相同的条目 - 近似去重：snippet 文本相似度 > 85% 的条目（保留信息量最大的版本） - 压缩合并：同一事件的多条报道，合并为一条并标注来源数量 - 转载链识别：A→B→C 转载链，只保留最早一手来源 - **输出**：去重后保留最佳版本，其他记入 `removed_noise` 并标注 `removal_reason: "duplicate"` ### Step 4: 错域降权 对来源不权威或与主题不完全匹配的证据进行降权。 - 二手转载（非原始来源）：降权 1 级 - 匿名来源 / 自媒体无认证：降权 2 级 - 缺乏时间标注：降权 1 级 - 与 `primary_subject` 相关度 < 60%：降权 2 级 - 来源域名信誉度低（农场号/聚合号）：降权 3 级或移除 - **参考**：[references/clean-vs-drop-rules.md](references/clean-vs-drop-rules.md) ### Step 5: Snippet 标准化 将保留的证据条目格式化为统一结构。 - 去除首尾空白和多余换行 - 修正编码问题（`&amp;` → `&`、`&#39;` → `'` 等 HTML 实体） - 修正截断文本（检测 "..." 尾部并标注 `[TRUNCATED]`） - 统一引号格式、全半角标点 - 保留原始来源 URL 和标题不变 - 为每条证据计算 `source_reliability` 评级（S/A/B/C） ## 决策快速参考 | 证据状况 | 处理方式 | |----------|----------| | 微格式错误、截断、编码问题 | **Clean** — 保留但修正 | | 二手转载、匿名来源、缺时间 | **Downrank** — 保留但降权 | | 纯广告、完全无关、纯噪声 | **Drop** — 彻底移除 | | 伪实体引用、AI幻觉 | **Drop + Warning** — 移除并记录警告 | | 高度重复 | **Merge** — 合并保留最佳版本 | 完整决策树见 [references/clean-vs-drop-rules.md](references/clean-vs-drop-rules.md)。 ## 参考文档 - [噪声模式识别手册](references/noise-patterns.md) — 各类噪声的识别方法与示例 - [清理/降权/丢弃判定规则](references/clean-vs-drop-rules.md) — 决策树与边界案例 - [清洗用例集](references/examples.md) — 3 个完整用例演示

path: references/clean-vs-drop-rules.md
content: # 清理 / 降权 / 丢弃判定规则

## 三级处置体系

对每条证据，根据其问题类型和严重程度，选择以下三种处置之一：

| 处置 | 含义 | 证据去向 | 是否需要警告 |
|------|------|----------|-------------|
| **Clean** | 保留但修正问题 | → `cleaned_evidence[]` | 仅严重修正时 |
| **Downrank** | 保留但降低权重 | → `downranked_items[]` | 是 |
| **Drop** | 彻底移除 | → `removed_noise[]` | 是 |

---

## Clean — 清理（保留但修正）

适用于证据内容有价值但格式/编码存在可修复问题的情况。

### 适用场景

| 问题类型 | 示例 | 处理方式 |
|----------|------|----------|
| HTML 实体编码 | `GPT&#8209;5` → `GPT-5` | 解码 HTML 实体 |
| 全半角混用 | `ＡＩ技术` → `AI技术` | 统一为半角 |
| 截断文本 | `...模型在测试中` → 标注 `[TRUNCATED]` | 保留并标注 |
| 首尾空白/换行 | 多余空行和空格 | 去除 |
| 编码乱码 | UTF-8 → GBK 转换后的乱码 | 尝试修正编码 |
| 引号格式混乱 | `"..."` `'...'` `「...」` 混用 | 统一为标准引号 |
| 来源信息缺失 | 无 URL 但有标题 | 保留，标注 `[SOURCE_MISSING]` |
| 相似名称混淆 | "中国银行"→"中国人民银行" | 上下文修正并标注 |

### 处理规则

1. **必须保留原始信息**：Clean 操作不得删除任何有语义的文本内容
2. **必须标注修正**：每处修正记录到 `cleaning_actions` 数组
3. **编码修正尝试不超过 2 次**：尝试 UTF-8→GBK→原始字节序，失败则保留原文并标注 `[ENCODING_UNRESOLVED]`

---

## Downrank — 降权（保留但降低权重）

适用于证据有一定价值但来源可靠性或相关性存在疑虑的情况。

### 降权等级

| 等级 | 降权幅度 | 典型场景 |
|------|----------|----------|
| D1 (轻微) | 排序后移 3-5 位 | 缺乏精确时间标注 |
| D2 (中等) | 排序后移 8-10 位 | 匿名来源 / 未认证自媒体 |
| D3 (严重) | 排序后移至末尾或标记为辅助参考 | 二手转载 / 来源信誉度低 |

### 适用场景

| 问题类型 | 降权等级 | 示例 |
|----------|----------|------|
| 缺乏时间标注 | D1 | 文章无发布日期 |
| 部分转载 | D1 | 标注"部分内容转载自XX" |
| 匿名来源 | D2 | "据知情人士透露"无更多佐证 |
| 未认证自媒体 | D2 | 微信公众号无认证标识 |
| 二手转载 | D2 | 内容从原始来源搬运，未注明 |
| 聚合平台搬运 | D3 | 今日头条/百家号搬运自原始来源 |
| 农场号/营销号 | D3 | 批量生成内容的低质量账号 |
| 与主题相关度 60%-80% | D2 | 证据内容与 primary_subject 间接相关 |
| 与主题相关度 < 60% | D3 | 证据内容与 primary_subject 几乎无关 |

### 处理规则

1. **必须记录降权原因**：写入 `downrank_reason` 字段
2. **降权不等于移除**：下游流程（如 freshness-judge）仍可访问降权证据
3. **可叠加降权**：多个降权因素可叠加（如 D1 + D2 = 等效 D3）
4. **生成警告**：每条降权证据自动添加到 `warnings[]`

---

## Drop — 丢弃（彻底移除）

适用于证据无价值或有害的情况。

### 适用场景

| 问题类型 | 示例 | removal_reason |
|----------|------|----------------|
| 纯广告 | "限时优惠！点击领取AI课程优惠券" | `pure_advertisement` |
| 营销软文 | "XX品牌AI鼠标，让你的工作效率提升10倍" | `marketing_content` |
| 完全无关 | 搜索"AI芯片"但结果是"AI菜谱推荐" | `off_topic` |
| 纯 DOM 噪声 | 整段内容都是 HTML 标签和 CSS 代码 | `pure_dom_noise` |
| 伪实体引用 | 引用不存在的人物/机构 | `pseudo_entity` |
| AI 幻觉 | 引用不存在的论文/报告/事件 | `ai_hallucination` |
| 恶意篡改 | 内容与原始来源严重不符（需对比验证） | `tampered_content` |
| 付费墙/空内容 | "登录后查看完整内容" / 空白页面 | `paywall_empty` |

### 处理规则

1. **必须记录移除原因**：写入 `removal_reason` 字段
2. **必须记录原始内容摘要**：写入 `original_snippet` 字段（便于审计）
3. **伪实体/AI幻觉必须生成警告**：加入 `warnings[]`
4. **误判保护**：如果对是否 Drop 存在疑虑，降级为 Downrank D3 而非 Drop

---

## 决策树

```
证据进入清洗流水线
        │
        ▼
┌───────────────────────┐
│ Step 1: DOM噪声剥离    │
│ 是否含 HTML/JS/CSS/   │
│ 导航/页脚/广告残留？   │
└───────┬───────┬───────┘
        │       │
     纯噪声   噪声+内容
        │       │
        ▼       ▼
    [DROP]    剥离噪声，继续
    reason:       │
    pure_dom_     ▼
    noise    ┌───────────────────┐
            │ Step 2: 伪实体检测  │
            │ 含不存在的人/机构/  │
            │ 事件/引用？         │
            └────┬──────┬────────┘
                 │      │
              确认伪  无法确认
              实体    或无伪实体
                 │      │
                 ▼      ▼
             [DROP]   继续
             reason:     │
             pseudo_     ▼
             entity  ┌───────────────┐
                    │ Step 3: 去重   │
                    │ 与其他条目     │
                    │ 高度重复？     │
                    └──┬─────┬──────┘
                       │     │
                     重复   不重复
                       │     │
                       ▼     ▼
                  [MERGE]  继续
                  保留最佳    │
                  版本        ▼
                         ┌───────────────┐
                         │ Step 4: 错域   │
                         │ 来源可靠性/    │
                         │ 相关性如何？    │
                         └──┬─────┬──┬───┘
                            │     │  │
                          高可靠 中等  低
                          高相关       可靠
                            │     │  │
                            ▼     ▼  ▼
                         [KEEP] [DN] [DN/DROP]
                                    │
                                    ▼
                         ┌───────────────┐
                         │ Step 5: 格式  │
                         │ 标准化        │
                         └───────┬───────┘
                                 ▼
                          cleaned_evidence

图例：
KEEP = 直接保留
DN   = Downrank 降权
DROP = Drop 丢弃
MERGE = 合并去重
```

---

## 边界案例处理

### 案例 1: 内容有价值但来源可疑

```
证据："据内部人士透露，公司将在下季度发布新产品"
分析：有信息价值，但来源不可验证
处理：Downrank D2 + Warning "匿名来源，未经独立验证"
```

### 案例 2: 内容与主题间接相关

```
主题：AI芯片
证据："台积电Q3营收创历史新高"
分析：间接相关（台积电是AI芯片代工厂商），有背景价值
处理：Downrank D1，保留为背景材料
```

### 案例 3: 内容正确但格式严重损坏

```
证据：大量 HTML 实体、编码错误、截断
分析：核心信息可辨识但格式极差
处理：Clean（尽力修正编码）+ Warning "[FORMAT_SEVERELY_CORRUPTED]"
```

### 案例 4: 无法判断真伪的声明

```
证据：引用某"专家"的独家预测
分析：无法验证该专家是否存在，也无法验证预测
处理：Downrank D2 + Warning "引用专家身份无法验证"
注意：不直接 Drop，除非确认是伪实体
```

### 案例 5: 部分内容有用但夹杂大量噪声

```
证据：20% 正文 + 80% 广告和推荐
分析：有信息价值，信噪比低
处理：Clean（剥离噪声）→ 如剥离后信息量 < 10%，则 Drop reason: "low_snr_after_cleaning"
```


path: references/examples.md
content: # 证据清洗用例集

## 用例 1：搜索结果清洗（混合高质量和农场号结果）

### 场景描述

通过搜索获取了关于"OpenAI 发布 GPT-5"的 8 条结果，其中包含权威媒体报道、自媒体搬运、营销号和完全无关内容。

### 输入

```json
{
  "raw_evidence_items": [
    {
      "source_url": "https://www.reuters.com/technology/openai-gpt5",
      "title": "OpenAI Announces GPT-5 with Enhanced Reasoning Capabilities",
      "snippet": "OpenAI on Tuesday unveiled GPT-5, its most advanced language model to date, featuring significant improvements in mathematical reasoning and code generation.",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://www.zaobao.com.sg/tech/openai-gpt5",
      "title": "OpenAI发布GPT-5，推理能力大幅提升",
      "snippet": "OpenAI周二发布了GPT-5模型，该模型在数学推理和代码生成方面取得重大突破。",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://baijiahao.baidu.com/s?id=1800000001",
      "title": "重磅！OpenAI发布GPT-5，AI行业格局将彻底改变！",
      "snippet": "今日，OpenAI正式发布了GPT-5大模型。据知情人士透露，该模型性能是GPT-4的10倍以上。这将对整个AI行业产生深远影响。与此同时，XX品牌AI智能音箱正在限时促销中...",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://mp.weixin.qq.com/s/abc123",
      "title": "GPT-5发布！AI从业者的生存指南",
      "snippet": "GPT-5来了！作为AI从业者，你需要了解的10个关键变化。本文将从技术原理、行业影响、个人应对三个维度进行深度分析...",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://toutiao.com/item/7300000001",
      "title": "OpenAI发布GPT-5，根据全球人工智能治理委员会报告",
      "snippet": "根据全球人工智能治理委员会（GAIGC）发布的报告，OpenAI此次发布的GPT-5在安全性方面做出了重大改进...",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://www.36kr.com/news/openai-gpt5",
      "title": "36氪独家 | OpenAI发布GPT-5，一文看懂技术亮点",
      "snippet": "OpenAI今日正式发布GPT-5。核心亮点包括：1. 数学推理能力提升300% 2. 代码生成准确率达到95% 3. 上下文窗口扩展至500K tokens",
      "publish_date": "2024-05-15"
    },
    {
      "source_url": "https://www.cooking-ai-recipes.com/gpt5",
      "title": "AI帮你做菜！GPT-5最强菜谱推荐",
      "snippet": "GPT-5不仅能写代码，还能帮你做饭！以下是10个AI推荐的周末菜谱...",
      "publish_date": "2024-05-16"
    },
    {
      "source_url": "https://news.cn/tech/openai-gpt5",
      "title": "新华社：OpenAI发布新一代大语言模型GPT-5",
      "snippet": "新华社旧金山5月15日电 美国人工智能研究公司OpenAI15日发布新一代大语言模型GPT-5，该模型在推理能力方面较上一代有显著提升。",
      "publish_date": "2024-05-15"
    }
  ],
  "primary_subject": "OpenAI GPT-5发布",
  "canonical_time_frame": {
    "start": "2024-05-01",
    "end": "2024-05-31",
    "granularity": "day"
  },
  "cleaning_goal": "为新闻分析准备关于OpenAI GPT-5发布的权威证据"
}
```

### 处理过程

**Step 1 DOM 噪声剥离**：无需处理（所有 snippet 格式正常）

**Step 2 伪实体检测**：
- 条目 5：引用"全球人工智能治理委员会（GAIGC）"→ 该组织无法验证存在 → 标记伪实体
- 条目 3：声称"性能是GPT-4的10倍以上"→ 无法验证 → 标记可疑声明

**Step 3 去重压缩**：
- 条目 1（Reuters）和条目 2（联合早报）：内容高度相似，为同一事件不同语言报道 → 合并保留 Reuters（一手英文来源）
- 条目 1（Reuters）和条目 8（新华社）：内容高度相似 → 合并保留，标注双来源

**Step 4 错域降权**：
- 条目 3（百家号）：夹带广告 → 降权 D3
- 条目 4（微信公众号）：未认证自媒体，标题党 → 降权 D2
- 条目 7（cooking-ai-recipes.com）：完全无关 → Drop

**Step 5 Snippet 标准化**：统一格式

### 输出

```json
{
  "cleaned_evidence": [
    {
      "id": "ev_001",
      "source_url": "https://www.reuters.com/technology/openai-gpt5",
      "title": "OpenAI Announces GPT-5 with Enhanced Reasoning Capabilities",
      "cleaned_snippet": "OpenAI on Tuesday unveiled GPT-5, its most advanced language model to date, featuring significant improvements in mathematical reasoning and code generation.",
      "source_reliability": "S",
      "cleaning_actions": [],
      "merged_with": ["https://www.zaobao.com.sg/tech/openai-gpt5", "https://news.cn/tech/openai-gpt5"],
      "original_index": 0
    },
    {
      "id": "ev_002",
      "source_url": "https://www.36kr.com/news/openai-gpt5",
      "title": "36氪独家 | OpenAI发布GPT-5，一文看懂技术亮点",
      "cleaned_snippet": "OpenAI今日正式发布GPT-5。核心亮点包括：1. 数学推理能力提升300% 2. 代码生成准确率达到95% 3. 上下文窗口扩展至500K tokens",
      "source_reliability": "A",
      "cleaning_actions": [],
      "original_index": 5
    }
  ],
  "removed_noise": [
    {
      "id": "noise_001",
      "original_snippet": "AI帮你做菜！GPT-5最强菜谱推荐",
      "removal_reason": "off_topic",
      "noise_category": "irrelevant_content"
    },
    {
      "id": "noise_002",
      "original_snippet": "根据全球人工智能治理委员会（GAIGC）发布的报告...",
      "removal_reason": "pseudo_entity",
      "noise_category": "unverifiable_entity"
    }
  ],
  "downranked_items": [
    {
      "id": "ev_003",
      "original_rank": 2,
      "new_rank": 8,
      "downrank_reason": "aggregated_repost + ad_mixed_content",
      "warning": "百家号内容夹带广告（'XX品牌AI智能音箱限时促销'），性能声称'10倍提升'无法验证"
    },
    {
      "id": "ev_004",
      "original_rank": 3,
      "new_rank": 7,
      "downrank_reason": "unverified_self_media + clickbait_title",
      "warning": "微信公众号未认证，标题党风格"
    }
  ],
  "warnings": [
    "条目5引用'全球人工智能治理委员会（GAIGC）'无法验证存在性，已移除",
    "条目3声称'性能是GPT-4的10倍以上'缺乏可靠来源佐证，已降权"
  ],
  "cleaning_stats": {
    "total_input": 8,
    "kept": 2,
    "removed": 2,
    "downranked": 2,
    "merged": 2,
    "snr_ratio": 0.75
  }
}
```

---

## 用例 2：网页抓取清洗（含 DOM 噪声）

### 场景描述

通过 web_fetch 抓取了一篇科技新闻网页的全文，内容中混入了大量 DOM 噪声。

### 输入

```json
{
  "raw_evidence_items": [
    {
      "source_url": "https://www.techcrunch.com/2024/05/15/apple-ai-strategy",
      "title": "Apple's AI Strategy Revealed at WWDC 2024",
      "raw_text": "TechCrunch\n> Navigation: Home > AI > Apple\n> Topics: AI, Apple, WWDC, Machine Learning\n\n<div class=\"ad-banner\">Subscribe to TechCrunch+ for exclusive AI coverage. Plans start at $10/month.</div>\n\nApple's AI Strategy Revealed at WWDC 2024\n\nBy Sarah Chen | May 15, 2024 at 2:30 PM PST\n\n\n.share-bar { position: fixed; left: 0; bottom: 0; width: 100%; background: #fff; z-index: 999; }\n\nApple today unveiled its comprehensive AI strategy at WWDC 2024, introducing a new framework called 'Apple Intelligence' that integrates generative AI capabilities across its entire product ecosystem.\n\nKey announcements include:\n- On-device AI processing for all iPhone 15 Pro models and later\n- A new Siri powered by large language models\n- Integration with OpenAI's GPT models for complex queries\n\n\"This represents a fundamental shift in how we think about AI on consumer devices,\" said Craig Federighi, Apple's senior vice president of software engineering.\n\nwindow.addEventListener('scroll', function() { trackScrollDepth(); });\n\nIndustry analysts predict this move will significantly impact the competitive landscape of consumer AI.\n\n---\nRelated Articles:\n1. Google's Response to Apple AI\n2. Microsoft Copilot vs Apple Intelligence\n3. The Future of On-Device AI\n\n---\nFooter: About | Careers | Privacy | Terms | © 2024 TechCrunch"
    }
  ],
  "primary_subject": "Apple AI战略",
  "canonical_time_frame": {
    "start": "2024-06-01",
    "end": "2024-06-30",
    "granularity": "day"
  },
  "cleaning_goal": "提取Apple WWDC 2024 AI战略的核心信息"
}
```

### 处理过程

**Step 1 DOM 噪声剥离**：
- 移除导航栏：`> Navigation: Home > AI > Apple > Topics:...`
- 移除广告：`<div class=\"ad-banner\">Subscribe to TechCrunch+...`
- 移除 CSS：`.share-bar { position: fixed;...`
- 移除 JS：`window.addEventListener('scroll',...`
- 移除相关文章：`Related Articles: 1. Google's Response...`
- 移除页脚：`Footer: About | Careers |...`
- 保留元信息：作者 Sarah Chen, 日期 May 15, 2024

**Step 2-4**：内容权威（TechCrunch 一手报道），无伪实体，无重复，保留

**Step 5 标准化**：格式化输出

### 输出

```json
{
  "cleaned_evidence": [
    {
      "id": "ev_001",
      "source_url": "https://www.techcrunch.com/2024/05/15/apple-ai-strategy",
      "title": "Apple's AI Strategy Revealed at WWDC 2024",
      "cleaned_snippet": "Apple today unveiled its comprehensive AI strategy at WWDC 2024, introducing a new framework called 'Apple Intelligence' that integrates generative AI capabilities across its entire product ecosystem. Key announcements include: on-device AI processing for all iPhone 15 Pro models and later; a new Siri powered by large language models; integration with OpenAI's GPT models for complex queries. Craig Federighi, Apple's SVP of software engineering: \"This represents a fundamental shift in how we think about AI on consumer devices.\" Industry analysts predict this move will significantly impact the competitive landscape of consumer AI.",
      "author": "Sarah Chen",
      "publish_date": "2024-05-15",
      "source_reliability": "A",
      "cleaning_actions": [
        "dom_navigation_removed",
        "dom_ad_removed",
        "dom_css_removed",
        "dom_js_removed",
        "dom_related_articles_removed",
        "dom_footer_removed",
        "format_standardized"
      ],
      "original_index": 0
    }
  ],
  "removed_noise": [],
  "downranked_items": [],
  "warnings": [],
  "cleaning_stats": {
    "total_input": 1,
    "kept": 1,
    "removed": 0,
    "downranked": 0,
    "snr_before": 0.35,
    "snr_after": 1.0
  }
}
```

---

## 用例 3：OCR 残片清洗

### 场景描述

从一份扫描版 PDF 中 OCR 提取了关于全球半导体市场的数据，内容包含乱码、残片和格式问题。

### 输入

```json
{
  "raw_evidence_items": [
    {
      "source_url": "file:///reports/semiconductor_report_2024.pdf",
      "title": "2024年全球半导体市场报告（扫描版）",
      "raw_text": "2024年全球半导体市场报告\n\n第一章 市场概况\n\n2024年全球半导体市场规模预计达到$6,120亿美元，同比增长16.8％。\n\n根据国际半导体产业协会(SEMI)数据，...织产能利用率在2024年Q2回升至82％。\n\n注：本段为PDF扫描件OCR提取，部分内容缺失\n\n主要驱动因素：\n1. 人工智能芯片需求暴增，NVIDIA数据巾心GPU出货量同比增氏350％\n2. 汽车电子化转型加速，车规级芯片需求持续旺盛\n3. 5G基站建设拉动通信芯片需求\n\nFigure 1: Global Semiconductor Revenue Forecast\n[图表：2020-2026年全球半导体收入预测]\n（注：图表内容OCR无法提取）\n\n据波士顿咨询集团(BCG)和半导体行业协会(SIA)联合报告，到2030年全球芯片产业规模将突破$1万亿...\n\n第三章 竞争格局\n\nNVIDIA以52.3％的市场份额占据AI加速器市场第一，AMD以18.7％位居第二，英特尔以8.2％排名第三。\n\n值得注意的是，中国本土芯片制造商...（第12页内容缺失）...预计到2027年将达到15％的自给率..."
    }
  ],
  "primary_subject": "全球半导体市场",
  "canonical_time_frame": {
    "start": "2024-01-01",
    "end": "2024-12-31",
    "granularity": "quarter"
  },
  "cleaning_goal": "清洗OCR提取的半导体市场报告数据，保留可用信息"
}
```

### 处理过程

**Step 1 DOM 噪声**：无 DOM 噪声，但含 OCR 特有噪声

**Step 2 伪实体**：
- "国际半导体产业协会(SEMI)" → 已知真实实体 ✓
- "波士顿咨询集团(BCG)" → 已知真实实体 ✓
- "半导体行业协会(SIA)" → 已知真实实体 ✓

**Step 3 去重**：无重复

**Step 4 错域降权**：
- 来源为 PDF 扫描件 → 可能存在 OCR 误差 → 降权 D1
- 部分内容缺失 → 降权 D1

**Step 5 标准化 + OCR 修正**：
- "数据巾心" → "数据中心" [OCR_ERROR_CORRECTED]
- "增氏" → "增长" [OCR_ERROR_CORRECTED]
- 图表无法提取 → 标注 [CHART_NOT_EXTRACTED]
- 缺失页标注 → 标注 [OCR_FRAGMENT]

### 输出

```json
{
  "cleaned_evidence": [
    {
      "id": "ev_001",
      "source_url": "file:///reports/semiconductor_report_2024.pdf",
      "title": "2024年全球半导体市场报告（扫描版）",
      "cleaned_snippet": "[OCR_FRAGMENT] 2024年全球半导体市场规模预计达到6,120亿美元，同比增长16.8%。根据国际半导体产业协会(SEMI)数据，晶圆产能利用率在2024年Q2回升至82%。[OCR_FRAGMENT]\n\n主要驱动因素：\n1. 人工智能芯片需求暴增，NVIDIA数据中心GPU出货量同比增长350%[OCR_ERROR_CORRECTED]\n2. 汽车电子化转型加速，车规级芯片需求持续旺盛\n3. 5G基站建设拉动通信芯片需求\n\n[CHART_NOT_EXTRACTED] Figure 1: 2020-2026年全球半导体收入预测\n\n据波士顿咨询集团(BCG)和半导体行业协会(SIA)联合报告，到2030年全球芯片产业规模将突破1万亿美元。\n\nNVIDIA以52.3%的市场份额占据AI加速器市场第一，AMD以18.7%位居第二，英特尔以8.2%排名第三。[OCR_FRAGMENT]中国本土芯片制造商...预计到2027年将达到15%的自给率[OCR_FRAGMENT]",
      "source_reliability": "B",
      "cleaning_actions": [
        "ocr_error_corrected:数据巾心→数据中心",
        "ocr_error_corrected:增氏→增长",
        "ocr_fragment_marked",
        "chart_not_extracted_marked",
        "html_entity_decoded:$→纯数字"
      ],
      "original_index": 0
    }
  ],
  "removed_noise": [],
  "downranked_items": [
    {
      "id": "ev_001",
      "original_rank": 1,
      "new_rank": 4,
      "downrank_reason": "ocr_source + partial_content_missing",
      "warning": "来源为PDF扫描件OCR提取，存在识别误差和内容缺失，关键数据建议与原始报告交叉验证"
    }
  ],
  "warnings": [
    "OCR修正2处：'数据巾心'→'数据中心'、'增氏'→'增长'",
    "图表内容无法通过OCR提取，可能包含关键数据",
    "报告第12页内容缺失，'中国本土芯片制造商'相关段落不完整"
  ],
  "cleaning_stats": {
    "total_input": 1,
    "kept": 1,
    "removed": 0,
    "downranked": 1,
    "ocr_corrections": 2,
    "ocr_fragments": 3,
    "snr_after": 0.82
  }
}
```


path: references/noise-patterns.md
content: # 噪声模式识别手册

## 1. DOM / 技术噪声

### 1.1 HTML 标签残留

**特征**：原始文本中混入未被解析的 HTML 标签。

```
示例输入：
"OpenAI发布了GPT-5模型<span class='highlight'>该模型在多项基准测试中</span>表现优异"

检测结果：含 <span class='highlight'> 标签残留
处理：剥离标签，保留内部文本
清洗后："OpenAI发布了GPT-5模型，该模型在多项基准测试中表现优异"
```

**检测方法**：正则匹配 `<[^>]+>` 模式；检查常见 HTML 实体（`&nbsp;` `&lt;` `&gt;`）。

### 1.2 JavaScript 代码片段

**特征**：网页 JS 代码被错误抓取为正文内容。

```
示例输入：
"function trackEvent(category, action, label) { ga('send', 'event', category, action, label); }
今日A股三大指数集体高开。"

检测结果：首行为 JavaScript 代码
处理：移除 JS 代码段，保留正文
清洗后："今日A股三大指数集体高开。"
```

**检测方法**：检测 `function`/`var`/`const`/`let`/`document.`/`window.` 等关键字；检测花括号代码块结构。

### 1.3 CSS 样式文本

**特征**：CSS 样式声明被错误提取为正文。

```
示例输入：
".article-content { font-size: 16px; line-height: 1.8; color: #333; }
苹果公司今日发布了新款MacBook Pro。"

检测结果：首行为 CSS 样式
处理：移除样式文本
清洗后："苹果公司今日发布了新款MacBook Pro。"
```

**检测方法**：检测 `{ ... }` 内含 CSS 属性的模式；检测常见 CSS 选择器语法。

### 1.4 导航栏 / 面包屑 / 页脚

**特征**：网站结构元素被错误纳入正文。

```
示例输入：
"首页 > 科技频道 > AI资讯 > 正文
英伟达发布新一代H200 GPU
首页 | 关于我们 | 联系方式 | 隐私政策 | 版权声明 © 2024"

检测结果：含面包屑导航和页脚
处理：剥离导航和页脚
清洗后："英伟达发布新一代H200 GPU"
```

**检测方法**：面包屑模式 `首页 > ... > 正文`；页脚关键词检测（"版权声明""隐私政策""联系我们""Cookie 设置"）。

### 1.5 Cookie 提示 / 权限请求

**特征**：浏览器弹窗文本被纳入正文。

```
示例输入：
"本网站使用Cookie来确保您获得最佳体验。继续浏览即表示您同意使用Cookie。
了解更多 | 同意
特斯拉Q3交付量创纪录"

检测结果：含 Cookie 同意提示
处理：移除提示文本
清洗后："特斯拉Q3交付量创纪录"
```

**检测方法**：关键词匹配 "Cookie""cookies""隐私设置""同意继续""接受全部"。

### 1.6 阅读量 / 互动数据噪声

**特征**：文章中的阅读量、点赞数等被当作正文。

```
示例输入：
"阅读 10.2万 · 评论 328 · 收藏 1.2万
华为发布鸿蒙4.0系统更新"

检测结果：含互动数据
处理：移除互动统计行
清洗后："华为发布鸿蒙4.0系统更新"
```

**检测方法**：正则匹配 `阅读\s*[\d.]+万?`、`评论\s*[\d.]+`、`点赞\s*[\d.]+` 等模式。

---

## 2. 内容噪声

### 2.1 重复 Snippet

**特征**：同一内容在不同来源中出现多次。

```
示例：
来源A："据知情人士透露，字节跳动正在开发一款新的AI对话产品"
来源B："知情人士透露，字节跳动正在开发一款新的AI对话产品"
来源C："字节跳动正在开发一款新的AI对话产品，据知情人士透露"

检测结果：三条 snippet 高度相似（相似度 > 85%）
处理：合并为一条，标注 3 个来源
清洗后："据知情人士透露，字节跳动正在开发一款新的AI对话产品"
  → sources: [来源A, 来源B, 来源C]
```

### 2.2 转载链重复

**特征**：内容从原始来源逐级转载，产生多条记录。

```
示例：
来源A (新华财经, 09:00)：原创报道
来源B (腾讯财经, 09:30)：转载自新华财经
来源C (某头条号, 10:15)：转载自腾讯财经

检测结果：A→B→C 转载链
处理：保留来源A（一手），B和C移入 removed_noise，reason: "secondary_repost"
```

**检测方法**：检查文本中的转载声明（"转载自""来源：""原文链接""本文来源于"）；比对发布时间先后。

### 2.3 推荐内容 / 相关阅读

**特征**：网站推荐的关联文章被错误抓取。

```
示例输入：
"美联储宣布加息25个基点。相关推荐：1. 欧洲央行维持利率不变 2. 日本央行调整收益率曲线控制 3. 美元指数走势分析"

检测结果：含 "相关推荐" 引导的推荐列表
处理：移除推荐内容
清洗后："美联储宣布加息25个基点。"
```

**检测方法**：关键词匹配 "相关推荐""推荐阅读""延伸阅读""猜你喜欢""您可能感兴趣""热门文章"。

---

## 3. OCR 噪声

### 3.1 OCR 乱码

**特征**：图片 OCR 识别产生的错误字符。

```
示例输入：
"2024年全球GDP增长率为3.2％（国际货币基金组识发布）"

检测结果："组识" 应为 "组织"
处理：上下文修正（如能确定）或标注 [OCR_POSSIBLE_ERROR]
清洗后："2024年全球GDP增长率为3.2％（国际货币基金组织发布）[OCR_POSSIBLE_ERROR]"
```

**检测方法**：字典校验（人名、机构名、专业术语）；上下文语义一致性检查；常见 OCR 错误模式表（如 `0/O`、`1/l/I`、`rn/m`）。

### 3.2 OCR 残片

**特征**：OCR 识别不完整，产生碎片化文本。

```
示例输入：
"...增长率达到8.5%，超...市场预期。分析师认为...
...于供应链恢复和需求回暖...未来两...有望继续...

注：本段为PDF扫描件OCR提取，部分内容缺失"

检测结果：文本多处截断，含省略号占位
处理：标注 [OCR_FRAGMENT]，保留可用部分，移除完全无语义的碎片
清洗后："[OCR_FRAGMENT] 增长率达到8.5%，超过市场预期。分析师认为...[OCR_FRAGMENT]"
```

---

## 4. 伪实体模式

### 4.1 不存在的人物

**特征**：引用了不存在或虚构的人物。

```
示例：
"据哈佛大学AI实验室主任李伟明教授表示，GPT-5将在2025年发布"

检测结果：
- 哈佛大学AI实验室无"李伟明"此人
- 该陈述可能是AI幻觉生成

处理：Drop + Warning
警告："证据引用'哈佛大学AI实验室主任李伟明教授'，该实体无法验证，疑似AI幻觉"
```

### 4.2 不存在的机构

**特征**：引用了不存在的机构或组织。

```
示例：
"据全球人工智能治理委员会（GAIGC）发布的报告显示..."

检测结果："全球人工智能治理委员会（GAIGC）" 非已知国际组织
处理：Drop + Warning
警告："引用机构'全球人工智能治理委员会（GAIGC）'无法验证存在性"
```

### 4.3 不存在的事件 / 数据

**特征**：引用了从未发生的事件或虚假数据。

```
示例：
"2024年3月，OpenAI被谷歌以5000亿美元收购"

检测结果：该事件未发生
处理：Drop + Warning
警告："声称'2024年3月OpenAI被谷歌收购'与已知事实矛盾"
```

### 4.4 相似名称混淆

**特征**：将相似但不同的实体混为一谈。

```
示例：
"中国银行宣布将存款利率下调20个基点"（实际是中国人民银行）

检测结果：混淆了"中国银行"（商业银行）和"中国人民银行"（央行）
处理：Clean + Warning
清洗后："中国人民银行宣布将存款利率下调20个基点"
警告："原始来源混淆了中国银行和中国人民银行"
```

### 4.5 AI 幻觉引用

**特征**：引用了不存在的论文、报告、法规等。

```
示例：
"根据《2024年全球AI安全评估白皮书》（OpenAI & DeepMind联合发布）..."

检测结果：不存在该白皮书
处理：Drop + Warning
警告："引用的《2024年全球AI安全评估白皮书》无法验证存在性，疑似AI幻觉"
```

**检测方法**：
- 已知实体库交叉验证
- 逻辑一致性检查（事件时间线、组织架构合理性）
- 多源交叉验证（关键声明必须在至少 2 个独立来源中出现）
- 幻觉特征检测：过度精确的数字、缺乏来源链的"据...称"、格式过于完美的引用

---

## 5. 噪声检测优先级

| 优先级 | 噪声类型 | 检测成本 | 误判风险 |
|--------|----------|----------|----------|
| P0 | HTML/JS/CSS 残留 | 低 | 极低 |
| P0 | 导航栏/页脚/广告 | 低 | 低 |
| P1 | 重复/转载链 | 中 | 低 |
| P1 | 推荐内容 | 低 | 低 |
| P2 | OCR 乱码/残片 | 中 | 中 |
| P2 | 相似名称混淆 | 中 | 中 |
| P3 | 伪实体（人物/机构） | 高 | 中 |
| P3 | AI 幻觉引用 | 高 | 中高 |
| P3 | 虚假事件/数据 | 高 | 低 |

**原则**：P0 噪声必须 100% 清除；P1 噪声应尽量清除；P2/P3 噪声标注警告后由人工或下游流程决策。


Security scan verdicts — ClawScan: suspicious | static analysis: clean | VirusTotal: clean | SkillSpector: clean (LOW)