Skill: dxg852621787/openclaw-wealth-guide (version 1.0.0)

# 智能数据采集器 - Smart Data Harvester ![OpenClaw Skill](https://img.shields.io/badge/OpenClaw-Skill-blue) ![Version](https://img.shields.io/badge/version-1.0.0-green) ![License](https://img.shields.io/badge/license-MIT-yellow) ## 📖 技能描述 智能数据采集器是一个专为OpenClaw生态系统设计的自动化数据采集、处理和导出工具。支持多种数据源和导出格式，专为中国市场优化，提供全中文界面和文档。 ## 🚀 核心功能 - **多数据源适配器**：Web抓取、API调用、数据库查询、文件读取 - **智能数据处理管道**：数据清洗、转换、聚合、分析 - **多种导出格式**：JSON、CSV、Excel、SQLite、PDF报告 - **定时任务调度**：支持定时自动执行数据采集任务 - **OpenClaw无缝集成**：原生OpenClaw技能，可通过ClawHub安装 - **中文界面和文档**：全中文支持，适合中国用户 ## 📦 安装方法 ### 通过ClawHub安装（推荐） ```bash npx clawhub install data-harvester ``` ### 手动安装 1. 克隆仓库： ```bash git clone https://gitee.com/du-xuegong/openclaw-wealth-guide.git cd openclaw-wealth-guide ``` 2. 安装依赖： ```bash uv pip install -r requirements.txt ``` 3. 在OpenClaw中配置技能 ## 🛠️ 使用方法 ### 在OpenClaw对话中使用 ```bash # 激活技能 /技能 数据采集器 # 示例命令 采集网页 https://example.com 保存为 data.json 定时采集 https://api.example.com/data 每天 09:00 导出数据为 Excel 报表 ``` ### Python API使用 ```python from data_harvester import DataHarvester # 创建数据采集器实例 harvester = DataHarvester() # 配置数据源 config = { "sources": [ { "type": "web", "url": "https://example.com/data", "extract_rules": { "title": "h1", "content": ".main-content" } } ], "processing": { "clean_html": True, "remove_duplicates": True }, "export": { "format": "json", "path": "output/data.json" } } # 执行数据采集 result = harvester.harvest(config) print(f"采集完成：{result['stats']['total_records']}条记录") ``` ## ⚙️ 配置选项 ### 数据源配置 支持多种数据源类型： - **Web适配器**：网页抓取，支持CSS选择器、XPath - **API适配器**：REST API调用，支持认证和参数 - **数据库适配器**：MySQL、PostgreSQL、SQLite查询 - **文件适配器**：CSV、Excel、JSON文件读取 ### 处理器配置 - 数据清洗：去重、过滤、格式化 - 数据转换：类型转换、计算字段 - 数据聚合：分组统计、汇总计算 - 数据验证：规则验证、质量检查 ### 导出器配置 - JSON导出：结构化数据输出 - CSV导出：表格数据输出 - Excel导出：多工作表Excel文件 - SQLite导出：本地数据库存储 - PDF报告：格式化报告生成 ## ⏰ 定时任务 支持APScheduler定时任务调度： ```python from data_harvester.scheduler import Scheduler scheduler = Scheduler() scheduler.add_job( "daily_report", "cron", hour=9, minute=0, config={ "sources": [...], "export": {"format": "excel", "path": "reports/daily.xlsx"} } ) scheduler.start() ``` ## 📁 项目结构 ``` openclaw-wealth-guide/ ├── src/data_harvester/ │ ├── adapters/ # 数据源适配器 │ ├── processors/ # 数据处理器 │ ├── exporters/ # 数据导出器 │ ├── scheduler/ # 任务调度器 │ └── openclaw_integration/ # OpenClaw集成 ├── tests/ # 测试套件 ├── examples/ # 使用示例 ├── skill.json # OpenClaw技能清单 └── requirements.txt # Python依赖 ``` ## ❓ 常见问题 ### Q: 技能安装后如何启用？ A: 在OpenClaw对话中使用 `/技能 数据采集器` 命令激活技能。 ### Q: 支持哪些数据源？ A: 支持Web页面、API接口、数据库和文件四种数据源类型。 ### Q: 需要哪些Python依赖？ A: 主要依赖 requests, beautifulsoup4, pandas, APScheduler 等，完整列表见 requirements.txt。 ### Q: 如何设置定时任务？ A: 可以通过Python API设置，或在OpenClaw中使用“定时采集”命令。 ### Q: 导出的数据格式有哪些？ A: 支持JSON、CSV、Excel、SQLite和PDF格式。 ## 📄 许可证 本项目采用MIT许可证。详见LICENSE文件。 ## 📞 支持与联系 - **作者**：dxg - **邮箱**：[REDACTED_SECRET] - **Gitee**：https://gitee.com/du-xuegong - **GitHub**：https://github.com/dxg852621787 - **问题反馈**：https://gitee.com/du-xuegong/openclaw-wealth-guide/issues ## 💰 定价与版本 ### 版本 - **基础版**：¥299 - 基础数据采集功能 - **专业版**：¥899 - 高级功能+定时任务+技术支持 - **企业版**：¥2,999 - 定制开发+优先支持+培训服务 ### 购买方式 1. 通过ClawHub技能商店购买 2. 联系作者直接购买 3. 企业定制服务咨询 --- **智能数据采集器 - 让数据采集变得简单高效！** 🚀


Security scan verdicts — ClawScan: clean | static analysis: clean | VirusTotal: clean | SkillSpector: suspicious (CRITICAL)