semvec/pypi-packages huggingface dataset:
url-content-extractor 0.1.1
A Model Context Protocol (MCP) server that extracts main text content from web pages
License: MIT
Requires Python: >=3.10
Keywords: beautifulsoup, content-extraction, mcp, url, web-scraping

# URL Content Extractor

一个 Model Context Protocol (MCP) 服务器，用于从网页中提取主要文本内容。

## 功能特性

- 🌐 从任意 URL 提取网页的主要文本内容
- 🧹 自动清理 HTML 标签、脚本和样式
- ⚡ 异步处理，性能优异
- 🔒 支持超时和错误处理
- 📦 易于集成到 MCP 生态系统中

## 安装

```bash
pip install url-content-extractor
```

## 使用方法

### 作为 MCP 服务器运行

```bash
python -m url_content_extractor.server
```

### 在代码中使用

```python
from url_content_extractor import fetch_url_content

# 异步调用
import asyncio

async def main():
    content = await fetch_url_content("https://example.com")
    print(content)

asyncio.run(main())
```

## 开发

### 安装开发依赖

```bash
pip install -e ".[dev]"
```

### 运行测试

```bash
pytest
```

## 许可证

MIT License

## 贡献

欢迎提交 Issue 和 Pull Request！