semvec/pypi-packages huggingface dataset:
keaixiaojiycw-tieba-post-crawler 0.7.1
贴吧一体化异步爬取与HTML/LLM数据处理工具箱
License: MIT
Requires Python: >=3.8

# 贴吧一体化工具箱 (tieba-toolkit)

[![Python Version](https://img.shields.io/badge/Python-3.8+-blue.svg)](https://www.python.org/downloads/)
[![License](https://img.shields.io/badge/License-MIT-green.svg)](LICENSE)

本项目将高效的贴吧异步爬虫 (`craw3.4.8.py`) 和 Apple 风格的 HTML 查看器生成工具 (`conv_v2.1.py`) 封装成了一个易于安装和使用的 Python 库及命令行工具。

---

### 🚀 1. 核心功能与特性

| 模块 | 功能描述 |
| :--- | :--- |
| **异步爬虫** | 基于 `aiotieba`，实现高并发、异步的帖子内容和图片爬取。 |
| **断点续爬** | 自动记录 `checkpoint`，支持中断后恢复爬取，无需担心进度丢失。 |
| **图片下载** | 多工作线程异步下载帖子中所有图片资源，支持重试机制。 |
| **HTML 转换** | 将爬取的原始 JSON 数据转换为**单文件、美观的 Apple 风格 HTML 查看器**，支持异步加载和分页浏览，便于本地离线预览。 |
| **CLI 命令行** | 提供 `tieba-cli` 命令，统一管理爬取、转换和列表查看功能。 |

---

### ⚙️ 2. 安装与环境要求

#### 2.1 环境要求

* Python 3.8+
* 贴吧登录凭证：**BDUSS**（必须通过环境变量设置）

#### 2.2 安装

使用 `pip` 即可从 PyPI 安装 `tieba-toolkit`（假设您已完成发布）：

```bash
pip install tieba-toolkit