semvec/pypi-packages huggingface dataset:
pgr 0.0.1
No short description!

Welcome to ``pgr`` Documentation
==============================================================================

``dev/pgr-project`` 目录是用于开发 ``cookiecutter-pygitrepo`` 本身所用的一个 Dummy 项目. 用于模拟用户使用 ``cookiecutter-pygitrepo`` 生成的 Python 项目文件模板, 并且用各种 ``bin`` 脚本, ``make`` 命令的行为. 当这些命令在 ``my_pkg-project`` 上工作良好后, 我们再将其通用化模板化.

.. contents::
    :class: this-will-duplicate-information-and-it-is-still-useful-here
    :depth: 1
    :local:
SpiderKo 0.0.4
Spider Toolkit Collection

## 设计初衷

```

python setup.py sdist bdist_wheel
twine upload dist/*

SpiderKo依赖统一的状态管理数据库（Redis、ZooKeeper），SpiderKo采用二分搜索定位网页路由，
SpiderKo存储提供Elasticsearch、MongoDB、MySQL（sqlalchemy）为存储载体。


爬虫(spider) ---> 数据治理(process) ---> 数据存储（rpc、db、http） store

可以快速接入 无需关心数据存储

所有爬虫写入   日本爬虫可以直接用   异步任务调用  下载  通知
```