semvec/pypi-packages huggingface dataset:
crawl-toolkit 0.1.3
Narzędzie do crawlowania i analizy treści
Requires Python: >=3.8

# Crawl Toolkit

Narzędzie do crawlowania i analizy treści, które integruje się z BrightData do crawlowania stron internetowych i OpenAI do analizy treści.

## Instalacja

```bash
pip install crawl-toolkit
```

## Wymagania

- Python 3.8+
- Klucz API BrightData (SERP i Crawler)
- Klucz API OpenAI

## Przykład użycia

```python
from crawl_toolkit import CrawlToolkit, Language, FetchType

# Inicjalizacja
toolkit = CrawlToolkit(
    brightdata_serp_key="your_serp_key",
    brightdata_serp_zone="your_serp_zone",
    brightdata_crawl_key="your_crawl_key",
    brightdata_crawl_zone="your_crawl_zone",
    openai_key="your_openai_key"
)

# Pobieranie najlepszych URL-i dla słowa kluczowego
urls = await toolkit.get_top_urls(
    keyword="python programming",
    max_results=20,
    language=Language.ENGLISH
)

# Pobieranie i czyszczenie treści (różne strategie)
contents_classic = await toolkit.fetch_and_clean_urls(
    urls=urls,
    strategy="classic"  # klasyczne czyszczenie HTML
)
contents_crawl4ai = await toolkit.fetch_and_clean_urls(
    urls=urls,
    strategy="crawl4ai"  # zaawansowane czyszczenie przez crawl4ai
)
contents_markdown = await toolkit.fetch_and_clean_urls(
    urls=urls,
    strategy="markdown"  # czyszczenie markdown
)

# Analiza słów kluczowych
analysis = await toolkit.make_keyword_analysis(
    keyword="python programming",
    max_urls=20,
    language=Language.ENGLISH
)

# Analiza z nagłówkami
analysis_with_headers = await toolkit.make_keyword_analysis_and_headers(
    keyword="python programming",
    max_urls=20,
    language=Language.ENGLISH
)
```

## Funkcjonalności

- Pobieranie najlepszych URL-i z Google dla danego słowa kluczowego
- Pobieranie i czyszczenie treści z podanych URL-i
- Analiza słów kluczowych z użyciem OpenAI
- Wyodrębnianie nagłówków z treści
- Obsługa wielu języków
- Czyszczenie treści HTML i Markdown

## Strategie czyszczenia treści

- `classic` – klasyczne czyszczenie HTML (HtmlCleaner)
- `crawl4ai` – zaawansowane czyszczenie i konwersja do markdown przez crawl4ai
- `markdown` – czyszczenie treści markdown

## Licencja

MIT
q2data2docx 0.1.38
Merging data (XLSX, JSON) and template (DOCX) into resulting DOCX document
Requires Python: <4.0,>=3.7

http://d2d.penta.by/#Tutorial
# Usage
## import
```python
import q2data2docx.q2data2docx
```

## merge local files
```python
d2d = q2data2docx.q2data2docx.q2data2docx()
d2d.loadJsonFile("your-file-name.json")  # JSON data file
# or
d2d.loadJsonFile("your-file-name.xlsx")  # XLSX data file

d2d.loadDocxFile("your-file-name.docx")  # DOCX template file
if d2d.merge():
    d2d.saveFile("result")

if d2d.merge():
    d2d.saveFile("result")
```
*or*
```python
q2data2docx.q2data2docx.merge("your-file-name.docx", "your-file-name.json", "result")
# or
q2data2docx.q2data2docx.merge("your-file-name.docx", "your-file-name.xlsx", "result")
```


## merge data from memory
```python
d2d = q2data2docx.q2data2docx.q2data2docx()

d2d.setJsonBinary(open("your-file-name.json", "rb").read())
# or
d2d.setXlsxBinary(open("your-file-name.xlsx", "rb").read())

d2d.setDocxTemplateBinary(open("your-file-name.docx", "rb").read())
if d2d.merge():
    d2d.saveFile("result")
```
*or*
```python
d2d = q2data2docx.q2data2docx.q2data2docx(
    docxTemplateBinary=open("your-file-name.docx", "rb").read(),
    jsonBinary=open("your-file-name.json", "rb").read(),
)
# or 
d2d = q2data2docx.q2data2docx.q2data2docx(
    docxTemplateBinary=open("your-file-name.docx", "rb").read(),
    xlsxBinary=open("your-file-name.xlsx", "rb").read(),
)
if d2d.merge():
    d2d.saveFile("result")
```