semvec/pypi-packages huggingface dataset:
getnovel 1.2.1
Tool based on Scrapy framework to get novel from web site.
License: MIT License
Requires Python: >=3.7

# GETNOVEL

![python version](https://img.shields.io/badge/python-3.7.9-blue) ![pip version](https://img.shields.io/badge/pip-20.3.1-blue) ![scrapy version](https://img.shields.io/badge/scrapy-2.4.1-blue)

## Tác giả

- Email: vuthuakhangit@gmail.com

## Mô tả

Công cụ lấy nội dung truyện và chuyển đổi các chương thành xhtml, txt. Dự án này chỉ để phục vụ nhu cầu nghiên cứu.

## Cách cài đặt

- Cài đặt python phiên bản 3.7.9
- Sử dụng lệnh sau để cài đặt công cụ:

  ```bash
  pip install getnovel
  ```

## Cách sử dụng

- Sử dụng trực tiếp qua command line

  ```bash
  getnovel https://bachngocsach.com/reader/livestream-sieu-kinh-di

  getnovel convert /path/to/raw/directory

  getnovel epub from_url https://bachngocsach.com/reader/livestream-sieu-kinh-di

  getnovel epub from_raw /path/to/raw/directory
  ```

- Ví dụ:

    - Tạo epub từ đường liên kết đến trang truyện:

  ```shell
  getnovel epub from_url https://www.ptwxz.com/bookinfo/12/12450.html
  ```

    - Tải chương 1 đến chương 5:

  ```shell
  getnovel crawl --start 1 --stop 5 https://bachngocsach.com/reader/lan-kha-ky-duyen
  ```

    - Tải tất cả chương:

  ```shell
  getnovel crawl https://bachngocsach.com/reader/lan-kha-ky-duyen
  ```

    - Tải bắt đầu từ chương 10 trở đi

  ```shell
  getnovel --start 10 https://bachngocsach.com/reader/lan-kha-ky-duyen
  ```

- Sử dụng python script

    - Tải truyện với NovelCrawler

  ```python
  from getnovel.utils.crawler import NovelCrawler
  p = NovelCrawler(url="https://bachngocsach.com/reader/lan-kha-ky-duyen")
  p.crawl(rm_raw=True, start_chap=3, stop_chap=8) 
  ```

    - Chuyển đổi truyện từ txt sang xhtml với FileConverter:

  ```python
  from getnovel.utils.file import FileConverter
  c = FileConverter(raw_dir_path="/path/to/raw/dir")
  c.convert_to_xhtml(duplicate_chapter=False, rm_result=True, lang_code="vi")
  ```

    - Tạo epub từ đường dẫn đến trang truyện:

  ```python
  from getnovel.utils.epub import EpubMaker
  e = EpubMaker()
  e.from_url("https://metruyenchu.com/truyen/sieu-than-che-tap-su", duplicate_chapter=False, start=1, stop=-1)
  ```

## Các trang web đã được hỗ trợ

1. [https://bachngocsach.com/reader/](https://bachngocsach.com/reader/)

2. [https://truyen.tangthuvien.vn/](https://truyen.tangthuvien.vn/)

3. [https://webtruyen.com/](https://webtruyen.com/)

4. [https://www.ptwxz.com/](https://www.ptwxz.com/)

5. [https://truyenfull.vn/](https://truyenfull.vn/)

6. [https://truyencv.com/](https://truyencv.com/) , TruyenCV đã thay đổi, bây giờ sẽ dẫn người dùng đến các tên miền
   khác:

- [https://metruyenchu.com/](https://metruyenchu.com/)
- [https://vtruyen.com/](https://vtruyen.com/)
- [https://nuhiep.com/](https://nuhiep.com/)

## Thông tin về các công cụ đã sử dụng

- [Scrapy](https://scrapy.org/)

- [BeautifulSoup4](https://www.crummy.com/software/BeautifulSoup/)

Những công cụ cần có để phát triển tiếp:

- [yapf](https://github.com/google/yapf)

- [pylint](http://pylint.pycqa.org/en/latest/)