semvec/pypi-packages huggingface dataset:
NlpToolkit-Corpus-Cy 1.0.22
Corpus library

Corpus
============

Video Lectures
============

[<img src="https://github.com/StarlangSoftware/Corpus/blob/master/video.jpg" width="50%">](https://youtu.be/xTrdKY5uI08)

For Developers
============
You can also see [Python](https://github.com/starlangsoftware/Corpus-Py), [C](https://github.com/starlangsoftware/Corpus-C), [Java](https://github.com/starlangsoftware/Corpus), [C++](https://github.com/starlangsoftware/Corpus-CPP), [Swift](https://github.com/starlangsoftware/Corpus-Swift), [Js](https://github.com/starlangsoftware/Corpus-Js), or [C#](https://github.com/starlangsoftware/Corpus-CS) repository.

## Requirements

* [Python 3.7 or higher](#python)
* [Git](#git)

### Python 

To check if you have a compatible version of Python installed, use the following command:

    python -V
    
You can find the latest version of Python [here](https://www.python.org/downloads/).

### Git

Install the [latest version of Git](https://git-scm.com/book/en/v2/Getting-Started-Installing-Git).

## Pip Install

	pip3 install NlpToolkit-Corpus-Cy

## Download Code

In order to work on code, create a fork from GitHub page. 
Use Git for cloning the code to your local or below line for Ubuntu:

	git clone <your-fork-git-link>

A directory called Corpus will be created. Or you can use below link for exploring the code:

	git clone https://github.com/olcaytaner/Corpus-Cy.git

## Open project with Pycharm IDE

Steps for opening the cloned project:

* Start IDE
* Select **File | Open** from main menu
* Choose `Corpus-Cy` file
* Select open as project option
* Couple of seconds, dependencies will be downloaded. 

Detailed Description
============

+ [Corpus](#corpus)
+ [TurkishSplitter](#turkishsplitter)

## Corpus

To store a corpus in memory

	a = Corpus("derlem.txt")

If this corpus is split with dots but not in sentences

	Corpus(self, fileName=None, splitterOrChecker=None)

The number of sentences in the corpus

	sentenceCount(self) -> int

To get ith sentence in the corpus

	getSentence(self, index: int) -> Sentence

## TurkishSplitter

TurkishSplitter class is used to split the text into sentences in accordance with the . rules of Turkish.

	split(self, line: str) -> list
papaeragent 0.1.0
A package to download arXiv papers and interact with PDFs using Ollama LLM
Requires Python: >=3.6

# paperagent

paperagent 是一个集成了从 arXiv 下载论文以及利用本地大模型 (Ollama) 对论文进行评价的 Python 包。该包提供了一个单一接口 `run_agent`，可以传入搜索关键词、下载论文数量、保存路径（默认为 "papers"）和大模型问题（若未指定，默认生成中文摘要并从新意度、有效性、问题大小三个维度进行综合评估），最终将大模型返回的答案（经过 `<think>...</think>` 内容过滤）写入一个包含当前日期的 Markdown 文件中。

---

## Features / 功能

- **Download Research Papers from arXiv / 下载 arXiv 论文**  
  根据用户提供的关键词搜索并下载指定数量的论文 PDF 文件。

- **Language Model Evaluation / 大模型问答**  
  对每篇下载的论文，从 PDF 中提取第一页内容，并利用本地大模型生成中文摘要及论文质量评分。  
  返回内容中会过滤掉 `<think>...</think>` 标签内的内容。

- **Output / 输出**  
  所有论文的标题及大模型的回答将写入到一个 Markdown 文件中，文件名为 `论文质量评估YYYYMMDD.md`，其中 `YYYYMMDD` 表示当前日期。

---

## Input Parameters and Output Details / 输入参数和输出详情

### Input Parameters (输入参数)
- **paper_keyword** (字符串):  
  用于在 arXiv 上搜索论文的关键词。  
  *Example / 示例:* `"object detection"`

- **total_count** (整数):  
  指定需要下载的论文总数量。  
  *Example / 示例:* `5`

- **save_path** (字符串, 默认 "papers"):  
  指定保存下载 PDF 的文件夹路径。若未传入，将默认使用 "papers"。  
  *Example / 示例:* `"downloads"`

- **question** (字符串, 可选):  
  提供给大模型的提问内容；若未指定，则使用默认问题：  
  > "帮我生成这篇文章的中文摘要，并从新意度、有效性、问题大小三个维度综合评估这篇文章的价值，满分十分，生成完中文摘要后，打出你认为的评分。"  
  *Example / 示例:* `"请生成这篇文章的中文摘要，并评估其价值。"`

- **model_name** (字符串, 默认 "deepseek-r1:1.5b"):  
  本地大模型的名称，用于 Ollama 的模型调用。

### Output (输出)
- **PDF 下载**:  
  根据指定关键词和数量，从 arXiv 下载论文 PDF 文件到指定的 `save_path` 文件夹中。

- **大模型回答**:  
  对每篇论文，提取 PDF 的第一页内容作为上下文，并与提问一起传给大模型。大模型返回的答案中会过滤掉 `<think>...</think>` 部分。

- **评估文件**:  
  所有论文的标题和大模型回答会写入一个 Markdown 文件，文件名格式为 `论文质量评估YYYYMMDD.md`（如 `论文质量评估20250307.md`），用于记录每篇论文的中文摘要和综合评分。

---

## Installation / 安装

使用 pip 安装：
```bash
pip install paperagent
```