semvec/pypi-packages huggingface dataset:
parastat 0.1.1
Parastat: CPU/GPU 并行的数据统计分析库（OLS/GLM、PCA/SVD、Bootstrap/MC）
License: MIT
Requires Python: >=3.8

# Parastat

Parastat 是一个高性能的 CPU/GPU 并行数据统计分析库，旨在通过 NumPy/Pandas 和 CuPy/CuDF 加速核心矩阵运算，提供统计分析和机器学习任务的快速实现。支持的功能包括普通最小二乘法（OLS）、广义线性模型（GLM）、主成分分析（PCA）、奇异值分解（SVD）、Bootstrap 方法和蒙特卡洛模拟（Monte Carlo）。

## 功能亮点

- **高效计算**：利用 CPU（NumPy/Pandas）或 GPU（CuPy/CuDF）进行矩阵运算，显著提升性能。
- **核心统计方法**：
  - 普通最小二乘法（OLS）和广义线性模型（GLM）用于回归分析。
  - 主成分分析（PCA）和奇异值分解（SVD）用于数据降维和分解。
  - Bootstrap 和 Monte Carlo 方法用于统计推断和不确定性分析。
- **灵活的数据支持**：支持 Parquet 文件格式（通过 `pyarrow`），适合处理大数据集。
- **命令行工具**：提供 `parastat` 命令行接口，方便快速执行统计任务。

## 安装

### CPU 安装

在 Python 3.8 或以上版本的环境中，使用以下命令安装 Parastat：

```bash
pip install parastat
```

### GPU 安装（可选）

若需启用 GPU 加速，需安装 CuPy（支持 CUDA 12.x）：

```bash
pip install parastat[gpu]
```

**注意**：GPU 安装需要 NVIDIA GPU 和兼容的 CUDA 环境。确保已安装 CUDA Toolkit 和 CuPy。

### 开发安装

若需进行本地开发，克隆仓库并安装开发依赖：

```bash
git clone https://github.com/fept-2024/parastat.git
cd parastat
pip install -e .[dev]
```

开发依赖包括 `pytest`（测试）、`ruff`（代码格式化）和 `mypy`（类型检查）。

### Parquet 支持（可选）

若需处理 Parquet 文件，安装 `pyarrow`：

```bash
pip install parastat[parquet]
```

## 使用示例

以下是一些 Parastat 的基本用法示例：

### 1. 运行 OLS 回归

```python
import parastat
import numpy as np

# 生成示例数据
X = np.random.rand(100, 3)  # 100 行，3 个特征
y = np.random.rand(100)     # 目标变量

# 执行 OLS 回归
model = parastat.OLS()
model.fit(X, y)
print("系数:", model.coef_)
```

### 2. 主成分分析（PCA）

```python
import parastat
import pandas as pd

# 加载数据
data = pd.DataFrame(np.random.rand(100, 5))

# 执行 PCA
pca = parastat.PCA(n_components=2)
pca.fit(data)
transformed_data = pca.transform(data)
print("主成分:", transformed_data)
```

### 3. 通过命令行运行统计任务

```bash
parastat --task ols --input data.csv --output results.csv
```

更多命令行选项请运行：

```bash
parastat --help
```

## 依赖

- **核心依赖**：
  - `numpy>=1.22`
  - `pandas>=1.5`
- **可选依赖**：
  - `cupy-cuda12x`（GPU 支持）
  - `pyarrow>=9`（Parquet 文件支持）
- **开发依赖**：
  - `pytest>=7`
  - `ruff>=0.5`
  - `mypy>=1.0`

## 文档

更多详细信息请参考 项目文档（待完善）。包括：

- API 参考
- 高级用法（例如 GPU 加速设置）
- 性能优化建议

## 贡献

欢迎为 Parastat 贡献代码！请按照以下步骤：

1. 克隆仓库：

   ```bash
   git clone https://github.com/fept-2024/parastat.git
   ```

2. 创建特性分支：

   ```bash
   git checkout -b feature/your-feature
   ```

3. 提交更改并运行测试：

   ```bash
   pytest
   ruff check .
   mypy .
   ```

4. 推送并创建 Pull Request。

请遵循 贡献指南（待完善）。

## 许可证

Parastat 使用 MIT 许可证。详情请见 `LICENSE` 文件。

## 联系

- **问题反馈**：请在 GitHub 仓库提交 Issue
privato 0.1.4
To Identify and Redact Personal Identifiable information
License: MIT
Requires Python: >=3.9

# Privato

Privato is a SDK for building secure and privacy-focused applications. It provides tools and libraries to help developers create applications that analyze and redact personal identifiable information (PII).

Privato provides both an API, CLI and a web interface for easy interaction.

## Features

- PII Detection: Identify and classify various types of PII in text data.
- Redaction: Automatically redact sensitive information to protect user privacy.
- Customizable: Extend and customize the detection and redaction capabilities to fit specific needs.
- Easy Integration: Simple API for seamless integration into existing applications.
- Web Interface: User-friendly web interface for manual review and redaction.

## Installation
You can install Privato using pip:

```bash
pip install privato
```

## Usage
Here's a simple example of how to use Privato to detect and redact PII in text:

```py
from privato.core.redactor import Redactor

text = "John's email is john.doe@example.com and his phone number is (123) 456-7890."
redactor = Redactor()
redacted_text = redactor.redact_text(text)['text']
print(redacted_text)
```
This will output:
```
"<PERSON>'s email is <EMAIL_ADDRESS> and his phone number is <PHONE_NUMBER>."
```

## Web Interface
To run the Backend, use the following command:

```bash
privato api run
```

Then, open your browser and go to `http://127.0.0.1:8080`.


## Make Commands
- `make help`: List all available make commands.
- `make install`: Install the required dependencies.
- `make install-dev`: Install development dependencies.
- `make test`: Run the test suite.
- `make run`: Start the FastAPI Development server.
- `make clean`: Remove temporary files and directories.
- `make deploy`: Build and run the Docker container.
- `make down`: Stop and remove the Docker container.


## Docs
For more detailed documentation, visit the [Privato Documentation](https://mohammed-saajid.github.io/Privato/).