semvec/pypi-packages huggingface dataset:
pyetlx 0.1.1
Python bindings for the etlx Go library
Requires Python: >=3.6

# pyetlx
PyETLX is a Python package designed for seamless ETL (Extract, Transform, Load) workflows, leveraging the power of the ETLX Go library under the hood. By using gopy, PyETLX bridges the efficiency and flexibility of Go with the accessibility and popularity of Python, offering a robust tool for data engineering tasks
jpg2heif 0.1.8
A package to convert JPG images to HEIF format
Requires Python: >=3.6

# JPG to HEIF Converter

This project allows you to freely convert JPG images to HEIF format. HEIF (High Efficiency Image Format) is a more efficient image format in terms of storage and quality compared to traditional formats like JPG.

## Why HEIF?

HEIF, as the name suggests, is a high-efficiency image format. Not only does it offer smaller file sizes compared to JPG, but it also provides better image quality. This makes it an excellent choice for anyone looking to save storage space without compromising on image quality.

## Getting Started

To get started with this project, follow the steps below:

1. Clone the repository:
    ```bash
    git clone https://github.com/Devasy23/JPG2HEIF
    ```


2. Create a virtual environment:
    ```bash
    python3 -m venv venv
    ```

3. Activate the virtual environment:
    - On Windows:
        ```bash
        .\venv\Scripts\activate
        ```
    - On Unix or MacOS:
        ```bash
        source venv/bin/activate
        ```

5. Install the required packages:
    ```bash
    pip install -r requirements.txt
    ```

## Usage

### Using the CLI

To convert a JPG image to HEIF using the command line interface, use the following command:

```bash
jpg2heif file file.jpg file.heic
```

You can also convert a folder of images or a zip file:

```bash
jpg2heif folder input_folder output_folder
jpg2heif zip input.zip output.zip
```

To benchmark the conversion algorithm:

```bash
jpg2heif file file.jpg file.heic --benchmark
```

To compare SSIM index of other converted images with the original:

```bash
jpg2heif file original.jpg --compare converted1.heic converted2.heic
```

### Using the Streamlit App

To convert a JPG image to HEIF using the Streamlit app, use the following command:

```bash
streamlit run app.py
```

or using the [link](https://jpgtoheifconverter.streamlit.app/)


## Images:
![image](https://github.com/Devasy23/JPG2HEIF/assets/110348311/f1c281bb-a828-4085-ba48-f8cddd6af802)
![image](https://github.com/Devasy23/JPG2HEIF/assets/110348311/9fd50cc0-d519-4bdb-90b3-1f3848498906)
SimpleRAGHuggingFace 0.1.0
A simple Retrieval-Augmented Generation (RAG) library using Hugging Face datasets.
Requires Python: >=3.7

# Simple RAG HuggingFace

## Descripción
Diseñado para implementar sistemas de generación aumentada con recuperación de información. Utiliza datasets de Hugging Face, los vectoriza y permite consultas rápidas basadas en similitud de coseno.
![image](https://github.com/user-attachments/assets/ea271b48-376e-4496-a554-48ae915cecd4)

## Instalación


```bash
pip install SimpleRAGHuggingFace
```


## Uso

### Configuración Inicial
En la primera ejecución, se realiza la carga del dataset, su vectorización, y el almacenamiento de los embeddings:

```python
from rag import Rag

# Configurar el sistema con un dataset de Hugging Face
rag = Rag(hf_dataset="JulianVelandia/unal-repository-dataset")
```

Esto genera:
- **Base de datos original**: Almacenada en memoria como lista de documentos.
- **Base de datos vectorizada**: Archivo `.npy` en la carpeta `embeddings/`.

### Consulta y Recuperación
Una vez configurado, puedes realizar consultas:

```python
query = "¿Cuál es el Diseño de iluminación, control y embellecimiento de la cancha del Estadio Alfonso López?"
response = rag.retrieval_augmented_generation(query)
print(response)
```

El resultado será el `prompt` inicial combinado con las secciones más relevantes del contexto:

```
¿Cuál es el Diseño de iluminación, control y embellecimiento de la cancha del Estadio Alfonso López?

Keep in mind this context:
Diseño de iluminación ... el Estadio Alfonso López, así como los resultados obtenidos, entendiendo que un equipo de futbol ...
...
```

## Flujo de Trabajo

1. **Setup (Preprocesamiento)**:
   - Carga el dataset desde Hugging Face.
   - Vectoriza los documentos usando TF-IDF.
   - Guarda los embeddings en formato `.npy`.

   ```plaintext
   Dataset HF -> Carga -> Vectorización -> Embeddings (.npy)
   ```

2. **Querying (Consulta)**:
   - Vectoriza el prompt.
   - Calcula similitudes coseno entre el prompt y los documentos vectorizados.
   - Recupera las secciones más relevantes.
   - Combina el prompt con el contexto recuperado.

   ```plaintext
   Prompt -> Vectorización -> Similitud coseno -> Recuperación -> Contexto combinado
   ```