minor changes

file_cleaning.py

@@ -1,107 +0,0 @@
-#!/usr/bin/env python
-import argparse
-import re
-import pdfplumber
-import os
-
-def clean_text_for_rag(text: str) -> str:
-    """
-    Nettoie le texte pour RAG : normalise les caractères spéciaux,
-    puis garde uniquement lettres (accents), chiffres, espaces et ponctuation simple.
-    """
-    # Normalisation des caractères spéciaux
-    text = re.sub(
-        r"[’‘“”«»–—\u00A0\u202F…œŒæÆ©®™§°±×÷]",
-        lambda m: {
-            "’": "'", "‘": "'", "“": '"', "”": '"', "«": '"', "»": '"',
-            "–": "-", "—": "-", "…": "...", "œ": "oe", "Œ": "OE", "æ": "ae", "Æ": "AE",
-            "©": "(c)", "®": "(R)", "™": "TM", "§": "§", "°": "°", "±": "+/-", "×": "x", "÷": "/"
-        }.get(m.group(0), m.group(0)),
-        text
-    )
-    
-    # Nettoyage strict : garder lettres, chiffres, espaces, ponctuation simple
-    text = re.sub(r'[^a-zA-ZÀ-ÿæ-œ0-9\s\.\,\:\;\!\?\-\_\'\"\\(\)\–\…]', '', text)
-    text = re.sub(r'\s+', ' ', text).strip()
-    
-    return text
-
-def extract_and_clean_pdf(pdf_path, output_path):
-    """
-    Extrait le texte du PDF et le nettoie pour RAG.
-    """
-    print(f"[+] Extraction du texte depuis : {pdf_path}")
-    
-    with pdfplumber.open(pdf_path) as pdf:
-        all_text = []
-        for page in pdf.pages:
-            text = page.extract_text()
-            if text:
-                all_text.append(text)
-    
-    # Concaténer tout le texte
-    full_text = ' '.join(all_text)
-    # Nettoyer pour RAG
-    cleaned_text = clean_text_for_rag(full_text)
-    
-    # Sauvegarder
-    with open(output_path, 'w', encoding='utf-8') as f:
-        f.write(cleaned_text)
-    
-    print(f"[+] Texte nettoyé sauvegardé dans : {output_path}")
-
-def extract_text(file_path, output_path):
-    """
-    Extrait le texte des autres formats de fichier et le nettoie.
-    """
-    print(f"[+] Extraction du texte depuis : {file_path}")
-    try:
-        with open(file_path, 'r', encoding='utf-8') as f:
-            lines = f.readlines()
-        
-        # Nettoyer chaque ligne
-        cleaned_lines = [clean_text_for_rag(line.strip()) for line in lines if line.strip()]
-        
-        # Joindre avec sauts de ligne pour un bon format .md
-        cleaned_text = '\n'.join(cleaned_lines)
-        
-        # Sauvegarder dans le fichier .md
-        with open(output_path, 'w', encoding='utf-8') as f:
-            f.write(cleaned_text)
-        
-        print(f"[+] Texte nettoyé sauvegardé dans : {output_path}")
-    except Exception as e:
-        print(f"Erreur lors de l'ouverture du fichier {file_path} : {e}")
-        raise
-
-def main():
-    parser = argparse.ArgumentParser(description='Extraire et nettoyer un fichier pour le RAG. Sortie toujours en .md.')
-    parser.add_argument('input_file', type=str, help='Chemin vers le fichier à traiter (PDF, TXT, MD, etc.).')
-    parser.add_argument('output_md', type=str, help='Chemin du fichier Markdown (.md) de sortie.')
-    
-    args = parser.parse_args()
-    
-    input_path = args.input_file
-    output_path = args.output_md  # On garde le nom original
-
-    # Vérifier que le fichier existe
-    if not os.path.exists(input_path):
-        print(f"Erreur : Le fichier {input_path} n'existe pas.")
-        return
-
-    # Détecter l'extension du fichier d'entrée
-    _, ext = os.path.splitext(input_path.lower())
-
-    # Vérifier et corriger l'extension de sortie si nécessaire
-    if not output_path.lower().endswith('.md'):
-        print(f"[!] Avertissement : Le fichier de sortie n'a pas l'extension .md. Il sera renommé en .md.")
-        output_path = os.path.splitext(output_path)[0] + '.md'
-
-    # Appeler la bonne fonction selon le format
-    if ext == '.pdf':
-        extract_and_clean_pdf(input_path, output_path)
-    else:
-        extract_text(input_path, output_path)
-
-if __name__ == '__main__':
-    main()

file_cleaning_ui.py

@@ -81,9 +81,9 @@ def process_file(input_file: gr.File, output_name: str) -> str:
     return out_path
 
 with gr.Blocks(title="Nettoyage de texte pour RAG") as demo:
-    gr.Markdown("# 📄 Nettoyage de texte pour RAG (PDF, TXT, MD)")
+    gr.Markdown("# 📄 Nettoyage de texte pour RAG")
     gr.Markdown(
-        "Déposez un fichier PDF, TXT ou MD. Le texte sera extrait, nettoyé "
+        "Déposez un fichier, le contenu textuel sera extrait, nettoyé "
         "et vous pourrez le télécharger sous **le nom que vous choisissez**."
     )
 

webscraping_cleaning.py

@@ -1,101 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-
-import re, tempfile, requests, os 
-from bs4 import BeautifulSoup
-from markdownify import markdownify as md
-from readability import Document          
-import gradio as gr
-
-def clean_text_for_rag(text: str) -> str:
-    text = re.sub(
-        r"[’‘“”«»–—\u00A0\u202F…œŒæÆ©®™§°±×÷]",
-        lambda m: {
-            "’": "'", "‘": "'", "“": '"', "”": '"',
-            "«": '"', "»": '"', "–": "-", "—": "-",
-            "…": "...", "œ": "oe", "Œ": "OE",
-            "æ": "ae", "Æ": "AE", "©": "(c)", "®": "(R)",
-            "™": "TM", "§": "§", "°": "°", "±": "+/-",
-            "×": "x", "÷": "/"
-        }.get(m.group(0), m.group(0)),
-        text,
-    )
-    text = re.sub(r'[^a-zA-ZÀ-ÿæ-œ0-9\s\.\,\:\;\!\?\-\_\'\"\\\(\)]', '', text)
-    return re.sub(r'\s+', ' ', text).strip()
-
-def fetch_html(url: str) -> str:
-    hdr = {"User-Agent":
-           "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
-           "AppleWebKit/537.36 (KHTML, like Gecko) "
-           "Chrome/124.0 Safari/537.36"}
-    r = requests.get(url, headers=hdr, timeout=20)
-    r.raise_for_status()
-    if r.encoding == "ISO-8859-1":
-        r.encoding = r.apparent_encoding
-    return r.text
-
-def extract_main(html: str) -> str:
-    """
-    Extraction du contenu principal d'une page web en éliminant les éléments parasites.
-    - Utilise readability.Document pour identifier la zone de l'article.
-    - Supprime les éléments de navigation, commentaires, widgets, publicités, etc.
-    - Ne garde que les balises sémantiquement pertinentes (article, p, h1-6, li, etc.).
-    """
-    doc = Document(html)
-    article_html = doc.content()
-    soup = BeautifulSoup(article_html, "html.parser")
-
-    # 🔹 Supprimer les éléments non pertinents (pubs, menus, scripts, etc.)
-    for tag in soup(["script", "style", "noscript", "footer", "header", "nav", "form", "iframe", "aside", "button"]):
-        tag.decompose()
-
-    # 🔹 Supprimer les div ou sections trop petites ou sans texte utile
-    for div in soup.find_all(["div", "section"]):
-        text = div.get_text(strip=True)
-        if len(text) < 80:  # seuil ajustable
-            div.decompose()
-
-    # 🔹 Conserver uniquement les éléments textuels pertinents
-    keep_tags = ["article", "p", "h1", "h2", "h3", "h4", "h5", "h6", "blockquote", "ul", "ol", "li", "pre", "code"]
-    clean_parts = []
-
-    for tag in soup.find_all(keep_tags):
-        text = tag.get_text(" ", strip=True)
-        if text and not re.match(r"^(Partager|Suivre|Commentaires|Lire aussi|Publicité)", text, re.I):
-            clean_parts.append(text)
-
-    clean_text = "\n\n".join(clean_parts).strip()
-
-    return clean_text
-
-def to_markdown(text: str) -> str:
-    md_raw = md(f"<div>{text}</div>", heading_style="ATX")
-    return clean_text_for_rag(md_raw)
-
-def process(url: str, out_name: str) -> str:
-    html      = fetch_html(url)
-    main_text = extract_main(html)          # **seul le contenu pertinent**
-    markdown  = to_markdown(main_text)
-
-    out_name = out_name.strip()
-    if not out_name.lower().endswith(".md"):
-        out_name += ".md"
-    tmp_dir = tempfile.mkdtemp()
-    out_path = os.path.join(tmp_dir, out_name)
-    with open(out_path, "w", encoding="utf-8") as f:
-        f.write(markdown)
-    return out_path
-
-with gr.Blocks(title="Web → Markdown") as demo:
-    gr.Markdown("# 🌐 Scraper web vers Markdown")
-    with gr.Row():
-        with gr.Column():
-            url_in   = gr.Textbox(label="URL à scraper")
-            out_name = gr.Textbox(label="Nom du fichier (.md)", value="output.md")
-            btn      = gr.Button("🛠️ Générer", variant="primary")
-        with gr.Column():
-            file_out = gr.File(label="Fichier Markdown")
-    btn.click(fn=process, inputs=[url_in, out_name], outputs=file_out)
-
-if __name__ == "__main__":
-    demo.launch(share=True)