Spaces:
Running
on
CPU Upgrade
Running
on
CPU Upgrade
Update: Docs
Browse files
app.py
CHANGED
|
@@ -1,15 +1,24 @@
|
|
| 1 |
-
|
| 2 |
-
import
|
| 3 |
-
import
|
| 4 |
-
import html
|
| 5 |
-
import numpy as np
|
| 6 |
-
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
| 10 |
-
|
| 11 |
-
|
| 12 |
-
import
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
|
| 14 |
# Projektspezifische Module
|
| 15 |
from lib.bert_regressor import BertMultiHeadRegressor
|
|
|
|
| 1 |
+
# Standardbibliotheken
|
| 2 |
+
import os # Umgebungsvariablen (z.B. HF_TOKEN)
|
| 3 |
+
import types # für Instanz-Monkeypatch (fastText .predict)
|
| 4 |
+
import html # HTML-Escaping für Ausgabe/Gradio
|
| 5 |
+
import numpy as np # Numerik (z.B. für Wahrscheinlichkeiten)
|
| 6 |
+
|
| 7 |
+
# Machine Learning / NLP
|
| 8 |
+
import torch # PyTorch (Model, Tensor, Device)
|
| 9 |
+
import fasttext # Sprach-ID (lid.176)
|
| 10 |
+
# Diese beiden werden oft nicht direkt aufgerufen, müssen aber installiert sein,
|
| 11 |
+
# damit Hugging Face/Tokenizer korrekt funktionieren (SentencePiece-Backends, Converter).
|
| 12 |
+
import sentencepiece # Required für SentencePiece-basierte Tokenizer (DeBERTa v3)
|
| 13 |
+
import tiktoken # Optionaler Converter; verhindert Fallback-Fehler/Warnungen
|
| 14 |
+
|
| 15 |
+
# Hugging Face / Ökosystem
|
| 16 |
+
from transformers import AutoTokenizer # Tokenizer-Lader (mit use_fast=False für SentencePiece)
|
| 17 |
+
from huggingface_hub import hf_hub_download # Dateien/Weights aus dem HF Hub laden
|
| 18 |
+
from safetensors.torch import load_file # Sicheres & schnelles Laden von Weights (.safetensors)
|
| 19 |
+
|
| 20 |
+
# UI / Serving
|
| 21 |
+
import gradio as gr # Web-UI für Demo/Spaces
|
| 22 |
|
| 23 |
# Projektspezifische Module
|
| 24 |
from lib.bert_regressor import BertMultiHeadRegressor
|