llm.py

# llm.py – OpenAI Chatmodell für RAG

import os
from langchain_openai import ChatOpenAI

CHAT_MODEL = "gpt-4o-mini"  # günstig & stark

def load_llm():
    api_key = os.environ.get("OPENAI_API_KEY")
    if not api_key:
        raise RuntimeError(
            "OPENAI_API_KEY fehlt. Bitte als Secret im HuggingFace Space setzen."
        )

    print(f">>> Lade OpenAI Chatmodell: {CHAT_MODEL}")

    # llm = ChatOpenAI(
    #     model=CHAT_MODEL,
    #     temperature=0.0,   # deterministisch, wenig Halluzination
    #     api_key=api_key,
    # )
    # return llm
    # 5.12_2:13
    llm = ChatOpenAI(
        model=CHAT_MODEL,
        temperature=0.0,
        top_p=1.0,
        presence_penalty=0.0,
        frequency_penalty=0.0,
        api_key=api_key,
    )
    return llm

if __name__ == "__main__":
    llm = load_llm()
    print(llm.invoke("Sag einen Satz zum Prüfungsrecht.").content)