import gradio as gr
from transformers import pipeline, set_seed
from transformers import GPTNeoForCausalLM, GPT2Tokenizer


set_seed(42)

model = GPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")


def Bemenet(input_string):
    input_ids = tokenizer(input_string, return_tensors="pt").input_ids

    gen_tokens = model.generate(
        input_ids,
        do_sample=True,
        temperature=0.01,
        max_length=100,
    )
    return tokenizer.batch_decode(gen_tokens)[0]

textbox = gr.Textbox()

interface = gr.Interface(fn=Bemenet,
                        title="GPT-3",
                        description="A GPT-3 egy előtanított nyelvi  modell, ami nem párbeszédre lett optimalizálva. Használatakor figyelj erre, érdemesebb olyan bemenetekkel próbálkozni amik az eredeti tanítási célt használják ki.",
                        inputs=textbox,
                        outputs=textbox)

interface.launch()