Hvordan kan jeg kjøre modellen lokalt?
Hei,
Jeg vil gjerne teste ut LLM norskforståelse.
Jeg git clone repo og kjøre skript:
from transformers import AutoTokenizer, LlamaForCausalLM
model_name = "."
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = LlamaForCausalLM.from_pretrained(model_name)
prompt = """
### Instruction
Hva er forskjellen mellom bjørn og bjørnedyr?
### Answer
"""
inputs = tokenizer(prompt, return_tensors="pt")
generate_ids = model.generate(inputs.input_ids, max_length=100)
answer = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(answer)
Det svarer noe som helt galt. F.e.:
### Instruction
Hva er forskjellen mellom bjørn og bjørnedyr?
### Answer
Bjorns and bjørnd sierpill are both mamm kwietics, but they have some key differences. Bjorns are large and have a thick coat of fur, while bjørnedyr are smaller and have a thin coat of fur. Bjorns also have a distinctive man nobody
Det er min resultat egentlig. Er det mulig å forbedre skript for å få bedre svar på norsk bokmål?
Hei. Jeg er faktisk litt usikker på hvorfor den svarer på engelsk. Jeg forsøkte å stille det samme spørsmålet ved å bruke google colab demoen vi har laget (https://colab.research.google.com/drive/1iTd0JgdIQQVCsn1K83ELkme7nB9GAYjc?usp=sharing) og fikk dette svaret
Bjørn og bjørnedyr er begge navn på pattedyr som tilhører ordenen Carnivora, men det er noen viktige forskjeller mellom dem.
Bjørn er et stort rovpattedyr som lever i Nord-Amerika, Europa og Asia. Det har en kraftig kropp, store klør og en lang, buskig hale.
Bjørnedyr, på den andre siden, er små rovpattedyr som lever i Nord-Amerika, Europa og Asia. De har en mindre kropp, mindre klør og en kortere hale enn bjørn.
Bjørnedyr er også kjent som brunbjørn, rødbrunbjørn og grizzlybjørn.
Svaret er desverre ikke rett, men det er på mange måter forventet, da denne modellen baserer seg på maskin oversettelse. Forsøker du å oversette bjørnedyr med google translate får du "Bear animal" og ikke det korrekte "water bears".
For å få modellen til å svare på norsk kan du prøve å skifte ut ### Answer med ### Resopnse
instruction = "Du er en hjelpsom AI-bot som alltid brukeren på gramatisk korrekt norsk."
input = "Hva er forskjellen mellom bjørn og bjørnedyr?"
if input:
prompt =f'### Instruction:\n{instruction}\n### Input:\n{input}\n\n### Response:\n'
else:
prompt =f'### Instruction:\n{instruction}\n\n### Response:\n'
Videre, for å gi modellen tilgang til korrekt informasjon, ville jeg vurdert å implementere RAG
(https://www.youtube.com/watch?v=c02FEBTukwM)