---
widget:
- text: አዲስ አበባ
  example_title: Example 1
- text: በኢንግሊዝ ፕሪምየር ሊግ
  example_title: Example 2
- text: ዶናልድ ትራምፕ
  example_title: Example 3
language:
- am
metrics:
- perplexity
library_name: transformers
pipeline_tag: text-generation
---

# llama-3.2-amharic-64k-1024

This is a smaller version of the Meta's [Llama-3.2-1B](https://huggingface.co/meta-llama/Llama-3.2-1B) decoder transformer model pretrained from scratch for **3 days** on **210 million tokens** of **Amharic** text. 

- It has **179 Million parameters**
- The **context size** of this model is **1024** tokens.
- It has the same **tokenizer** as Llama-3.2-1B, trained from scratch using the same Amharic dataset as the model with a vocabulary size of **64k**.
- This is a base model and hasn't undergone any supervised finetuing yet.


### How to use
First, you need to install the latest version of transformers
```
pip install -Uq transformers
```

You can use this model directly with a pipeline for text generation:

```python
from transformers import pipeline

llama_am = pipeline(
    "text-generation",
    model="rasyosef/llama-3.2-amharic-64k-1024"
  )

prompt = "በ ኢንግሊዝ ፕሪምየር ሊግ"
llama_am(
    prompt,
    max_new_tokens=256,
    temperature=0.3,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.25
  )
```

Output:
```python
[{'generated_text': 'በ ኢንግሊዝ ፕሪምየር ሊግ ማንቼስተር ዩናይትድ ከስቶክ ሢቲይ የሚያደርጉትን ጨዋታ በቀጥታ ስርጭት ይመልከቱ ። | አባይ ሚዲያ\nየቮይስ ኦፍ አሜሪካው የስፖርት እና የባህል ፌስቲቫል ሊጀመር ነው።\nየእንግሊዝ ፕሪሚየር ሊግ የሳምንቱ መጨረሻ ጨዋታዎች በሳምንቱ የመጨረሻ ቀናት ተካሂደዋል። ሊጉ ቅዳሜ እለት በተደረጉ ሁለት ግጥሚያዎች ቀጥሎ ሲውል፤ ትናንት ምሽት ደግሞ ማንቸስተር ሲቲ በሊቨርፑል 3 ለ1 ተሸንፏል።\nየሊቨርፑሉ አሰልጣኝ ዬርገን ክሎፕ ቡድናቸውን በአምበልነት እየመራ ወደሜዳ የገቡት ሊቨርፑሎች በፕሬሚየር ሊጉ ጉዟቸው ላይ ወሳኝ ድል ለማስመዝገብ በማለም መሆኑን ተናግረዋል።\n«ዛሬ ማታ ስጫወት አምሽቼ ነበር» ያሉት አሰልጣኙ «አሁን ግን ጠንክሬ እየሰራሁ ነው» ብለዋል።\nበሊጉ የደረጃ ሰንጠረዡን በቀዳሚነት የሚመራው ሊቨርፑል ከተከታዩ ቦሩስያ ዶርትሙንድ ጋር ያለው ልዩነት የ11 ነጥብ ብቻ ሲሆን ፤ መሪው ባየር ሙይንሽን በ7 ይከተላል። ከትናንት በስትያ ኃያሉ ባየርን ሙንሽን በደረጃ ሠንጠረዡ ሦስተኛ ኾኖ በማጠናቀቅ በቡንደስ ሊጋው ለመቆየት የነበረውን ዕድል አምክኗል።\nበእንግሊዝ ፕሬሚየር ሊግ የእግር ኳስ ግጥሚያ ትናንት አርሰናል ኒውካስልን 2 ለባዶ አሸንፏል። ቸልሲ ሳውዝሐምፕተን ውስጥ ትናንት አንድ እኩል አቻ ተለያይቷል። በትናንቱ ሽንፈት አርሰናል ሁለተኛ ደረጃውን አስጠብቋል። ማንቸስተር ዩናይትድም በግብ ክፍያ ተበልጦ አራተኛ ደረጃ ይዟል።\nበስፔን ላሊጋ ትናንት ባርሴሎና ቫሌንሺያን 4 ለዜሮ አንኮታኩቶዋል። ሪያል ማድሪድ ሌቫንቴን 5ለ0 እንዲሁም አትሌቲኮ ቢልባዎ ቤቲስን 6ለ1 አሸንፈዋል። ሊዮኔል ሜሲ በባርሴሎና የግብ ናዳ ወርዶበት ከሜዳ'}]
```