metadata

widget:
  - text: አዲስ አበባ
    example_title: Example 1
  - text: በኢንግሊዝ ፕሪምየር ሊግ
    example_title: Example 2
  - text: ዶናልድ ትራምፕ
    example_title: Example 3
language:
  - am
metrics:
  - perplexity
library_name: transformers
pipeline_tag: text-generation

llama-3.2-amharic-64k-1024

This is a smaller version of the Meta's Llama-3.2-1B decoder transformer model pretrained from scratch for 3 days on 210 million tokens of Amharic text.

It has 179 Million parameters
The context size of this model is 1024 tokens.
It has the same tokenizer as Llama-3.2-1B, trained from scratch using the same Amharic dataset as the model with a vocabulary size of 64k.
This is a base model and hasn't undergone any supervised finetuing yet.

How to use

First, you need to install the latest version of transformers

pip install -Uq transformers

You can use this model directly with a pipeline for text generation:

from transformers import pipeline

llama_am = pipeline(
    "text-generation",
    model="rasyosef/llama-3.2-amharic-64k-1024"
  )

prompt = "በ ኢንግሊዝ ፕሪምየር ሊግ"
llama_am(
    prompt,
    max_new_tokens=256,
    temperature=0.3,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.25
  )

Output:

[{'generated_text': 'በ ኢንግሊዝ ፕሪምየር ሊግ ማንቼስተር ዩናይትድ ከስቶክ ሢቲይ የሚያደርጉትን ጨዋታ በቀጥታ ስርጭት ይመልከቱ ። | አባይ ሚዲያ\nየቮይስ ኦፍ አሜሪካው የስፖርት እና የባህል ፌስቲቫል ሊጀመር ነው።\nየእንግሊዝ ፕሪሚየር ሊግ የሳምንቱ መጨረሻ ጨዋታዎች በሳምንቱ የመጨረሻ ቀናት ተካሂደዋል። ሊጉ ቅዳሜ እለት በተደረጉ ሁለት ግጥሚያዎች ቀጥሎ ሲውል፤ ትናንት ምሽት ደግሞ ማንቸስተር ሲቲ በሊቨርፑል 3 ለ1 ተሸንፏል።\nየሊቨርፑሉ አሰልጣኝ ዬርገን ክሎፕ ቡድናቸውን በአምበልነት እየመራ ወደሜዳ የገቡት ሊቨርፑሎች በፕሬሚየር ሊጉ ጉዟቸው ላይ ወሳኝ ድል ለማስመዝገብ በማለም መሆኑን ተናግረዋል።\n«ዛሬ ማታ ስጫወት አምሽቼ ነበር» ያሉት አሰልጣኙ «አሁን ግን ጠንክሬ እየሰራሁ ነው» ብለዋል።\nበሊጉ የደረጃ ሰንጠረዡን በቀዳሚነት የሚመራው ሊቨርፑል ከተከታዩ ቦሩስያ ዶርትሙንድ ጋር ያለው ልዩነት የ11 ነጥብ ብቻ ሲሆን ፤ መሪው ባየር ሙይንሽን በ7 ይከተላል። ከትናንት በስትያ ኃያሉ ባየርን ሙንሽን በደረጃ ሠንጠረዡ ሦስተኛ ኾኖ በማጠናቀቅ በቡንደስ ሊጋው ለመቆየት የነበረውን ዕድል አምክኗል።\nበእንግሊዝ ፕሬሚየር ሊግ የእግር ኳስ ግጥሚያ ትናንት አርሰናል ኒውካስልን 2 ለባዶ አሸንፏል። ቸልሲ ሳውዝሐምፕተን ውስጥ ትናንት አንድ እኩል አቻ ተለያይቷል። በትናንቱ ሽንፈት አርሰናል ሁለተኛ ደረጃውን አስጠብቋል። ማንቸስተር ዩናይትድም በግብ ክፍያ ተበልጦ አራተኛ ደረጃ ይዟል።\nበስፔን ላሊጋ ትናንት ባርሴሎና ቫሌንሺያን 4 ለዜሮ አንኮታኩቶዋል። ሪያል ማድሪድ ሌቫንቴን 5ለ0 እንዲሁም አትሌቲኮ ቢልባዎ ቤቲስን 6ለ1 አሸንፈዋል። ሊዮኔል ሜሲ በባርሴሎና የግብ ናዳ ወርዶበት ከሜዳ'}]