OrisTeam/Koliber-v1.0-Base-Preview

Koliber v1.0 Base - Preview

This is a preview base checkpoint, not the final Koliber model.

The published weights have seen 1,601,095,680 training tokens (~1.601B).
The model has not been SFT/instruction-tuned and is not intended to behave like a chatbot.

This checkpoint was selected as a currently well-balanced point of the ongoing pretraining run rather than as the final training endpoint.

Koliber v1.0 Base - Preview is a compact Polish decoder-only causal language model developed by OrisTeam and trained from scratch.

It is primarily a text-completion model: provide a natural text prefix and the model continues the sequence.

Model

Property	Value
Parameters	126,044,928 (126M)
Layers	12
Hidden size	768
Query heads / KV heads	12 / 2
Head dimension	64
FFN	3072
Context length	1536
Attention	GQA
Positional encoding	RoPE
Activation	SwiGLU
Normalization	RMSNorm
Bias	No
LM head	tied embeddings
Training tokens	1,601,095,680 (~1.601B)
Language	primarily Polish
Stage	base pretraining preview

Training-only future-state auxiliary objective

This checkpoint was trained with an auxiliary hidden-state prediction objective in addition to standard next-token prediction.

A small training-only head learns to predict a future hidden representation approximately 128 tokens ahead, sampled every 32 tokens, using a low-rank 192-dimensional projection and cosine-distance loss.

The auxiliary loss is applied with a weight of 0.03:

L = L_NTP + 0.03 × L_future

The auxiliary head is not part of the released inference model, adds no inference-time parameters, and is not required when loading or generating with Koliber.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "OrisTeam/Koliber-v1.0-Base-Preview"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

Generation

inputs = tokenizer(
    "Polska jest krajem, który",
    return_tensors="pt",
)

output = model.generate(
    **inputs,
    max_new_tokens=96,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=1.15,
)

print(
    tokenizer.decode(
        output[0],
        skip_special_tokens=True,
    )
)

Base-model generation snapshot

Below are raw sampled continuations from Koliber 126M and Azurro/APT3-275M-Base.

Both are base pretrained language models rather than instruction-tuned assistants.

For the examples below, the same generation setup was used:

seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15

The examples are provided as qualitative samples rather than as a ranking of the models.

Example 1

Prompt

Wczoraj wieczorem mieszkańcy miasta zauważyli, że

Koliber v1.0 Base - Preview — 126M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy Piłsudskiego w centrum miasta wjechał samochód ciężarowy. W tym momencie na miejsce wysłano patrol policji i pogotowie.

W niedzielę rano policjanci ruchu drogowego ze stróżów prawa zatrzymali do kontroli auto marki BMW, którym kierował kierowca BMW. Miał 2,8 promila alkoholu we krwi i 1,2 promila alkoholu w wydychanym powietrzu. Policjanci zabezpieczyli u kierowcy wszystkie samochody osobowe, które były uszkodzone i nie posiadały żadnych uszkodzeń.

APT3-275M-Base — 275M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano pogotowie ratunkowe. Policjanci znaleźli ciało mężczyzny w wannie. Prokuratura Rejonowa Poznań-Śródmieście prowadzi śledztwo w sprawie usiłowania zabójstwa mężczyzny, który dokonał tego w nocy z 22 na 23 lutego 2014 roku.

Example 2

Prompt

Naukowcy odkryli nową metodę, która

Koliber v1.0 Base - Preview — 126M

Naukowcy odkryli nową metodę, która ma pomóc w walce z nowotworem.

• W tym przypadku nie mamy możliwości zastosowania metod naturalnych - powiedział dr Tomasz Rojek, kierownik Kliniki Ginekologii i Położnictwa z Centrum Zdrowia Dziecka w Warszawie.

"Mamy nadzieję, że dzięki temu będziemy mogli uniknąć śmierci naszego dziecka. To jest dobra decyzja i warto ją podjąć. Na tym etapie możemy bardzo szybko przygotować się do walki z chorobą nowotworową i zapewnić sobie bezpieczeństwo."

APT3-275M-Base — 275M

Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy.

Example 3

Prompt

Według najnowszych danych gospodarka

Koliber v1.0 Base - Preview — 126M

Według najnowszych danych gospodarka USA utrzymuje się na poziomie z końca lat 90. W latach 1998-1999 średnia temperatura w tym kraju wynosiła 8,3 °C.

Bibliografia

Gminy w stanie Indiana

APT3-275M-Base — 275M

Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów rodziny wielodzietnej oraz rodzin w których dochód na osobę nie przekracza miesięcznie 2 500 zł.

Example 4

Prompt

Największym problemem współczesnych miast jest

Koliber v1.0 Base - Preview — 126M

Największym problemem współczesnych miast jest, by w okresie przedpołudniowym i po nim poruszać się nie tylko na rowerze, ale również z rowerami. Jednak, gdy jesteśmy przekonani o tym, że nasze miasto będzie nam dobrze służyło, warto rozważyć skorzystanie z usług firm, które zajmują się dostarczaniem rozwiązań związanych z rowerzystów. Dzięki temu mamy pewność, że nasz rower stanie się bezpieczny dla nas oraz naszych bliskich.

APT3-275M-Base — 275M

Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? Z pewnością nie można przejść obojętnie obok miejsc, które oferują nam największe obłożnie - do tanich kurortów, egzotycznych miejscowości, czy klimatycznych plaż...

Example 5

Prompt

Historia Polski pokazuje, że

Koliber v1.0 Base - Preview — 126M

Historia Polski pokazuje, że jest to jeden z najważniejszych elementów polskiego sportu. Wymiana zawodników, którzy trenowali w naszym mieście, była bardzo owocna i przyniosła nam wiele sukcesów. Teraz mamy szansę na kolejne sukcesy w sporcie, ale również na podnoszenie swoich umiejętności. Mamy nadzieję, że nasza reprezentacja może pochwalić się tym sukcesem na arenie międzynarodowej i w tej kwestii będziemy kontynuować nasze starania – mówi trener Jacek Krawczyk.

APT3-275M-Base — 275M

Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Gdańsku - opowiada.

Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym różnorodności, ale także wyjątkowym dla ludzi i narodów. Odwiedzając stolicę naszego kraju, można spotkać wiele ciekawych postaci, które są równie ważne dla Polaków, jak również te, których historia liczy się w kraju.

These are raw sampled base-model continuations.

They have not been manually corrected and may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, web-like artifacts, or other errors typical of small pretrained language models.

Current status

Koliber is currently released as a Base Preview.

• Pretraining is not considered finished.
• The published checkpoint has seen approximately 1.601B training tokens.
• No supervised instruction fine-tuning (SFT) has been applied.
• No preference optimization or chat alignment has been applied.
• The current checkpoint was chosen for its balance in the evaluations performed during development.
• A later Koliber release may use a newer pretrained checkpoint and/or an SFT stage.

Access

The repository may require users to acknowledge the model terms or warning before accessing the files.

This is not a manual approval process by the model author. Access does not imply that generated outputs are reviewed, endorsed, safe, or suitable for a particular application.

Limitations

Koliber is a small pretrained causal language model.

Generated continuations may drift off-topic, repeat text, imitate patterns present in web data, or invent facts, names, quotations, dates, numbers, and other details.

Do not treat generated text as factual or authoritative.

Citation

@misc{KoliberV1BasePreview,
  author       = {Aleksander Ogrodzki},
  title        = {Koliber-v1.0-Base-Preview},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/OrisTeam/Koliber-v1.0-Base-Preview},
  note         = {Model architecture, training data pipeline, and training pipeline developed by the author}
}

License

Apache-2.0.