OrisTeam/Koliber-v1.1-Base-Preview

Koliber v1.1 Base Preview

Koliber v1.1 Base Preview is an experimental continued-training checkpoint of Koliber v1.0 Base, a compact Polish decoder-only causal language model developed by OrisTeam.

It remains a 126M base pretrained language model, not an instruction-tuned assistant or chatbot.

The goal of v1.1 was deliberately narrow: improve local next-token behavior and reduce some undesirable generation drift without increasing model size, changing the tokenizer, or replacing the underlying Koliber architecture.

Koliber v1.1 Base Preview is an unaligned base language model.

Generated text may be false, misleading, offensive, biased, unsafe, inconsistent, or otherwise inappropriate. The model may invent facts, names, quotations, dates, numbers, sources, or events, and may reproduce undesirable patterns present in its training data.

Outputs should not be treated as factual, authoritative, or safe by default. Additional evaluation, filtering, alignment, and application-specific safeguards are required before deployment in user-facing or high-stakes settings.

What changed from v1.0

Koliber v1.1 does not introduce a larger architecture or a new tokenizer.

The released inference model keeps the same core model shape as Koliber v1.0:

Property	Value
Parameters	126,044,928 (126M)
Layers	12
Hidden size	768
Query heads / KV heads	12 / 2
Head dimension	64
FFN	3072
Context length	1536
Attention	GQA
Positional encoding	RoPE
Activation	SwiGLU
Normalization	RMSNorm
Bias	No
LM head	tied embeddings
Tokenizer	unchanged from Koliber v1.0
Language	primarily Polish
Stage	base continued training

Koliber v1.0 was originally pretrained on approximately 2.534B tokens. This preview checkpoint adds approximately 184.32M continued-training tokens.

The continued-training experiment did not attempt to turn a 126M model into a much larger model, nor to replace its knowledge with another model's knowledge. The intent was to apply a relatively small correction to token-level probability distributions while preserving the original Koliber model.

Teacher-guided logit correction

During continued training, speakleash/Bielik-1.5B-v3 was loaded in parallel as a frozen external teacher.

The teacher was not merged into Koliber and is not required at inference time.

Koliber continued to optimize its ordinary next-token cross-entropy objective. In addition, selected aligned positions received a small teacher-guided correction signal intended to adjust local probability mass when Koliber's token distribution strongly diverged from the teacher's local preferences.

In simplified form:

L = L_next_token + small_teacher_correction

The correction was intentionally weak. The experiment was designed to nudge uncomfortable or overlearned local logits, not to make Koliber imitate Bielik globally.

The released model:

• has no teacher model attached,
• has no additional inference-time branch,
• uses the same tokenizer as Koliber v1.0,
• uses the same 126M inference architecture,
• does not require Bielik to load or generate text.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "OrisTeam/Koliber-v1.1-Base-Preview"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

Generation

Koliber remains primarily a text-completion model. Natural text prefixes are generally more appropriate than instruction-style chat prompts.

inputs = tokenizer(
    "Polska jest krajem, który",
    return_tensors="pt",
)

output = model.generate(
    **inputs,
    max_new_tokens=96,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=1.15,
)

print(
    tokenizer.decode(
        output[0],
        skip_special_tokens=True,
    )
)

Polish SLM Benchmark

The table below compares this preview checkpoint with Koliber v1.0 Base using the same Polish SLM Benchmark primary scoring protocol.

The v1.1 checkpoint shows a small decrease in the overall composite while individual tasks move in different directions. This is consistent with the goal of the experiment: generation behavior was the main target, while benchmark performance was monitored primarily as a regression guard.

Task	Koliber v1.0 Base	Koliber v1.1 Base Preview	Change
PolEmo2 IN	37.40	38.09	+0.69
PolEmo2 OUT	26.11	32.39	+6.28
8Tags	46.87	44.97	-1.90
Belebele	22.44	22.44	0.00
CBD	7.24	5.92	-1.32
DYK	24.48	21.85	-2.63
KLEJ NER	23.28	23.32	+0.04
PolQA	52.81	52.85	+0.04
PPC	35.10	34.70	-0.40
PSC	31.48	26.35	-5.13
Composite	30.72	30.29	-0.43

These numbers should not be interpreted as a claim that v1.1 is uniformly better than v1.0. The checkpoint changes the model's behavior and task profile rather than improving every metric simultaneously.

Generation comparison with Koliber v1.0

The examples below use the same generation setup for both checkpoints:

seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15

The random seed was reset before each model and each prompt.

These are raw samples, not hand-edited outputs and not a formal ranking.

Example 1 — local news / web-style drift

Prompt

Wczoraj wieczorem mieszkańcy miasta zauważyli, że

Koliber v1.0 Base

Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.

• W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje

Zjawa: W tle pogłoski, o

Koliber v1.1 Base Preview

Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Utrudnienia zostały przeprowadzone na terenie parku na wysokości ul. Podleśnej.

• W ciągu drogi krajowej nr 63 na odcinku od ulicy Wiśniowej do skrzyżowania z drogą powiatową nr 306, gdzie prowadzi do przystanku autobusowego przy ulicy Grunwaldzkiej - informuje nas Marcin Gadowski, rzecznik prasowy Zarządu Dróg Miejskich w Bydgoszczy.

Więcej informacji o stanie dróg w okolicach ulicy 3 Maja można znaleźć na stronie internetowej

In this sample, v1.1 still produces web/news-like text and invented details, but it remains inside one document style for longer instead of abruptly switching into an unrelated page-title fragment.

Example 2 — scientific continuation

Prompt

Naukowcy odkryli nową metodę, która

Koliber v1.0 Base

Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.

• W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.

O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation

Koliber v1.1 Base Preview

Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w wyniku zanieczyszczenia powietrza poprzez zwiększenie temperatury.

W ramach projektu badano wpływ emisji gazów cieplarnianych na środowisko naturalne i zmiany w sposobie ich pozyskiwania. Poprawiono także efektywność wykorzystania energii pochodzącejz atmosfery.

Naukowcy opracowali metodę, która umożliwi poprawę wydajności pracy na zewnątrz budynków oraz zwiększy dostępdoe do energii cieplnej. Badania pokazują, że dzięki zastosowaniu technologii TIG/TIG można szybciej i sprawniej zarządzać energią i przepływem towarów pomiędzy budynkami

Here v1.1 stays closer to the original scientific/energy topic for the full sample, although grammar, factuality and technical coherence remain weak.

Example 3 — a failure that remains

Prompt

Według najnowszych danych gospodarka

Koliber v1.0 Base

Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.

W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.

Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat.

Koliber v1.1 Base Preview

Według najnowszych danych gospodarka USA wyhamowała, w wyniku czego z roku na rok rośnie liczba osób cierpiących na schorzenia układu oddechowego i oddechowego. To efekt coraz bardziej agresywnej polityki wobec pacjentów, którzy chcą zmienić styl życia.

Jednak, jak wskazuje badanie, wiele chorób dotyka nie tylko mężczyzn, lecz także kobiety. W związkuz tym, że są one narażone na choroby przewlekłe, kobiety nie powinny stosować leków przeciwdepresyjnych.

Z tego względu, coraz więcej kobiet chce zmieniać swoją dietę

This sample is intentionally included because v1.1 does not eliminate semantic drift. The model still sometimes falls into a different high-probability topic even when the beginning is plausible.

What the preview suggests

The continued-training experiment appears to change how long Koliber can remain inside a locally plausible continuation path in some prompts.

The effect is not uniform:

• some abrupt web/scrape-style transitions are reduced or delayed,
• some continuations stay within the original document type for longer,
• some benchmark tasks improve while others regress,
• factual hallucination remains,
• topic drift remains,
• malformed Polish remains,
• a wrong early semantic choice can still dominate the rest of a generation.

This preview therefore should be treated as an experimental behavior-correction checkpoint, not as a claim of a universally stronger Koliber model.

Limitations and safety

Koliber v1.1 Base Preview has not been supervised instruction-tuned and has not undergone preference optimization or chat alignment.

Raw generations may:

• drift off topic or switch abruptly between document styles,
• repeat or produce malformed text,
• imitate web, news, forum, advertising, or scraped-document patterns,
• hallucinate factual claims, citations, people, organizations, dates, or statistics,
• produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
• continue unsafe or malicious patterns present in a prompt,
• behave unpredictably outside distributions represented during pretraining.

Teacher-guided continued training does not make the model factual, aligned, safe, or equivalent to the teacher model.

Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.

Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.

Intended use

Koliber v1.1 Base Preview is intended for:

• research on small Polish language models,
• text-completion experiments,
• research on teacher-guided logit correction,
• likelihood-based and representation-level evaluation,
• continued pretraining,
• supervised fine-tuning,
• preference optimization,
• development of downstream Polish-language models.

It is not presented as a safety-aligned assistant.

Relationship to Koliber v1.0

Koliber v1.1 Base Preview is a continued-training derivative of:

OrisTeam/Koliber-v1.0-Base

The original v1.0 model remains a separate release and reference checkpoint.

Teacher used during the v1.1 experiment:

speakleash/Bielik-1.5B-v3

Bielik is not bundled with this repository and is not required for inference.

Citation

@misc{KoliberV11BasePreview,
  author       = {Aleksander Ogrodzki},
  title        = {Koliber v1.1 Base Preview},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/OrisTeam/Koliber-v1.1-Base-Preview},
  note         = {Experimental teacher-guided continued-training checkpoint of Koliber v1.0 Base}
}

License

Apache-2.0.