bdir/Borealis-12B-MLX-8bit

Borealis 12B – MLX 8-bit

Dette er en MLX 8-bit-konvertering av NbAiLab/borealis-12b, opprinnelig publisert av Nasjonalbiblioteket.

Konverteringen er laget for lokal kjøring på Apple Silicon. Modellen er ikke trent eller finjustert videre. Vektene er konvertert og kvantisert til 8-bit med mlx-lm.

Endringer fra originalen

• Konvertert fra Transformers/safetensors til MLX-format.
• Kvantisert til 8-bit.
• Delt i tre safetensors-filer av konverteringsverktøyet.
• Ingen ytterligere trening eller endring av modellens tilsiktede oppførsel.

Kvantisering kan gi mindre numeriske forskjeller og kvalitetsforskjeller sammenlignet med originalmodellen.

Opprinnelse og kreditering

• Originalmodell: NbAiLab/borealis-12b
• Basemodell: google/gemma-3-12b-it
• Opphavsmerknad: Borealis Copyright 2026 Nasjonalbiblioteket.
• MLX 8-bit-konvertering: Bufdir.

Dette repoet er ikke en offisiell utgivelse fra Nasjonalbiblioteket eller Google, og navnene deres skal ikke forstås som en godkjenning av Bufdirs produkt.

Bruk

Modellen er klargjort for mlx-lm og brukes lokalt i Bufdirs tale-til-tekst-applikasjon til korrektur og referat av brukerens egne transkripsjoner.

Eksempel:

from mlx_lm import load, generate

model, tokenizer = load("bufdir/borealis-12b-mlx-8bit")
print(generate(model, tokenizer, prompt="Skriv et kort norsk sammendrag."))

Begrensninger

Modellen kan produsere uriktige, partiske eller upassende svar. Resultater må kontrolleres av et menneske. Modellen skal ikke brukes som eneste grunnlag for sikkerhetskritiske eller andre avgjørelser med høy konsekvens.

Lisens

Denne konverteringen er underlagt:

1. LICENSE – NB-License 1.0 for Borealis.
2. GEMMA_TERMS.md – Gemma Terms of Use og lenke til gjeldende original.
3. NOTICE – påkrevd Gemma-merknad og informasjon om modifikasjonen.

NB-License krever blant annet at modellen ikke brukes til bevisst å gjenskape treningsdata, og at modellen eller dens output ikke brukes til tjenester hvis primære formål er å erstatte tilgang til lisensierte pressepublikasjoner.

Ved bruk eller redistribusjon er mottakeren ansvarlig for å lese og etterleve alle vilkårene. Gjeldende offisielle kilder:

• https://ai.nb.no/license/
• https://ai.google.dev/gemma/terms
• https://ai.google.dev/gemma/prohibited_use_policy

Ansvarsfraskrivelse

Modellen leveres som den er, uten garantier. Se lisensfilene for fullstendige vilkår og ansvarsbegrensninger.