pl-speakleash-bpe-16k

Tokenizator BPE dla języka polskiego (słownik 16 000 tokenów), wytrenowany na danych SpeakLeash. Przygotowany na potrzeby zajęć Podstawy Wielkich Modeli Językowych z Zastosowaniami i używany przez wstępnie trenowany na tych zajęciach model GPT (~98 mln parametrów).

Użycie

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("jac99/pl-speakleash-bpe-16k")
print(tokenizer.tokenize("W Warszawie odbył się mecz piłki nożnej."))
# ['W', ' Warszawie', ' odbył', ' się', ' mecz', ' piłki', ' no', 'żnej', '.']
print(tokenizer.tokenize("Litwo! Ojczyzno moja! ty jesteś jak zdrowie;"))
# ['Li', 'two', '!', ' Oj', 'czy', 'z', 'no', ' moja', '!', ' ty', ' jesteś', ' jak', ' zdrowie', ';']

Budowa

• BPE na znakach Unicode (nie na bajtach), z normalizacją NFC. Tokeny są czytelne, np. ' Warszawie', a nie 'ĠWarszawie'.
• Pre-tokenizacja w stylu GPT-2: spacja jest doklejana do początku słowa, liczby i interpunkcja są oddzielane; dekodowanie to konkatenacja tokenów.
• Byte fallback: 400 najczęstszych znaków to tokeny bazowe, pozostałe znaki (np. rzadkie symbole, inne alfabety) kodowane są jako bajty UTF-8 <0x00>-<0xFF>. Każdy tekst da się zakodować i bezstratnie odtworzyć; brak tokenu <unk>.
• Token specjalny <|endoftext|> (id 0) - koniec dokumentu; pełni też rolę eos, bos i pad.

Dane treningowe

Tokenizator wytrenowano na losowej próbce ok. 1,5 mld znaków z mieszanki danych SpeakLeash (łącznie ok. 39.3 mld znaków po filtrowaniu jakości klasyfikatorem quality_ai i deduplikacji), z zachowaniem udziałów:

Źródło	Mld znaków	Udział
artykuły: inne	9.02	22.9%
artykuły: blogi	7.70	19.6%
Wikipedia, Wikiźródła	3.33	8.5%
artykuły: edukacja	3.08	7.8%
artykuły: zdrowie	3.00	7.6%
artykuły: sport	2.86	7.3%
fora internetowe	2.48	6.3%
Polski Korpus Parlamentarny, Biblioteka Nauki	2.05	5.2%
artykuły: finanse	2.00	5.1%
wiadomości	1.49	3.8%
napisy filmowe (OpenSubtitles)	1.46	3.7%
literatura (Wolne Lektury, 1000 powieści CLARIN-PL, Gutenberg)	0.83	2.1%

Statystyki

	Znaki na token
zbiór walidacyjny mieszanki SpeakLeash	4.01
Pan Tadeusz (poezja XIX w.)	3.07

Źródłowe zbiory SpeakLeash mają różne licencje (wiele z nich to licencje warunkowe) - szczegóły w manifestach poszczególnych zbiorów na stronie projektu SpeakLeash.