Ozan Oktay

add tokenizer

0fdcbd3 over 1 year ago

No virus

235 kB

	[PAD]
	[UNK]
	[CLS]
	[SEP]
	[MASK]
	!
	"
	#
	$
	%
	&
	'
	(
	)
	*
	+
	,
	-
	.
	/
	0
	1
	2
	3
	4
	5
	6
	7
	8
	9
	:
	;
	<
	=
	>
	?
	@
	[
	\
	]
	^
	_
	`
	a
	b
	c
	d
	e
	f
	g
	h
	i
	j
	k
	l
	m
	n
	o
	p
	q
	r
	s
	t
	u
	v
	w
	x
	y
	z
	{
	\|
	}
	~
	¡
	¢
	£
	¤
	¥
	¦
	§
	¨
	©
	ª
	«
	¬
	®
	¯
	°
	±
	²
	³
	´
	µ
	¶
	·
	¸
	¹
	º
	»
	¼
	½
	¾
	¿
	×
	ß
	æ
	ð
	÷
	ø
	þ
	đ
	ħ
	ı
	ĸ
	ł
	ŋ
	œ
	ƅ
	ƍ
	ƒ
	ƙ
	ƛ
	ƞ
	ƭ
	ƴ
	ƶ
	ƿ
	ǀ
	ǁ
	ǂ
	ǝ
	ȣ
	ȥ
	ȵ
	ȼ
	ɂ
	ɐ
	ɑ
	ɒ
	ɓ
	ɔ
	ɕ
	ɖ
	ɗ
	ə
	ɚ
	ɛ
	ɜ
	ɝ
	ɡ
	ɣ
	ɤ
	ɥ
	ɦ
	ɨ
	ɩ
	ɪ
	ɬ
	ɭ
	ɮ
	ɯ
	ɱ
	ɲ
	ɳ
	ɵ
	ɶ
	ɷ
	ɸ
	ɹ
	ɻ
	ɾ
	ɿ
	ʀ
	ʁ
	ʂ
	ʃ
	ʅ
	ʈ
	ʉ
	ʊ
	ʋ
	ʌ
	ʎ
	ʏ
	ʐ
	ʑ
	ʒ
	ʔ
	ʕ
	ʘ
	ʝ
	ʟ
	ʦ
	ʧ
	ʰ
	ʱ
	ʲ
	ʷ
	ʹ
	ʺ
	ʼ
	˂
	˃
	˄
	ˆ
	ˇ
	ˉ
	ː
	ˑ
	˘
	˙
	˚
	˜
	˝
	˞
	˟
	ˠ
	ˤ
	˪
	˭
	ˮ
	˴
	ͳ
	ͻ
	΀
	΁
	΃
	΄
	΍
	α
	β
	γ
	δ
	ε
	ζ
	η
	θ
	ι
	κ
	λ
	μ
	ν
	ξ
	ο
	π
	ρ
	ς
	σ
	τ
	υ
	φ
	χ
	ψ
	ω
	ϐ
	ϑ
	ϒ
	ϕ
	ϖ
	ϝ
	ϡ
	ϫ
	ϭ
	ϰ
	ϱ
	ϲ
	ϵ
	ϼ
	а
	б
	в
	г
	д
	е
	ж
	з
	и
	к
	л
	м
	н
	о
	п
	р
	с
	т
	у
	ф
	х
	ц
	ч
	ш
	щ
	ь
	э
	ю
	я
	є
	ѕ
	і
	ј
	ћ
	ѱ
	ѳ
	ѵ
	ґ
	қ
	ҝ
	ҡ
	ҫ
	ү
	ұ
	ҳ
	һ
	ӏ
	ӕ
	ә
	ө
	ӽ
	ԏ
	ԑ
	փ
	օ
	־
	׀
	א
	ב
	י
	ץ
	ש
	׳
	،
	ا
	ت
	د
	ر
	ع
	ـ
	ف
	ل
	و
	٠
	١
	٢
	٣
	٤
	٥
	٧
	٨
	٩
	٪
	٬
	٭
	ߚ
	ߝ
	ࡩ
	ࣈ
	ः
	क
	च
	ण
	फ
	र
	ल
	ह
	ा
	ि
	०
	ก
	ข
	ง
	ต
	ท
	ธ
	น
	บ
	ป
	ฝ
	พ
	ฟ
	ภ
	ย
	ร
	ล
	ว
	ศ
	ห
	อ
	ะ
	า
	฿
	เ
	แ
	ใ
	ไ
	༌
	ခ
	ᄀ
	ᄁ
	ᄂ
	ᄃ
	ᄄ
	ᄅ
	ᄆ
	ᄇ
	ᄈ
	ᄉ
	ᄋ
	ᄌ
	ᄎ
	ᄏ
	ᄐ
	ᄑ
	ᄒ
	ᅟ
	ᅡ
	ᅢ
	ᅥ
	ᅦ
	ᅧ
	ᅨ
	ᅩ
	ᅪ
	ᅬ
	ᅭ
	ᅮ
	ᅯ
	ᅰ
	ᅱ
	ᅲ
	ᅳ
	ᅴ
	ᅵ
	ᆨ
	ᆩ
	ᆪ
	ᆫ
	ᆭ
	ᆯ
	ᆷ
	ᆸ
	ᆺ
	ᆻ
	ᆼ
	ᆾ
	ᇂ
	ᇞ
	ᐃ
	᛫
	ᴂ
	ᴅ
	ᴋ
	ᴏ
	ᴐ
	ᴓ
	ᴨ
	ᴪ
	ᴳ
	ᴵ
	ᴷ
	ᴺ
	ᵃ
	ᵐ
	ᵒ
	ᵗ
	ᵝ
	ᵞ
	ᵦ
	ᵧ
	ᵪ
	ᵶ
	ᵹ
	ᶲ
	᾽
	᾿
	῾
	‐
	‑
	‒
	–
	—
	―
	‖
	‘
	’
	‚
	‛
	“
	”
	„
	‟
	†
	‡
	•
	‥
	…
	‧
	‰
	‱
	′
	″
	‴
	‹
	›
	※
	‾
	‿
	⁁
	⁃
	⁄
	⁎
	⁓
	⁗
	⁰
	ⁱ
	⁴
	⁵
	⁶
	⁷
	⁸
	⁹
	⁺
	⁻
	⁽
	⁾
	ⁿ
	₀
	₁
	₂
	₃
	₄
	₅
	₆
	₇
	₈
	₉
	₋
	₌
	ₓ
	₣
	₤
	₦
	₩
	€
	₱
	₳
	₵
	₹
	₺
	℃
	℅
	ℇ
	ℋ
	ℍ
	ℏ
	ℑ
	ℒ
	ℓ
	ℕ
	№
	℗
	ℙ
	ℛ
	ℜ
	ℝ
	℞
	℠
	™
	ℤ
	℧
	ℬ
	℮
	ℰ
	ℱ
	ℳ
	ℵ
	ⅅ
	⅓
	⅔
	⅗
	⅘
	⅙
	⅚
	⅛
	⅜
	ⅰ
	ⅱ
	ⅲ
	ⅳ
	ⅴ
	ⅵ
	ⅶ
	ⅷ
	ⅸ
	ⅹ
	ⅺ
	ⅻ
	←
	↑
	→
	↓
	↔
	↕
	↗
	↘
	↙
	↝
	↦
	↷
	↼
	⇀
	⇄
	⇅
	⇆
	⇇
	⇋
	⇌
	⇐
	⇑
	⇒
	⇓
	⇔
	⇝
	⇨
	∀
	∂
	∅
	∆
	∇
	∈
	∊
	∋
	∏
	∐
	∑
	−
	∓
	∕
	∖
	∗
	∘
	∙
	√
	∛
	∝
	∞
	∟
	∠
	∡
	∢
	∣
	∥
	∧
	∨
	∩
	∪
	∫
	∴
	∶
	∷
	∸
	∼
	∽
	∾
	≂
	≃
	≅
	≈
	≊
	≌
	≍
	≏
	≐
	≑
	≒
	≙
	≡
	≣
	≤
	≥
	≦
	≧
	≨
	≪
	≫
	≲
	≳
	≷
	≺
	≻
	≽
	≿
	⊂
	⊃
	⊆
	⊔
	⊕
	⊖
	⊗
	⊘
	⊙
	⊞
	⊟
	⊠
	⊣
	⊥
	⊿
	⋃
	⋅
	⋆
	⋘
	⋙
	⋜
	⋝
	⋮
	⋯
	⌀
	⌈
	⌉
	⌊
	⌋
	⌜
	⌝
	⌢
	⌣
	⍴
	⍺
	⎕
	⎯
	⎼
	␣
	①
	②
	③
	④
	⑤
	⑥
	⑦
	⑧
	⑴
	⑵
	⑶
	ⓒ
	ⓕ
	ⓝ
	ⓡ
	─
	│
	┅
	├
	┤
	┬
	┴
	═
	║
	╪
	╳
	░
	▒
	▓
	■
	□
	▪
	▫
	▬
	▲
	△
	▴
	▵
	▶
	▸
	▹
	►
	▼
	▽
	▾
	▿
	◆
	◇
	◊
	○
	●
	◦
	◯
	◻
	★
	☆
	☉
	☓
	☺
	♀
	♂
	♢
	♦
	♪
	♭
	♯
	⚫
	✓
	✕
	✜
	✴
	✶
	❖
	➁
	➔
	➝
	➢
	➤
	⟂
	⟦
	⟧
	⟨
	⟩
	⟵
	⟶
	⠙
	⤳
	⦁
	⦵
	⧧
	⧸
	⧹
	⨁
	⨂
	⨯
	⩒
	⩽
	⩾
	⩿
	⪅
	⪆
	⪕
	⪖
	⪡
	⪢
	⪯
	⬄
	⬜
	⬡
	⬢
	⬰
	⬽
	ⱔ
	ⱪ
	⸱
	⿿
	、
	。
	〈
	〉
	《
	》
	「
	」
	【
	】
	〔
	〕
	〖
	〗
	〜
	〝
	〟
	あ
	ふ
	り
	ア
	カ
	メ
	リ
	レ
	・
	ー
	ㅣ
	ㆍ
	㎍
	㎖
	㎛
	㎟
	㎡
	㎶
	一
	丹
	倫
	关
	参
	味
	囊
	射
	延
	方
	气
	汤
	注
	消
	液
	清
	温
	潜
	热
	片
	瘀
	瘟
	益
	祛
	粒
	红
	肝
	肾
	胶
	脉
	艾
	节
	芎
	荣
	血
	补
	败
	颗
	饮
	骨
	꞊
	ꞌ
	ꞵ
	ꞷ
	ﬀ
	ﬁ
	ﬂ
	ﬃ
	ﬄ
	﴾
	﴿
	︰
	﹒
	﹚
	﹛
	﹢
	﹣
	﹤
	﹥
	﹩
	％
	＆
	＇
	（
	）
	＊
	＋
	，
	－
	．
	／
	：
	；
	＜
	＝
	＞
	？
	［
	］
	＾
	＿
	ｃ
	ｉ
	ｍ
	ｐ
	ｖ
	ｗ
	｛
	｜
	｝
	～
	｢
	､
	･
	ｱ
	ｵ
	￡
	￥
	￦

	𝐫
	𝐴
	𝐸
	𝑁
	𝑃
	𝑑
	𝑒
	𝑓
	𝑖
	𝑛
	𝑜
	𝑟
	𝑡
	𝑥
	𝒆
	𝒙
	𝒞
	𝒟
	𝒢
	𝒩
	𝒪
	𝒫
	𝒮
	𝒯
	𝔇
	𝔉
	𝔐
	𝔹
	𝕊
	𝕜
	𝖱
	𝘗
	𝛆
	𝛼
	𝛽
	𝜀
	𝜂
	𝜃
	𝜅
	𝜇
	𝜌
	𝜒
	𝜖
	𝜗
	𝝁
	𝟀
	𰀎
	##a
	##l
	##d
	##r
	##c
	##h
	##e
	##o
	##s
	##t
	##0
	##1
	##3
	##2
	##5
	##9
	##m
	##w
	##p
	##i
	##n
	##v
	##y
	##6
	##8
	##4
	##±
	##b
	##u
	##g
	##7
	##f
	##°
	##k
	##z
	##ⅰ
	##x
	##q
	##j
	##≤
	##©
	##β
	##→
	##×
	##µ
	##μ
	##∗
	##≥
	##⁻
	##⁺
	##÷
	##∕
	##™
	##®
	##₂
	##α
	##ß
	##γ
	##η
	##½
	##∼
	##₄
	##δ
	##£
	##∙
	##¹
	##₉
	##º
	##₆
	##₀
	##∶
	##₁
	##₋
	##₃
	##´
	##⋯
	##↔
	##⁵
	##↓
	##∓
	##ł
	##⁴
	##⋅
	##ⅱ
	##˚
	##═
	##≈
	##˙
	##ε
	##€
	##³
	##⁶
	##²
	##ⅲ
	##φ
	##₅
	##⩾
	##∧
	##∘
	##∆
	##ｱ
	##о
	##τ
	##⁰
	##𝑡
	##𝑟
	##𝑒
	##𝑛
	##𝑑
	##₇
	##¬
	##♂
	##⁸
	##ø
	##∩
	##ρ
	##ﬃ
	##ﬁ
	##ı
	##ϕ
	##−
	##σ
	##ι
	##＜
	##●
	##↑
	##⁄
	##＞
	##←
	##ω
	##⁹
	##℃
	##≡
	##κ
	##⩽
	##≦
	##ζ
	##△
	##π
	##¯
	##ч
	##χ
	##㎛
	##ϵ
	##ƙ
	##₈
	##¢
	##ℓ
	##∅
	##∣
	##⁷
	##ɑ
	##с
	##п
	##⊂
	##∫
	##≃
	##ə
	##◦
	##λ
	##ŋ
	##⋆
	##æ
	##ﬂ
	##├
	##～
	##⊥
	##т
	##а
	##ν
	##к
	##đ
	##₺
	##ℏ
	##≅
	##ˤ
	##─
	##м
	##θ
	##∴
	##ο
	##ς
	##≧
	##е
	##ｉ
	##ｖ
	##⬜
	##≪
	##ɛ
	##≫
	##∖
	##∞
	##∥
	##˜
	##␣
	##¸
	##＝
	##∝
	##▸
	##ш
	##и
	##в
	##н
	##і
	##˘
	##⊗
	##∑
	##р
	##у
	##ю
	##ь
	##ⅻ
	##♀
	##√
	##υ
	##⊘
	##ξ
	##¨
	##ː
	##＋
	##þ
	##ѱ
	##≳
	##ʹ
	##⍺
	##▬
	##ƒ
	##□
	##∋
	##ˇ
	##ƞ
	##¼
	##ψ
	##℅
	##ˮ
	##ˆ
	##ⅳ
	##я
	##ª
	##∈
	##ᶲ
	##¥
	##ᅰ
	##ᆨ
	##ʃ
	##╳
	##↷
	##ℝ
	##ﬀ
	##▪
	##ⓡ
	##œ
	##ɔ
	##≲
	##⋮
	##า
	##ว
	##ɵ
	##⊕
	##▒
	##∪
	##΄
	##л
	##∷
	##ж
	##˃
	##○
	##˂
	##▵
	##ᵝ
	##˝
	##᾽
	##⇋
	##ꞵ
	##⇒
	##є
	##ð
	##┤
	##ꞌ
	##ф
	##ʂ
	##𝛽
	##⪅
	##⎼
	##ℇ
	##ᅴ
	##ᄒ
	##ᅡ
	##ᄆ
	##ᅧ
	##ᆫ
	##ᅵ
	##ᄌ
	##ƭ
	##˞
	##ȥ
	##⋝
	##ᅨ
	##ᄉ
	##ᅩ
	##อ
	##ง
	##⊆
	##⬰
	##д
	##⊙
	##│
	##⇔
	##⪆
	##΁
	##٠
	##☉
	##⧧
	##⪢
	##⇇
	##ɚ
	##ɪ
	##ᅭ
	##ᄋ
	##ᅦ
	##ᵧ