add tokenizer

vocab.txt

@@ -1003,608 +1003,608 @@ z
 😘
 😭
 🙂
-##ا
-##م
-##ل
-##ن
-##ط
-##ق
-##د
-##ش
-##❤
-##ک
-##پ
-##ی
-##3
+##n
 ##d
+##i
+##s
+##p
+##u
+##t
 ##a
-##خ
-##ز
-##ي
-##ر
-##س
+##b
+##l
+##e
+##5
+##0
 ##ك
+##م
+##²
+##ف
+##ط
+##ي
 ##ت
+##ن
+##ا
+##ل
+##س
+##ج
+##ـ
 ##و
-##ع
+##ھ
+##٢
+##٠
+##٣
+##خ
+##ح
+##ة
+##ش
+##ب
+##ر
 ##x
-##ص
-##ف
+##ع
+##ق
 ##ى
-##ب
+##د
+##ز
 ##ه
-##ء
-##α
-##τ
-##ρ
-##ι
+##8
+##3
+##2
+##r
+##g
+##h
+##v
+##z
+##c
+##ک
+##ی
+##ص
 ##κ
-##η
+##μ
+##ε
+##1
+##6
+##ض
+##٥
+##١
+##٤
+##٨
+##٩
+##o
+##m
+##f
+##ظ
 ##y
-##t
-##r
-##s
-##k
+##ث
+##7
 ##9
-##0
-##2
-##ج
-##e
-##o
-##n
-##ح
-##ذ
 ##4
-##ة
-##٠
-##1
-##ـ
+##ء
+##j
 ##غ
-##5
-##7
-##f
-##b
-##ث
-##チ
-##ロ
-##ン
-##ض
-##8
-##6
-##ظ
-##p
-##l
-##i
-##c
-##u
-##ͼ
-##😍
-##h
-##g
-##v
-##m
-##z
-##═
-##の
-##и
-##р
-##у
-##с
+##ذ
+##ﻻ
+##ﺃ
+##ﻋ
+##ﺰ
+##▒
 ##ы
-##о
+##с
 ##л
-##е
-##к
+##и
 ##т
-##в
-##ด
-##อ
-##า
-##ง
-##น
-##ห
-##ร
-##а
-##н
+##е
 ##я
-##บ
-##ว
-##ล
-##w
-##ı
-##j
-##σ
 ##м
-##υ
-##є
-##q
-##ে
-##র
-##ᅪ
-##ᄋ
-##ᅵ
-##ᄑ
-##ᅳ
-##۰
-##ા
-##١
-##٧
-##ב
-##י
-##ע
-##ז
-##ר
+##ہ
+##k
+##り
+##¨
+##¯
+##±
+##ٹ
+##ン
+##コ
+##о
+##з
+##р
+##а
 ##ж
+##в
+##ш
+##х
+##w
+##の
+##ﻷ
+##æ
+##ͼ
+##٦
+##¥
+##❤
+##ƒ
+##п
+##к
+##у
+##ﺟ
+##ﺘ
+##ﻤ
+##ﺎ
+##ﻴ
+##ﺔ
+##ю
+##ڑ
+##ژ
+##ں
+##н
+##♥
+##٧
+##ﺗ
+##ﻨ
+##ﻭ
+##ﺍ
+##ﻓ
+##ﻘ
+##б
 ##і
-##г
-##ь
-##ﻻ
-##ス
-##イ
-##ー
-##ツ
-##°
-##👌
-##タ
-##リ
-##ア
-##з
-##щ
-##œ
-##ە
-##ێ
-##れ
-##た
-##け
-##て
+##ч
+##あ
+##っ
+##た
+##と
+##র
+##ে
+##ł
+##q
+##😂
+##י
+##ד
+##א
+##ת
+##║
 ##گ
-##ะ
-##ไ
-##แ
-##จ
-##เ
-##ม
-##ย
-##ﺴ
-##ﻞ
-##מ
-##ק
-##ס
-##ל
-##ٱ
-##ﺻ
+##چ
 ##ﻟ
-##ہ
-##٥
-##٩
-##٤
-##٣
-##٨
+##ﺨ
+##ﺮ
+##ﻠ
+##ﻦ
+##ﻳ
 ##ו
-##ד
-##פ
-##ת
+##💔
+##°
+##д
+##щ
+##г
+##ь
+##¤
+##ۈ
+##ڨ
+##や
+##ি
+##ρ
+##χ
+##η
+##み
+##に
+##ヒ
+##ク
 ##ヘ
+##ー
 ##シ
-##な
-##と
-##を
-##ч
-##п
-##ڨ
-##ん
-##ら
-##য
-##া
-##ﻮ
-##ﺟ
-##ﻪ
-##ﯾ
-##д
-##×
-##ト
-##✔
-##ﺎ
-##ﺘ
-##ﻔ
-##ﻋ
-##い
-##コ
-##メ
-##う
-##も
-##あ
-##り
-##か
-##こ
-##さ
+##ュ
+##て
 ##ま
-##す
-##ш
-##ﺿ
-##ﻓ
-##ﺔ
-##μ
+##し
+##か
+##π
+##ι
+##σ
+##ʽ
+##ٱ
+##ν
 ##ο
+##τ
+##α
 ##ς
-##ᅦ
-##ᄌ
-##ə
-##😘
-##👍
-##ﻹ
-##ﻳ
-##ﺠ
+##ﺤ
+##ﺴ
 ##ﺑ
-##ﻴ
-##し
-##ש
-##ם
-##ڷ
-##ł
-##よ
-##に
-##く
-##б
-##ю
-##せ
-##ڤ
-##۳
-##۶
+##ﻬ
+##ܐ
 ##ۃ
-##چ
-##¤
-##¬
-##►
-##█
-##ส
-##ۆ
-##¨
-##ﺩ
-##ﺮ
-##™
-##ﻤ
-##ے
-##ﺍ
-##ﻜ
-##ﺒ
-##ﻭ
-##ﺭ
-##ব
-##ি
+##ۉ
+##ڠ
+##¢
 ##ф
-##ा
-##٢
-##€
-##ˆ
-##ڈ
-##¼
-##ھ
-##ﻠ
-##ﻌ
-##ﺗ
-##ﻛ
-##ﻧ
-##ก
-##ท
-##ε
-##χ
-##ν
-##ø
-##ژ
-##ð
-##³
-##¾
-##🌸
-##🍃
-##ﷺ
-##ח
-##э
-##ں
-##ป
-##ต
-##โ
-##ช
-##ค
-##ᄀ
-##ᄅ
+##ᄇ
+##ᅦ
 ##ᆯ
-##ц
-##🏻
-##х
-##🌹
-##ω
-##א
-##ᅡ
-##ᆫ
-##ﺸ
-##һ
+##イ
+##ハ
+##ッ
+##ト
+##は
+##ャ
+##リ
 ##ホ
-##ル
-##พ
-##ﻚ
+##λ
+##υ
+##ڤ
+##پ
 ##ﻣ
-##צ
-##٦
+##ﻜ
+##ڬ
 ##ﺕ
-##ﻷ
-##म
-##ﺷ
-##ﻬ
-##ﻢ
-##ღ
-##♥
-##っ
-##る
-##˚
-##✨
-##🔥
-##ן
-##ξ
-##ڽ
-##φ
-##ﺣ
-##ˮ
-##λ
-##✅
-##¦
-##ڑ
-##ᅩ
-##ᆨ
-##र
-##ﻼ
-##ﻦ
-##æ
-##δ
+##℃
+##ц
+##є
+##ﯾ
+##ক
+##ᅡ
+##ᄋ
+##ᅵ
+##ᄑ
+##ᅩ
+##ᆫ
+##ı
+##ﻫ
+##ω
+##ア
 ##レ
-##ッ
-##ク
-##ʲ
-##ե
-##キ
-##۷
-##۹
-##۵
-##ﻝ
-##ﺇ
-##۲
-##フ
-##ڭ
-##ハ
-##¹
-##▓
-##░
-##ﻃ
-##ה
-##ィ
-##ヒ
-##▪
-##ט
-##😭
-##β
-##マ
-##や
-##●
-##ი
-##γ
-##ﺼ
+##ק
+##µ
+##ﺒ
+##ﻮ
+##×
+##ﺣ
+##セ
+##ス
+##ﻄ
+##ﻌ
+##ら
+##れ
+##い
+##う
+##ন
+##য
+##া
+##き
+##る
+##ﻹ
+##θ
+##ڽ
+##ﯿ
 ##ﺳ
-##ﺖ
-##ۈ
-##²
-##ո
-##մ
-##ի
-##ஐ
-##ﺪ
-##ζ
-##ն
-##π
-##®
-##¸
-##©
-##ٹ
-##テ
-##נ
-##は
 ##ﻲ
-##🌷
-##վ
-##ա
-##ւ
-##ﺤ
-##ラ
-##セ
-##ナ
+##ก
+##ล
+##อ
+##น
+##เ
+##บ
+##◀
+##מ
+##ה
+##ם
+##ﻙ
+##→
+##נ
 ##ג
-##ﻄ
-##ﺯ
-##ケ
+##ר
 ##ᅮ
 ##ᆼ
-##ﻗ
-##ﻘ
-##ﺲ
-##ﺃ
-##ր
-##😂
-##♪
-##ᅥ
-##ᄒ
-##💚
-##え
-##ち
-##đ
-##カ
-##µ
-##ﺨ
-##ন
-##←
-##ъ
-##💔
-##տ
-##💙
-##ﻨ
-##ム
-##θ
-##♡
-##
-##ャ
-##ᄇ
-##ᄉ
-##ﺰ
-##ﺓ
-##ി
-##ა
-##ე
-##ﺋ
-##♠
-##ܝ
-##ܐ
-##ᄐ
-##そ
-##✿
-##ᄎ
-##½
-##ª
-##£
-##´
-##±
-##¯
-##み
-##ڪ
-##¥
-##۴
-##º
-##ٳ
-##ᄃ
 ##ᄂ
-##き
-##め
-##ᄆ
 ##ᆷ
-##わ
-##¢
-##ѕ
-##ڠ
-##ڬ
-##お
-##त
-##न
-##ﻙ
-##ß
-##ﯿ
-##۸
 ##ウ
-##サ
+##を
+##ˮ
+##ﻧ
+##♠
+##🇦
+##オ
+##ル
 ##۱
+##€
+##ﺩ
+##ी
+##न
+##ܝ
+##ڷ
+##お
+##ᅥ
+##ᅳ
+##ᄏ
+##ด
+##ท
+##า
+##ย
+##こ
+##さ
+##ə
+##ס
+##ロ
+##һ
+##ﻱ
+##พ
+##ง
+##ห
+##タ
+##☆
+##ᅪ
+##ᄆ
+##ᆨ
+##ᄉ
+##ᄐ
 ##ᅢ
-##ক
-##ڵ
-##ﻀ
-##ﻊ
-##ﺏ
-##ข
-##√
-##💜
-##ﻫ
+##ラ
+##ﺋ
+##ﺐ
+##۰
+##۲
+##۳
+##۸
+##な
+##ß
+##ۆ
+##ە
+##カ
+##マ
+##テ
+##ל
+##ﻝ
+##✿
+##ᄅ
+##ᅧ
+##▬
+##ஜ
 ##۩
 ##۞
-##ڛ
-##ᅧ
-##₪
-##կ
+##™
+##վ
+##ﺪ
+##く
+##わ
+##γ
+##פ
+##۷
+##˚
+##ﻊ
+##フ
+##ˆ
+##ڪ
+##ש
+##®
+##ﻔ
+##ր
+##ա
+##ն
+##ե
+##ո
+##մ
+##տ
+##ւ
+##ի
+##ѕ
+##🔴
+##ि
+##स
+##र
+##ב
+##ﺸ
+##¦
+##👇
+##ᄀ
+##ﻛ
+##¹
+##そ
+##ব
+##ﺻ
+##ケ
+##ィ
+##メ
+##ᄌ
+##ᄒ
+##ᆸ
+##ᄃ
+##÷
+##ﺭ
+##ח
 ##յ
-##ﺧ
+##ٺ
+##け
+##½
+##ﺓ
 ##ﻥ
-##💕
-##☜
+##ט
+##ﮧ
+##ζ
+##ڈ
+##✨
+##ע
+##۴
+##ø
+##ह
+##ے
+##º
+##👍
+##👌
 ##ﻡ
-##ミ
-##ュ
-##ニ
-##つ
-##オ
-##ᄏ
-##ђ
+##☺
+##¸
+##φ
+##●
+##҉
+##
+##🙂
+##も
+##😘
+##ม
+##ﻐ
 ##★
-##ใ
-##エ
-##ﮧ
-##ƒ
-##ﻰ
-##ﻱ
+##ん
+##ﻀ
+##ﺲ
+##ち
+##ร
+##ﻼ
+##💕
+##ז
+##▶
+##¼
+##´
+##¾
+##կ
+##צ
+##۹
+##ე
+##√
+##💚
+##ღ
+##β
+##サ
+##ツ
+##つ
+##ﻢ
+##ว
+##✔
+##ן
+##😍
+##đ
+##≈
+##य
+##त
+##☜
+##ێ
+##ﺠ
+##♪
+##♫
+##👈
+##🏻
+##ڵ
+##ъ
+##δ
+##³
+##す
+##ﻵ
+##э
+##ٳ
+##🔥
+##🌷
+##ﻃ
+##ი
+##ﻚ
+##キ
+##ナ
+##ʲ
+##£
+##ﻪ
+##💜
+##۶
+##ﺼ
 ##כ
+##ڭ
+##ﺷ
+##ξ
+##❊
+##ٲ
+##ﺖ
+##ส
+##ा
+##ﺬ
+##▓
+##¬
+##ข
+##ช
+##◦
+##ા
+##म
+##め
 ##ﺀ
-##क
-##स
-##ʽ
-##🔴
+##ð
 ##ۋ
+##ム
+##क
+##ﻗ
+##−
+##©
+##🔹
 ##ो
-##☆
-##👇
-##ी
-##ि
-##ल
-##ٲ
-##♦
-##│
-##ह
-##♫
-##♣
-##÷
-##ﻐ
-##☺
+##エ
+##🌹
+##ა
+##♡
+##ต
+##ไ
+##จ
+##ะ
+##ป
+##ニ
+##よ
+##せ
+##ᄎ
 ##प
-##→
-##☎
-##ٺ
-##ﺬ
+##ल
+##ﺏ
+##█
+##►
+##ஐ
+##โ
+##œ
+##チ
+##💙
+##ﻞ
+##ค
+##ใ
+##แ
+##ﭐ
+##⠀
 ##◄
-##ᆸ
-##−
-##҉
-##◀
-##℃
-##ﺐ
-##य
+##ﺯ
+##ﺧ
+##ﺿ
+##🇰
+##₪
+##ミ
+##ڛ
+##🌸
+##ി
 ##↑
-##⃣
-##๑
-##🙂
-##🔹
-##ﻵ
-##ﭐ
+##ª
+##←
 ##˜
-##ۉ
-##🇦
-##🇰
-##≈
-##👈
-##║
-##▒
-##☞
+##│
+##♣
+##ﻰ
+##ﷺ
+##═
+##ђ
 ##☼
-##∫
-##💥
-##◦
-##⠀
-##ஜ
-##▸
+##え
+##▃
 ##■
+##♦
+##๑
+##🍃
+##▪
+##۵
+##⃣
 ##⭐
+##☞
+##💥
+##✅
 ##➖
-##▬
-##▃
-##₡
+##∫
+##░
+##😭
 ##◊
-##▶
-##😀
-##◕
+##☎
 ##ﷲ
+##₡
+##▸
 ##ㅤ
-##❊
+##◕
+##😀
+##ﺇ
 ##˙
 ##🕔
 ال
@@ -7507,8 +7507,8 @@ pr
 الخطا
 المشهد
 فاج
-##نج
 ##طرا
+##نج
 اوليك
 سنويا
 عقود
@@ -9496,8 +9496,8 @@ sa
 والمسا
 فقدان
 والعم
-##دف
 ##ـر
+##دف
 hotels
 الشتاء
 ##وبين
@@ -19850,8 +19850,8 @@ cnn
 والاجراءات
 اللوح
 تصفيات
-##72
 ##ضه
+##72
 وشف
 وفضل
 النقب
@@ -20040,8 +20040,8 @@ review
 ##وفه
 تطورا
 وارتفع
-##خه
 ##جرام
+##خه
 تناوله
 ##نجهاوس
 ele
@@ -23954,8 +23954,8 @@ hy
 وانتهاء
 الاستعدادات
 تساء
-##نيد
 ##ei
+##نيد
 ##ـتـ
 نحوه
 ويعتمد
@@ -25697,8 +25697,8 @@ data
 الذنب
 متكررة
 للهواتف
-##قلك
 ##day
+##قلك
 اثم
 الخيري
 ##عاوى