Upload all models and assets for bpy (latest)

.gitattributes

@@ -39,3 +39,4 @@ visualizations/position_encoding_comparison.png filter=lfs diff=lfs merge=lfs -t
 visualizations/tsne_sentences.png filter=lfs diff=lfs merge=lfs -text
 visualizations/tsne_words.png filter=lfs diff=lfs merge=lfs -text
 visualizations/zipf_law.png filter=lfs diff=lfs merge=lfs -text
+visualizations/embedding_tsne_multilingual.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,6 +1,6 @@
 ---
 language: bpy
-language_name: BPY
+language_name: Bishnupriya
 language_family: indoaryan_eastern
 tags:
   - wikilangs
@@ -10,11 +10,21 @@ tags:
   - n-gram
   - markov
   - wikipedia
+  - feature-extraction
+  - sentence-similarity
+  - tokenization
+  - n-grams
+  - markov-chain
+  - text-mining
+  - fasttext
+  - babelvec
+  - vocabulous
+  - vocabulary
   - monolingual
   - family-indoaryan_eastern
 license: mit
 library_name: wikilangs
-pipeline_tag: feature-extraction
+pipeline_tag: text-generation
 datasets:
   - omarkamali/wikipedia-monthly
 dataset_info:
@@ -23,20 +33,20 @@ dataset_info:
 metrics:
   - name: best_compression_ratio
     type: compression
-    value: 4.934
+    value: 4.935
   - name: best_isotropy
     type: isotropy
-    value: 0.7051
+    value: 0.6926
   - name: vocabulary_size
     type: vocab
     value: 0
 generated: 2026-01-03
 ---
 
-# BPY - Wikilangs Models
+# Bishnupriya - Wikilangs Models
 ## Comprehensive Research Report & Full Ablation Study
 
-This repository contains NLP models trained and evaluated by Wikilangs, specifically on **BPY** Wikipedia data.
+This repository contains NLP models trained and evaluated by Wikilangs, specifically on **Bishnupriya** Wikipedia data.
 We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and word embeddings.
 
 ## 📋 Repository Contents
@@ -60,7 +70,7 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 - [3. Markov Chain Evaluation](#3-markov-chain-evaluation)
 - [4. Vocabulary Analysis](#4-vocabulary-analysis)
 - [5. Word Embeddings Evaluation](#5-word-embeddings-evaluation)
-- [6. Morphological Analysis (Experimental)](#6-morphological-analysis)
+- [6. Morphological Analysis (Experimental)](#6--morphological-analysis-experimental)
 - [7. Summary & Recommendations](#7-summary--recommendations)
 - [Metrics Glossary](#appendix-metrics-glossary--interpretation-guide)
 - [Visualizations Index](#visualizations-index)
@@ -80,47 +90,47 @@ We analyze tokenizers, n-gram models, Markov chains, vocabulary statistics, and
 
 | Vocab Size | Compression | Avg Token Len | UNK Rate | Total Tokens |
 |------------|-------------|---------------|----------|--------------|
-| **8k** | 4.500x | 4.51 | 0.2383% | 99,875 |
-| **16k** | 4.662x | 4.67 | 0.2469% | 96,414 |
-| **32k** | 4.817x | 4.83 | 0.2551% | 93,303 |
-| **64k** | 4.934x 🏆 | 4.95 | 0.2613% | 91,087 |
+| **8k** | 4.501x | 4.51 | 0.2384% | 99,847 |
+| **16k** | 4.662x | 4.67 | 0.2469% | 96,404 |
+| **32k** | 4.818x | 4.83 | 0.2551% | 93,284 |
+| **64k** | 4.935x 🏆 | 4.95 | 0.2614% | 91,058 |
 
 ### Tokenization Examples
 
 Below are sample sentences tokenized with each vocabulary size:
 
-**Sample 1:** `কানাডার জাতীয় চিনত্হান (কোট অব আর্মস)হান। দেশএহানর পুরা নাঙহান কানাডা। জাতীয় চ...`
+**Sample 1:** `ইথাক বিষ্ণুপ্রিয়া মণিপুরী ঠারর অনিয়মিত পত্রিকা আহান, যেহান সংগ্রাম সিংহর সম্পা...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁কানা ডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান ... (+21 more)` | 31 |
-| 16k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
-| 32k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
-| 64k | `▁কানাডার ▁জাতীয় ▁চিনত্হান ▁( কোট ▁অব ▁আর্মস ) হান । ... (+17 more)` | 27 |
+| 8k | `▁ই থ াক ▁বিষ্ণুপ্রিয়া ▁মণিপুরী ▁ঠারর ▁অ নি য় মি ... (+21 more)` | 31 |
+| 16k | `▁ই থ াক ▁বিষ্ণুপ্রিয়া ▁মণিপুরী ▁ঠারর ▁অ নি য় মিত ... (+18 more)` | 28 |
+| 32k | `▁ই থ াক ▁বিষ্ণুপ্রিয়া ▁মণিপুরী ▁ঠারর ▁অনি য়মিত ▁পত্রিকা ▁আহান ... (+13 more)` | 23 |
+| 64k | `▁ইথাক ▁বিষ্ণুপ্রিয়া ▁মণিপুরী ▁ঠারর ▁অনিয়মিত ▁পত্রিকা ▁আহান , ▁যেহান ▁সংগ্রাম ... (+8 more)` | 18 |
 
-**Sample 2:** `বদরপুর ইউনিয়ন, পটুয়াখালি সদর বদরপুর ইউনিয়ন, লালমোহন`
+**Sample 2:** `.এমও(.mo) এগ মাকাউর নাঙে লেপকরিসি চিঙপা ডমেইনগ (ccTLD)। মিলাপ আইএএনএ-র মাকাউর তথ...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁বদর পুর ▁ইউনিয়ন , ▁পট ুয়া খালি ▁সদর ▁বদর পুর ... (+3 more)` | 13 |
-| 16k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
-| 32k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
-| 64k | `▁বদরপুর ▁ইউনিয়ন , ▁পটুয়াখালি ▁সদর ▁বদরপুর ▁ইউনিয়ন , ▁লালমোহন` | 9 |
+| 8k | `▁. এম ও (. mo ) ▁এগ ▁মাকা উর ▁নাঙে ... (+23 more)` | 33 |
+| 16k | `▁. এম ও (. mo ) ▁এগ ▁মাকা উর ▁নাঙে ... (+23 more)` | 33 |
+| 32k | `▁. এম ও (. mo ) ▁এগ ▁মাকাউর ▁নাঙে ▁লেপকরিসি ... (+21 more)` | 31 |
+| 64k | `▁. এম ও (. mo ) ▁এগ ▁মাকাউর ▁নাঙে ▁লেপকরিসি ... (+21 more)` | 31 |
 
-**Sample 3:** `চৈত ২৫, বাংলা পাঞ্জী হান ইলয়া আজি বসরর লমিলগা মাহার ২৫তম দিন হান। খা এশিয়াত এব...`
+**Sample 3:** `বাংলাদেশর স্থানীয় সরকারর সিজিলে আসেতাই জিলা পরিষদ সিটি কর্পোরেশন (৬গ) থানা বারো...`
 
 | Vocab | Tokens | Count |
 |-------|--------|-------|
-| 8k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+17 more)` | 27 |
-| 16k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
-| 32k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
-| 64k | `▁চৈত ▁২৫ , ▁বাংলা ▁পাঞ্জী ▁হান ▁ইলয়া ▁আজি ▁বসরর ▁লমিলগা ... (+16 more)` | 26 |
+| 8k | `▁বাংলাদেশর ▁স্ থান ীয় ▁সরকারর ▁সিজিল ে ▁আসেতাই ▁জিলা ▁পরিষ ... (+21 more)` | 31 |
+| 16k | `▁বাংলাদেশর ▁স্থানীয় ▁সরকারর ▁সিজিল ে ▁আসেতাই ▁জিলা ▁পরিষদ ▁সিটি ▁কর্পোরেশন ... (+15 more)` | 25 |
+| 32k | `▁বাংলাদেশর ▁স্থানীয় ▁সরকারর ▁সিজিল ে ▁আসেতাই ▁জিলা ▁পরিষদ ▁সিটি ▁কর্পোরেশন ... (+15 more)` | 25 |
+| 64k | `▁বাংলাদেশর ▁স্থানীয় ▁সরকারর ▁সিজিল ে ▁আসেতাই ▁জিলা ▁পরিষদ ▁সিটি ▁কর্পোরেশন ... (+15 more)` | 25 |
 
 
 ### Key Findings
 
-- **Best Compression:** 64k achieves 4.934x compression
-- **Lowest UNK Rate:** 8k with 0.2383% unknown tokens
+- **Best Compression:** 64k achieves 4.935x compression
+- **Lowest UNK Rate:** 8k with 0.2384% unknown tokens
 - **Trade-off:** Larger vocabularies improve compression but increase model size
 - **Recommendation:** 32k vocabulary provides optimal balance for production use
 
@@ -137,12 +147,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | N-gram | Variant | Perplexity | Entropy | Unique N-grams | Top-100 Coverage | Top-1000 Coverage |
 |--------|---------|------------|---------|----------------|------------------|-------------------|
-| **2-gram** | Word | 918 | 9.84 | 15,095 | 44.1% | 86.3% |
-| **2-gram** | Subword | 598 🏆 | 9.23 | 14,925 | 51.1% | 92.8% |
-| **3-gram** | Word | 1,566 | 10.61 | 31,653 | 38.0% | 79.5% |
-| **3-gram** | Subword | 1,914 | 10.90 | 68,764 | 32.6% | 79.7% |
-| **4-gram** | Word | 2,620 | 11.36 | 61,026 | 34.9% | 72.0% |
-| **4-gram** | Subword | 3,540 | 11.79 | 166,785 | 26.1% | 72.8% |
+| **2-gram** | Word | 917 | 9.84 | 15,091 | 44.2% | 86.3% |
+| **2-gram** | Subword | 598 🏆 | 9.22 | 14,901 | 51.1% | 92.9% |
+| **3-gram** | Word | 1,565 | 10.61 | 31,633 | 38.0% | 79.5% |
+| **3-gram** | Subword | 1,912 | 10.90 | 68,690 | 32.6% | 79.7% |
+| **4-gram** | Word | 2,617 | 11.35 | 60,965 | 35.0% | 72.0% |
+| **4-gram** | Subword | 3,535 | 11.79 | 166,549 | 26.1% | 72.8% |
+| **5-gram** | Word | 3,304 | 11.69 | 65,705 | 33.6% | 68.3% |
+| **5-gram** | Subword | 4,752 | 12.21 | 229,112 | 22.8% | 68.8% |
 
 ### Top 5 N-grams by Size
 
@@ -151,8 +163,8 @@ Below are sample sentences tokenized with each vocabulary size:
 | Rank | N-gram | Count |
 |------|--------|-------|
 | 1 | `সাক্ষরতার হারহান` | 26,823 |
-| 2 | `অতার মা` | 20,499 |
-| 3 | `জনসংখ্যার উপাত্ত` | 19,707 |
+| 2 | `অতার মা` | 20,497 |
+| 3 | `জনসংখ্যার উপাত্ত` | 19,704 |
 | 4 | `জনসংখ্যা ইলাতাই` | 19,552 |
 | 5 | `লোক গননা` | 19,533 |
 
@@ -176,42 +188,62 @@ Below are sample sentences tokenized with each vocabulary size:
 | 4 | `অক্ষাংশ বারো দ্রাঘিমাংশ ইলতাই` | 9,366 |
 | 5 | `মাপাহানর অক্ষাংশ বারো দ্রাঘিমাংশ` | 9,315 |
 
+**5-grams (Word):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `মারির মানুলেহা লোক গননা অনুসারে` | 14,180 |
+| 2 | `মাপাহানর অক্ষাংশ বারো দ্রাঘিমাংশ ইলতাই` | 9,315 |
+| 3 | `এহার মাপাহানর অক্ষাংশ বারো দ্রাঘিমাংশ` | 9,310 |
+| 4 | `এহানর গড় উচ হান ইলতাই` | 6,096 |
+| 5 | `মান্নাহাত্ত এহানর গড় উচ হান` | 6,096 |
+
 **2-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `র _` | 407,307 |
-| 2 | `। _` | 163,117 |
-| 3 | `হা ন` | 154,741 |
-| 4 | `ন _` | 147,898 |
-| 5 | `_ মা` | 138,499 |
+| 1 | `র _` | 407,202 |
+| 2 | `। _` | 163,086 |
+| 3 | `হা ন` | 154,676 |
+| 4 | `ন _` | 147,838 |
+| 5 | `_ মা` | 138,460 |
 
 **3-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `র _ মা` | 95,264 |
-| 2 | `হা ন _` | 94,576 |
-| 3 | `_ বা রো` | 68,931 |
-| 4 | `বা রো _` | 68,907 |
-| 5 | `_ ই উ` | 64,646 |
+| 1 | `র _ মা` | 95,254 |
+| 2 | `হা ন _` | 94,536 |
+| 3 | `_ বা রো` | 68,915 |
+| 4 | `বা রো _` | 68,891 |
+| 5 | `_ ই উ` | 64,643 |
 
 **4-grams (Subword):**
 
 | Rank | N-gram | Count |
 |------|--------|-------|
-| 1 | `_ বা রো _` | 68,902 |
-| 2 | `_ ই উ নি` | 64,360 |
-| 3 | `ই উ নি য়` | 55,649 |
-| 4 | `উ নি য় ন` | 55,616 |
-| 5 | `জ ন সং খ্যা` | 44,876 |
+| 1 | `_ বা রো _` | 68,886 |
+| 2 | `_ ই উ নি` | 64,359 |
+| 3 | `ই উ নি য়` | 55,648 |
+| 4 | `উ নি য় ন` | 55,615 |
+| 5 | `জ ন সং খ্যা` | 44,873 |
+
+**5-grams (Subword):**
+
+| Rank | N-gram | Count |
+|------|--------|-------|
+| 1 | `_ ই উ নি য়` | 55,620 |
+| 2 | `ই উ নি য় ন` | 55,614 |
+| 3 | `_ জ ন সং খ্যা` | 44,868 |
+| 4 | `_ উ পা ত্ত _` | 36,516 |
+| 5 | `_ পৌ র স ভা` | 34,339 |
 
 
 ### Key Findings
 
 - **Best Perplexity:** 2-gram (subword) with 598
 - **Entropy Trend:** Decreases with larger n-grams (more predictable)
-- **Coverage:** Top-1000 patterns cover ~73% of corpus
+- **Coverage:** Top-1000 patterns cover ~69% of corpus
 - **Recommendation:** 4-gram or 5-gram for best predictive performance
 
 ---
@@ -227,14 +259,14 @@ Below are sample sentences tokenized with each vocabulary size:
 
 | Context | Variant | Avg Entropy | Perplexity | Branching Factor | Unique Contexts | Predictability |
 |---------|---------|-------------|------------|------------------|-----------------|----------------|
-| **1** | Word | 0.7844 | 1.722 | 4.39 | 60,265 | 21.6% |
-| **1** | Subword | 1.0518 | 2.073 | 11.77 | 3,035 | 0.0% |
-| **2** | Word | 0.1820 | 1.134 | 1.54 | 262,556 | 81.8% |
-| **2** | Subword | 0.6370 | 1.555 | 3.68 | 35,678 | 36.3% |
-| **3** | Word | 0.0756 | 1.054 | 1.27 | 400,175 | 92.4% |
-| **3** | Subword | 0.4890 | 1.403 | 2.43 | 131,152 | 51.1% |
-| **4** | Word | 0.0493 🏆 | 1.035 | 1.19 | 505,259 | 95.1% |
-| **4** | Subword | 0.3612 | 1.284 | 1.77 | 318,528 | 63.9% |
+| **1** | Word | 0.7841 | 1.722 | 4.39 | 60,191 | 21.6% |
+| **1** | Subword | 1.0505 | 2.071 | 11.75 | 3,037 | 0.0% |
+| **2** | Word | 0.1820 | 1.134 | 1.54 | 262,172 | 81.8% |
+| **2** | Subword | 0.6365 | 1.555 | 3.68 | 35,639 | 36.4% |
+| **3** | Word | 0.0756 | 1.054 | 1.27 | 399,673 | 92.4% |
+| **3** | Subword | 0.4888 | 1.403 | 2.43 | 130,940 | 51.1% |
+| **4** | Word | 0.0494 🏆 | 1.035 | 1.19 | 504,719 | 95.1% |
+| **4** | Subword | 0.3613 | 1.285 | 1.77 | 317,931 | 63.9% |
 
 ### Generated Text Samples (Word-based)
 
@@ -242,27 +274,27 @@ Below are text samples generated from each word-based Markov chain model:
 
 **Context Size 1:**
 
-1. `বারো মৌজা ইউনিয়ন এগত গ ঘরর ইউনিট আসে চৌদ্দাহান মুঙেদে ইউনিয়ন কুড়িগ্রাম জিলার উপজিলাগি বাংলাদেশর ম...`
-2. `ইউনিয়ন এগত ১৩ হান আসে জনসংখ্যার উপাত্ত ভারতর পাঞ্জাব রাজ্যর পৌরসভা এহার মাপাহানর অক্ষাংশ বারো জেলা`
-3. `উপাত্ত শহর এহার মাপাহানর অক্ষাংশ বারো গাঙ ২২ বারো দ্রাঘিমাংশ ইলতাই সমূদ্রুহার মান্নাহাত্ত এহানর সাক্...`
+1. `বারো জিলা বেয়াপা ১৫ ৪৪ ৮২৮ মিটার ফুট জনসংখ্যার উপাত্ত পৌরসভা আহান ভৌগলিক উপাত্ত ব্রাজিলর ঔয়াংমুঙ`
+2. `ইউনিয়ন এগত গাঙ বারো ফুংগালাইরু বুলিয়া কিত্তাও নেই অহাত্তবারো এহার আয়তন লয়াহান ৪১৬ গ অতার মা`
+3. `উপাত্ত শহর এহার আয়তন লয়াহান ৩৫৪ গ অতার মা হারহান ৫৯ ৫ অহানাত্ত এস নইচত জনসংখ্যার`
 
 **Context Size 2:**
 
-1. `সাক্ষরতার হারহান ৫৪ মুনির মা সাক্ষরতার হারহান ৬৮ মুনির মা সাক্ষরতার হারহান ৮২ বারো জেলার মা হারহান`
-2. `অতার মা হুকানাহান ৬৬ ৬৯ বর্গমাইল অতার মা মুনি ৫০ বারো জেলা বেয়াপা ৩৮ এহানাত সাক্ষরতার হারহান`
-3. `জনসংখ্যার উপাত্ত ব্রাজিলর মারির মানুলেহা লোক গননা অনুসারে বোৱা এসপেরান্সা পর্তুগীজ nova guataporanga...`
+1. `সাক্ষরতার হারহান ৫৯ ৫ অহানাত্ত গঞ্জাম এহানর সাক্ষরতার হারহান ৭২ মুনির মা সাক্ষরতার হারহান ৬৫ বারো হু...`
+2. `অতার মা মুনি ৫০ বারো জিলা বেয়াপা এরে পৌরসভার মানু শহরেদে বারো ১১ ৭৩৬গ গাঙেদে থাইতারা হারি`
+3. `জনসংখ্যার উপাত্ত ভারতর মারির মানুলেহা লোক গননা অনুসারে আলসটের কাউন্টি ইংরেজি oglethorpe county এহান ...`
 
 **Context Size 3:**
 
-1. `মানুলেহা লোক গননা অনুসারে সেন্ট্রো নোভো ডো মারানহো পৌরসভাহানর জনসংখ্যা ইলাতাই ৩৬০ ৭০৬ গ অতার মা মুনি...`
-2. `মারির মানুলেহা লোক গননা অনুসারে কুডুমুডি শহরহানর জনসংখ্যা ইলাতাই ২০ ০৯৫ গ অতার মা মুনি ৪৯ বারো জিলা`
-3. `অতার মা মুনি ৫০ বারো জিলা বেয়াপা এরে পৌরসভার মানু শহরেদে বারো গাঙেদে থাইতারা হারি বর্গ কিলোমিটারে ৪...`
+1. `মানুলেহা লোক গননা অনুসারে বার্বোসা পৌরসভাহানর জনসংখ্যা ইলাতাই ১০ ৪২৫ গ অতার মা মুনি ৫০ বারো জিলা বেয...`
+2. `মারির মানুলেহা লোক গননা অনুসারে পালেসটিনা ডে গোয়াস পর্তুগীজ santa bárbara de goiás এহান ব্রাজিলর হম...`
+3. `অতার মা মুনি ৫১ বারো জেলা বেয়াপা ৪৯ এহানাত সাক্ষরতার হারহান ৭৩ বারো জেলার মা হারহান ৬৮ আস্তা`
 
 **Context Size 4:**
 
-1. `মারির মানুলেহা লোক গননা অনুসারে শিকোহাবাদ শহরহানর জনসংখ্যা ইলাতাই ৮৮ ০৭৫ গ অতার মা মুনি ৫০ বারো জিলা...`
-2. `গ অতার মা মুনি ৫২ বারো জিলা বেয়াপা ৪৮ ইউনিয়ন এগত ১৮ বসরর গজে মানু আসি লহঙ করিসিতা বেয়াপা`
-3. `মানুলেহা লোক গননা অনুসারে উটুৱাদা র জনসংখ্যা ইলাতাই ৩৫ ২১৪ ঘরর ��উনিট আসে হারি বর্গ মাইলে ৩১ ৭গ মানু`
+1. `মারির মানুলেহা লোক গননা অনুসারে টের্রেবোন পারিশ র জনসংখ্যা ইলাতাই ৮৭ ৯০৪ গ ৩২ ৭৩২গ ঘরর ইউনিট আসে হার...`
+2. `গ অতার মা মুনি ৫২ বারো জিলা বেয়াপা এরে পৌরসভার মানু ৪২৩গ শহরেদে বারো গাঙেদে থাইতারা হারি বর্গ কিলোম...`
+3. `মানুলেহা লোক গননা অনুসারে ক্লাবেরাস কাউন্টি র জনসংখ্যা ইলাতাই ১৮ ৫৬১ গ ঘরর ইউনিট আসে চৌদ্দাহান মুঙেদ...`
 
 
 ### Generated Text Samples (Subword-based)
@@ -271,34 +303,34 @@ Below are text samples generated from each subword-based Markov chain model:
 
 **Context Size 1:**
 
-1. `_হান_বারো_খা_ইউপাসিতার_`
-2. `র),২,_ইউনিয়নর_ক_মা`
-3. `নর_বারো_জন_(১,৬৮%,`
+1. `_মারিসিতার_ঔয়াঙেদে:_মুনিয়`
+2. `রসভা_সাক্ষর_শহর_পৌর_ই`
+3. `নর_অক্টোবসভার_হানিয়ন।_`
 
 **Context Size 2:**
 
-1. `র_উপাত্ত_পৌরসভারতর_হার_`
-2. `।_পৌরসভাহানর_গননা)_মানু`
-3. `হান।_সাধারণ_বপ/য়্যাম।_এ`
+1. `র_সাই_৬৬%।_ঔয়াঙেদে_থা_`
+2. `।_অনুসারে_৩১তম_বিয়া_জিলা`
+3. `হান_এহান_ইউনিয়নর_সান্টা_`
 
 **Context Size 3:**
 
-1. `র_মানু_থাইতারা।_হারি_বর্গমাই`
-2. `হান_আম্ফোয়ে_ৱারিশপুর_*_টঙ্গিবা`
-3. `_বারো_অধিবর্ষ_আহান।_জনসংখ্যা`
+1. `র_মা_সাক্ষরতার_হারহান_৫৯.`
+2. `হান_৭৯%,_অতার_হারহান_(`
+3. `_বারো_গাঙেদে_থাইতারা।_হারি_ব`
 
 **Context Size 4:**
 
-1. `_বারো_জেলা/বেয়াপা_৪৯%_বারো_দ্রা`
+1. `_বারো_জিলা/বেয়াপা_(১৫-৪৪_ব`
 2. `_ইউনিট_আসে।_চৌদ্দাহান_মুঙেদে:`
-3. `ইউনিয়ন।_ঔয়াঙেদে:_---_ইউ`
+3. `ইউনিয়ন_আগ।_ভৌগলিক_উপাত্ত_`
 
 
 ### Key Findings
 
 - **Best Predictability:** Context-4 (word) with 95.1% predictability
 - **Branching Factor:** Decreases with context size (more deterministic)
-- **Memory Trade-off:** Larger contexts require more storage (318,528 contexts)
+- **Memory Trade-off:** Larger contexts require more storage (317,931 contexts)
 - **Recommendation:** Context-3 or Context-4 for text generation
 
 ---
@@ -314,26 +346,26 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Vocabulary Size | 33,017 |
-| Total Tokens | 2,031,395 |
-| Mean Frequency | 61.53 |
+| Vocabulary Size | 32,965 |
+| Total Tokens | 2,030,616 |
+| Mean Frequency | 61.60 |
 | Median Frequency | 3 |
-| Frequency Std Dev | 896.57 |
+| Frequency Std Dev | 897.18 |
 
 ### Most Common Words
 
 | Rank | Word | Frequency |
 |------|------|-----------|
-| 1 | বারো | 68,904 |
-| 2 | ইউনিয়ন | 42,536 |
-| 3 | উপাত্ত | 36,521 |
+| 1 | বারো | 68,888 |
+| 2 | ইউনিয়ন | 42,535 |
+| 3 | উপাত্ত | 36,516 |
 | 4 | হারহান | 31,910 |
-| 5 | মা | 31,024 |
-| 6 | মানু | 30,464 |
+| 5 | মা | 31,022 |
+| 6 | মানু | 30,460 |
 | 7 | সাক্ষরতার | 26,839 |
-| 8 | গ | 26,426 |
-| 9 | অতার | 25,586 |
-| 10 | জনসংখ্যার | 24,826 |
+| 8 | গ | 26,421 |
+| 9 | অতার | 25,584 |
+| 10 | জনসংখ্যার | 24,823 |
 
 ### Least Common Words (from vocabulary)
 
@@ -354,8 +386,8 @@ Below are text samples generated from each subword-based Markov chain model:
 
 | Metric | Value |
 |--------|-------|
-| Zipf Coefficient | 1.3135 |
-| R² (Goodness of Fit) | 0.980294 |
+| Zipf Coefficient | 1.3137 |
+| R² (Goodness of Fit) | 0.980288 |
 | Adherence Quality | **excellent** |
 
 ### Coverage Analysis
@@ -371,7 +403,7 @@ Below are text samples generated from each subword-based Markov chain model:
 
 - **Zipf Compliance:** R²=0.9803 indicates excellent adherence to Zipf's law
 - **High Frequency Dominance:** Top 100 words cover 62.6% of corpus
-- **Long Tail:** 23,017 words needed for remaining 3.2% coverage
+- **Long Tail:** 22,965 words needed for remaining 3.2% coverage
 
 ---
 ## 5. Word Embeddings Evaluation
@@ -387,37 +419,40 @@ Below are text samples generated from each subword-based Markov chain model:
 
 ### 5.1 Cross-Lingual Alignment
 
-> *Note: Multilingual alignment visualization not available for this language.*
+![Alignment Quality](visualizations/embedding_alignment_quality.png)
+
+![Multilingual t-SNE](visualizations/embedding_tsne_multilingual.png)
 
 
 ### 5.2 Model Comparison
 
 | Model | Dimension | Isotropy | Semantic Density | Alignment R@1 | Alignment R@10 |
 |-------|-----------|----------|------------------|---------------|----------------|
-| **mono_32d** | 32 | 0.7051 🏆 | 0.3773 | N/A | N/A |
-| **mono_64d** | 64 | 0.5256 | 0.3351 | N/A | N/A |
-| **mono_128d** | 128 | 0.2472 | 0.3242 | N/A | N/A |
+| **mono_32d** | 32 | 0.6926 🏆 | 0.3671 | N/A | N/A |
+| **mono_64d** | 64 | 0.5161 | 0.3444 | N/A | N/A |
+| **mono_128d** | 128 | 0.2440 | 0.3266 | N/A | N/A |
+| **aligned_32d** | 32 | 0.6926 | 0.3703 | 0.0100 | 0.0740 |
+| **aligned_64d** | 64 | 0.5161 | 0.3426 | 0.0240 | 0.1200 |
+| **aligned_128d** | 128 | 0.2440 | 0.3276 | 0.0380 | 0.1340 |
 
 ### Key Findings
 
-- **Best Isotropy:** mono_32d with 0.7051 (more uniform distribution)
-- **Semantic Density:** Average pairwise similarity of 0.3456. Lower values indicate better semantic separation.
-- **Alignment Quality:** No aligned models evaluated in this run.
+- **Best Isotropy:** mono_32d with 0.6926 (more uniform distribution)
+- **Semantic Density:** Average pairwise similarity of 0.3465. Lower values indicate better semantic separation.
+- **Alignment Quality:** Aligned models achieve up to 3.8% R@1 in cross-lingual retrieval.
 - **Recommendation:** 128d aligned for best cross-lingual performance
 
 ---
 ## 6.  Morphological Analysis (Experimental)
 
-> ⚠️ **Warning:** This language shows low morphological productivity. The statistical signals used for this analysis may be noisy or less reliable than for morphologically rich languages.
-
 This section presents an automated morphological analysis derived from the statistical divergence between word-level and subword-level models. By analyzing where subword predictability spikes and where word-level coverage fails, we can infer linguistic structures without supervised data.
 
 ### 6.1 Productivity & Complexity
 
 | Metric | Value | Interpretation | Recommendation |
 |--------|-------|----------------|----------------|
-| Productivity Index | **0.000** | Low morphological productivity | ⚠️ Likely unreliable |
-| Idiomaticity Gap | **-1.000** | Low formulaic content | - |
+| Productivity Index | **5.000** | High morphological productivity | Reliable analysis |
+| Idiomaticity Gap | **-0.006** | Low formulaic content | - |
 
 ### 6.2 Affix Inventory (Productive Units)
 
@@ -426,20 +461,19 @@ These are the most productive prefixes and suffixes identified by sampling the v
 #### Productive Prefixes
 | Prefix | Examples |
 |--------|----------|
-| `-কা` | কানারিও, কাবেরীপক্কম, কানুপুর |
-| `-মা` | মাকৌপিন, মাঝরদিয়া, মার্চ |
+| `-কা` | কানেডো, কাইতলী, কানিনা |
 
 #### Productive Suffixes
 | Suffix | Examples |
 |--------|----------|
-| `-া` | ৱারান্টিনা, সাড়া, হঙকরাতারা |
-| `-র` | শিরুর, উপর, গেজেটার |
-| `-়া` | সাড়া, মাঝরদিয়া, মহুয়া |
-| `-ুর` | শিরুর, তরফপুর, রাইপুর |
-| `-য়া` | মাঝরদিয়া, মহুয়া, ক্যালিফোর্নিয়া |
-| `-িয়া` | মাঝরদিয়া, ক্যালিফোর্নিয়া, সাফিয়া |
-| `-পুর` | তরফপুর, রাইপুর, সাদিপুর |
-| `-ার` | গেজেটার, সুইটৱাটার, পিনার |
+| `-া` | বারুইয়া, খানা, বুললা |
+| `-র` | ০০০র, চাটমোহর, ফুর |
+| `-়া` | বারুইয়া, বেলেয়া, ভরাপাড়া |
+| `-য়া` | বারুইয়া, বেলেয়া, বড়হাতিয়া |
+| `-ুর` | ফুর, গোপালপুর, সরদারপুর |
+| `-পুর` | গোপালপুর, সরদারপুর, কুতবউল্লাপুর |
+| `-িয়া` | বড়হাতিয়া, বাসুন্দিয়া, ঘাটলোদিয়া |
+| `-রা` | ভাদ্রা, ভাটারা, মোরেইরা |
 
 ### 6.3 Bound Stems (Lexical Roots)
 
@@ -454,16 +488,14 @@ This table shows which prefixes and suffixes most frequently co-occur on the sam
 
 | Prefix | Suffix | Frequency | Examples |
 |--------|--------|-----------|----------|
-| `-কা` | `-া` | 47 words | কাসিবুগ্গা, কাপিক্সাবা |
-| `-মা` | `-া` | 37 words | মারিনগা, মাইসাটুয়��� |
-| `-কা` | `-র` | 31 words | কাতারর, কাড়াথুর |
-| `-মা` | `-র` | 23 words | মাহিলপুর, মানিয়ার |
-| `-কা` | `-়া` | 16 words | কানয়া, কামারিয়া |
-| `-কা` | `-য়া` | 13 words | কানয়া, কামারিয়া |
-| `-মা` | `-়া` | 12 words | মাইসাটুয়া, মাছপাড়া |
-| `-কা` | `-ুর` | 11 words | কাড়াথুর, কাবনুর |
-| `-কা` | `-িয়া` | 10 words | কামারিয়া, কালেডোনিয়া |
-| `-মা` | `-য়া` | 7 words | মাইসাটুয়া, মাছুয়া |
+| `-কা` | `-া` | 44 words | কারোবা, কাটাৱাবা |
+| `-কা` | `-র` | 41 words | কামর, কান্নানুর |
+| `-কা` | `-ুর` | 15 words | কান্নানুর, কাজীপুর |
+| `-কা` | `-়া` | 15 words | কাদিরপাড়া, কালকরিয়া |
+| `-কা` | `-য়া` | 10 words | কালকরিয়া, কালাবাড়িয়া |
+| `-কা` | `-িয়া` | 10 words | কালকরিয়া, কালাবাড়িয়া |
+| `-কা` | `-পুর` | 5 words | কাজীপুর, কালিদাসপুর |
+| `-কা` | `-রা` | 5 words | কাংরা, কাকৈরগরা |
 
 ### 6.5 Recursive Morpheme Segmentation
 
@@ -471,26 +503,26 @@ Using **Recursive Hierarchical Substitutability**, we decompose complex words in
 
 | Word | Suggested Split | Confidence | Stem |
 |------|-----------------|------------|------|
-| লুসিয়ারা | **`লুসি-য়া-রা`** | 6.0 | `লুসি` |
-| জিন্দারপুর | **`জিন্দ-ার-পুর`** | 6.0 | `জিন্দ` |
-| কল্যানপুর | **`কল্যান-পুর`** | 4.5 | `কল্যান` |
-| য়েরভালিয়া | **`য়েরভাল-িয়া`** | 4.5 | `য়েরভাল` |
-| রায়হানপুর | **`রায়হান-পুর`** | 4.5 | `রায়হান` |
-| নাইজেরিয়া | **`নাইজের-িয়া`** | 4.5 | `নাইজের` |
-| মোস্তফাপুর | **`মোস্তফা-পুর`** | 4.5 | `মোস্তফা` |
-| সিঙ্গাপুর | **`সিঙ্গা-পুর`** | 4.5 | `সিঙ্গা` |
-| মির্জাপুর | **`মির্জা-পুর`** | 4.5 | `মির্জা` |
-| পালমাসিয়া | **`পালমাস-িয়া`** | 4.5 | `পালমাস` |
-| ইসলামিয়া | **`ইসলাম-িয়া`** | 4.5 | `ইসলাম` |
-| কামানডুকাইয়া | **`কা-মা-নডুকাই-য়া`** | 4.5 | `নডুকাই` |
-| চরকুমারিয়া | **`চরকুম-ার-িয়া`** | 3.0 | `চরকুম` |
+| জাঙ্গালিয়া | **`জাঙ্গাল-িয়া`** | 4.5 | `জাঙ্গাল` |
+| মাখদুমপুর | **`মাখদুম-পুর`** | 4.5 | `মাখদুম` |
+| স্লোভাকিয়া | **`স্লোভাক-িয়া`** | 4.5 | `স্লোভাক` |
+| বাল্লাপুর | **`বাল্লা-পুর`** | 4.5 | `বাল্লা` |
+| ওসমানীয়া | **`ওসমানী-য়া`** | 4.5 | `ওসমানী` |
+| কাসকালহেইরা | **`কা-সকালহেই-রা`** | 3.0 | `সকালহেই` |
+| কারুপ্পুর | **`কা-রুপ্-পুর`** | 3.0 | `রুপ্` |
+| বাহাদুরপুর | **`বাহাদ-ুর-পুর`** | 3.0 | `বাহাদ` |
+| কাফেলান্ডিয়া | **`কা-ফেলান্ড-িয়া`** | 3.0 | `ফেলান্ড` |
+| ইটাকোয়াটিয়ারা | **`ইটাকোয়াট-িয়া-রা`** | 3.0 | `ইটাকোয়াট` |
+| পীরযাত্রাপুর | **`পীরযাত্-রা-পুর`** | 3.0 | `পীরযাত্` |
+| কাসসিলান্ডিয়া | **`কা-সসিলান্ড-িয়া`** | 3.0 | `সসিলান্ড` |
+| কাশালিয়া | **`কা-শালি-য়া`** | 3.0 | `শালি` |
 | কাউন্দিয়া | **`কা-উন্দ-িয়া`** | 3.0 | `উন্দ` |
-| কালাইমাজপাড়া | **`কা-লাইমাজপাড-়া`** | 3.0 | `লাইমাজপাড` |
+| কান্নানুর | **`কা-ন্নান-ুর`** | 3.0 | `ন্নান` |
 
 ### 6.6 Linguistic Interpretation
 
 > **Automated Insight:**
-The language BPY appears to be more isolating or has a highly fixed vocabulary. Word-level models perform nearly as well as subword models, indicating fewer productive morphological processes.
+The language Bishnupriya shows high morphological productivity. The subword models are significantly more efficient than word models, suggesting a rich system of affixation or compounding.
 
 ---
 ## 7. Summary & Recommendations
@@ -501,7 +533,7 @@ The language BPY appears to be more isolating or has a highly fixed vocabulary.
 
 | Component | Recommended | Rationale |
 |-----------|-------------|-----------|
-| Tokenizer | **64k BPE** | Best compression (4.93x) |
+| Tokenizer | **64k BPE** | Best compression (4.94x) |
 | N-gram | **2-gram** | Lowest perplexity (598) |
 | Markov | **Context-4** | Highest predictability (95.1%) |
 | Embeddings | **100d** | Balanced semantic capture and isotropy |
@@ -717,4 +749,4 @@ MIT License - Free for academic and commercial use.
 ---
 *Generated by Wikilangs Models Pipeline*
 
-*Report Date: 2026-01-03 07:50:05*
+*Report Date: 2026-01-03 19:21:34*

models/embeddings/aligned/bpy_128d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:76e9bbacd4e64b12a81c21302b0ecd60d8b4224be68548745100c183b9fa9949
+size 1035025249

models/embeddings/aligned/bpy_128d.meta.json

@@ -0,0 +1 @@
+{"lang": "bpy", "dim": 128, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bpy_128d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8a1939689895cfb9681333ac640214fc5e7c31f1be2e3e9164d9a1a409c1412d
+size 65664

models/embeddings/aligned/bpy_128d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bpy",
+  "dimension": 128,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 500,
+  "vocab_size": 10494
+}

models/embeddings/aligned/bpy_32d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:02880e8504bfc113d468394f8e5015bccd24be57edc220d8fb13185a9544f068
+size 258965857

models/embeddings/aligned/bpy_32d.meta.json

@@ -0,0 +1 @@
+{"lang": "bpy", "dim": 32, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bpy_32d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0f324ddb00dc3315e2b2bcffd069f69f667e874b156f3c537df44d4b77e29980
+size 4224

models/embeddings/aligned/bpy_32d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bpy",
+  "dimension": 32,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 500,
+  "vocab_size": 10494
+}

models/embeddings/aligned/bpy_64d.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e591b38e456d9d0604df1b9813aa0a5a1fee9aa692017ca6dd07928aceef7408
+size 517652321

models/embeddings/aligned/bpy_64d.meta.json

@@ -0,0 +1 @@
+{"lang": "bpy", "dim": 64, "max_seq_len": 512, "is_aligned": true}

models/embeddings/aligned/bpy_64d.projection.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:72376aea9901daf5e408ac767e8585277a5eff77b1e6f5e989f7e53e6295cc29
+size 16512

models/embeddings/aligned/bpy_64d_metadata.json

@@ -0,0 +1,8 @@
+{
+  "language": "bpy",
+  "dimension": 64,
+  "version": "aligned",
+  "hub_language": "en",
+  "seed_vocab_size": 500,
+  "vocab_size": 10494
+}

models/embeddings/monolingual/bpy_128d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f3b15a24394779ec3beddd13e51b8416a137f08e7eef6cd8c13cd09cf43733f0
-size 1035031576
+oid sha256:76e9bbacd4e64b12a81c21302b0ecd60d8b4224be68548745100c183b9fa9949
+size 1035025249

models/embeddings/monolingual/bpy_128d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 128
   },
-  "vocab_size": 10500
+  "vocab_size": 10494
 }

models/embeddings/monolingual/bpy_32d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e0c0840199d220785e7d74606060b7a6126430498c7075055630d36f50ea7419
-size 258967576
+oid sha256:02880e8504bfc113d468394f8e5015bccd24be57edc220d8fb13185a9544f068
+size 258965857

models/embeddings/monolingual/bpy_32d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 32
   },
-  "vocab_size": 10500
+  "vocab_size": 10494
 }

models/embeddings/monolingual/bpy_64d.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f6e2813dae96a73ea737d2e4dda08e790f6fb7264595ac54099bd4d8b2292690
-size 517655576
+oid sha256:e591b38e456d9d0604df1b9813aa0a5a1fee9aa692017ca6dd07928aceef7408
+size 517652321

models/embeddings/monolingual/bpy_64d_metadata.json

@@ -11,5 +11,5 @@
     "encoding_method": "rope",
     "dim": 64
   },
-  "vocab_size": 10500
+  "vocab_size": 10494
 }

models/subword_markov/bpy_markov_ctx1_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8471db68e598c67135a721fbc5abea6aabf5b3531ac753f67a51a53d3a162efe
-size 259139
+oid sha256:53ecf1194c0f35f0c1834e508bfd482989df9dca9eb28a0397d1e35c6f032909
+size 258220

models/subword_markov/bpy_markov_ctx1_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 3035,
-  "total_transitions": 9209425
+  "unique_contexts": 3037,
+  "total_transitions": 9205778
 }

models/subword_markov/bpy_markov_ctx2_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9f7c571eecbae6ba0f24d562781877ff384a71459459476bc095f782d4915833
-size 1150172
+oid sha256:056fd69d66d4953342ad146096e757ba181309056cd0b68b2fbf373c8aecd979
+size 1146436

models/subword_markov/bpy_markov_ctx2_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 35678,
-  "total_transitions": 9184428
+  "unique_contexts": 35639,
+  "total_transitions": 9180784
 }

models/subword_markov/bpy_markov_ctx3_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1e4b755551be0d4958885e5ef7ce3604b86f71a5d45b2cd1cae7865d96cd7b1c
-size 3026127
+oid sha256:e798ff5c5367436ac31ec0922ef037b674b21f0dcff52db03d171df06cf91639
+size 3028709

models/subword_markov/bpy_markov_ctx3_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 3,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 131152,
-  "total_transitions": 9159431
+  "unique_contexts": 130940,
+  "total_transitions": 9155790
 }

models/subword_markov/bpy_markov_ctx4_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:81b6102ef4dca504054a436f595fb2141c4d5e0b2fcb06ee59c2a27d91217af2
-size 6259337
+oid sha256:2d6f613e1d9a83dada92d90ee93bbe0ae61671608ccce0772e2deaf7ef8fe367
+size 6221781

models/subword_markov/bpy_markov_ctx4_subword_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 4,
   "variant": "subword",
   "language": "bpy",
-  "unique_contexts": 318528,
-  "total_transitions": 9134434
+  "unique_contexts": 317931,
+  "total_transitions": 9130796
 }

models/subword_ngram/bpy_2gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f82847f832ddbf2d1fa13369d81d98d1250a13406959bf2e9c7bcf6411f73dae
-size 223418
+oid sha256:2509a5963d933a51f76a6c9fc15157d1957dbefba178052f701c15189186fa7c
+size 222766

models/subword_ngram/bpy_2gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 2,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 14925,
-  "total_ngrams": 9209425
+  "unique_ngrams": 14901,
+  "total_ngrams": 9205778
 }

models/subword_ngram/bpy_3gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3399384c312065ab04e876e9a8339dd16ad7672600be8f555f1f24f2f750a8e3
-size 994803
+oid sha256:b4990caea4db5781e6603a792bfda6c333ae440a00091149cbee821ef7ec9063
+size 992322

models/subword_ngram/bpy_3gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 3,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 68764,
-  "total_ngrams": 9184428
+  "unique_ngrams": 68690,
+  "total_ngrams": 9180784
 }

models/subword_ngram/bpy_4gram_subword.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4f5a24ecfb409025513b9a27e490935fab2358c050e05d7b200d31b657033a48
-size 2381769
+oid sha256:53e624fc4370cde44f4fc4d0c61a17e1b39044a88584a0c86f2a866bfbd8e9f3
+size 2371272

models/subword_ngram/bpy_4gram_subword_metadata.json

@@ -2,6 +2,6 @@
   "n": 4,
   "variant": "subword",
   "language": "bpy",
-  "unique_ngrams": 166785,
-  "total_ngrams": 9159431
+  "unique_ngrams": 166549,
+  "total_ngrams": 9155790
 }

models/subword_ngram/bpy_5gram_subword.parquet

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3321c1aa0abf6e27986f25a3d3271867383c94b3976d1fc15af6698d2ddcdde4
+size 3422631

models/subword_ngram/bpy_5gram_subword_metadata.json

@@ -0,0 +1,7 @@
+{
+  "n": 5,
+  "variant": "subword",
+  "language": "bpy",
+  "unique_ngrams": 229112,
+  "total_ngrams": 9130796
+}

models/tokenizer/bpy_tokenizer_16k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:de3058025822db51926bead450c89e6488fb90b601282c5bfa70d01e3bb8d118
-size 606496
+oid sha256:96e3775ba39ed0bb24dd1fb3df3532777c30978b300d76e45145f9add115d314
+size 606654

models/tokenizer/bpy_tokenizer_32k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2167815382b0d49ee9d942580a311d5095b796299c9cca191099977285f1f730
-size 1016119
+oid sha256:008aabca8ea673ff2fbdee64241ebe3436f14afaa7c7c3e1d4f98400b23f0b71
+size 1016768

models/tokenizer/bpy_tokenizer_64k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:15960ddb65b0199fe283b07bc06c542bc2bc8f117e733be94b9fee95d82e1d39
-size 1838927
+oid sha256:85f38e1304284a1aa434bf7cde178755d2289a27e2e8be35038d16b032b66053
+size 1838893

models/tokenizer/bpy_tokenizer_8k.model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f4ec725812a0a54260f2a0e37b399025d18f1be5288cd4960c495698a32d792b
-size 420550
+oid sha256:17af654476a7dac69ac244796ac2bd513f5a17692c05b58f1c4ae1fbe1a9a84d
+size 420681

models/vocabulary/bpy_vocabulary.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:566686527453f8982d9f7d761db3c3d1b83725fe8c367e171c03880c653e20a1
-size 615993
+oid sha256:b803f73ad6996d5e65aa6c22d4bc7b19f0ae1347de6a595a7408b8ce705589ae
+size 614630

models/vocabulary/bpy_vocabulary_metadata.json

@@ -1,17 +1,17 @@
 {
   "language": "bpy",
-  "vocabulary_size": 33017,
+  "vocabulary_size": 32965,
   "variant": "full",
   "statistics": {
-    "type_token_ratio": 0.029318932277929487,
+    "type_token_ratio": 0.029294385591006916,
     "coverage": {
-      "top_100": 0.6173631613153301,
-      "top_1000": 0.8866567771129692,
-      "top_5000": 0.9377555570451412,
-      "top_10000": 0.9552711418354352
+      "top_100": 0.6175529182866142,
+      "top_1000": 0.8867885654419936,
+      "top_5000": 0.937852810848923,
+      "top_10000": 0.9553426562620722
     },
-    "hapax_count": 27343,
-    "hapax_ratio": 0.45299867461895293,
-    "total_documents": 24997
+    "hapax_count": 27321,
+    "hapax_ratio": 0.453189795309027,
+    "total_documents": 24994
   }
 }

models/word_markov/bpy_markov_ctx1_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8c26d16cda447fab844f38aa0014c18fd3efee9851da15d42c78fb9edb16bd18
-size 2583106
+oid sha256:e98776e04a3ecce6bef6e46a01ebfd3a3bd9fef503a13515304de7c5eb01ee20
+size 2569061

models/word_markov/bpy_markov_ctx1_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 1,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 60265,
-  "total_transitions": 2033741
+  "unique_contexts": 60191,
+  "total_transitions": 2032943
 }

models/word_markov/bpy_markov_ctx2_word.parquet

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1fa1c243dab3eab15b77c513a7038427aa62f1ff8d3dd624cc73c649f9890f7a
-size 6149066
+oid sha256:b67b084187c0f2a2c5f084edcd37766e7eef3083ae9ce4f03eb617ae6281f156
+size 6129526

models/word_markov/bpy_markov_ctx2_word_metadata.json

@@ -2,6 +2,6 @@
   "context_size": 2,
   "variant": "word",
   "language": "bpy",
-  "unique_contexts": 262556,
-  "total_transitions": 2008744
+  "unique_contexts": 262172,
+  "total_transitions": 2007949
 }