Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+latens_space.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,124 @@
+---
+library_name: pytorch
+tags:
+- hungarian
+- transformer
+- encoder
+- tokenization-free
+- character-based
+- glass-box
+license: cc-by-sa-4.0
+datasets:
+- webkorpusz-2.0
+metrics:
+- pos-accuracy
+- word-reconstruction
+---
+
+# 🧠 HuBrain: Tokenization-free Hungarian Semantic Encoder / Tokenizáció-mentes magyar szemantikai encoder
+
+[English Version](#english) | [Magyar Változat](#magyar)
+
+---
+
+<a name="english"></a>
+## 🌍 English Description
+
+HuBrain is an experimental, character-based **Glass-Box Semantic Encoder** designed to model the morphological richness and semantic relationships of the Hungarian language without traditional tokenization (e.g., BPE).
+
+### 🚀 Live Visualization
+View the 1280-dimensional semantic latent space projection (PCA/T-SNE) here:
+👉 **[HuBrain Projector Visualization](https://projector.tensorflow.org/?config=https://jevcsak.hu/model/hubrain.json)**
+
+![Latent Space Projection](latens_space.png)
+
+### 📈 Training Progress (latest logs)
+The model is currently in **Phase 2 (Joint Training)**. Recent logs show high stability and emergent factual knowledge:
+- **POS Accuracy (Pm):** ~91.5% - 97.1%
+- **Word Reconstruction (Wm):** ~30% - 74% (Emerging)
+- **Latent Stability (Mag):** ~100 (Balanced vector magnitude)
+- **Learning Rate:** 2.4e-05
+
+### 🛠️ Technical Specifications
+- **Architecture:** Transformer Encoder with RoPE support.
+- **Dimensions:** 1536 (256 Anchors + 1280 Semantic Context).
+- **Layers:** 18 Layers, 24 Heads.
+- **Input:** Raw characters (64-char fixed word length).
+- **Vocab:** No OOV issues (Character-level coverage).
+
+### 📥 Model Download
+The weighted model files (`.pth`) are stored on Hugging Face due to their large size (6.7 GB). You can download them using the following command:
+
+```bash
+# Required: pip install huggingface_hub
+python download_model.py
+```
+Or manually from: [https://huggingface.co/Braien/HuBrain-Encoder](https://huggingface.co/Braien/HuBrain-Encoder)
+
+### ⚙️ Requirements
+```bash
+pip install torch numpy huggingface_hub
+```
+
+### 🧪 Diagnostic Tools
+- **`test_mask_prediction.py`**: Context-based word recovery.
+- **`test_analogy.py`**: Semantic analogies (e.g. King-Man+Woman).
+- **`export_projector.py`**: Export to TF Projector format.
+
+### ⚖️ Licensing & Data Sources
+This model was trained using the **Webkorpusz 2.0** dataset. By using this model, you agree to comply with the following licenses:
+- **Common Crawl subcorpus**: Used under the same terms as [Common Crawl](https://commoncrawl.org/terms-of-use/) itself.
+- **Wikipedia subcorpus & processed data**: Licensed under **Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)**.
+- **Disclaimer**: The training data originates from automated web crawling; the model creator assumes no responsibility for the content.
+
+---
+
+<a name="magyar"></a>
+## 🇭🇺 Magyar leírás
+
+A HuBrain egy kísérleti, karakter-alapú **Glass-Box Szemantikai Encoder**, amely a magyar nyelv morfológiai gazdagságát és szemantikai összefüggéseit modellezi hagyományos tokenizáció (pl. BPE) használata nélkül.
+
+### 🚀 Élő Vizualizáció
+A modell látens terének 1280 dimenziós szemantikai leképzése megtekinthető itt:
+👉 **[HuBrain Projector Visualization](https://projector.tensorflow.org/?config=https://jevcsak.hu/model/hubrain.json)**
+
+![Látens tér projekció](latens_space.png)
+
+### 📈 Tréning Állapot (utolsó logok)
+A modell jelenleg a **Phase 2 (Joint Training)** fázisban van. Az utolsó logok stabil tanulást és kialakuló tudást mutatnak:
+- **POS Pontosság (Pm):** ~91.5% - 97.1%
+- **Szó Rekonstrukció (Wm):** ~30% - 74% (Folyamatosan javul)
+- **Látens Stabilitás (Mag):** ~100 (Kiegyensúlyozott vektor magnitúdó)
+- **Tanulási ráta:** 2.4e-05
+
+### 🛠️ Technikai adatok
+- **Architektúra:** Transformer Encoder RoPE támogatással.
+- **Dimenziók:** 1536 (256 Horgony + 1280 Szemantikai kontextus).
+- **Rétegszám:** 18 réteg, 24 fej.
+- **Bemenet:** Nyers karakterek (64 karakteres fix szóhossz).
+- **Vocab:** Nincs OOV (szótáron kívüli szó) probléma a karakter-szintű lefedettség miatt.
+
+### 📥 Modell letöltése
+A nagyméretű modellfájlok (`.pth`, összesen 6.7 GB) a Hugging Face-en tárolódnak. Az alábbi parancs futtatásával töltheted le őket:
+
+```bash
+# Szükséges: pip install huggingface_hub
+python download_model.py
+```
+Vagy manuálisan innen: [https://huggingface.co/Braien/HuBrain-Encoder](https://huggingface.co/Braien/HuBrain-Encoder)
+
+### ⚙️ Követelmények
+```bash
+pip install torch numpy huggingface_hub
+```
+
+### 🧪 Diagnosztikai eszközök
+- **`test_mask_prediction.py`**: Környezet alapú szó-visszafejtés.
+- **`test_analogy.py`**: Szemantikai analógiák (pl. király - férfi + nő).
+- **`export_projector.py`**: Exportálás TF Projector vizualizációhoz.
+
+### ⚖️ Licenc és Adatforrások
+A modell tanításához a **Webkorpusz 2.0** adatbázist használtuk fel. A modell használatával Ön elfogadja az alábbi licencfeltételeket:
+- **Common Crawl alkorpusz**: A [Common Crawl](https://commoncrawl.org/terms-of-use/) saját felhasználási feltételei szerint került felhasználásra.
+- **Wikipedia alkorpusz és feldolgozott adatok**: A **Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)** licenc alá tartoznak.
+- **Felelősségkizárás**: Az adatok automatizált webes gyűjtésből származnak, a tartalmukért a modell készítője nem vállal felelősséget.

hubrainv5_decoder.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c87b52de75d48a18261e5d782f3ffe7bd1258d6aef8c724ddfa79a734e7e4986
+size 657997178

hubrainv5_encoder.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f4663af533cf6129a897518f212d96e0677dfe20f8037f4a35f7d5fe67088658
+size 6056357880

metadata.tsv

@@ -0,0 +1,108 @@
+Word	Category	POS
+Budapest	City	[/N]
+Debrecen	City	[/N]
+Szeged	City	[/N]
+Pécs	City	[/N]
+Győr	City	[/N]
+Miskolc	City	[/N]
+London	City	[/N]
+Párizs	City	[/N]
+Berlin	City	[/N]
+Róma	City	[/N]
+Prága	City	[/N]
+Bécs	City	[/N]
+New York	City	[/N]
+Tokió	City	[/N]
+Moszkva	City	[/N]
+kutya	Animal	[/N]
+macska	Animal	[/N]
+ló	Animal	[/N]
+tehén	Animal	[/N]
+farkas	Animal	[/N]
+medve	Animal	[/N]
+oroszlán	Animal	[/N]
+tigris	Animal	[/N]
+sas	Animal	[/N]
+hal	Animal	[/N]
+madár	Animal	[/N]
+béka	Animal	[/N]
+apa	Family	[/N]
+anya	Family	[/N]
+fiú	Family	[/N]
+lány	Family	[/N]
+testvér	Family	[/N]
+báty	Family	[/N]
+öcs	Family	[/N]
+húg	Family	[/N]
+nagypapa	Family	[/N]
+nagymama	Family	[/N]
+gyerek	Family	[/N]
+unoka	Family	[/N]
+fut	Verb	[/V]
+megy	Verb	[/V]
+jön	Verb	[/V]
+lát	Verb	[/V]
+hall	Verb	[/V]
+beszél	Verb	[/V]
+eszik	Verb	[/V]
+iszik	Verb	[/V]
+alszik	Verb	[/V]
+játszik	Verb	[/V]
+tanul	Verb	[/V]
+dolgozik	Verb	[/V]
+vág	Verb	[/V]
+szeret	Verb	[/V]
+akar	Verb	[/V]
+tud	Verb	[/V]
+kér	Verb	[/V]
+ad	Verb	[/V]
+nagy	Adj	[/Adj]
+kicsi	Adj	[/Adj]
+szép	Adj	[/Adj]
+csúnya	Adj	[/Adj]
+jó	Adj	[/Adj]
+rossz	Adj	[/Adj]
+hideg	Adj	[/Adj]
+meleg	Adj	[/Adj]
+erős	Adj	[/Adj]
+gyenge	Adj	[/Adj]
+okos	Adj	[/Adj]
+buta	Adj	[/Adj]
+asztal	Tool	[/N]
+szék	Tool	[/N]
+ágy	Tool	[/N]
+szekrény	Tool	[/N]
+kés	Tool	[/N]
+villa	Tool	[/N]
+kanál	Tool	[/N]
+tányér	Tool	[/N]
+pohár	Tool	[/N]
+autó	Tool	[/N]
+hajó	Tool	[/N]
+repülő	Tool	[/N]
+bicikli	Tool	[/N]
+telefon	Tool	[/N]
+számítógép	Tool	[/N]
+idő	Abstract	[/N]
+élet	Abstract	[/N]
+halál	Abstract	[/N]
+szabadság	Abstract	[/N]
+törvény	Legal	[/N]
+jog	Legal	[/N]
+bíróság	Legal	[/N]
+bűn	Legal	[/N]
+igazság	Legal	[/N]
+egy	Number	[/Num]
+kettő	Number	[/Num]
+három	Number	[/Num]
+négy	Number	[/Num]
+öt	Number	[/Num]
+tíz	Number	[/Num]
+száz	Number	[/Num]
+ezer	Number	[/Num]
+piros	Color	[/Adj]
+kék	Color	[/Adj]
+zöld	Color	[/Adj]
+sárga	Color	[/Adj]
+fekete	Color	[/Adj]
+fehér	Color	[/Adj]

pos_vocab.json

@@ -0,0 +1,19 @@
+{
+  "token_to_id": {
+    "<PAD>": 0,
+    "<UNK>": 1,
+    "<MASK>": 2,
+    "[/N]": 3,
+    "[/V]": 4,
+    "[/Prev]": 5,
+    "[/Det]": 6,
+    "[/Adj]": 7,
+    "[Punct]": 8,
+    "[/Adv]": 9,
+    "[/Pron]": 10,
+    "[/Cnj]": 11,
+    "[/Post]": 12,
+    "[/X]": 13,
+    "[/Num]": 14
+  }
+}