Upload folder using huggingface_hub

README.md

@@ -1,12 +1,45 @@
 ---
-title: Code Il E4B
-emoji: 🏆
-colorFrom: gray
-colorTo: blue
+title: code-il-E4B
+emoji: 💻
+colorFrom: blue
+colorTo: indigo
 sdk: gradio
-sdk_version: 6.13.0
+sdk_version: 4.44.0
 app_file: app.py
-pinned: false
+pinned: true
+license: apache-2.0
+short_description: Israeli code model 4B - Gemma 4 + NVIDIA OpenCodeInstruct
+models:
+  - BrainboxAI/code-il-E4B-safetensors
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# code-il-E4B
+
+מודל קוד ישראלי בגודל 4 מיליארד פרמטרים. רץ על מחשב נייד, תומך בעברית, מתמחה ב-Python ו-TypeScript.
+
+## מה מיוחד בו
+
+- **בסיס**: Gemma 4 E4B של Google
+- **fine-tuning**: על dataset של 5 מיליון דוגמאות קוד מ-NVIDIA + 40K דוגמאות עבריות שאספתי
+- **רץ on-device**: 4B פרמטרים נכנסים בזיכרון של מחשב נייד רגיל
+- **דו-לשוני**: תומך בקוד באנגלית והסברים בעברית
+
+## איך מריצים מקומית
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+tokenizer = AutoTokenizer.from_pretrained("BrainboxAI/code-il-E4B-safetensors")
+model = AutoModelForCausalLM.from_pretrained(
+    "BrainboxAI/code-il-E4B-safetensors",
+    torch_dtype="auto",
+    device_map="auto",
+)
+```
+
+## נבנה על ידי
+
+[BrainboxAI](https://huggingface.co/BrainboxAI) - חברת AI ישראלית שבונה מודלים ישראליים לתעשייה.
+מודלים נוספים: [law-il-E2B](https://huggingface.co/BrainboxAI/law-il-E2B) (משפטי), [med-il-E4B](https://huggingface.co/BrainboxAI/med-il-E4B) (רפואי).
+
+Built with [Unsloth](https://unsloth.ai) for 2x faster training.

app.py

@@ -0,0 +1,88 @@
+import gradio as gr
+import spaces
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer
+from threading import Thread
+
+MODEL_ID = "BrainboxAI/code-il-E4B-safetensors"
+
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_ID,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+)
+
+EXAMPLES = [
+    ["Implement binary search in TypeScript with full edge case handling and JSDoc comments."],
+    ["Build a FastAPI endpoint that accepts a file upload, validates it's a PDF under 10MB, and returns its text content."],
+    ["Write an n8n Code node (JavaScript) that takes input items, deduplicates by 'email' field, and returns the unique ones."],
+    ["הסבר את הקוד הבא ותציע שיפורים:\n\nfunction calc(arr) {\n  let s = 0;\n  for (let i = 0; i < arr.length; i++) s += arr[i];\n  return s / arr.length;\n}"],
+]
+
+
+@spaces.GPU(duration=60)
+def generate(message, history, temperature, max_tokens):
+    messages = []
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        if assistant_msg:
+            messages.append({"role": "assistant", "content": assistant_msg})
+    messages.append({"role": "user", "content": message})
+
+    inputs = tokenizer.apply_chat_template(
+        messages,
+        return_tensors="pt",
+        add_generation_prompt=True,
+    ).to(model.device)
+
+    streamer = TextIteratorStreamer(
+        tokenizer, skip_prompt=True, skip_special_tokens=True
+    )
+
+    thread = Thread(target=model.generate, kwargs={
+        "input_ids": inputs,
+        "max_new_tokens": max_tokens,
+        "temperature": temperature,
+        "top_p": 0.95,
+        "do_sample": temperature > 0,
+        "streamer": streamer,
+    })
+    thread.start()
+
+    output = ""
+    for token in streamer:
+        output += token
+        yield output
+
+
+with gr.Blocks(theme=gr.themes.Soft(primary_hue="blue"), title="Code-IL E4B") as demo:
+    gr.Markdown("""
+    # code-il-E4B
+    ### מודל קוד ישראלי - 4 מיליארד פרמטרים, רץ על מחשב נייד
+
+    מודל מבוסס Gemma 4 E4B שאומן על OpenCodeInstruct של NVIDIA + dataset קוד עברי-אנגלי משלי.
+    מתמחה ב-Python, TypeScript, n8n, ותומך בעברית.
+
+    **By [BrainboxAI](https://huggingface.co/BrainboxAI)** - Powered by Unsloth
+    """)
+
+    chat = gr.ChatInterface(
+        fn=generate,
+        examples=EXAMPLES,
+        cache_examples=False,
+        additional_inputs=[
+            gr.Slider(0.0, 1.0, value=0.2, step=0.05, label="Temperature"),
+            gr.Slider(128, 2048, value=1024, step=128, label="Max Tokens"),
+        ],
+        additional_inputs_accordion=gr.Accordion("⚙️ הגדרות מתקדמות", open=False),
+    )
+
+    gr.Markdown("""
+    ---
+    **Training**: NVIDIA OpenCodeInstruct (4.97M) + BrainboxAI/code-training-il (40k) + bleugreen/typescript-instruct (41k)
+    **Format**: Safetensors 16-bit | **License**: Apache 2.0 | **Languages**: English + עברית
+    """)
+
+if __name__ == "__main__":
+    demo.queue().launch()

requirements.txt

@@ -0,0 +1,7 @@
+torch
+transformers>=4.45.0
+accelerate
+spaces
+gradio>=4.44.0
+sentencepiece
+protobuf