Instructions to use TanyaAI2021/TanyaAI-0.2B-2837 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TanyaAI2021/TanyaAI-0.2B-2837 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="TanyaAI2021/TanyaAI-0.2B-2837")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("TanyaAI2021/TanyaAI-0.2B-2837")
model = AutoModelForCausalLM.from_pretrained("TanyaAI2021/TanyaAI-0.2B-2837", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use TanyaAI2021/TanyaAI-0.2B-2837 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "TanyaAI2021/TanyaAI-0.2B-2837"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TanyaAI2021/TanyaAI-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/TanyaAI2021/TanyaAI-0.2B-2837

SGLang

How to use TanyaAI2021/TanyaAI-0.2B-2837 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "TanyaAI2021/TanyaAI-0.2B-2837" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TanyaAI2021/TanyaAI-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "TanyaAI2021/TanyaAI-0.2B-2837" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TanyaAI2021/TanyaAI-0.2B-2837",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use TanyaAI2021/TanyaAI-0.2B-2837 with Docker Model Runner:
```
docker model run hf.co/TanyaAI2021/TanyaAI-0.2B-2837
```

TanyaAI-0.2B-2837

📌 Tentang Model Ini

TanyaAI-0.2B-2837 adalah model bahasa Indonesia berukuran 200 juta parameter (0.2B) yang dikembangkan dari awal (from scratch) menggunakan arsitektur GPT-2. Model ini dirancang khusus untuk memahami dan merespons pertanyaan dalam bahasa Indonesia dengan gaya percakapan yang alami.

Model ini merupakan hasil dari proses pelatihan intensif menggunakan ribuan sampel percakapan dan instruksi berbahasa Indonesia. Meskipun ukurannya tergolong kecil dibandingkan model AI modern lainnya, TanyaAI-0.2B-2837 menawarkan keseimbangan antara performa dan efisiensi, sehingga cocok untuk dijalankan di perangkat dengan sumber daya terbatas.

🎯 Untuk Apa Model Ini?

Model ini cocok digunakan untuk berbagai keperluan, antara lain:

1. Asisten Virtual Berbahasa Indonesia

Menjawab pertanyaan umum sehari-hari
Membantu pencarian informasi sederhana
Bertindak sebagai asisten pribadi untuk tugas-tugas ringan

2. Chatbot dan Customer Service

Dapat diintegrasikan ke dalam sistem layanan pelanggan
Memberikan respons otomatis untuk pertanyaan yang sering diajukan
Mendukung interaksi dalam bahasa Indonesia yang alami

3. Edukasi dan Pembelajaran

Media pembelajaran interaktif untuk siswa
Latihan tanya-jawab dalam berbagai topik
Pendamping belajar untuk mata pelajaran umum

4. Kreativitas dan Hiburan

Menghasilkan ide atau saran kreatif
Membantu menulis cerita pendek atau puisi
Menjawab pertanyaan ringan untuk hiburan

5. Prototipe Aplikasi AI

Cocok untuk pengembang yang ingin menguji aplikasi AI berbasis teks
Ringan dan mudah di-deploy di berbagai platform

🧠 Keunggulan Model

Keunggulan	Keterangan
Ringan	Ukuran 200M memungkinkan model berjalan di perangkat dengan spesifikasi terbatas
Bahasa Indonesia	Dikembangkan khusus untuk bahasa Indonesia, bukan terjemahan dari bahasa lain
Respons Cepat	Proses inferensi yang efisien untuk interaksi real-time
Dari Awal	Dibangun dari nol, bukan fine-tune dari model asing
Open Source	Lisensi MIT, bebas digunakan dan dimodifikasi

📊 Spesifikasi Teknis

Arsitektur & Parameter

Komponen	Spesifikasi	Keterangan
Arsitektur	GPT-2 (Decoder-only Transformer)	Berbasis arsitektur OpenAI GPT-2
Total Parameter	0.2B (200M)	Terdeteksi otomatis oleh Hugging Face
Tensor Type	F32 (float32)	Presisi floating point 32-bit
Lapisan (Layers)	16	Jumlah hidden layers
Attention Heads	12	Multi-head attention heads
Hidden Size	768	Dimensi hidden state
Context Length	512 token	Maksimal input per sesi
Vocab Size	50.257	Jumlah kosakata tokenizer
Embedding Size	768	Sama dengan hidden size
Positional Encoding	Learned	Dipelajari selama training
Activation Function	GELU	Gaussian Error Linear Unit

Training Configuration

Parameter	Nilai	Keterangan
Batch Size (per device)	4	Ukuran batch per GPU
Gradient Accumulation	4	Efektif batch = 16
Learning Rate	2e-4	Learning rate awal
Warmup Steps	10% dari total step	Agar training stabil
Weight Decay	0.01	Regularisasi untuk menghindari overfit
Epochs	3	Jumlah putaran training
Optimizer	AdamW	Optimizer standar
Mixed Precision	FP16	Hemat VRAM
Max Gradient Norm	1.0	Clipping untuk stabilitas

Dataset & Training Statistics

Metrik	Nilai	Keterangan
Total Sample	42.711	Jumlah sampel pelatihan (setelah filter)
Epochs	3	3 kali putaran data
Total Steps	~8.007	Jumlah langkah training
Final Loss	1.62	Nilai loss akhir (semakin kecil semakin bagus)
Training Duration	~6 jam	Waktu pelatihan (T4 GPU)

Performance & Requirements

Aspek	Spesifikasi	Keterangan
Inference (CPU)	~2-3 detik/respon	VPS 2 CPU
Inference (GPU T4)	~0.5 detik/respon	Respons cepat
VRAM (Training)	~10-12 GB	Saat training
RAM (Inference)	~2-4 GB	Untuk inferensi
Storage	~1.2 GB	Ukuran model terkompresi

Support & Integration

Platform	Status	Keterangan
Hugging Face Transformers	✅ Full Support	Format standar
PyTorch	✅ Support	Load model
CPU	✅ Support	Bisa jalan di CPU
GPU	✅ Support	CUDA compatible
ONNX	⚠️ Belum di-test	Belum dicoba

🚀 Cara Menggunakan

Instalasi Library

pip install transformers torch

Downloads last month: 163

Safetensors

Model size

0.2B params

Tensor type

F32

Collection including TanyaAI2021/TanyaAI-0.2B-2837

TanyaAI 2837

Collection

All model tanyaai seri 2837 • 2 items • Updated 4 days ago