📌 Ghid de Instalare: LM Studio + LLMLit pe Windows

🔹 1. Instalarea LM Studio

LM Studio este o aplicație desktop care permite descărcarea și rularea locală a modelelor LLM.

🖥️ Pasul 1: Descarcă și instalează LM Studio

1️⃣ Mergi la site-ul oficial:
🔗 LM Studio Download

2️⃣ Descarcă versiunea pentru Windows și instalează aplicația.

3️⃣ După instalare, deschide LM Studio.

🔹 2. Descărcarea și Instalarea LLMLit

Pentru a folosi LLMLit, trebuie să descarci modelul de pe Hugging Face.

🖥️ Pasul 2: Adăugarea Modelului în LM Studio

1️⃣ Deschide LM Studio și mergi la tab-ul "Model Catalog".

2️⃣ Caută modelul LLMLit manual sau folosește acest link pentru descărcare:
🔗 LLMLit pe Hugging Face

3️⃣ Copiază linkul modelului și introdu-l în LM Studio → "Download Custom Model".

4️⃣ Alege locația unde vrei să salvezi modelul și începe descărcarea.

🔹 3. Configurarea și Rularea LLMLit

După ce ai descărcat modelul, trebuie să-l configurezi și să-l rulezi.

🖥️ Pasul 3: Setarea Modelului

1️⃣ Mergi la "Local Models" în LM Studio.

2️⃣ Selectează LLMLit-0.2-8B-Instruct din listă.

3️⃣ Apasă "Launch" pentru a începe rularea modelului.

🔹 4. Interacțiunea cu LLMLit

După ce modelul este activ, poți începe să-l folosești în LM Studio.

1️⃣ Folosește interfața LM Studio pentru a trimite mesaje direct modelului.

2️⃣ Pentru integrare în Python, instalează ollama și folosește următorul script:

import ollama

response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct', 
                       messages=[{'role': 'user', 'content': 'Salut, cum pot folosi LLMLit?'}])

print(response['message']['content'])

🔹 5. Optimizarea Performanței

Pentru a rula LLMLit mai eficient pe Windows:
✅ Activează GPU Acceleration dacă ai placă video compatibilă.
✅ Folosește modele mai mici, dacă sistemul tău nu are suficient RAM.
✅ Optimizează parametrii modelului din setările LM Studio pentru un echilibru între viteză și precizie.

🎉 Gata! Acum ai LM Studio + LLMLit instalat pe Windows și gata de utilizare! 🚀

PyThaGo
/

LLMLit