Cum să instalezi **Ollama** și să rulezi **LLMLit** de pe Hugging Face.
🖥️Iată o documentație simplă și clară despre cum să instalezi Ollama și să rulezi LLMLit de pe Hugging Face.
📌 Ghid de Instalare: Ollama + LLMLit
🔹 Pasul 1: Instalarea Ollama
Ollama este un framework ușor pentru rularea modelelor LLM (Large Language Models) local.
🖥️ Pentru macOS & Linux
1️⃣ Deschide un terminal și rulează:
curl -fsSL https://ollama.com/install.sh | sh
2️⃣ Repornește terminalul pentru a aplica modificările.
🖥️ Pentru Windows (Necesită WSL2)
1️⃣ Activează WSL2 și instalează Ubuntu:
- Deschide PowerShell ca administrator și rulează:
wsl --install
- Repornește computerul.
2️⃣ Instalează Ollama în WSL2:
curl -fsSL https://ollama.com/install.sh | sh
3️⃣ Verifică dacă Ollama este instalat corect:
ollama
Dacă apare meniul de utilizare, instalarea a fost realizată cu succes! 🎉
🔹 Pasul 2: Instalarea LLMLit de pe Hugging Face
LLMLit poate fi descărcat și rulat în Ollama folosind comanda ollama pull
.
1️⃣ Deschide un terminal și rulează:
ollama pull llmlit/LLMLit-0.2-8B-Instruct
2️⃣ Verifică dacă modelul a fost instalat:
ollama list
Ar trebui să vezi LLMLit în lista de modele disponibile. ✅
🔹 Pasul 3: Rularea LLMLit în Ollama
După instalare, poți începe să interacționezi cu LLMLit astfel:
ollama run llmlit/LLMLit-0.2-8B-Instruct
Aceasta va deschide o sesiune locală unde poți discuta cu modelul. 🤖
Pentru a trimite un prompt personalizat:
ollama run llmlit/LLMLit-0.2-8B-Instruct "Salut, cum pot folosi LLMLit?"
🔹 Pasul 4: Utilizarea LLMLit în Python
Dacă vrei să integrezi LLMLit într-un script Python, instalează librăria necesară:
pip install ollama
Apoi, creează un script Python:
import ollama
response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct', messages=[{'role': 'user', 'content': 'Cum funcționează LLMLit?'}])
print(response['message']['content'])
🚀 Gata! Acum ai Ollama + LLMLit instalat și pregătit de utilizare local!😊
🔗 Mai multe detalii: LLMLit on Hugging Face 🚀