Ollama este un program gratuit și gratuit de folosit (open-source) care îți permite să rulezi modele de inteligență artificială (LLM-uri – precum Llama, Mistral sau Gemma) direct pe propriul tău calculator, complet offline, fără să depinzi de internet sau de servicii în cloud precum ChatGPT.
Pentru a înțelege mai ușor cum funcționează, imaginează-ți următoarea analogie:
Modelul de AI (de exemplu Llama 3) este ca un joc video complex sau o carte digitală.
Ollama este consola sau player-ul care citește acel joc și îl face să meargă pe calculatorul tău.fara Ollama, descărcarea și configurarea unui model de AI pe calculatorul propriu necesită cunoștințe avansate de programare, instalare de biblioteci complexe și configurări complicate de placă video. Ollama împachetează totul într-un singur instalator simplu (similar cu orice altă aplicație de Windows) și îți permite să descarci și să pui în funcțiune un AI prin comenzi foarte simple.
De ce îl folosesc oamenii (Avantaje principale):
Confidențialitate 100%: Datele și întrebările tale nu părăsesc niciodată calculatorul. Nimeni nu îți folosește conversațiile pentru antrenarea altor modele.
Funcționează offline: Odată ce ai descărcat modelul dorit, nu mai ai nevoie de conexiune la internet.
Fără abonamente: Nu plătești taxe lunare sau limite pe numărul de mesaje.
Flexibilitate pentru dezvoltatori: Îți permite să conectezi AI-ul local la alte aplicații pe care le folosești sau le programezi tu.
Ollama rulează ca o aplicație nativă de Windows, incluzând suport pentru plăci video NVIDIA și AMD Radeon.
După instalarea Ollama pentru Windows, aplicația va rula în fundal, iar linia de comandă ollama va fi disponibilă în cmd, PowerShell sau în terminalul tău favorit. Ca de obicei, API-ul Ollama va fi furnizat la adresa http://localhost:11434.
Cerințe de sistem
Windows 10 22H2 sau mai nou, ediția Home sau Pro
Drivere NVIDIA 551.61 sau mai noi, dacă ai o placă video NVIDIA
Suita de drivere compatibilă AMD ROCm v7 / HIP7 pentru accelerare ROCm, sau un driver AMD Radeon compatibil Vulkan pentru accelerare Vulkan
Ollama folosește caractere Unicode pentru a indica progresul, lucru care ar putea apărea ca pătrățele necunoscute în unele fonturi de terminal mai vechi din Windows 10. Dacă pățești asta, încearcă să schimbi setările de font ale terminalului.
Unele sisteme RDNA2 / Radeon RX 6000, inclusiv plăcile din clasa RX 6800, s-ar putea să nu expună ROCm v7 pe driverele curente AMD de Windows. Vulkan este activat implicit și este opțiunea de rezervă recomandată pentru acele sisteme. Dacă un sistem hibrid iGPU/dGPU selectează un iGPU Vulkan instabil, setează GGML_VK_VISIBLE_DEVICES pe indicele plăcii video dedicate (dGPU).Cerințe pentru sistemul de fișiere
Instalarea Ollama nu necesită drepturi de Administrator și se instalează implicit în directorul tău utilizator (home directory). Vei avea nevoie de cel puțin 4 GB de spațiu pentru instalarea fișierelor binare. Odată instalat Ollama, vei avea nevoie de spațiu suplimentar pentru stocarea modelelor de limbaj mari (LLM), care pot avea de la câțiva zeci până la sute de GB. Dacă directorul tău utilizator nu are destul spațiu, poți schimba locația unde sunt instalate fișierele binare și cea unde sunt stocate modelele.
Schimbarea locației de instalare
Pentru a instala aplicația Ollama într-o altă locație decât directorul utilizator, pornește kitul de instalare folosind următorul parametru:
OllamaSetup.exe /DIR=”d:\o\anumita\locatie”
Schimbarea locației modelelor
Pentru a schimba locul unde Ollama stochează modelele descărcate (în loc să folosească directorul utilizator), setează variabila de mediu OLLAMA_MODELS în contul tău de utilizator:
Deschide aplicația Setări (Windows 11) sau Control Panel (Windows 10) și caută environment variables (variabile de mediu).
Dă clic pe Edit environment variables for your account (Editare variabile de mediu pentru contul tău).
Editează sau creează o variabilă nouă numită OLLAMA_MODELS pentru contul tău, având ca valoare calea unde vrei să fie stocate modelele.
Apasă pe OK/Apply pentru a salva.
Dacă Ollama rulează deja, închide aplicația din zona de notificare (tray) și repornește-o din meniul Start sau dintr-un terminal nou deschis după salvarea variabilelor de mediu.Acces API
Iată un exemplu rapid care arată accesul la API din PowerShell:
(Invoke-WebRequest -method POST -Body ‘{„model”:”llama3.2″, „prompt”:”Why is the sky blue?”, „stream”: false}’ -uri http://localhost:11434/api/generate).Content | ConvertFrom-json
Depanare (Troubleshooting)
Ollama pe Windows stochează fișiere în câteva locații diferite. Le poți vizualiza într-o fereastră de Explorer apăsând +R și tastând:
explorer %LOCALAPPDATA%\Ollama – conține jurnale (logs) și actualizări descărcate:
app.log – conține cele mai recente jurnale ale aplicației interfeței grafice (GUI)
server.log – conține cele mai recente jurnale ale serverului
upgrade.log – conține istoricul/jurnalul actualizărilor
explorer %LOCALAPPDATA%\Programs\Ollama – conține fișierele binare (installerul adaugă această cale în variabila PATH a utilizatorului)
explorer %HOMEPATH%\.ollama – conține modelele și fișierele de configurare
explorer %TEMP% – conține fișiere executabile temporare în unul sau mai multe directoare de tip ollama*Dezinstalare
Installerul Ollama pentru Windows înregistrează o aplicație de dezinstalare. Din secțiunea Add or remove programs (Adăugare sau eliminare programe) din Setările Windows, poți dezinstala Ollama.
Dacă ai schimbat locația OLLAMA_MODELS, dezinstalatorul nu va șterge modelele deja descărcate.
CLI de sine stătător (Standalone CLI)
Cea mai simplă cale de a instala Ollama pe Windows este folosirea installerului OllamaSetup.exe. Acesta se instalează în contul tău fără a necesita drepturi de Administrator. Actualizăm Ollama în mod regulat pentru a suporta cele mai noi modele, iar acest installer te va ajuta să fii mereu la zi.
Dacă vrei să instalezi sau să integrezi Ollama ca serviciu, este disponibil un fișier zip autonom ollama-windows-amd64.zip care conține doar interfața în linie de comandă (CLI) Ollama și dependențele de biblioteci GPU pentru NVIDIA. În funcție de hardware-ul tău, s-ar putea să fie nevoie să descarci și să extragi pachete suplimentare în același director:
AMD GPU: ollama-windows-amd64-rocm.zip
MLX (CUDA): ollama-windows-amd64-mlx.zipAcest lucru permite integrarea Ollama în aplicații existente sau rularea lui ca serviciu de sistem prin comanda ollama serve, folosind unelte precum NSSM.
Dacă faci upgrade de la o versiune anterioară, ar trebui să ștergi mai întâi directoarele vechi.
DOWNLOAD OLLAMA pentru Windows
DOWNLOAD OLLAMA pentru Linux – curl -fsSL https://ollama.com/install.sh | sh