Ollama installeren op een VPS: je eigen AI-server
Met Ollama draai je AI-taalmodellen zoals Llama, Mistral en Qwen op je eigen VPS. Je installeert Ollama met één commando, downloadt een model en praat ermee via de terminal, een API of een chatinterface. Je gegevens blijven op je eigen server in Amsterdam en je betaalt niet per vraag. Ideaal voor privacygevoelige toepassingen en automatiseringen met bijvoorbeeld n8n.
Hoeveel geheugen heb je nodig?
Op een VPS zonder videokaart draaien kleine modellen het best. Reken op ongeveer 8 GB werkgeheugen voor een model tot 7 miljard parameters, en 16 GB voor grotere modellen. Een NVMe VPS laadt modellen snel van de schijf.
Stap 1: installeer Ollama
curl -fsSL https://ollama.com/install.sh | sh Stap 2: download en start een model
ollama pull llama3.2
ollama run llama3.2 Kies op ollama.com/library een ander model als je wilt. Sluit de chat af met /bye.
Stap 3: voeg een chatinterface toe met Open WebUI
Open WebUI geeft je een chatomgeving in de browser. Je installeert het met Docker:
docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main Maak de interface bereikbaar via je domein met een Nginx reverse proxy en HTTPS.
Ollama gebruiken via de API
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "prompt": "Wat is een VPS?"}' Beveilig de toegang
De API van Ollama heeft geen wachtwoord. Zet poort 11434 dus nooit open naar internet. Gebruik een SSH-tunnel of een reverse proxy met inlog als je de API van buitenaf wilt gebruiken.
Gerelateerde artikelen
Linux VPS huren met root-toegang
Ubuntu, Debian of AlmaLinux met volledige root-toegang via SSH, enterprise Ceph-storage met high availability en hosting in Amsterdam.