...
Skip to main content
Printen

Ollama installeren op een VPS: je eigen AI-server

Met Ollama draai je AI-taalmodellen zoals Llama, Mistral en Qwen op je eigen VPS. Je installeert Ollama met één commando, downloadt een model en praat ermee via de terminal, een API of een chatinterface. Je gegevens blijven op je eigen server in Amsterdam en je betaalt niet per vraag. Ideaal voor privacygevoelige toepassingen en automatiseringen met bijvoorbeeld n8n.

Hoeveel geheugen heb je nodig?

Op een VPS zonder videokaart draaien kleine modellen het best. Reken op ongeveer 8 GB werkgeheugen voor een model tot 7 miljard parameters, en 16 GB voor grotere modellen. Een NVMe VPS laadt modellen snel van de schijf.

Stap 1: installeer Ollama

curl -fsSL https://ollama.com/install.sh | sh

Stap 2: download en start een model

ollama pull llama3.2
ollama run llama3.2

Kies op ollama.com/library een ander model als je wilt. Sluit de chat af met /bye.

Stap 3: voeg een chatinterface toe met Open WebUI

Open WebUI geeft je een chatomgeving in de browser. Je installeert het met Docker:

docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Maak de interface bereikbaar via je domein met een Nginx reverse proxy en HTTPS.

Ollama gebruiken via de API

curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "prompt": "Wat is een VPS?"}'

Beveilig de toegang

De API van Ollama heeft geen wachtwoord. Zet poort 11434 dus nooit open naar internet. Gebruik een SSH-tunnel of een reverse proxy met inlog als je de API van buitenaf wilt gebruiken.

Gerelateerde artikelen

Table of Contents