Ollama: KI-Modelle lokal und auf dem eigenen Server nutzen

Was ist Ollama?

Ollama ist ein kostenloses Open-Source-Programm zum Ausführen von KI-Modellen. Du kannst es dir als Bibliothek und Abspielgerät für Sprachmodelle vorstellen. Ollama lädt ein Modell herunter und startet es. Danach kannst du es über eine Chat-App, die Kommandozeile oder eine Programmierschnittstelle (API) nutzen.

Die Modelle selbst stammen von Herstellern wie Google (Gemma), OpenAI (gpt-oss), Alibaba (Qwen), Meta (Llama), Mistral oder NVIDIA (Nemotron). Es sind sogenannte Open-Weight-Modelle. Das heißt, die trainierten Modelldaten sind frei verfügbar und dürfen auf eigener Hardware laufen. In der Ollama-Bibliothek findest du aktuell über 250 Modelle.

Ollama läuft unter Windows, macOS und Linux. Der Quellcode steht unter der MIT-Lizenz auf GitHub. Mit über 180.000 Sternen gehört das Projekt dort zu den bekanntesten im KI-Bereich.

So arbeitet Ollama im Hintergrund

Nach der Installation läuft Ollama als Dienst auf deinem Rechner. Es ist standardmäßig über Port 11434 erreichbar, und andere Programme sprechen über diese Adresse mit dem Modell.

Ollama bildet außerdem die Schnittstellen von OpenAI und Anthropic nach. Deshalb funktionieren viele bestehende Programme ohne Umbau: Du änderst nur die Adresse, an die sie ihre Anfragen schicken.

Große Modelle sind normalerweise zu groß für einen gewöhnlichen Rechner. Ollama verwendet deshalb meist quantisierte Fassungen. Dabei werden die Zahlenwerte des Modells komprimiert, oft auf rund 4 Bit statt 16 Bit. Das spart etwa drei Viertel des Speichers, und die Qualität der Antworten sinkt dabei nur leicht.

Warum KI lokal betreiben? Vorteile und Grenzen

Lokale KI ist kein Ersatz für jeden Cloud-Dienst. Für viele Aufgaben ist sie aber eine sehr praktische Ergänzung.

Das spricht für Ollama:

• Deine Daten bleiben bei dir: Texte, Dokumente und Eingaben verlassen deinen Rechner nicht, solange du lokale Modelle nutzt.
• Keine Kosten pro Anfrage: Du zahlst einmal für die Hardware und den Strom, nicht für jede Antwort.
• Offline nutzbar: Wenn das Modell einmal heruntergeladen ist, brauchst du keine Internetverbindung mehr.
• Gleichbleibende Ergebnisse: Das Modell ändert sich nur, wenn du es selbst aktualisierst.
• Einfach einzubinden: Über die API nutzt du die KI in eigenen Skripten, Websites oder Automatisierungen.

Das solltest du wissen:

• Die Hardware bestimmt das Tempo: Wie groß dein Modell sein kann und wie schnell es antwortet, hängt von Arbeitsspeicher und Grafikkarte ab.
• Große Cloud-Modelle sind bei sehr komplexen Aufgaben oft noch voraus. Für Zusammenfassungen, Texte, Übersetzungen oder Programmierhilfe reichen lokale Modelle aber häufig völlig aus.
• Modelle brauchen Speicherplatz: Je nach Modell sind das zwischen 2 und über 60 GB.
• Das Wissen hat ein Ablaufdatum: Ein Modell kennt nur den Stand seines Trainings, außer du aktivierst die Websuche.

Was ist neu bei Ollama? Der Stand im Herbst 2026

Ollama erscheint fast wöchentlich in einer neuen Version. Im Oktober 2026 ist Version 0.40 aktuell. Diese Neuerungen der letzten Monate sind für dich besonders relevant:

• Desktop-App für Windows und macOS: Du chattest in einem eigenen Fenster mit deinen Modellen und kannst Dateien und Bilder hineinziehen. Das Terminal brauchst du dafür nicht mehr.
• Cloud-Modelle: Sehr große Modelle, die auf keinen normalen Rechner passen, laufen auf Wunsch auf Ollamas Servern. Du bedienst sie mit denselben Befehlen wie lokale Modelle.
• Websuche: Modelle, die Werkzeuge aufrufen können, holen sich bei Bedarf aktuelle Informationen aus dem Netz.
• ollama launch: Mit einem einzigen Befehl richtest du Programmierassistenten wie Claude Code, Codex oder OpenCode mit einem lokalen Modell ein.
• Schneller auf dem Mac: Auf Macs mit Apple-Chip nutzt Ollama jetzt standardmäßig Apples MLX-Framework. Das bringt spürbar kürzere Antwortzeiten.
• Entscheidungsmodelle: Diese kleinen Spezialmodelle schreiben keinen Fließtext. Sie liefern stattdessen Ja/Nein-Antworten, Auswahlen oder Bewertungen mit Wahrscheinlichkeit. Das ist praktisch, um etwa eingehende Anfragen automatisch vorzusortieren.

Welche Hardware brauchst du für Ollama?

Entscheidend ist der Speicher: Das Modell muss vollständig in den Arbeitsspeicher (RAM) oder in den Grafikspeicher (VRAM) passen. Als Faustregel rechnest du bei 4-Bit-Modellen mit rund 0,6 GB pro Milliarde Parameter. Dazu kommt ein Puffer für den Gesprächsverlauf. Je mehr Text das Modell gleichzeitig im Blick behalten soll, desto mehr Speicher braucht es.

Grafikkarte: Ollama nutzt NVIDIA-Karten über CUDA und AMD-Karten über ROCm, sowohl unter Windows als auch unter Linux. Passt das Modell vollständig in den Grafikspeicher, bekommst du die kürzesten Antwortzeiten. Passt es nur teilweise hinein, lagert Ollama den Rest in den Arbeitsspeicher aus, und das bremst deutlich.

Mac mit Apple-Chip: Bei M-Chips teilen sich Prozessor und Grafikeinheit denselben Speicher. Ein Mac mit 32 GB kann deshalb Modelle ausführen, für die du am PC eine teure Grafikkarte bräuchtest.

Ohne Grafikkarte: Ollama läuft auch nur mit Prozessor und Arbeitsspeicher, die Antworten kommen dann aber langsamer. Gut geeignet sind hier Modelle mit Mixture-of-Experts-Aufbau wie gemma4:26b. Davon ist pro Antwort nur ein kleiner Teil aktiv, deshalb sind sie trotz ihrer Größe vergleichsweise flott.

Speicherplatz: Plane auf einer SSD genug Platz für mehrere Modelle ein. Unter Linux landen sie standardmäßig in /usr/share/ollama/.ollama/models, unter macOS und Windows im Ordner .ollama/models in deinem Benutzerverzeichnis.

Welche Ollama-Modelle passen zu dir?

Ein bestes Modell für alles gibt es nicht. Wähle es nach Aufgabe und Hardware aus. Diese Modelle sind ein guter Startpunkt:

Für eine Suche in deinen eigenen Dokumenten brauchst du zusätzlich ein Embedding-Modell wie embeddinggemma-2. Es wandelt Texte in Zahlenvektoren um, über die das Sprachmodell passende Stellen in deinen Unterlagen findet. Diese Technik heißt auch RAG (Retrieval Augmented Generation).

Tipp: Willst du ein Modell geschäftlich einsetzen, wirf vorher einen Blick auf die Lizenz auf der jeweiligen Modellseite. Die meisten Modelle erlauben die kommerzielle Nutzung, die Bedingungen unterscheiden sich aber im Detail.

Ollama installieren und starten: So gehst du vor

Schritt 1: Ollama herunterladen

Windows: Lade das Installationsprogramm von ollama.com/download herunter und führe es aus. Alternativ installierst du Ollama mit einem Befehl in der PowerShell:

irm https://ollama.com/install.ps1 | iex

macOS und Linux: Ein einzelner Befehl im Terminal installiert Ollama. Unter Linux richtet das Skript Ollama gleich als Systemdienst ein:

curl -fsSL https://ollama.com/install.sh | sh

Schritt 2: Ersteinrichtung abschließen

Beim ersten Start fragt dich Ollama, ob du dich anmelden oder lokal weitermachen willst. Für lokale Modelle brauchst du kein Konto. Eine Anmeldung ist nur für Cloud-Modelle und die Websuche nötig.

Schritt 3: Erstes Modell starten

In der App wählst du ein Modell aus der Liste und tippst deine Frage ein. Ollama lädt das Modell beim ersten Mal automatisch herunter.

Im Terminal startest du ein Modell so:

ollama run gemma4

Danach chattest du direkt in der Konsole. Mit /bye beendest du das Gespräch.

Gut zu wissen: Seit Version 0.32 startet der Befehl ollama ohne weitere Angabe einen interaktiven KI-Assistenten. Möchtest du gezielt ein bestimmtes Modell nutzen, gib wie oben ollama run und den Modellnamen ein.

Die wichtigsten Befehle im Überblick

Ollama in eigene Anwendungen einbinden

Über die lokale API sprichst du Ollama aus jedem Programm an. Ein einfacher Test mit curl sieht so aus:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [
    { "role": "user", "content": "Gib mir drei Ideen für einen Blogartikel über Wanderwege in Tirol." }
  ],
  "stream": false
}'

Für Python und JavaScript gibt es offizielle Bibliotheken. Programme, die für die OpenAI-Schnittstelle gebaut sind, richtest du einfach auf http://localhost:11434/v1 aus.

Ollama auf dem eigenen Server betreiben

Ollama auf einem eigenen Server lohnt sich, wenn mehrere Personen auf dieselben Modelle zugreifen sollen oder wenn die KI rund um die Uhr erreichbar sein soll. Auch Automatisierungen profitieren davon, etwa das Zusammenfassen von Berichten, das Vorsortieren von Emails oder das Erstellen von Produkttexten. Dein eigener Rechner bleibt dabei frei.

Die meisten virtuellen Server haben keine Grafikkarte, Ollama rechnet dort also mit dem Prozessor. Daraus ergeben sich drei Punkte für deine Planung:

• Wähle kompakte Modelle oder Mixture-of-Experts-Modelle wie gemma4:e4b oder gemma4:26b.
• Achte auf ausreichend Arbeitsspeicher. Er ist für Ollama wichtiger als viele Prozessorkerne.
• Gut geeignet sind Aufgaben im Hintergrund, bei denen ein paar Sekunden Wartezeit nicht stören.

Einen passenden Linux-Server bekommst du als VPS bei easyname. Du kannst die Ressourcen später mit wenigen Klicks erweitern, wenn deine Modelle wachsen.

Schritt für Schritt zum eigenen KI-Server

1. Ollama installieren: Verbinde dich per SSH mit deinem Linux-Server (zum Beispiel Ubuntu oder Debian) und führe das Installationsskript aus:

curl -fsSL https://ollama.com/install.sh | sh

2. Modell laden:

ollama pull gemma4:e4b

3. Zugriff sicher einrichten: Standardmäßig ist Ollama nur auf dem Server selbst erreichbar, und das ist gut so. Die API hat nämlich keine eigene Anmeldung. Für den Zugriff von außen hast du zwei bewährte Wege.

Der erste Weg ist ein SSH-Tunnel für dich allein. Dein Rechner leitet Anfragen verschlüsselt an den Server weiter:

ssh -L 11434:localhost:11434 benutzer@dein-server

Danach erreichst du Ollama auf deinem Rechner ganz normal unter localhost:11434.

Der zweite Weg ist eine Weboberfläche mit Anmeldung für dein Team. Hier hat sich Open WebUI bewährt, eine Chat-Oberfläche mit Benutzerverwaltung. Du startest sie per Docker. Wie du Docker auf deinem Server einrichtest, zeigt dir unsere Anleitung Docker auf dem VPS installieren.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Damit der Docker-Container Ollama erreicht, muss Ollama auf allen Netzwerkschnittstellen lauschen. Öffne dazu die Dienstkonfiguration:

sudo systemctl edit ollama.service

Trag dort Folgendes ein:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Starte den Dienst danach neu:

sudo systemctl daemon-reload && sudo systemctl restart ollama

Sperr Port 11434 anschließend per Firewall für Zugriffe aus dem Internet, zum Beispiel mit sudo ufw deny 11434. So bleibt die Schnittstelle intern, und dein Team meldet sich ausschließlich über Open WebUI an.

4. Eigene Domain und SSL-Zertifikat: Richte eine Subdomain wie ki.deinefirma.at ein und leite sie per A-Record im DNS auf die IP-Adresse deines Servers. Ein Reverse Proxy wie nginx reicht die Anfragen dann an Open WebUI weiter. Mit einem kostenlosen Let's-Encrypt-Zertifikat läuft die Verbindung verschlüsselt über HTTPS. Falls du noch keine passende Adresse hast, findest du bei easyname über 480 Domainendungen für deine Wunschdomain.

5. Nur lokal rechnen lassen: Soll dein Server ausschließlich lokale Modelle nutzen, schalte die Cloud-Funktionen ab. Setz dazu in der Dienstkonfiguration zusätzlich Environment="OLLAMA_NO_CLOUD=1". Damit ist sichergestellt, dass keine Anfrage an Ollamas Server geht.

Ollama Cloud: Wenn deine Hardware nicht reicht

Manche Modelle sind so groß, dass sie auf keinen normalen Rechner passen. Für diese Fälle gibt es Ollama Cloud. Cloud-Modelle erkennst du am Zusatz :cloud im Namen, etwa gpt-oss:120b-cloud. Du nutzt sie mit denselben Befehlen und derselben API wie lokale Modelle, die Berechnung findet aber auf Ollamas Servern statt. Dafür brauchst du ein Konto, mit dem du dich über ollama signin anmeldest.

Seit Ende August 2026 rechnet Ollama die Cloud-Nutzung pro Token ab, also nach der Menge der verarbeiteten Textbausteine. Das Guthaben im Tarif wird zuerst verbraucht. Lokale Modelle bleiben in jedem Tarif unbegrenzt und kostenlos.

Zum Thema Daten: Ollama betreibt die Cloud-Modelle überwiegend in den USA und leitet bei Bedarf auch nach Europa um. Laut Ollama werden Eingaben und Antworten weder gespeichert noch für Training verwendet. Trotzdem verlassen deine Daten dabei deinen Rechner. Für vertrauliche Inhalte wie Kundendaten oder interne Dokumente bleibst du deshalb am besten bei lokalen Modellen. Worauf du bei KI-Tools im Unternehmen generell achten solltest, liest du in unserem Beitrag zu sicheren KI-Tools für Unternehmen.

Ollama oder LM Studio: Was passt besser?

LM Studio ist die bekannteste Alternative zu Ollama. Beide führen Open-Weight-Modelle lokal aus, setzen aber unterschiedliche Schwerpunkte:

Kurz gesagt: Wenn du Modelle vor allem ausprobieren und per Mausklick vergleichen willst, fühlt sich LM Studio oft vertrauter an. Möchtest du die KI in eigene Programme einbinden oder auf einem Server betreiben, ist Ollama die naheliegende Wahl.

Häufige Fragen zu Ollama

Ist Ollama kostenlos?

Ja. Das Programm ist Open Source, und lokale Modelle kannst du ohne Konto und ohne Limit nutzen. Kosten entstehen nur für deine Hardware und den Strom. Optional kannst du die kostenpflichtigen Tarife von Ollama Cloud buchen, wenn du sehr große Modelle auf Ollamas Servern ausführen willst.

Wer steckt hinter Ollama?

Ollama wird von der Firma Ollama Inc. aus Palo Alto entwickelt. Gegründet wurde sie von Jeffrey Morgan und Michael Chiang. Im Juli 2026 hat das Unternehmen 88 Millionen US-Dollar von Investoren erhalten. Nach eigenen Angaben nutzen fast 9 Millionen Entwicklerinnen und Entwickler Ollama.

Welches ist das beste Ollama-Modell?

Das hängt von deiner Aufgabe und deinem Speicher ab. Für den Einstieg auf einem Laptop mit 16 GB ist gemma4:e4b ein guter Allrounder. Mit 32 GB Speicher sind gemma4:26b für allgemeine Aufgaben und qwen3.6:27b für die Programmierung starke Kandidaten. Probier am besten zwei oder drei Modelle mit deinen eigenen Aufgaben aus.

Läuft Ollama auch ohne Grafikkarte?

Ja. Ollama rechnet dann mit dem Prozessor und dem Arbeitsspeicher. Die Antworten kommen langsamer, für kleinere Modelle und Aufgaben im Hintergrund reicht das aber oft gut aus. Genau so laufen auch die meisten Ollama-Installationen auf virtuellen Servern.

Bleiben meine Daten bei Ollama wirklich lokal?

Bei lokalen Modellen ja: Eingaben und Antworten verlassen deinen Rechner nicht. Nur Cloud-Modelle mit dem Zusatz :cloud und die Websuche senden Daten an Ollamas Server. Willst du das ausschließen, deaktivierst du die Cloud-Funktionen mit OLLAMA_NO_CLOUD=1 oder mit dem Eintrag "disable_ollama_cloud": true in der Datei ~/.ollama/server.json.

Fazit: Eigene KI in wenigen Minuten

Ollama macht lokale KI so einfach wie nie zuvor. Du installierst es, gibst einen Befehl ein und chattest mit einem leistungsfähigen Sprachmodell, ohne dass deine Daten deinen Rechner verlassen. Für den Start reicht ein aktueller Laptop mit 16 GB Speicher.

Willst du die KI mit deinem Team teilen oder dauerhaft in Automatisierungen einsetzen, ziehst du mit Ollama auf einen eigenen Server um. Dafür brauchst du einen VPS, eine passende Domain und ein SSL-Zertifikat. Dann läuft deine KI rund um die Uhr unter deiner eigenen Adresse.