Ein KI-Chat muss nicht zwangsläufig in der Cloud laufen. Mit Ollama lassen sich Sprachmodelle direkt unter Windows installieren und lokal verwenden. Eingaben und hochgeladene Texte bleiben dabei auf dem eigenen Rechner, solange keine zusätzliche Anwendung Daten an externe Dienste sendet.

Das klingt zunächst nach einem Projekt für Entwickler, ist inzwischen aber erstaunlich unkompliziert. Für den ersten Test reichen Windows 10 oder Windows 11, etwas freier Speicherplatz und ein Terminal. Eine Grafikkarte ist nicht zwingend erforderlich, beschleunigt die Antworten jedoch deutlich.

Was ist Ollama?

Ollama ist eine Laufzeitumgebung für lokale KI-Modelle. Das Programm übernimmt den Download, die Speicherung und den Start des ausgewählten Modells. Bedient wird es über die Windows-Eingabeaufforderung, PowerShell oder eine zusätzliche grafische Oberfläche.

Typische Einsatzmöglichkeiten sind:

  • Texte zusammenfassen und umformulieren,
  • Fragen zu Dokumenten beantworten,
  • Programmcode erklären oder erzeugen,
  • Ideen und Gliederungen erstellen,
  • interne Assistenten entwickeln,
  • Anwendungen über eine lokale API mit einem Sprachmodell verbinden.

Der wichtigste Unterschied zu einem normalen Online-Chatbot: Das Modell wird auf der eigenen Hardware ausgeführt. Dadurch hängt die Geschwindigkeit direkt von Prozessor, Arbeitsspeicher und vor allem dem verfügbaren Grafikspeicher ab.

Welche Hardware wird benötigt?

Kleine Modelle laufen auch auf einem normalen Büro-PC. Ohne geeignete GPU übernimmt der Prozessor die Berechnungen. Das funktioniert, kann bei längeren Antworten aber Geduld verlangen.

Für gelegentliche Tests sind 16 GB Arbeitsspeicher ein brauchbarer Ausgangspunkt. Wer größere Modelle, lange Dokumente oder mehrere Nutzer bedienen möchte, benötigt deutlich mehr RAM und Grafikspeicher.

In Unternehmen stößt ein einzelner Desktop-PC deshalb schnell an Grenzen. Soll die lokale KI zentral für mehrere Arbeitsplätze, Entwicklungsumgebungen oder interne Anwendungen verfügbar sein, ist ein System mit mehreren professionellen GPUs oft sinnvoller. Beispiele geeigneter Plattformen finden sich unter https://servermall.com/de/sets/servers-with-gpu/.

Wichtig ist nicht nur die Rechenleistung der Grafikkarte. Das Modell muss möglichst vollständig in den Grafikspeicher passen. Reicht der VRAM nicht aus, werden Teile in den normalen Arbeitsspeicher ausgelagert. Die KI funktioniert dann häufig weiterhin, antwortet aber langsamer.

Ollama unter Windows installieren

Die einfachste Installation erfolgt über das offizielle Windows-Setup.

  1. Öffne die Download-Seite von Ollama.
  2. Lade die Datei „OllamaSetup.exe“ herunter.
  3. Starte die Installationsdatei.
  4. Warte, bis die Einrichtung abgeschlossen ist.
  5. Öffne anschließend PowerShell oder die Windows-Eingabeaufforderung.

Ollama wird standardmäßig im Benutzerkonto installiert. Für die gewöhnliche Einrichtung sind daher keine Administratorrechte nötig.

Mit diesem Befehl lässt sich prüfen, ob das Programm verfügbar ist:

ollama --version

Erscheint eine Versionsnummer, war die Installation erfolgreich.

Das erste KI-Modell starten

Zum Herunterladen und Starten eines Modells genügt ein einzelner Befehl. Für einen ersten Versuch eignet sich beispielsweise ein kompaktes Modell:

ollama run llama3.2

Beim ersten Aufruf lädt Ollama die benötigten Dateien herunter. Je nach Modell und Internetverbindung kann das einige Minuten dauern. Anschließend erscheint direkt im Terminal eine Eingabezeile.

Nun kannst du eine Frage stellen:

Erkläre mir den Unterschied zwischen RAM und VRAM in einfachen Worten.

Die Antwort wird lokal erzeugt. Mit /bye beendest du den Chat.

Bereits heruntergeladene Modelle zeigt dieser Befehl an:

ollama list

Ein nicht mehr benötigtes Modell lässt sich entfernen:

ollama rm llama3.2

Welches Modell passt zum Rechner?

Die Modellnamen enthalten häufig Angaben wie 3B, 7B, 14B oder 32B. Das „B“ steht für Milliarden Parameter. Eine höhere Zahl kann mehr Fähigkeiten bedeuten, erhöht aber auch den Speicherbedarf und sagt allein noch nichts über die Qualität bei einer konkreten Aufgabe aus.

Für den Einstieg ist ein kleineres Modell meist die bessere Wahl. Es lädt schneller, benötigt weniger Speicher und zeigt sofort, ob die Installation korrekt funktioniert. Danach kannst du schrittweise größere Varianten ausprobieren.

Als grobe Orientierung gilt:

  • kleine Modelle eignen sich für einfache Fragen, Entwürfe und Tests,
  • mittlere Modelle liefern oft bessere Texte und Programmierhilfen,
  • große Modelle benötigen viel RAM beziehungsweise VRAM und sind eher für leistungsfähige Workstations oder GPU-Server gedacht.

Die Dateigröße auf der Festplatte entspricht nicht exakt dem benötigten Arbeitsspeicher. Zusätzlich zum Modell werden Speicher für den Gesprächsverlauf und weitere Berechnungen gebraucht. Ein Modell, das gerade noch geladen werden kann, muss deshalb nicht flüssig laufen.

Nutzt Ollama wirklich die Grafikkarte?

Bei unterstützter Hardware erkennt Ollama die GPU normalerweise automatisch. Bei einer NVIDIA-Grafikkarte sollte zunächst ein aktueller Treiber installiert sein.

Ob das Modell tatsächlich auf der GPU läuft, lässt sich während einer aktiven Sitzung prüfen. Öffne ein zweites PowerShell-Fenster und führe aus:

ollama ps

Die Ausgabe zeigt die laufenden Modelle und auf welchem Prozessor sie ausgeführt werden. Steht dort ausschließlich „CPU“, wird die Grafikkarte nicht verwendet. Eine gemischte Angabe bedeutet meist, dass nur ein Teil des Modells in den VRAM passt.

Auch der Windows-Task-Manager hilft bei der Kontrolle:

  1. Öffne den Task-Manager.
  2. Wechsle zu „Leistung“.
  3. Wähle die GPU aus.
  4. Beobachte Grafikspeicher und Auslastung während einer Antwort.

Die angezeigte 3D-Auslastung ist dabei nicht immer aussagekräftig. Interessanter sind der belegte dedizierte Grafikspeicher und die Auslastung der Compute-Einheiten.

Speicherort der Modelle ändern

KI-Modelle können viele Gigabyte belegen. Standardmäßig speichert Ollama sie im Benutzerverzeichnis. Auf einer kleinen System-SSD wird der Platz deshalb schnell knapp.

Der Speicherort lässt sich über die Umgebungsvariable OLLAMA_MODELS ändern:

  1. Suche im Startmenü nach „Umgebungsvariablen“.
  2. Öffne „Umgebungsvariablen für dieses Konto bearbeiten“.
  3. Erstelle eine neue Benutzervariable.
  4. Trage als Namen OLLAMA_MODELS ein.
  5. Gib als Wert den gewünschten Ordner an, zum Beispiel D:\Ollama\Models.
  6. Beende Ollama vollständig und starte das Programm neu.

Vorhandene Modelldateien werden dadurch nicht automatisch verschoben. Sollen sie erhalten bleiben, müssen sie manuell in das neue Verzeichnis kopiert werden.

Ollama über eine grafische Oberfläche bedienen

Das Terminal ist für einen Test ausreichend, im Alltag aber nicht jedermanns Sache. Verschiedene Programme stellen eine Chat-Oberfläche bereit und greifen im Hintergrund auf Ollama zu.

Ollama startet dafür eine lokale Schnittstelle unter:

http://localhost:11434

Eine kompatible Oberfläche kann darüber Modelle auswählen, Chats speichern und Dokumente verarbeiten. Vor der Installation sollte geprüft werden, ob die Anwendung wirklich ausschließlich den lokalen Ollama-Dienst verwendet oder zusätzlich eigene Cloud-Funktionen aktiviert.

Gerade bei vertraulichen Firmendaten ist „Ollama läuft lokal“ allein noch keine Garantie dafür, dass die gesamte Softwarekette lokal bleibt.

Zugriff aus dem Netzwerk absichern

Für den privaten PC sollte Ollama normalerweise nur lokal erreichbar sein. Eine direkte Portfreigabe im Router ist keine gute Idee. Die Schnittstelle besitzt in der Grundkonfiguration keine vollständige Benutzerverwaltung, wie man sie von einem öffentlichen Onlinedienst erwarten würde.

Soll Ollama von mehreren Rechnern genutzt werden, gehören mindestens diese Punkte zur Planung:

  • Zugriff nur aus einem vertrauenswürdigen Netzwerk,
  • Firewall-Regeln für erlaubte Geräte,
  • vorgeschaltete Anmeldung,
  • verschlüsselte Verbindung,
  • getrennte Benutzerrechte,
  • Begrenzung gleichzeitiger Anfragen,
  • regelmäßige Updates.

Für den Zugriff von unterwegs ist ein VPN meist einfacher und sicherer als ein offen erreichbarer API-Port.

Häufige Ursachen für langsame Antworten

Wenn die Ausgabe nur Wort für Wort vorankommt, liegt es nicht automatisch an einer fehlerhaften Installation. Häufig wurde schlicht ein zu großes Modell gewählt.

Weitere mögliche Ursachen sind:

  • das Modell läuft vollständig auf der CPU,
  • der Grafikspeicher ist zu klein,
  • andere Programme belegen einen großen Teil des VRAM,
  • der Gesprächsverlauf ist bereits sehr lang,
  • mehrere Anfragen laufen gleichzeitig,
  • Windows verwendet einen alten Grafiktreiber,
  • Modelle liegen auf einem langsamen oder fast vollen Laufwerk.

Am einfachsten ist ein Vergleich mit einem deutlich kleineren Modell. Wird dieses wesentlich schneller ausgeführt, funktioniert Ollama grundsätzlich und die Hardware ist der begrenzende Faktor.

Lokale KI realistisch einschätzen

Ollama macht den Einstieg in lokale Sprachmodelle einfach, hebt die technischen Grenzen des Rechners aber nicht auf. Ein kompaktes Modell auf einem Desktop-PC kann Texte überarbeiten, Fragen beantworten und beim Programmieren helfen. Es erreicht jedoch nicht automatisch die Fähigkeiten großer kommerzieller Cloud-Dienste.

Dafür bietet der lokale Betrieb andere Vorteile: Daten bleiben unter eigener Kontrolle, die Nutzung ist auch ohne dauerhafte Internetverbindung möglich und eigene Anwendungen können über die lokale API angebunden werden.

Für den ersten Versuch genügt deshalb ein kleines Modell. Erst wenn klar ist, wofür die KI regelmäßig eingesetzt werden soll, lohnt sich die Entscheidung über mehr RAM, eine größere Grafikkarte oder einen zentralen GPU-Server. So wird aus einem interessanten Test ein Werkzeug, das zur tatsächlichen Aufgabe und zur vorhandenen Hardware passt.