Lokale Sprach­modelle: KI ohne US-Cloud betreiben

Viele Geschäftsführer wollen KI im Betrieb nutzen, zögern aber aus einem konkreten Grund: Die Daten, die ein Sprachmodell verarbeiten soll – Kundenanfragen, Verträge, Personaldaten – dürfen nicht einfach in eine US-Cloud wandern. Genau hier setzt der Eigenbetrieb an: Ein Modell, das auf dem eigenen Server läuft, sieht kein fremder Anbieter. Dieser Artikel erklärt, wann sich ein lokal betriebenes Sprachmodell lohnt, was es an Hardware verlangt und wo seine Grenzen liegen – für alle, die KI in Automatisierungen einsetzen wollen, ohne die Kontrolle über ihre Daten abzugeben.

Was „lokal“ konkret bedeutet

Bei einem Cloud-Dienst wie den Modellen von OpenAI oder Anthropic schicken Sie jede Anfrage über das Internet an den Anbieter, der sie auf seinen Servern verarbeitet. Ein lokales Modell dreht das um: Die Software läuft auf Ihrer eigenen Maschine, und die Anfrage verlässt sie nicht. Das gängigste Werkzeug dafür ist Ollama – ein Programm, das offene Modelle herunterlädt und lokal ausführt. Die Entwickler formulieren es unmissverständlich: „Ollama runs locally. We don't see your prompts or data when you run locally“ (Ollama-Doku). Einmal heruntergeladen, arbeitet das Modell offline; für die Inferenz – also die eigentliche Antwort – braucht es keine Internetverbindung mehr.

Der eigentliche Grund: Datenschutz und Souveränität

Für die meisten Betriebe ist nicht die Neugier der Treiber, sondern die Rechtslage. Sobald personenbezogene Daten an einen Anbieter außerhalb der EU gehen, brauchen Sie eine tragfähige Grundlage für diesen Drittlandtransfer – und müssen die Verarbeitung sauber dokumentieren. Ein lokal betriebenes Modell umgeht das Thema, weil die Daten das eigene Haus nie verlassen. Was bei der KI-Nutzung sonst noch zu beachten ist, habe ich in der DSGVO-Checkliste für Automatisierung zusammengetragen.

Ein lokal betriebenes Sprachmodell verarbeitet Ihre Daten auf Ihrem eigenen Server – die Eingaben verlassen das Haus nicht und wandern nicht in eine fremde Cloud. Damit entfällt der heikelste Punkt vieler KI-Projekte: der Transfer personenbezogener Daten in ein Drittland. Der Preis dafür ist eigene Hardware und etwas Betriebsaufwand – kein Datenschutzrisiko.

Das ist kein theoretischer Vorteil. Gerade in Kanzleien, Arztpraxen oder der Personalabteilung ist der Schutzbedarf oft so hoch, dass der Weg in eine fremde Cloud von vornherein ausscheidet – und der Eigenbetrieb die einzige Variante ist, KI überhaupt seriös einzusetzen.

Was die Hardware verlangt

Der Preis für die Kontrolle ist eigene Rechenleistung. Wie viel, hängt von der Größe des Modells ab. Modelle gibt es in sehr unterschiedlichen Größenklassen – von unter einer Milliarde bis über 400 Milliarden Parametern (Ollama-Modellbibliothek). Als grobe Orientierung, gerechnet mit der üblichen 4-Bit-Quantisierung (einer speichersparenden Kompression der Modellgewichte):

Modellgröße	Grober Speicherbedarf (RAM/VRAM)
Klein (1–8 Mrd. Parameter)	ab ~8 GB
Mittel (13–14 Mrd.)	~16 GB
Groß (30–34 Mrd.)	~24 GB
Sehr groß (ab 70 Mrd.)	40 GB und mehr

Eine Grafikkarte (GPU) ist nicht zwingend – kleine Modelle laufen auch auf der CPU, dann aber spürbar langsamer. Für den produktiven Einsatz mit brauchbarem Tempo führt bei größeren Modellen kaum ein Weg an einer GPU mit genügend Speicher vorbei. Die Kostenstruktur verschiebt sich damit grundlegend: weg von der Gebühr pro Anfrage, hin zu einer einmaligen Anschaffung plus laufendem Betrieb. Ob sich das gegenüber einem Cloud-Modell rechnet, ist am Ende eine Mengenfrage – die Logik dahinter habe ich unter was KI im Workflow kostet durchgerechnet.

Was ein lokales Modell kann – und was nicht

Hier ist Ehrlichkeit wichtig, denn hier werden die meisten Erwartungen enttäuscht. Die frei verfügbaren Modelle, die Sie lokal betreiben, sind den größten Cloud-Modellen bei anspruchsvollem Schlussfolgern in der Regel unterlegen. Für viele Aufgaben in einer Automatisierung spielt das aber keine Rolle:

• Gut geeignet: eng umrissene Aufgaben – eine E-Mail in Kategorien einsortieren, ein Datum oder eine Rechnungsnummer aus einem Text ziehen, eine kurze Zusammenfassung erstellen, Freitext in ein festes Format bringen. Dafür genügt oft schon ein kleines Modell.
• Schwieriger: langes, mehrstufiges Reasoning, Recherche über viele Quellen, anspruchsvolle Textproduktion. Hier ist ein starkes Cloud-Modell meist noch klar überlegen.

Die praktische Konsequenz: Prüfen Sie zuerst, ob die Aufgabe überhaupt ein Sprachmodell braucht – viele vermeintliche KI-Schritte sind in Wahrheit feste Wenn-Dann-Regeln, die ganz ohne Modell und ohne Gebühr auf Ihrem Server rechnen. Und wenn es ein Modell braucht, wählen Sie das kleinste, das die Aufgabe noch sauber löst.

So binden Sie ein lokales Modell in n8n an

n8n arbeitet mit lokalen Modellen genauso zusammen wie mit Cloud-Diensten. Für die KI-Bausteine – etwa den AI Agent oder die Basic LLM Chain – hängen Sie statt eines OpenAI- oder Anthropic-Sub-Nodes den Ollama Chat Model-Node an. In den Zugangsdaten tragen Sie die Adresse Ihrer Ollama-Instanz ein; läuft sie auf demselben Rechner, ist das standardmäßig http://localhost:11434 (n8n-Doku). Läuft n8n selbst in einem Docker-Container, verweisen Sie stattdessen auf http://host.docker.internal:11434, damit der Container den Host erreicht (Ollama-Doku). Anschließend wählen Sie im Node über ein Dropdown das gewünschte Modell – der Rest des Workflows bleibt unverändert. Wie ein solcher Eigenbetrieb sauber aufgesetzt und betrieben wird, ordne ich in der n8n-Beratung ein.

„Offen“ heißt nicht „beliebig nutzbar“

Ein Punkt, der leicht übersehen wird: Die meisten dieser Modelle sind quelloffen im Sinne von „frei herunterladbar“ (open weight), aber nicht automatisch für jeden Zweck frei. Die Lizenzen unterscheiden sich erheblich – von der sehr permissiven Apache-2.0-Lizenz (etwa bei Modellen von Mistral oder Qwen) bis zu eigenen Community-Lizenzen mit Nutzungsbeschränkungen, wie sie Metas Llama-Modelle mitbringen. Vor dem kommerziellen Einsatz lohnt der kurze Blick in die konkrete Lizenz des Modells, das Sie verwenden.

Wann sich der Eigenbetrieb lohnt

Als Faustregel aus Gesprächen mit Betrieben: Ein lokales Modell ist die richtige Wahl, wenn mindestens einer dieser drei Punkte zutrifft – die Daten sind so sensibel, dass eine externe Verarbeitung ausscheidet; das Volumen ist hoch und konstant, sodass sich die Hardware amortisiert; oder die Aufgabe ist eng genug, dass ein kleines Modell genügt. Das Cloud-Modell bleibt die bessere Wahl bei schwankendem oder geringem Volumen, wenn Sie die höchste Qualität für schwierige Aufgaben brauchen oder wenn niemand da ist, der einen eigenen Server betreuen kann.

Beides ist legitim, und oft ist die Antwort ein Nebeneinander: das lokale Modell für die sensiblen Massenaufgaben, das Cloud-Modell für die wenigen wirklich schwierigen Fälle. Wenn Sie einschätzen wollen, welcher Weg zu Ihren Daten und Ihrem Volumen passt, schauen wir uns das im kostenlosen Prozess-Check gemeinsam an – ehrlich gerechnet, inklusive der Frage, ob ein lokales Modell den Aufwand in Ihrem Fall überhaupt wert ist.