Was ist lokale KI?
Lokale KI bezeichnet KI-Modelle, vor allem große Sprachmodelle (LLMs), die nicht über einen öffentlichen Cloud-Dienst laufen, sondern auf Infrastruktur unter Ihrer Kontrolle. Das kann ein KI-Server im eigenen Serverraum sein. Oder eine dedizierte Instanz in Deutschland, die nur Ihr Unternehmen nutzt. Manche sagen auch private KI oder KI ohne Cloud.
Bei ChatGPT, Copilot oder Gemini wandert Ihre Anfrage dagegen ins Rechenzentrum des Anbieters. Das funktioniert gut. Nur haben Sie wenig Einblick, was dort mit den Daten passiert, und Sie hängen an Modell, Preisliste und Nutzungsbedingungen des Anbieters.
Open-Weight-Modelle als Grundlage
Möglich wird das durch Open-Weight-Modelle. Hersteller wie Meta, Mistral AI, Alibaba, Google oder OpenAI veröffentlichen die trainierten Gewichte einiger Modelle zum Download. Wer passende Hardware hat, kann ein solches LLM lokal betreiben, notfalls ganz ohne Internet. Vorsicht: Open-Weight ist nicht automatisch Open Source. Prüfen Sie die Lizenz vor dem produktiven Einsatz.
Lokale KI vs. Cloud-KI wie ChatGPT und Copilot
Beide Wege haben ihre Berechtigung. Die Tabelle zeigt die wichtigsten Unterschiede aus Sicht eines mittelständischen Unternehmens.
| Kriterium | Lokale KI (on-premise oder Private Cloud) | Cloud-KI (z. B. ChatGPT, Copilot) |
|---|---|---|
| Datenstandort | Im eigenen Haus oder in einer dedizierten Instanz in Deutschland. | Rechenzentren des Anbieters, je nach Vertrag auch außerhalb der EU. |
| DSGVO und AVV | AVV mit einem deutschen Dienstleister. Beim Betrieb im eigenen Haus verlassen die Daten Ihr Netz gar nicht. | Business-Tarife bieten meist einen AVV. Drittlandbezug und Unterauftragnehmer müssen Sie trotzdem bewerten. |
| Kosten-Modell | Feste Monatspauschale oder Investition, unabhängig von der Zahl der Anfragen. | Lizenz pro Nutzer oder Abrechnung pro Token. Steigt mit Nutzung und Teamgröße. |
| Modellwahl | Freie Wahl unter Open-Weight-Modellen, mehrere Modelle parallel möglich. | Die Modelle des jeweiligen Anbieters, einschließlich der größten Frontier-Modelle. |
| Offline-Betrieb | On-premise vollständig möglich. | Nicht möglich. |
| Anpassung an eigene Daten | Wissensdatenbank und Anbindung an ERP oder DMS direkt im eigenen Netz. Fine-Tuning ist möglich. | Über Uploads und Konnektoren. Die Daten liegen dann beim Anbieter. |
| Aufwand | Hardware, Betrieb und Updates sind nötig. Bei einem betreuten Angebot übernimmt das der Dienstleister. | Sehr gering zum Start. Ein Konto genügt. |
Wo ist die Cloud stärker? Bei den größten Frontier-Modellen. Die leistungsfähigsten Modelle von OpenAI, Anthropic oder Google gibt es nicht zum Download, und bei sehr komplexen Analysen oder anspruchsvollem Code liegen sie oft vorn. Für Zusammenfassungen, Entwürfe und Fragen an eigene Dokumente reichen aktuelle Open-Weight-Modelle dagegen gut aus. Damit ist lokale KI für viele Teams eine echte ChatGPT-Alternative.
Der Mittelweg: hybrid
Sie müssen sich nicht für eine Seite entscheiden. Bei einem hybriden Ansatz läuft der Großteil lokal, nur ausgewählte Aufgaben gehen an ein Cloud-Modell. So arbeitet die KI-Box Hybrid: Namen, Adressen und Vertragspartner werden auf der Box durch Platzhalter ersetzt, bevor eine Anfrage an OpenAI oder Anthropic geht.
Was ist Ihnen wichtig?
Gewichten Sie die sechs Kriterien. Die Balken zeigen, welcher Weg zu Ihren Prioritäten passt.
Die Bewertung von 1 bis 5 pro Kriterium ist eine redaktionelle Einschätzung und ersetzt keine Beratung.
Für wen lohnt sich lokale KI im Unternehmen?
Kurze Antwort: für alle, die mit vertraulichen Daten arbeiten und KI nicht nur ausprobieren, sondern im Alltag nutzen wollen. Einige Branchen spüren den Druck besonders.
- Kanzleien: Mandatsakten und Verträge unterliegen der Verschwiegenheit. Mit lokaler KI durchsuchen Sie Akten und erstellen Entwürfe, ohne dass Mandantendaten bei einem US-Anbieter landen.
- Steuerberatung: Lohn-, Finanz- und Steuerdaten gehören zum Sensibelsten überhaupt. Eine lokale KI sortiert Anfragen vor oder erläutert Bescheide und bleibt dabei im eigenen Netz.
- Gesundheitswesen: Gesundheitsdaten sind nach Art. 9 DSGVO besonders geschützt. Praxen und Kliniken profitieren, wenn Dokumentation und Arztbriefe im Haus bleiben.
- Industrie und Mittelstand: Konstruktionsdaten, Kalkulationen und Kundenlisten sind oft das eigentliche Kapital. Die gibt man nicht gern aus der Hand.
- Öffentliche Verwaltung: Behörden brauchen nachvollziehbare Datenwege und häufig eine Verarbeitung in Deutschland. Lokale KI bringt das von Haus aus mit.
Typische Signale
- Mitarbeitende nutzen private ChatGPT-Konten für Firmenaufgaben, und niemand weiß, welche Daten dort landen.
- Ihr Datenschutzbeauftragter hat Cloud-KI bisher abgelehnt oder nur mit vielen Auflagen erlaubt.
- Mehrere Teams wollen KI nutzen, und Lizenzen pro Kopf würden schnell ins Geld gehen.
- Sie möchten KI mit ERP, DMS oder Ticketsystem verbinden.
Was kann lokale KI heute konkret?
Mehr, als viele erwarten. Aktuelle Open-Weight-Modelle schreiben ordentliches Deutsch und verarbeiten lange Dokumente. Ein paar Beispiele:
Dokumente und Verträge befragen
„Welche Kündigungsfrist gilt in diesem Rahmenvertrag?“ Statt 40 Seiten zu lesen, stellen Sie eine Frage. Die Antwort kommt mit Verweis auf die Fundstelle.
E-Mail-Entwürfe und Korrespondenz
Reklamation beantworten, Angebot nachfassen, Absage formulieren. Die KI schreibt den Entwurf, Sie prüfen und schicken ab. Der Text hat das Haus dabei nie verlassen.
Wissensdatenbank mit Quellenangaben
Die KI durchsucht freigegebene Handbücher, Richtlinien und Prozessbeschreibungen und nennt zu jeder Antwort die Quelle. Fachleute sprechen von Retrieval-Augmented Generation, kurz RAG. In der AI Zentrale heißt das Wissensspeicher.
ERP- und Datenbankabfragen
„Welche Kunden haben im letzten Quartal weniger bestellt als im Vorjahr?“ Über Schnittstellen übersetzt eine lokale KI solche Fragen in Abfragen. Voraussetzung sind eine saubere Anbindung und klare Berechtigungen.
Protokolle und Zusammenfassungen
Aus Stichpunkten oder einer Transkription entsteht ein Protokoll mit Aufgaben und Zuständigkeiten. Lange Berichte schrumpfen aufs Wesentliche.
Übersetzungen
Technische Dokumentation oder Lieferantenkorrespondenz übersetzen lokale Modelle zügig. Bei Texten mit rechtlicher Wirkung bleibt ein menschlicher Blick Pflicht.
Code und IT
Entwickler lassen sich Code erklären oder Tests schreiben, ohne Quellcode nach außen zu geben. Über eine OpenAI-kompatible API lassen sich viele bestehende Werkzeuge direkt auf das lokale Modell umstellen.
Welche Hardware braucht lokale KI?
Der wichtigste Faktor ist der Grafikspeicher der GPU, kurz VRAM. Das Modell muss vollständig oder größtenteils hineinpassen, sonst wird es zäh. Prozessor und Arbeitsspeicher spielen eine Nebenrolle.
Faustregel: Parameter mal Bytes
Die Größe eines Modells wird in Parametern angegeben, etwa 8, 30 oder 70 Milliarden. In 16-Bit-Genauigkeit belegt jeder Parameter zwei Bytes. Ein Modell mit 8 Milliarden Parametern braucht also rund 16 GB, nur für die Gewichte. Dazu kommt Speicher für den Kontext.
Quantisierung, einfach erklärt
Quantisierung speichert die Gewichte mit weniger Genauigkeit, etwa in 4 statt 16 Bit. Wie bei einem stärker komprimierten Foto: Die Datei schrumpft, das Motiv bleibt erkennbar. Bei 4 Bit braucht ein Modell ungefähr ein Viertel des Speichers. Die Qualität sinkt meist nur leicht, je nach Modell und Aufgabe.
Grobe Größenklassen
- Kleine Modelle mit bis zu etwa 10 Milliarden Parametern laufen quantisiert auf einer einzelnen GPU. Sie reichen für Zusammenfassungen und einfache Entwürfe.
- Mittlere Modelle mit etwa 20 bis 35 Milliarden Parametern brauchen eine GPU mit viel VRAM. Für die meisten Büroaufgaben sind sie ein guter Kompromiss.
- Große Modelle ab etwa 70 Milliarden Parametern erfordern mehrere GPUs. Sie lohnen sich bei anspruchsvollen Analysen und vielen Nutzern.
- Mixture-of-Experts-Modelle rechnen pro Anfrage nur mit einem Teil ihrer Parameter. Sie antworten schneller, brauchen aber Speicher für das ganze Modell.
Gleichzeitige Nutzer
Ein Modell, das einer Person flott antwortet, kann bei 30 gleichzeitigen Anfragen ins Stocken geraten. Jede parallele Anfrage belegt zusätzlichen Speicher. Planen Sie deshalb nach realistischer Gleichzeitigkeit, nicht nach Mitarbeiterzahl. Und denken Sie an Kühlung und Geräuschpegel, falls der KI-Server nicht im Serverraum steht.
Welche Modelle laufen lokal?
Die Auswahl an Open-Weight-Modellen ist groß. Und sie wächst ständig. Die wichtigsten Familien im Überblick:
- Llama von Meta ist in vielen Größen verfügbar. Die Lizenz enthält eigene Bedingungen.
- Mistral stammt von einem französischen Hersteller. Für manche Unternehmen ist die europäische Herkunft ein Argument.
- Qwen von Alibaba deckt viele Sprachen ab und bietet auch spezialisierte Code-Modelle.
- Gemma von Google umfasst kompakte Modelle, die auch auf kleinerer Hardware gut laufen.
- gpt-oss ist die Open-Weight-Reihe von OpenAI, also vom Hersteller von ChatGPT.
Welches Modell ist das beste? Pauschal lässt sich das nicht sagen. Neue Versionen erscheinen im Abstand weniger Monate, die Rangliste von heute ist bald Makulatur. Testen Sie lieber mit Ihren eigenen Aufgaben: echte Dokumente, echte Fragen, echte Nutzer. Oft lohnt es sich, ein schnelles Modell für den Alltag und ein größeres für knifflige Fälle anzubieten.
Bei KI in der Box ist die Modellwahl keine Entscheidung für die Ewigkeit. Neue Versionen werden nach Prüfung eingespielt, und Ihre IT legt in der AI Zentrale fest, welches Team welches Modell nutzt.
Datenschutz und Recht: DSGVO, AVV und EU AI Act
DSGVO
Sobald personenbezogene Daten in eine KI fließen, gilt die DSGVO. Ein Name in einer E-Mail reicht. Lokale KI macht die DSGVO nicht überflüssig, aber einfacher: Sie kennen den Datenweg und müssen keinen Drittlandtransfer bewerten. Rechtsgrundlage, Löschkonzept und Zugriffsrechte bleiben Ihre Aufgabe. Bei umfangreicher Verarbeitung sensibler Daten kann eine Datenschutz-Folgenabschätzung nötig sein.
AVV
Betreibt ein Dienstleister die KI für Sie, etwa in einer Private Cloud oder per Fernwartung, brauchen Sie einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Bei KI in der Box ist der AVV für On-Premise und Private Cloud enthalten. Für Berufsgeheimnisträger wie Anwälte, Steuerberater und Ärzte kommen § 203 StGB und das jeweilige Berufsrecht hinzu.
EU AI Act
Die KI-Verordnung der EU ordnet KI-Systeme nach Risiko ein. Wer ein Sprachmodell intern für Texte, Recherche oder Wissensmanagement nutzt, hat meist überschaubare Pflichten. Eine gilt bereits seit Februar 2025: Mitarbeitende, die mit KI arbeiten, brauchen ausreichende KI-Kompetenz. Strenger wird es bei Hochrisiko-Anwendungen, etwa bei der Auswahl von Bewerbern. Die Fristen sind gestaffelt und werden politisch teils nachjustiert. Prüfen Sie den aktuellen Stand.
Lokale KI befreit nicht vom AI Act. Sie erleichtert aber die Dokumentation, denn Sie wissen, welches Modell läuft und wohin die Daten gehen.
Was kostet lokale KI?
Die ehrliche Antwort: Es hängt von Modellgröße, Nutzerzahl und Betriebsform ab. Die Kostenblöcke sind aber immer dieselben.
- Für die Hardware kaufen Sie einen GPU-Server oder mieten eine dedizierte Instanz.
- Der Betrieb umfasst Updates, Sicherheitspatches, Monitoring und Backups. Irgendwer muss das machen.
- Strom und Kühlung fallen beim eigenen Server laufend an.
- Die Arbeitszeit Ihrer IT wird gern unterschätzt, vor allem bei Modellwechseln und Schnittstellen.
- Schulung entscheidet darüber, ob das Team die KI am Ende wirklich nutzt.
Flatrate oder Abrechnung pro Token?
Cloud-KI wird meist pro Nutzer oder pro Token abgerechnet. Das ist günstig, solange wenige Leute wenig damit machen. Bei langen Dokumenten oder automatisierten Workflows steigt die Rechnung mit jeder Anfrage. Lokale KI dreht das um. Die Kosten bleiben fix, egal wie viel gefragt wird.
Ein Preisbeispiel
KI in der Box bietet lokale KI als betreuten Service mit Token-Flatrate an. Start kostet 749 € pro Monat, Team 1.299 € pro Monat, jeweils zzgl. MwSt. Unternehmen wird individuell kalkuliert. Enthalten sind Hardware oder Instanz, AI Zentrale, API, Betrieb, Updates, AVV, bis zu drei Stunden Onboarding und Support per Telefon und E-Mail. In der Private Cloud ist jede Stufe monatlich kündbar, on-premise gilt eine Frist von drei Monaten. Mehr unter Preise und Rechner.
Ab wann rechnet sich das?
Legen Sie zwei Zahlen nebeneinander: die Lizenz- oder Tokenkosten für alle, die KI regelmäßig nutzen sollen, und die Monatspauschale der lokalen Lösung. Je mehr Menschen und Prozesse die KI nutzen, desto eher kippt die Rechnung zugunsten der Pauschale. Bei einer Handvoll gelegentlicher Nutzer ist ein Cloud-Abo oft günstiger. Auch das gehört dazu.
In 5 Schritten zur lokalen KI
- Anwendungsfälle sammeln: Fragen Sie in den Fachabteilungen, wo heute Zeit verloren geht. Drei konkrete Aufgaben schlagen jede lange Wunschliste.
- Daten und Rahmen klären: Legen Sie fest, welche Dokumente die KI nutzen darf und wer was sehen soll. Holen Sie den Datenschutzbeauftragten früh dazu.
- Betriebsform wählen: Entscheiden Sie zwischen eigenem Server, Private Cloud und Hybrid. Den Ausschlag geben Datenlage, IT-Ressourcen und Budget.
- Pilot starten: Testen Sie einige Wochen mit einer kleinen Gruppe und echten Aufgaben. Sammeln Sie Rückmeldungen.
- Ausrollen und schulen: Geben Sie die KI schrittweise für weitere Teams frei, mit klaren Regeln und einer kurzen Einweisung. Dann läuft's.
Mit der Private KI-Cloud ist ein Pilot in der Regel nach rund 24 Stunden startklar (Stufen Start und Team, solange der Vorrat reicht). Ein späterer Wechsel auf eine Box im eigenen Haus ist möglich.
Checkliste: Ist Ihr Unternehmen bereit für lokale KI?
- Sie können mindestens drei konkrete Aufgaben benennen, bei denen KI Zeit sparen soll.
- Sie wissen, welche Daten vertraulich sind und wer damit arbeitet.
- Eine verantwortliche Person treibt das Projekt intern voran.
- Ihr Datenschutzbeauftragter ist eingebunden.
- Sie haben geklärt, ob die KI im eigenen Haus oder in einer Private Cloud laufen soll.
- Die wichtigsten Dokumente liegen digital vor.
- Es gibt Regeln, wofür Mitarbeitende KI nutzen dürfen.
- Sie haben ein Budget und wissen, ab wann sich die Lösung rechnen soll.
Sechs oder mehr Haken? Dann sind Sie gut aufgestellt. Weniger? Halb so wild, das lässt sich im Erstgespräch sortieren.
Häufige Fragen zu lokaler KI
Was ist der Unterschied zwischen lokaler KI und ChatGPT?
Bei lokaler KI läuft das Sprachmodell auf Hardware unter Ihrer Kontrolle, im eigenen Haus oder in einer dedizierten Instanz in Deutschland. Bei ChatGPT werden Ihre Eingaben auf Servern von OpenAI verarbeitet. Lokale KI nutzt Open-Weight-Modelle, ChatGPT die Modelle des Anbieters.
Ist lokale KI DSGVO-konform?
Lokale KI erleichtert einen DSGVO-konformen Einsatz deutlich, weil die Daten Ihr Netz oder Deutschland nicht verlassen. Automatisch konform ist sie trotzdem nicht. Rechtsgrundlage, Zugriffsrechte und Löschkonzept müssen Sie weiterhin regeln, bei externem Betrieb zusätzlich einen AVV abschließen.
Welche Hardware brauche ich, um ein LLM lokal zu betreiben?
Entscheidend ist der Grafikspeicher (VRAM) der GPU. Kleine Modelle laufen quantisiert auf einer einzelnen GPU, große Modelle brauchen mehrere GPUs. Der genaue Bedarf hängt von Modellgröße, Dokumentlänge und der Zahl gleichzeitiger Nutzer ab.
Ist lokale KI so gut wie ChatGPT?
Für viele Alltagsaufgaben wie Zusammenfassungen, E-Mail-Entwürfe oder Fragen an eigene Dokumente liefern aktuelle Open-Weight-Modelle gute Ergebnisse. Bei sehr komplexen Aufgaben sind die größten Cloud-Modelle oft stärker. Ein hybrider Ansatz verbindet beides.
Kann lokale KI ohne Internet laufen?
Ja. Ein On-Premise-Server lässt sich vollständig offline betreiben. Für Updates und Fernwartung ist eine Internetverbindung aber sinnvoll. Eine Private Cloud braucht naturgemäß eine Verbindung, etwa per VPN.
Was kostet lokale KI für Unternehmen?
Das hängt von Modellgröße, Nutzerzahl und Betriebsform ab. Als betreuter Service beginnt KI in der Box bei 749 € pro Monat zzgl. MwSt., inklusive Token-Flatrate, Betrieb und Support. Bei eigener Hardware kommen Kosten für Betrieb, Strom und IT-Arbeitszeit hinzu.
Werden meine Daten zum Training von KI-Modellen verwendet?
Bei lokaler KI nicht, solange Sie es nicht selbst veranlassen. Das Modell läuft auf Ihrer Hardware oder Ihrer Instanz, Daten fließen nicht an den Modellhersteller zurück. Bei KI in der Box werden Ihre Daten nicht für das Training verwendet.
Wie schnell kann ein Unternehmen mit lokaler KI starten?
In der Private Cloud in der Regel innerhalb von rund 24 Stunden nach Vertragsabschluss, für die Stufen Start und Team und solange der Vorrat reicht. On-premise dauert es etwas länger, weil die Hardware geliefert und ins Netzwerk eingebunden wird. Den Zeitplan stimmen wir individuell mit Ihnen ab.