Open Source KI wirft für die IT-Leitung zwei getrennte Fragen auf: Was genau ist eigentlich offen und unter welchen Regeln darf es genutzt werden? Und wo soll die KI am Ende laufen?
Denn ein Modell auf eigenen Servern kann trotzdem strenge Lizenzregeln haben. Umgekehrt nutzt ein externer Cloud-Dienst manchmal frei verfügbare KI-Bausteine. Für eine gute Entscheidung müssen Sie deshalb Lizenzen, Datenwege und den laufenden Betrieb genau prüfen.
Was ist Open Source KI?
Open Source KI ist nach der OSI-Definition ein System, das Sie unter geeigneten Bedingungen nutzen, untersuchen, verändern und weitergeben dürfen. Dafür verlangt die Definition neben Parametern und Code auch ausreichende Informationen über die Trainingsdaten. Veröffentlichte Gewichte allein belegen diese Eigenschaften nicht.
Die Open Source Initiative, Open Source AI Definition 1.0, 2024, unterscheidet Dateninformationen, Code und Parameter. Die Dateninformationen sollen es Fachleuten ermöglichen, ein weitgehend gleichwertiges System nachzubauen. Die Definition verlangt nicht, alle Rohdaten zu veröffentlichen, die sich nicht teilen lassen. Sie verlangt aber detaillierte Angaben zu Herkunft, Auswahl und Verarbeitung sowie zu den verfügbaren Daten.
Open Source ist damit mehr als ein Download. Halten Sie für die IT-Prüfung den genauen Modellstand, die Lizenz und die verfügbaren Komponenten fest. Nutzung, Anpassung und Weitergabe können an Lizenzbedingungen gebunden sein. Andere Rechte und Pflichten verschwinden durch eine offene Lizenz nicht. Das ist keine Rechtsberatung.
Training und Inferenz sind zwei verschiedene Aufgaben. Beim Training entstehen oder verändern sich die Modellparameter. Bei der Inferenz nutzt ein vorhandenes Modell sein Wissen, um Ausgaben zu erzeugen. Für die Entscheidung über den lokalen Betrieb zählt hier die Inferenz. Ein eigenes Basismodelltraining setzen wir nicht voraus.
Was ist der Unterschied zwischen Open Source und Open Weight Modellen?
Open Weight bedeutet, dass die Modellgewichte verfügbar sind. Daraus folgt noch nicht, dass das Modell nach der OSI-Definition Open Source ist; ob weitere Komponenten offenliegen und welche Nutzung erlaubt ist, prüfen Sie am konkreten Modell. Ob ein Modell Open Source ist und wo es läuft, sind zwei getrennte Fragen.
| Modelltyp | Zu prüfen | Was daraus nicht folgt | Konsequenz für die IT |
|---|---|---|---|
| Open Source nach OSI-Definition | Dateninformationen, Code, Parameter und geeignete Bedingungen | Freiheit von sämtlichen anderen Rechten und Pflichten | Modellstand und Lizenz dokumentieren |
| Open Weight | Verfügbare Gewichte und konkrete Nutzungsbedingungen | Offenlegung aller Trainingsbestandteile oder uneingeschränkte Nutzung | Anpassung, Weitergabe und Einsatzzweck getrennt prüfen |
| Extern bereitgestelltes Modell | Vertragsbedingungen, Datenfluss und technische Leistungen | Automatische Zulässigkeit durch den Serverstandort | Betrieb und Datenverarbeitung fachlich prüfen |
Ein offen verfügbares Modell kann lokal oder bei einem Dienstleister laufen. Ein Cloud-Angebot kann ebenfalls auf offenen Gewichten beruhen. Die Frage der Lizenz ist deshalb eine andere als die Frage nach Datenübermittlung und Infrastruktur.
Herstellerfamilien sind Beispiele für Kategorien und keine pauschalen Lizenzzusagen. Eine rechtliche Bewertung muss sich auf die konkrete Version und ihre Bedingungen beziehen. Die IT sollte keine Freigabe für eine ganze Modellfamilie aus einer älteren Präsentation übernehmen. Das ist keine Rechtsberatung.
Wann lohnt sich eine lokal betriebene KI statt einer Cloud-KI?
Eine lokale KI kommt vor allem dann in Frage, wenn Sie offline arbeiten müssen oder Daten streng begrenzen wollen. Ob sie sich rechnet, hängt von Aufgabenqualität, Last, Infrastruktur und Pflegeaufwand ab. Eine Cloud-Lösung prüfen Sie gegen dieselben Anforderungen, denn der Standort allein entscheidet nicht.
Das folgende Prüfraster nennt die wichtigsten Kriterien, statt pauschale Vor- und Nachteile zu versprechen:
| Kriterium | Lokal betriebene Inferenz | Externer Dienst mit EU-Verarbeitung | Externer Dienst mit weiteren Datenflüssen |
|---|---|---|---|
| Schutzbedarf | Zugriffe, Logs und ausgehende Verbindungen kontrollieren | Vertrag, Unterauftragnehmer und konkrete Verarbeitung prüfen | Zusätzlich relevante Übermittlungen und Zugriffe klären |
| Abhängigkeit | Hardware, Runtime und Modellpflege bleiben Abhängigkeiten | API, Verfügbarkeit und Vertragsänderungen prüfen | Dieselben technischen und vertraglichen Fragen prüfen |
| Aufgabenqualität | Mit gewähltem Modell und Hardware messen | Mit angebotener Funktion und Konfiguration messen | Mit angebotener Funktion und Konfiguration messen |
| Betriebsaufwand | Eigene Kapazität, Wartung und Wiederherstellung planen | Integration, Datenpflege und Überwachung verbleiben | Integration, Datenpflege und Überwachung verbleiben |
| Lastspitzen | Reserven, Warteschlangen und Reaktionszeiten testen | Quoten, Limits und Latenz testen | Quoten, Limits und Latenz testen |
| Offline-Anforderung | Nur ohne externe Abhängigkeiten erfüllt | Netzwerkverbindung zum Dienst erforderlich | Netzwerkverbindung zum Dienst erforderlich |
Ein lokales Sprachmodell ist nicht automatisch ein offlinefähiger Gesamtprozess. Recherche, Telemetrie oder externe Werkzeuge können weiter Daten übermitteln. Prüfen Sie daher die gesamte Anwendung einschließlich ihrer Integrationen.
Ebenso wenig erlaubt ein EU-Standort automatisch die Verarbeitung aller Kundendaten. Zweck, Rechtsgrundlage, Zugriffswege und Vertragsbedingungen sollten Sie gesondert prüfen. Die allgemeinen Grundsätze enthält die Übersicht der Europäischen Kommission zu den Datenschutzgrundsätzen. Das ist keine Rechtsberatung. Der AI-Act-Beitrag behandelt zusätzlich die Transparenzfrage.
Muss ein Prozess ohne Internetverbindung laufen, braucht er eine lokale Datenverarbeitung. Das heißt aber nicht, dass ein Sprachmodell automatisch eine Produktion steuern kann. Sicherheitskritische Bereiche haben eigene strenge Regeln und Prüfpflichten. Wir raten ausdrücklich davon ab, eine Fabriksteuerung ungeprüft an ein Sprachmodell zu übergeben.
Die Einbindung in den Arbeitsablauf erläutert unser Leitfaden zu KI-Agenten.
Welche lokalen KI-Modelle eignen sich für Unternehmen?
Ein lokales Modell eignet sich, wenn es Ihre Aufgabe auf der vorgesehenen Hardware innerhalb der geforderten Qualitäts- und Zeitgrenzen erfüllt. Die Parameterzahl allein sagt weder etwas über die Qualität noch über den Hardwarebedarf. Prüfen Sie deshalb Lizenz, Kontextlänge und gleichzeitige Nutzung gesondert.
Wir empfehlen einen Test mit drei Aufgabenarten: strukturierte Extraktion, Zusammenfassung und werkzeuggestützter Ablauf. Diese Kategorien beschreiben die Prüfung, keine festen Modellgrößen oder garantierten Leistungsklassen.
Bei der Extraktion messen Sie, ob relevante Felder vollständig und korrekt erkannt werden. Bei der Zusammenfassung prüfen Sie besonders ausgelassene Einschränkungen und unbelegte Ergänzungen. Beim Werkzeuggebrauch testen Sie die Wahl des Werkzeugs sowie das Verhalten bei unklaren und fehlerhaften Rückmeldungen.
Zusätzlich zählen Speicherbedarf und Laufzeit Ihrer tatsächlichen Konfiguration. Gewichte, Laufzeitspeicher und der Zwischenspeicher für den Kontext brauchen Ressourcen. Quantisierung, Modellarchitektur und Parallelität verändern diesen Bedarf. Ein Modell mit einer bestimmten Parameterzahl braucht deshalb nicht automatisch mehrere Grafikkarten.
Das Kontextfenster begrenzt die verarbeitbare Tokenmenge eines Aufrufs. Tokens sind keine festen Worteinheiten. Ein größeres Kontextfenster garantiert zudem nicht, dass jede relevante Information zuverlässig berücksichtigt wird. Testen Sie lange und widersprüchliche Dokumente separat.
Was braucht man, um lokale KI zu installieren und zu betreiben?
Ein lokal gestartetes Modell ist noch kein produktiver Dienst. Sie müssen Zugriffe, Kapazität und Wiederherstellung für Ihre konkrete Anwendung planen. Hardwarebedarf und Betriebsaufwand prüfen Sie anhand Ihrer Konfiguration und der tatsächlichen Last, bevor Sie Hardware kaufen oder den Dienst für Mitarbeiter öffnen.
Ollama, vLLM und llama.cpp sind Beispiele für Inferenz-Werkzeuge und keine Rangfolge. Ein Start auf Testhardware zeigt zunächst nur, dass die gewählte Konfiguration läuft. Über den Gesamtaufwand oder die Eignung im Regelbetrieb sagt das noch nichts.
Für den produktiven Dauerbetrieb müssen Sie vier Bereiche vorbereiten:
- Speicher und Hardware: Prüfen Sie Gewichte, Kontext und gleichzeitige Anfragen auf der Runtime, die Sie wirklich nutzen. Quantisierung rechnet mit geringerer numerischer Genauigkeit und kann den Speicherbedarf senken. Ihre Auswirkung auf die Qualität der Ergebnisse müssen Sie prüfen. Die Verfahren stellt Hugging Face, Quantization overview, abgerufen 2026 dar.
- Netzwerkanbindung und Schnittstellensicherheit: Prüfen Sie, welche Schnittstellen der Dienst öffnet und wer sie erreichen kann. Begrenzen Sie den Zugriff mit passender Authentifizierung und Netzwerkkontrollen. Die Umsetzung muss zum Dienst und zu Ihrer Umgebung passen.
- Zugriffsrechte und Berechtigungskonzepte: Ein lokales Modell darf nicht ungefiltert auf alle Firmendaten zugreifen. Koppeln Sie einen Assistenten an interne Dateisysteme, muss technisch sichergestellt sein, dass Vertriebsmitarbeiter keine Gehaltslisten abfragen können.
- Überwachung und Modellpflege: Hersteller veröffentlichen regelmäßig verbesserte Modellgewichte. Das IT-Team braucht Wege für Updates, muss Ausfallzeiten abfangen und die Antwortzeiten (Latenz) unter Last laufend überwachen.
Wovon raten wir bei lokaler KI ab?
Wir raten davon ab, Hardware ohne Last- und Qualitätstest zu kaufen oder den Datenschutz nur deshalb freizugeben, weil das Modell lokal läuft. Auch das größte Modell ersetzt keine Prüfung der Aufgabe. Entscheiden Sie anhand dokumentierter Anforderungen und gemessener Ergebnisse Ihrer konkreten Konfiguration.
Prüfen Sie vor einer Beschaffung, ob vorhandene Testhardware, ein gemieteter Dienst oder eine andere zulässige Umgebung die nötigen Messungen erlaubt. Ergebnisse aus einer Cloud-Konfiguration lassen sich nicht einfach auf andere lokale Hardware übertragen. Halten Sie die Unterschiede fest und testen Sie das Zielsystem erneut.
Lokaler Betrieb begrenzt bestimmte externe Datenflüsse nur, wenn die gesamte Anwendung entsprechend eingerichtet ist. Prüfen Sie Zugriffe, Protokolle, Updates und angebundene Werkzeuge gesondert. Ein Datenschutzkonzept ist kein einzelner technischer Schalter. Das ist keine Rechtsberatung.
Die Modellgröße ist nur ein Faktor neben Architektur, Training, Präzision und Runtime. Ein größeres Modell kann für eine Aufgabe besser passen und für eine andere zu wenig Mehrwert bringen. Erst der Vergleich an denselben Aufgaben und Abnahmekriterien begründet eine Auswahl.
Was kostet lokale KI wirklich?
Die Kosten lokaler KI setzen sich aus Bereitstellung, Hardware, Nutzung, Prüfung und Pflege zusammen. Welche Position am meisten kostet, hängt von Last, Laufzeit und vorhandenen Ressourcen ab. Für den Vergleich mit externen Angeboten brauchen Sie denselben Zeitraum und dieselbe Qualität des abgenommenen Ergebnisses.
Eine realistische Kostenanalyse trennt klar zwischen Einmalkosten und Betriebskosten. Server und Beschleunigerkarten binden zu Beginn Investitionskapital. Dazu kommen laufende Kosten:
Moderne Hochleistungsgrafikkarten brauchen unter Volllast viel Strom und erzeugen Abwärme, die Ihre Umgebung abführen können muss. Dazu kommt der Betreuungsaufwand: IT-Spezialisten müssen Betriebssysteme patchen, Treiber aktualisieren und Schnittstellen überwachen.
Vergleichen Sie Modelle über denselben Zeitraum und dasselbe abgenommene Arbeitsergebnis. Ein eigener Dienst bindet Kapazität und Betriebspersonal. Externe Angebote können nach Verbrauch, Lizenz oder reservierter Kapazität abgerechnet werden. Bei geringer Nutzung verteilen sich lokale Fixkosten auf weniger Ergebnisse. Für die Entscheidung brauchen Sie Ihre gemessene Last und die nötige Kapazität. Die Vergleichsrechnung erklärt unser Beitrag zu KI-Kosten.
Fragen und Antworten zu Open Source KI
Die folgenden Antworten helfen bei der Auswahl und Vorbereitung einer lokalen KI. Entscheidend sind die konkrete Lizenz, die getestete Konfiguration und der betriebliche Datenfluss. Ein herunterladbares Modell allein beantwortet diese Fragen nicht, und ein Download ersetzt weder Test noch Prüfung.
Ist Open Source KI immer kostenlos?
Nein. Auch frei verfügbare Komponenten verursachen bei Bereitstellung und Nutzung Aufwand, etwa für Rechenleistung, Energie und qualifizierte Arbeitszeit. Ob der eigene Betrieb günstiger ist, hängt von der tatsächlich genutzten Kapazität und dem gesamten Aufwand ab.
Darf man Open-Weight-Modelle kommerziell nutzen?
Das hängt von der Lizenz des jeweiligen Anbieters ab. Manche Hersteller erlauben die uneingeschränkte geschäftliche Nutzung. Andere setzen Grenzen, etwa Obergrenzen für Nutzerzahlen oder Verbote für bestimmte Branchen. Prüfen Sie jedes Modell vor dem Produktivstart lizenzrechtlich. (Hinweis: Keine Rechtsberatung.)
Ist lokale KI automatisch DSGVO-konform?
Nein. Ein Serverraum im eigenen Haus entbindet nicht von den gesetzlichen Pflichten. Auch lokal müssen Sie sicherstellen, dass Berechtigungen geregelt sind, keine Daten unbefugt weitergegeben werden und die Rechte der Betroffenen erfüllt werden können. Das ist keine Rechtsberatung.
Reicht ein normaler Büro-PC für den Betrieb aus?
Für kompakte, stark quantisierte Modelle mit wenigen Milliarden Parametern kann eine moderne Workstation mit eigener Grafikkarte für Tests genügen. Ob eine Workstation, CPU-basierte Inferenz oder spezialisierte Hardware passt, zeigt der Last- und Qualitätstest Ihrer tatsächlichen Konfiguration.
Was bedeutet Quantisierung bei Sprachmodellen?
Quantisierung verringert die Zahlengenauigkeit der Modellgewichte. Statt mit 16-Bit-Fließkommazahlen arbeitet das Modell zum Beispiel mit 4-Bit-Ganzzahlen. Dadurch kann der Speicherbedarf sinken. Wie viel Sie sparen und wie gut die Ergebnisse bleiben, hängt vom Verfahren und von Ihrer Konfiguration ab.
Tipp: Testen Sie ein kleines offenes Modell zuerst auf einem vorhandenen Rechner mit Grafikkarte. So sammelt Ihr Team Erfahrung mit Installation und Antwortzeiten, bevor über Hardware entschieden wird.
Welcher nächste Schritt ist für IT und Geschäftsführung sinnvoll?
Dokumentieren Sie zuerst Aufgabe, Datenfluss und Betriebsanforderungen. Vergleichen Sie danach lokale und externe Kandidaten an denselben Testfällen. Entscheiden Sie anhand der gemessenen Qualität, des Aufwands und der fachlich geprüften Datenbedingungen, und halten Sie die Gründe für Ihre Wahl schriftlich fest.
Bestellen Sie nicht überstürzt Hardware. Besser ist ein Einstieg in drei Stufen:
- Klassifizieren Sie die tatsächlich verwendeten Daten. Auch Marketingtexte können personenbezogene oder vertrauliche Angaben enthalten.
- Testen Sie kleine Modelle auf vorhandener Testhardware: Sammeln Sie Erfahrungen mit Inferenz-Werkzeugen, bevor Sie Budgets verplanen.
- Treffen Sie eine bewusste Hosting-Entscheidung: Vergleichen Sie die geprüften lokalen und externen Konfigurationen. Halten Sie fest, welche Anforderungen erfüllt sind und welche Ausweitung erneut getestet werden muss.
Halten Sie die Hosting-Entscheidung in einer kurzen Vorlage fest: getestete Konfiguration, nachgewiesene Aufgabenqualität, verbleibende Datenflüsse und zuständige Betriebsrolle. Offene Lizenz- oder Zugriffsfragen klären Sie vor der Beschaffung.
Kurz zusammengefasst: Open Source KI kann im Mittelstand sinnvoll sein, wenn Daten das Haus nicht verlassen sollen oder Sie unabhängiger von einem Anbieter werden wollen. Ob lokaler Betrieb passt, entscheiden Schutzbedarf, getestete Qualität und ein tragfähiger Betrieb. Vergleichen Sie lokale und externe Varianten an denselben Testfällen, bevor Sie Hardware kaufen.
