Open-Source-KI-Modelle für Unternehmen: Die wichtigsten Modelle im Überblick (Stand Oktober 2026)

Wer KI-Modelle im eigenen Unternehmen betreiben will, statt Daten an ChatGPT & Co. zu schicken, hat heute eine gute Auswahl an offenen Modellen („Open Source“ bzw. genauer „Open Weights“). Für Unternehmen in Deutschland sind mit Stand Oktober 2026 vor allem die Familien Mistral, Qwen, gpt-oss, DeepSeek und Apertus interessant. Llama 4 von Meta ist dagegen für Unternehmen mit Hauptsitz in der EU wegen einer Lizenzklausel praktisch nicht nutzbar. Welches Modell passt, hängt von Lizenz, Deutschkenntnissen, Größe und vorhandener Hardware ab.

„Open Source“ oder „Open Weights“ – was heißt das eigentlich?

Bei den meisten „offenen“ KI-Modellen werden die Modellgewichte veröffentlicht – also das trainierte Modell, das Sie herunterladen und auf eigenen Servern betreiben können. Die Trainingsdaten und der vollständige Trainingsprozess bleiben meist unter Verschluss. Fachleute sprechen deshalb von Open Weights. Für den Unternehmensalltag ist das Entscheidende: Sie können das Modell selbst betreiben, Ihre Daten verlassen Ihre Infrastruktur nicht, und Sie sind nicht von Preisänderungen oder Abschaltungen eines Cloud-Dienstes abhängig.

Wichtig ist die Lizenz: Sie regelt, ob Sie das Modell kommerziell nutzen, verändern und in eigene Produkte einbauen dürfen. Lizenzen wie Apache 2.0 oder MIT sind sehr großzügig. Eigene Lizenzen der Hersteller können dagegen Einschränkungen enthalten – bis hin zum Ausschluss ganzer Regionen.

Die wichtigsten Modellfamilien im Überblick

Mistral (Frankreich)

Das französische Unternehmen Mistral AI veröffentlicht viele Modelle unter Apache 2.0, darunter das große Mistral Large 3 (Dezember 2025) und Mistral Small 4 (März 2026), das Texte, Bilder und mehrstufiges Denken in einem Modell vereint. Vorteile für deutsche Unternehmen: europäischer Anbieter, gute Deutschkenntnisse, klare Lizenz und Modelle in vielen Größen – von kleinen Varianten für einen einzelnen Server bis zu großen Modellen für Rechenzentren.

Qwen (Alibaba)

Die Qwen-Modelle aus China gehören zu den leistungsfähigsten offenen Modellen und erscheinen in schneller Folge (u. a. Qwen3.6 im April und Qwen3.8 im August 2026). Die frei herunterladbaren Varianten stehen meist unter Apache 2.0; die größten „Max“-Modelle sind dagegen nicht offen. Qwen bietet besonders viele Größen, inklusive kompakter Modelle, die auf einer einzelnen Grafikkarte laufen.

gpt-oss (OpenAI)

Mit gpt-oss-20b und gpt-oss-120b hat OpenAI 2025 erstmals seit Jahren offene Modelle veröffentlicht – unter Apache 2.0. Die kleinere Variante ist für den Betrieb auf vergleichsweise bescheidener Hardware gedacht, die größere für leistungsstarke Server. Für viele Unternehmen ein naheliegender Einstieg, weil Verhalten und Stil vertraut wirken.

DeepSeek (China)

DeepSeek veröffentlicht seine Modelle unter der MIT-Lizenz und war 2025 mit seinen „Reasoning“-Modellen Vorreiter. Beim Selbstbetrieb fließen keine Daten nach China – anders als bei der Nutzung der DeepSeek-App oder -API. Manche Unternehmen prüfen trotzdem genau, wie sich die Modelle bei politisch sensiblen Themen verhalten.

Apertus (Schweiz)

Apertus wurde von der Swiss AI Initiative (EPFL, ETH Zürich, CSCS) im September 2025 veröffentlicht, in Größen von 8 und 70 Milliarden Parametern, unter Apache 2.0. Besonderheit: Es ist vollständig offen – auch Trainingsdaten und Verfahren sind dokumentiert – und wurde mit Blick auf europäisches Recht entwickelt. In der Leistung liegt die erste Version hinter den Spitzenmodellen; für Unternehmen mit hohen Transparenzanforderungen ist es dennoch eine interessante Option.

Gemma (Google)

Google veröffentlicht mit Gemma kompakte offene Modelle, die besonders für Geräte mit wenig Speicher gedacht sind. Gemma steht unter einer eigenen Google-Lizenz mit Nutzungsbedingungen – nicht unter Apache 2.0. Vor dem Einsatz sollten Sie die Bedingungen prüfen.

Llama 4 (Meta): Achtung, EU-Ausschluss

Meta veröffentlicht Llama unter einer eigenen „Community License“. Für Llama 4 schließt die zugehörige Nutzungsrichtlinie Unternehmen mit Hauptsitz in der EU von den Rechten an den multimodalen Modellen aus – und alle Llama-4-Modelle sind multimodal. Für deutsche Unternehmen, die ein Modell selbst betreiben wollen, ist Llama 4 damit praktisch keine Option. Ältere, reine Textmodelle wie Llama 3.3 sind davon nicht betroffen, technisch aber nicht mehr auf dem neuesten Stand.

Worauf Unternehmen bei der Auswahl achten sollten

• Lizenz: Apache 2.0 oder MIT sind für Unternehmen am unkompliziertesten. Eigene Herstellerlizenzen genau lesen.
• Deutsch: Testen Sie mit echten Texten aus Ihrem Alltag – Rechtschreibung, Fachbegriffe, Ton.
• Größe und Hardware: Größere Modelle sind besser, brauchen aber deutlich mehr Grafikspeicher. Mehr dazu: Welche Hardware braucht eine eigene KI?.
• Aufgabe: Für Zusammenfassungen und Suche in Dokumenten reichen oft mittelgroße Modelle; für komplexe Analysen braucht es größere.
• Herkunft und Vertrauen: Beim Selbstbetrieb fließen keine Daten zum Hersteller – das Verhalten des Modells bei sensiblen Themen bleibt trotzdem zu prüfen.
• Weiterentwicklung: Wählen Sie Familien, die regelmäßig aktualisiert werden, und planen Sie den Wechsel auf neue Versionen ein.

Wie Unternehmen offene Modelle praktisch nutzen

Kaum ein Unternehmen nutzt ein Modell „pur“. Typisch ist die Kombination mit einer Bedienoberfläche wie Open WebUI, einer Laufzeitumgebung wie Ollama und einer Wissensbasis aus eigenen Dokumenten per RAG. So entsteht ein interner KI-Assistent, der auf Ihre Inhalte zugreift, ohne dass Daten das Haus verlassen. Ob sich das gegenüber einem Cloud-Dienst lohnt, zeigt der Vergleich Lokale KI vs. ChatGPT & Co..

bettersorted setzt für seine Kundinnen und Kunden auf offene, einsehbare Bausteine – betrieben auf Servern in Deutschland und gebündelt im automaisa Hub. Wir beraten herstellerneutral, sind beim BAFA registrierter Berater und autorisierter INQA-Coach. Die Beratung und begleitete Einführung lassen sich über das INQA-Coaching mit 80 % fördern; den passenden Weg zeigt der Förder-Check. Für ein unverbindliches Erstgespräch: Kontakt.

Beispiel: Modellauswahl in einem Sozialverband

Ein illustratives Szenario: Ein Sozialverband möchte einen internen Assistenten für Konzepte, Dienstanweisungen und Förderrichtlinien. Gesundheits- und Sozialdaten dürfen das Haus nicht verlassen. Getestet werden drei offene Modelle mittlerer Größe mit 40 echten Fragen aus dem Alltag. Bewertet werden Richtigkeit, Verständlichkeit auf Deutsch und Geschwindigkeit auf dem vorhandenen Server. Das Ergebnis: Ein mittelgroßes Modell mit Apache-2.0-Lizenz liefert in Kombination mit einer guten Dokumentensuche die besten Antworten – ein größeres Modell hätte teurere Hardware gebraucht, ohne spürbar besser zu sein.

Checkliste für Ihre Modellentscheidung

1. Lizenz gelesen und kommerzielle Nutzung in der EU erlaubt?
2. Mit 20–50 echten Aufgaben auf Deutsch getestet?
3. Passt das Modell in den verfügbaren Grafikspeicher – mit Reserve für mehrere Nutzer?
4. Ist klar, wer Updates und Modellwechsel verantwortet?
5. Sind Datenschutz und Einsatzregeln dokumentiert (KI-Richtlinie)?
6. Gibt es eine einheitliche Schnittstelle, damit das Modell später austauschbar bleibt?

Kosten und Förderung

Die Kosten für ein eigenes KI-Modell setzen sich aus drei Teilen zusammen: Einrichtung (Planung, Installation, Anbindung, Tests), laufender Betrieb (Server oder Hosting, Updates, Überwachung, Datensicherung) und Begleitung der Mitarbeitenden (Schulung, Regeln, Ansprechpartner). Feste Preise nennen wir nicht, weil Umfang und Ausgangslage stark variieren. Die Software selbst verursacht bei Open-Source-Lösungen keine Lizenzkosten.

Gefördert wird nicht die Technik, sondern die Beratung und begleitete Einführung: Über das INQA-Coaching übernimmt der Bund bundesweit 80 % der Coachingkosten (bis zu 11.520 €, Schecks bis 30.06.2028). Eine vorgelagerte Analyse lässt sich über die BAFA-Beratungsförderung bezuschussen – mit 80 % in den neuen Bundesländern, Lüneburg und Trier, sonst 50 %, für Anträge bis 31.12.2026. Für Investitionen bieten manche Länder eigene Programme – siehe Fördermöglichkeiten für Unternehmen in Deutschland.

Häufig gestellte Fragen

Welches Open-Source-KI-Modell ist das beste für Unternehmen?

Ein bestes Modell für alle gibt es nicht. Für deutsche Unternehmen sind Mistral, Qwen und gpt-oss wegen ihrer Apache-2.0-Lizenz und guter Deutschkenntnisse häufig die erste Wahl. Testen Sie zwei, drei Modelle mit Ihren eigenen Aufgaben.

Darf ich Llama 4 in Deutschland nutzen?

Als Unternehmen mit Hauptsitz in der EU erhalten Sie laut Nutzungsrichtlinie keine Rechte an den multimodalen Llama-4-Modellen, und alle Llama-4-Modelle sind multimodal. Für den Selbstbetrieb in Deutschland ist Llama 4 damit praktisch ausgeschlossen.

Sind Open-Source-Modelle so gut wie ChatGPT?

Die besten offenen Modelle liegen bei vielen Aufgaben nah an den kommerziellen Spitzenmodellen. Für typische Unternehmensaufgaben wie Zusammenfassen, Formulieren und Suchen in eigenen Dokumenten reichen sie meist aus.

Was ist der Unterschied zwischen Open Source und Open Weights?

Bei Open Weights sind die Modellgewichte frei verfügbar, Trainingsdaten und Verfahren aber oft nicht. Vollständig offene Modelle wie Apertus legen auch diese offen. Für den Selbstbetrieb genügen Open Weights mit passender Lizenz.

Stand: Oktober 2026. Modelle, Versionen und Lizenzen ändern sich schnell – prüfen Sie vor einer Entscheidung die aktuelle Lizenz beim Anbieter.