Open-Source-Sprachmodell für Deutsch auswählen: So testen Sie richtig

Welches Open-Source-Sprachmodell am besten Deutsch kann, beantwortet kein Ranking zuverlässig – sondern ein Test mit Ihren eigenen Aufgaben. Stellen Sie 30 bis 50 echte Beispiele zusammen, legen Sie fest, woran Sie eine gute Antwort erkennen, und vergleichen Sie zwei bis vier Modelle wie Qwen, Llama, Mistral und gpt-oss unter gleichen Bedingungen.

Öffentliche Bestenlisten messen meist englische Aufgaben, oft akademisch. Ob ein Modell einen deutschen Kundenbrief höflich formuliert oder Fristen aus einem Bescheid korrekt ausliest, steht dort nicht. Dieser Beitrag zeigt eine einfache Testmethode.

Die üblichen Kandidaten

Alle vier sind über Anbieter wie den IONOS AI Model Hub aus deutschen Rechenzentren oder lokal, etwa mit Ollama, nutzbar. Was Ollama ist, erklärt Ollama einfach erklärt.

Schritt 1: Echte Aufgaben sammeln

Nehmen Sie Beispiele aus dem Alltag, keine erfundenen Testfragen:

• 10 E-Mails, die eingeordnet oder beantwortet werden sollen
• 10 Fragen an Ihre Dokumente mit bekannter richtiger Antwort
• 10 Dokumente, aus denen Daten ausgelesen werden sollen (Beträge, Fristen, Namen)
• 5 Texte, die zusammengefasst werden sollen
• einige Grenzfälle: Dialekt, Fachbegriffe, Abkürzungen, Tippfehler

Schritt 2: Kriterien festlegen

Schritt 3: Fair vergleichen

1. Dieselbe Anweisung und dieselben Beispiele für alle Modelle.
2. Gleiche Einstellungen (z. B. niedrige „Temperatur“ für sachliche Aufgaben).
3. Antworten verdeckt bewerten lassen – die bewertende Person weiß nicht, welches Modell geantwortet hat.
4. Ergebnisse in einer Tabelle zusammenfassen, pro Kriterium Punkte vergeben.

Schritt 4: Kosten und Betrieb einbeziehen

Das beste Modell ist nicht immer das größte. Wenn ein mittelgroßes Modell 95 % der Aufgaben richtig löst und ein großes 97 %, kann das mittelgroße wirtschaftlich klar vorn liegen. Bei eigenem Betrieb zählt außerdem, auf welcher Hardware das Modell läuft – siehe Hardware für eigene KI.

Typische Erkenntnisse aus solchen Tests

• Kleine Modelle sind beim Einordnen und Auslesen oft erstaunlich gut, schwächer bei langen, freien Texten.
• Sprachliche Feinheiten wie Höflichkeitsformen unterscheiden sich spürbar zwischen Modellen.
• Gute Anweisungen holen aus jedem Modell mehr heraus als ein Modellwechsel.

Wir führen solche Vergleichstests mit Ihren Daten durch und empfehlen ein Modell aus unserer Übersicht Open-Source-Sprachmodelle – passend zu Aufgabe, Budget und Datenschutz.

Die Beratung und begleitete Einführung ist förderfähig: Über INQA-Coaching übernimmt der Bund 80 % der Beratungskosten von bis zu 1.200 € pro Tag für bis zu 12 Tage, also bis zu 11.520 € Zuschuss. In Mecklenburg-Vorpommern und den anderen neuen Bundesländern kommt bis zum 31.12.2026 auch die BAFA-Beratungsförderung mit 80 % in Frage (in den alten Bundesländern 50 %). Gefördert wird die Beratung, nicht die Software. Welches Programm passt, zeigt der Förder-Check.

Häufig gestellte Fragen

Welches Open-Source-Modell kann am besten Deutsch?

Das hängt von der Aufgabe ab und ändert sich mit jeder neuen Modellgeneration. Häufige Kandidaten sind Qwen, Llama, Mistral und gpt-oss. Ein Test mit eigenen Beispielen ist aussagekräftiger als jedes Ranking.

Wie viele Testbeispiele brauche ich?

Für eine belastbare Entscheidung reichen meist 30 bis 50 echte Beispiele aus Ihrem Alltag, inklusive einiger Grenzfälle.

Sind kleine Modelle für Deutsch geeignet?

Für klar umrissene Aufgaben wie Einordnen oder Daten auslesen oft ja. Bei langen, freien Texten liefern größere Modelle meist natürlicheres Deutsch.

Kann ich die Modelle testen, ohne Hardware zu kaufen?

Ja, zum Beispiel über den IONOS AI Model Hub, der mehrere offene Modelle aus deutschen Rechenzentren anbietet und nach Verbrauch abrechnet.

Sie möchten das passende Modell für Ihre Aufgaben finden? Melden Sie sich über die Kontaktseite.