Choisir un modèle de langage open source pour l’allemand : comment tester correctement

Quel modèle de langage open source parle le mieux allemand n’est pas assuré par un classement – mais par un test avec vos propres tâches. Compilez 30 à 50 exemples réels, déterminez comment vous pouvez reconnaître une bonne réponse, et comparez deux à quatre modèles tels que Qwen, Llama, Mistral et gpt-oss dans les mêmes conditions.

Les classements publics mesurent généralement les tâches en anglais, souvent de manière académique. Il ne précise pas si un modèle formule poliment une lettre client allemande ou lit correctement les délais d’un avis. Cet article présente une méthode de test simple.

Les candidats habituels

Les quatre peuvent être utilisés via des fournisseurs tels que l’IONOS AI Model Hub des centres de données allemands ou localement, par exemple avec Ollama. Ollama explique ce qu’est Ollama en termes simples.

Étape 1 : Collectez de vraies tâches

Prenons des exemples de la vie quotidienne, pas des questions inventées :

• 10 emails à classer ou à répondre
• 10 questions pour vos documents avec des réponses correctes connues
• 10 documents à partir desquels les données doivent être lues (montants, échéances, noms)
• 5 textes à résumer
• Quelques cas limites : dialecte, termes techniques, abréviations, fautes de frappe

Étape 2 : Définir des critères

Étape 3 : Comparer équitablement

1. Même affirmation et exemples pour tous les modèles.
2. Même réglages (par exemple, une « température » basse pour les tâches factuelles).
3. Faites évaluer les réponses de manière discrète – l’évaluateur ne sait pas quel modèle a répondu.
4. Résumez les résultats dans un tableau, attribuez des points pour chaque critère.

Étape 4 : Inclure les coûts et les opérations

Le meilleur modèle n’est pas toujours le plus grand. Si un modèle de taille moyenne résout correctement 95 % des tâches et un modèle de taille moyenne à 97 %, le modèle de taille moyenne peut clairement être en avance économique. Si vous gérez votre propre entreprise, cela compte aussi sur quel matériel le modèle fonctionne – voir Matériel pour votre propre IA.

Résultats typiques de ces tests

• Les petits modèles sont souvent étonnamment doués pour classifier et lire en voix haute, plus faibles pour les textes longs et libres.
• Les subtilités linguistiques telles que les formes polies diffèrent nettement d’un modèle à l’autre.
• De bonnes instructions tirent plus d’un modèle qu’un simple changement de modèle.

Nous réalisons de tels tests comparatifs avec vos données et recommandons un modèle issu de notre aperçu des modèles de langage open source – adapté à la tâche, au budget et à la protection des données.

Le conseil et la mise en œuvre accompagnée sont éligibles au financement : grâce au coaching INQA, le gouvernement fédéral prend en charge 80 % des coûts de consultation allant jusqu’à 1 200 € par jour pendant 12 jours, soit jusqu’à 11 520 € de subvention. En Mecklembourg-Poméranie occidentale et dans les autres nouveaux États fédéraux, le financement du conseil BAFA est également éligible à 80 % jusqu’au 31.12.2026 (50 % dans les anciens États fédéraux). Le financement est prévu pour le conseil, et non pour le logiciel. Le contrôle de financement indique quel programme correspond.

Questions fréquemment posées

Quel modèle open source fonctionne le mieux en allemand ?

Cela dépend de la tâche et change à chaque nouvelle génération de modèles. Les candidats courants sont Qwen, Llama, Mistral et gpt-oss. Un test avec vos propres exemples est plus significatif que n’importe quel classement.

Combien d’exemples de test dois-je utiliser ?

Pour une décision fiable, 30 à 50 exemples réels de votre vie quotidienne suffisent généralement, y compris certains cas limites.

Les petits modèles sont-ils adaptés aux Allemands ?

Pour des tâches clairement définies comme la classification ou la lecture de données, souvent oui. Pour les textes longs et libres, les modèles plus grands fournissent généralement un allemand plus naturel.

Puis-je tester les modèles sans acheter de matériel ?

Oui, par exemple via le hub de modèles IA IONOS, qui propose plusieurs modèles ouverts provenant de centres de données allemands et facture selon la consommation.

Souhaitez-vous trouver le modèle adapté à vos tâches ? Contactez-nous via la page de contact.