Almanca için açık kaynaklı bir dil modeli seçmek: Doğru test nasıl yapılır

Hangi açık kaynak dil modelinin Almanca'yı en iyi konuşabileceği bir sıralamayla değil, kendi görevlerinizle yapılan bir testle güvenilir şekilde yanıtlanır. 30 ila 50 gerçek örnek derleyin, iyi bir cevabı nasıl tanıyabileceğinizi belirleyin ve aynı koşullar altında Qwen, Llama, Mistral ve gpt-oss gibi iki-dört modeli karşılaştırın.

Kamuya açık lider tabloları genellikle İngilizce görevleri, çoğunlukla akademik olarak ölçür. Bir modelin Alman müşteri mektubunu kibarca formüle edip etmediği veya bildirimdeki son tarihleri doğru okuduğu belirtilmez. Bu makale basit bir test yöntemini göstermektedir.

Alışılmış adaylar

Dört cihazın tamamı, Alman veri merkezlerinden IONOS AI Model Hub gibi sağlayıcılar aracılığıyla veya örneğin Ollama ile yerel olarak kullanılabilir. Ollama, Ollama'nın ne olduğunu basit terimlerle açıklıyor.

Adım 1: Gerçek görevleri topla

Günlük hayattan örnekler alın, uydurma test soruları değil:

• Sınıflandırma veya Yanıtlama Gereken 10 E-posta
• Belgeleriniz İçin Bilinen Doğru Cevaplarla 10 Soru
• Verilerin okunacağı 10 belge (miktarlar, son tarihler, isimler)
• 5 metin özetlemek için
• Bazı sınır durumlar: lehçe, teknik terimler, kısaltmalar, yazım hataları

Adım 2: Kriterler belirleyin

Adım 3: Adil Karşılaştırma

1. Tüm modeller için aynı ifade ve örnekler.
2. Aynı ayarlar (örneğin, gerçek görevler için düşük "sıcaklık").
3. Yanıtları gizli şekilde değerlendirin – değerlendirici hangi modelin cevap verdiğini bilmez.
4. Sonuçları bir tabloda özetleyin, her kriter için puan verin.

Adım 4: Maliyetleri ve operasyonları dahil edin

En iyi model her zaman en büyük değildir. Orta boyutlu bir model görevlerin %95'ini doğru, büyük bir model ise %97'sini doğru çözerse, orta ölçekli model ekonomik olarak açıkça önde olabilir. Kendi işinizi yürütüyorsanız, modelin hangi donanımda çalıştığını da sayılır – kendi yapay zekanız için Donanım'a bakınız.

Bu tür testlerden alınan tipik sonuçlar

• Küçük modeller genellikle sınıflandırmada ve okumada şaşırtıcı derecede iyidir, uzun ve serbest metinler için daha zayıftır.
• Nazik biçimler gibi dilsel incelikler modeller arasında belirgin şekilde farklılık gösterir.
• İyi talimatlar, herhangi bir modelden model değişikliğinden daha fazlasını sağlar.

Verilerinizle karşılaştırmalı testler yapar ve açık kaynak dil modelleri genel bakışımızdan bir model öneririz – görev, bütçe ve veri koruması için uygundur.

Danışmanlık ve eşlikli uygulama finansman için uygundur: INQA koçluğu aracılığıyla, federal hükümet 12 güne kadar günde 1.200 €'ya kadar olan danışma masraflarının %80'ini karşılar; yani 11.520 €'ye kadar sübvansiyon sağlanır. Mecklenburg-Batı Pomeranya ve diğer yeni federal eyaletlerde, BAFA danışmanlık fonları da 31.12.2026'ya kadar %80 oranında ( eski federal eyaletlerde %50) uygun durumdadır. Finansman danışmanlık için sağlanır, yazılım için değil. Finansman kontrolü hangi programın uygun olduğunu gösterir.

Sıkça Sorulan Sorular

Alman'ı en iyi yapan açık kaynak modeli hangisi?

Bu, göreve ve her yeni model neslinde değiştiğine bağlıdır. Yaygın adaylar Qwen, Llama, Mistral ve gpt-oss'dir. Kendi örneklerinizle yapılan bir test, herhangi bir sıralamadan daha anlamlıdır.

Kaç test örneği lazım?

Güvenilir bir karar için genellikle günlük hayatınızdan 30 ila 50 gerçek örnek yeterlidir, bazı sınırda vakalar dahil.

Küçük modeller Almanca için uygun mu?

Veri sınıflandırma veya okuma gibi net tanımlanmış görevler için genellikle evet. Uzun, serbest metinler için daha büyük modeller genellikle daha doğal Almanca sağlar.

Donanım satın almadan modelleri test edebilir miyim?

Evet, örneğin IONOS AI Model Hub aracılığıyla, Alman veri merkezlerinden birkaç açık model ve tüketime göre faturalar sunuyor.

Görevleriniz için doğru modeli bulmak ister misiniz? İletişim sayfası üzerinden iletişime geçin.