Kendi bir yapay zekâ için hangi donanım gerekir? Orta ölçekli işletmeler için GPU sunucuları

Bir şirket içi yapay zekanın işletmede çalışıp çalışmayacağına esas olarak tek bir değer karar verir: ekran kartının grafik belleği (VRAM). Genel kural olarak, 4 bit’e küçültülmüş bir dil modeli yaklaşık Milyar parametre başına 0,6 ila 0,7 GB VRAM – ayrıca daha uzun metinler ve birden fazla kullanıcı için yedek pay. Küçük ve orta ölçekli modeller bir grafik kartında çalışır, büyük modeller ise GPU sunucuları gerektirir. Donanım satın almak yerine, KOBİ’ler GPU sunucularını da Alman veri merkezlerinde kiralama.

Neden özellikle grafik kartı?

Dil modelleri devasa sayı tablolarıyla hesap yapar. Grafik kartları tam da bu tür hesaplamalar için özelleşmiştir ve normal işlemcilere göre çok daha hızlıdır. Modelin hızlı yanıt verebilmesi için tamamen grafik kartının belleğine sığması gerekir. Bellek yeterli olmazsa ya çok yavaş çalışır ya da hiç çalışmaz.

Bellek ihtiyacı için kaba kurallar

Aşağıdaki değerler kabaca yönlendirici değerler olup 4-bit kuantizasyonlu modeller ve tek bir kullanıcı içindir; modele ve ayarlara bağlı olarak değişebilir:

• Küçük modeller (yaklaşık 8 milyar parametre): yaklaşık 6–8 GB VRAM – birçok güncel ekran kartına sığar.
• Orta ölçekli modeller (yaklaşık 20–30 milyar): yaklaşık 16–24 GB VRAM – güçlü bir tek kart.
• Büyük modeller (yaklaşık 70 milyar): yaklaşık 40–48 GB VRAM – profesyonel kart veya iki kart.
• Çok büyük modeller (100 milyar ve üzeri): birden fazla profesyonel kart veya özel sunucular.

Buna ek olarak, modelin aynı anda dikkate alması gereken metinler olan „bağlam“ için ve diğer eşzamanlı kullanıcılar için de bellek gerekir. Bu nedenle her zaman bir yedek payı planlayın.

Üç tipik genişleme aşaması

Aşama 1: Mevcut donanımda deneme

İyi bir grafik kartına sahip bir iş istasyonu bilgisayarı veya bol ortak belleğe sahip güncel bir Mac, küçük modelleri Ollama ile test etmek için yeterlidir. Pilot çalışma için idealdir, ekip içinde kullanım için değil.

Aşama 2: Ekip için bir GPU sunucusu

Güçlü bir grafik kartına sahip bir sunucu, orta ölçekli bir modeli küçük bir ekip için çalıştırır – örneğin dahili bir asistan olarak veya belge araması için. Alman sağlayıcılar bu tür sunucuları kiralar; Hetzner örneğin 20 GB grafik belleğine sahip NVIDIA RTX 4000 SFF Ada içeren özel bir sunucu sunar.

Aşama 3: Birden fazla grafik kartı veya bir model hizmeti

Büyük modeller veya çok sayıda eşzamanlı kullanıcı için birden fazla profesyonel kart gerekir. Burada çoğu zaman Almanya’daki bir model hizmetiyle karşılaştırma yapmak faydalıdır; bu durumda bir sunucu işletmezsiniz, yalnızca kullanıma göre ödeme yaparsınız – bkz. KI-Modelle DSGVO-konform hosten.

Satın almak mı, kiralamak mı?

• Satın almak sürekli yüksek kullanım, mevcut bir sunucu odası ve kendi BT personeliniz varsa avantajlıdır.
• Kiralamak başlangıç yatırımı olmadan esnektir; profesyonel güç beslemesi, soğutma ve ağ bağlantısı sunar – ve ihtiyaç halinde ölçek büyütülüp küçültülebilir.
• Elektrik ve ısı unutmayın: GPU sunucuları normal ofis ekipmanlarına göre belirgin şekilde daha fazla enerji tüketir ve soğutma gerektirir.
• Yedekleme ve bakım: Tek grafik kartı arızalanırsa, yapay zeka durur. Kiralık sunucular sağlayıcı tarafından değiştirilir.

Tipik hatalar

• Yetersiz grafik belleği: Model sığmaz veya yalnızca ciddi şekilde yavaşlayarak çalışır.
• Yalnızca bir kullanıcı için planlanmıştır: Aynı anda birden fazla istek ek rezerv gerektirir.
• Çok büyük model: Çoğu zaman, iyi bir bilgi tabanına sahip orta ölçekli bir model, RAG ile, onsuz devasa bir modelden daha iyi sonuç verir.
• İşletme tarafından hafife alınır: Güncellemeler, veri yedekleme ve izleme zaman alır veya bir hizmet sağlayıcı gerektirir.

bettersorted, müşterileri için açık, incelenebilir bileşenler – Almanya’daki sunucularda çalıştırılır ve automaisa Hub içinde bir araya getirilir. Üreticiden bağımsız danışmanlık veriyoruz, BAFA’ya kayıtlı danışmanız ve yetkili INQA-Coach’uz. Danışmanlık ve eşlik edilen uygulama INQA-Coaching %80’e kadar desteklemek; uygun yolu Destek Kontrolü gösterir. Bağlayıcı olmayan bir ilk görüşme için: İletişim.

Örnek: 15 kişilik bir ekip için hesaplama yöntemi

İllüstratif bir senaryo: 15 çalışan dahili bir yapay zekâ asistanı kullanıyor, çoğunlukla aynı anda değil; en yüksek noktada üç ila dört paralel istek oluyor. İstenen, orta büyüklükte bir model (yaklaşık 30 milyar parametre, 4 bit). Kaba kurala göre model için yaklaşık 18–21 GB grafik belleği ve ayrıca bağlam ile paralel istekler için pay gerekir – 24 GB’lık bir kart sınırda kalır, 32 ila 48 GB ise rahattır. Alternatif olarak, iyi bir belge aramasıyla birleştirilen biraz daha küçük bir model kullanılabilir; bu model 20 GB’lık bir kartta çalışır.

Kiralama öncesinde barındırma sağlayıcısına sorulacak sorular

1. Hangi grafik kartı, ne kadar grafik belleği, ne kadar çalışma belleği?
2. Veri merkezinin konumu ve veri işleme sözleşmesi?
3. Arızalı donanım ne kadar hızlı değiştirilir?
4. Kullanılabilirlik taahhütleri ve veri yedekleme var mı?
5. Sunucu daha sonra büyütülebilir mi veya ikinci bir sunucu eklenebilir mi?

Enerji ve sürdürülebilirlik

GPU sunucuları yük altında bir ofis bilgisayarının kat kat fazlasını tüketir. Görevi yerine getiren orta boy bir model, yalnızca daha ucuz olmakla kalmaz, aynı zamanda devasa bir modelden daha tasarrufludur. Yeşil elektrik kullanan ve verimli soğutmaya sahip veri merkezleri ek bir seçim kriteridir.

Maliyetler ve teşvikler

Kendi yapay zekâ donanımının maliyetleri üç bölümden oluşur: Kurulum (Planlama, kurulum, entegrasyon, testler), sürekli işletim (sunucu veya barındırma, güncellemeler, izleme, veri yedekleme) ve çalışanların desteklenmesi (eğitim, kurallar, iletişim kişileri). Sabit fiyatlar belirtmiyoruz, çünkü kapsam ve başlangıç durumu büyük ölçüde değişir. Açık kaynak çözümlerde yazılımın kendisi lisans maliyeti oluşturmaz.

Desteklenen teknik değil, Danışmanlık ve eşlik eden uygulama: INQA-Coaching üzerinden federal hükümet, koçluk maliyetlerinin %80’ini ülke genelinde karşılar (11.520 €’ya kadar, çekler 30.06.2028’e kadar). Önceden yapılacak bir analiz, BAFA-Beratungsförderung üzerinden desteklenebilir – yeni federal eyaletlerde, Lüneburg ve Trier’de %80, diğer yerlerde %50 oranında; 31.12.2026 tarihine kadar yapılan başvurular için. Yatırımlar için bazı eyaletler kendi programlarını sunar – bkz. Almanya'daki şirketler için destek olanakları.

Sıkça sorulan sorular

Kendi yapay zekâ için ne kadar grafik belleği gerekir?

Genel bir kural olarak, 4-bit kuantizasyonla milyar parametre başına yaklaşık 0,6 ila 0,7 GB, artı yedek pay gerekir. Yaklaşık 8 milyar parametreli bir model bu nedenle yaklaşık 6 ila 8 GB, 70 milyar parametreli bir model ise yaklaşık 40 ila 48 GB gerektirir.

Normal bir ofis bilgisayarı yapay zekâ için yeterli mi?

Küçük modelleri denemek için bazen evet. Ekip içinde kullanım için ise güçlü bir grafik kartına sahip bir bilgisayar veya sunucu gerekir.

Bir KOBİ GPU sunucusu satın almalı mı yoksa kiralamalı mı?

Çoğu KOBİ için Almanya’daki bir veri merkezinde kiralama daha iyi bir başlangıçtır: başlangıç yatırımı yoktur, profesyonel işletim ve esnek uyarlama sağlar. Satın alma ise özellikle sürekli yüksek kullanım ve kendi BT ekibi olduğunda avantajlıdır.

Yapay zeka grafik kartı olmadan da çalışabilir mi?

Küçük modeller işlemci üzerinde de çalışır, ancak çok daha yavaştır. Ekip içinde günlük kullanım için grafik kartı pratikte bir ön koşuldur.

Güncel: Ekim 2026.