
Tek kullanıcı ya da küçük ekip için LLM ve model geliştirme sunucu gerektirmez; doğru iş istasyonu masa altında 70B parametreye kadar model çalıştırır. Belirleyici ölçüt GPU belleğidir (VRAM). İşlemci ve RAM tarafında yapılan fazla harcama, VRAM yetmediğinde işe yaramaz; model belleğe sığmadığı anda sistem diske taşmaya başlar ve kullanılabilir hızın çok altına düşer.
GPU
- RTX 5090 (32 GB): 8–32B modeller tam hızda, 70B 4-bit ile zorlama sınırında; oyun/tüketici kart, 575 W, ECC yok. Bütçe dostu.
- RTX PRO 5000 Blackwell (48 GB): 70B 4-bit rahat; ECC, sertifikalı sürücü, 300 W.
- RTX PRO 6000 Blackwell (96 GB): 70B 8-bit / 120B+ 4-bit; iki kartla 192 GB; 600 W. Kurumsal geliştirme ortamı için önerimiz.
Çoklu kartta modeli bölmek (tensor parallel) VRAM'i toplar; PCIe Gen5 x16 yuvaları ve şasi hava akışı önemlidir. ECC bellek, uzun süren eğitim işlerinde sessiz bellek hatalarının sonucu bozmasını engellediği için profesyonel kartların gündelik kullanımda görünmeyen ama araştırma işlerinde fark yaratan avantajıdır. Tüketici kartlarında sürücü sertifikasyonu da yoktur; bazı kütüphane ve uygulama üreticileri destek kapsamına yalnızca profesyonel kartları alır.
Sistem
- İşlemci: Threadripper PRO 9000 / Xeon W-3500 (PCIe şerit sayısı için); tek kartlı sistemde Core Ultra 9 / Ryzen 9 yeter.
- RAM: VRAM'in en az 1,5 katı; 128–256 GB ECC.
- Depolama: 2–4 TB NVMe Gen5 (model dosyaları) + veri diski.
- Güç: 1.300–1.600 W 80+ Platinum; çift kartta 2.000 W ve 16 A hat.
Çift kartlı yapılandırmada elektrik hattı çoğu ofiste gözden kaçan kısıttır: aynı priz grubunda başka cihazlar varsa tepe yükte sigorta atabilir. Masaüstünde kalacak sistemlerde gürültü de karar ölçütüdür; yüksek güçlü kartlar tam yükte belirgin ses çıkarır ve açık ofis için kule yerine sistem odasına konumlanmış bir makineye uzaktan bağlanmak daha konforlu olur.
Hazır sistemler
Dell Precision 7875/7960, HP Z8 Fury G5/Z6 G5 A, Lenovo ThinkStation PX/P8; garanti ve NVIDIA sertifikalı sürücülerle. NVIDIA DGX Spark (128 GB birleşik bellek) ve Mac Studio (512 GB) düşük güçte büyük model çıkarımı için alternatif — ancak eğitim hızı GPU iş istasyonunun gerisindedir.
Hazır sistemlerin kendi toplanmış makinelere göre farkı yalnızca garanti değildir: şasi hava akışı, güç dağıtımı ve kart yerleşimi yüksek güçlü kartlara göre doğrulanmış olarak gelir. Kendi toplanan sistemlerde bu doğrulama kurumun üzerinde kalır ve sorunlar genellikle uzun süren iş yüklerinde, sıcaklık yükseldiğinde ortaya çıkar.
Ortak kullanım
Tek bir iş istasyonunu küçük bir ekibin paylaşması yaygın bir yöntemdir: makine sistem odasında durur, geliştiriciler uzaktan bağlanır. Bu düzende kullanıcıların aynı anda büyük model yüklemesini engelleyecek basit bir kuyruk ya da rezervasyon yöntemi belirlemek gerekir; aksi halde bellek dolar ve iş yükleri karşılıklı olarak birbirini düşürür.
Sık yapılan hatalar
- VRAM yerine işlemciye bütçe ayırmak.
- Modeli yalnızca parametre sayısıyla planlayıp bağlam penceresi için gereken ek belleği hesaba katmamak.
- Kendi toplanmış sistemlerde yetersiz hava akışı; kartlar sıcaklık nedeniyle hız düşürür.
- İki kart alıp anakartın ikinci yuvasının düşük şeritte çalıştığını sonradan görmek.
- Modelleri ve veri setlerini yedeklememek; yeniden indirme ve yeniden hazırlama iş günü kaybettirir.
Kontrol listesi
- Çalıştıracağınız en büyük modeli ve nicemleme seviyesini belirleyin.
- Gerekli VRAM'i hesaplayın, üzerine bağlam payı ekleyin.
- Kart sayısına göre anakart yuvalarını, güç kaynağını ve elektrik hattını doğrulayın.
- RAM'i VRAM'in en az 1,5 katına ayarlayın.
- Model ve veri diski için ayrı NVMe planlayın.
Sık sorulan sorular
Tüketici kartı kurumsal kullanım için yeterli mi?
Tek kullanıcılı geliştirme ve deneme ortamında sıklıkla yeterlidir. Uzun süren eğitim işleri, ECC gereksinimi ya da üretici destek kapsamı söz konusuysa profesyonel kartlara geçmek gerekir.
İki kart alırsam model iki katı hızlı mı çalışır?
Hayır. İki kartın temel kazancı toplam belleğin artmasıdır; hız kazancı iş yüküne ve kartlar arası bağlantıya göre değişir, doğrusal değildir. Tek karta sığan bir model için ikinci kart çoğu zaman gereksizdir.
Bellek yetmezse ne olur?
Model yüklenmez ya da sistem belleğine taşarak çok yavaş çalışır. Bu durumda ya daha düşük nicemleme seviyesine inilir, ya daha küçük bir model seçilir, ya da bellek kapasitesi yüksek bir karta geçilir.
Kullanacağınız model boyutu ve kütüphaneye göre yapılandırmayı çıkarıyor, sistemi CUDA ve Ollama/vLLM kurulu, test edilmiş halde teslim ediyoruz.