
DGX Spark, NVIDIA'nın 2025'te çıkardığı avuç içi boyutlu yapay zekâ bilgisayarı: GB10 Grace Blackwell, 20 ARM çekirdeği, 128 GB LPDDR5x birleşik bellek, 1 PFLOP (FP4) ve 200 Gb/s ağ (iki cihaz birleştirilebilir). Dell, HP, Lenovo ve ASUS de aynı platformu kendi markalarıyla sunuyor. Cihazın ilgi görmesinin nedeni basit: masaüstünde çalışan bir makinede, normalde sunucu gerektiren büyüklükte modelleri belleğe sığdırıyor.
Birleşik bellek ne demek?
Klasik bir iş istasyonunda model ağırlıkları ekran kartının kendi belleğine kopyalanır ve bu belleğin kapasitesi kesin bir sınırdır. Birleşik bellekte işlemci ile grafik birimi aynı bellek havuzunu paylaşır, kopyalama adımı ortadan kalkar ve kapasite sınırı çok daha yukarıya taşınır. Kazanç kapasitededir; hız tarafında belirleyici olan bant genişliği ise ayrık kartların gerisinde kalır.
Ne yapar?
- 200B parametreye kadar (4-bit) modelde yerel çıkarım; iki cihazla 405B.
- 70B modele fine-tuning, LoRA eğitimi.
- DGX OS (Ubuntu) + NVIDIA AI yazılım yığını kurulu; kodun DGX Cloud/sunucuya taşınması aynı ortamla.
Sınırları
- Bellek bant genişliği 273 GB/s: RTX PRO 6000'in (1,8 TB/s) çok altında; büyük model sığar ama saniyede üretilen token sayısı düşüktür (70B'de ~5–8 token/s).
- Eğitim hızı ayrık GPU iş istasyonundan yavaş.
- ARM mimarisi: x86 bağımlı bazı araçlar çalışmaz.
Bu üç sınır birlikte okunmalı: cihaz, büyük bir modeli çalıştırabildiğini gösterir ama aynı modeli çok sayıda kullanıcıya makul yanıt süresiyle sunamaz. ARM mimarisi ise çoğu güncel yapay zekâ kütüphanesinde sorun çıkarmaz, buna karşılık kuruma özel eski x86 ikili dosyaları ya da bazı ticari eklentiler için yeniden derleme gerekebilir.
Kimin için?
- Büyük modelleri düşük güçle (240 W) prototiplemek isteyen geliştirici.
- Sunucuya göndermeden gizli veriyle çalışması gereken veri bilimi ekipleri.
- Eğitim kurumları ve Ar-Ge.
Ortak nokta, işin merkezinde hız değil erişim olmasıdır: bir modelin kurum verisiyle nasıl davrandığını görmek, istem tasarımını denemek, veri hazırlama akışını kurmak için saniyede üretilen token sayısı belirleyici değildir. Bu aşamada alınan kararlar daha sonra üretim donanımının doğru boyutlanmasını sağlar; prototip yapılmadan alınan GPU sunucular sık sık yanlış boyutlandırılır.
Kimin için değil?
- Onlarca eşzamanlı kullanıcıya hizmet verecek üretim çıkarımı.
- Yanıt hızının kullanıcı deneyimini belirlediği müşteri temaslı uygulamalar.
- Sürekli ve yoğun model eğitimi yapan ekipler.
Bu senaryolarda doğru yol, prototipi cihazda hazırlayıp üretim iş yükünü ayrık GPU'lu bir sunucuya taşımaktır. Aynı yazılım yığını kullanıldığı için taşıma sırasında kodun yeniden yazılması gerekmez; değişen yalnızca çalıştığı donanım olur.
Karar verirken sorulacaklar
- Amaç prototip mi, üretim mi? Prototipte kapasite, üretimde hız belirleyicidir.
- Kaç kişi aynı anda kullanacak?
- Hedef yanıt hızı nedir; saniyede birkaç token kabul edilebilir mi?
- Kullanılan araç zinciri ARM üzerinde çalışıyor mu?
- Çalışma sonrası iş yükü sunucuya taşınacak mı? Aynı yazılım yığını geçişi kolaylaştırır.
Sık yapılan hatalar
- Bellek kapasitesini performans göstergesi sanmak; kapasite modelin sığmasını, bant genişliği hızını belirler.
- Tek kullanıcıyla ölçülen hızı ekip kullanımına genellemek.
- Cihazı sunucu yerine koymak ve kesintisiz güç, yedekleme, erişim denetimi gibi üretim gereksinimlerini atlamak.
- Araç zinciri uyumunu satın alma sonrasına bırakmak.
Sık sorulan sorular
DGX Spark bir GPU sunucunun yerini tutar mı?
Prototipleme ve tek kullanıcılı çalışmada evet, çok kullanıcılı üretim çıkarımında hayır. Bant genişliği farkı nedeniyle aynı model sunucuda belirgin şekilde daha hızlı yanıt üretir.
İki cihazı birleştirmek performansı da ikiye katlar mı?
Birleştirmenin asıl kazancı, tek cihaza sığmayan daha büyük modelleri çalıştırabilmektir. Token üretim hızı bu birleştirmeyle orantılı biçimde artmaz.
Verilerim cihazda kalır mı?
Evet, model ve veriler yerelde çalışır; dışarıya istek gönderilmez. Bu nedenle gizli veriyle çalışan ekipler için tercih edilir, ancak cihazın fiziksel güvenliği ve disk şifrelemesi kurumun sorumluluğundadır.
DGX Spark ile GPU iş istasyonu ve sunucu alternatiflerini kendi modeliniz ve veri setinizle test ederek karşılaştırmalı sunuyor, seçilen çözümü kurulu ve yapılandırılmış halde teslim ediyoruz.