GPUWorks’ten Yapay Zeka Altyapısında Devrim: Farklı Çipleri Tek Çatıda Birleştiren Açık Kaynak Platform
GPUWorks, farklı üreticilerin yapay zeka çiplerini tek bir kümede birleştirerek kurumsal AI çıkarım süreçlerini devrim niteliğinde hızlandıran 40MB'lık açık kaynaklı platformunu tanıttı.
- Ne oldu: GPUWorks, farklı AI donanımlarını (NVIDIA, Huawei Ascend, Hygon vb.) tek bir kümede yöneten hafif, açık kaynaklı bir yapay zeka çıkarım platformunu kullanıma sundu.
- Kritik veri: Sadece 40MB boyutundaki kurulumuyla 60 saniyede devreye alınabiliyor, Kubernetes gerektirmiyor ve binlerce sunucuyu yönetebiliyor.
- Neden önemli: AI altyapılarında donanım bağımsızlığı, esneklik, hız ve maliyet etkinliği sağlayarak büyük modellerin daha verimli ve dinamik bir şekilde kullanılmasının önünü açıyor.
Çin’in önde gelen teknoloji haber platformlarından Pandaily’nin aktardığına göre, yapay zeka (AI) çıkarım platformu GPUWorks, kurumsal AI altyapılarında yeni bir dönemi başlatacak açık kaynaklı çözümünü duyurdu. Apache-2.0 lisansı altında GitHub’da FlitAI organizasyonu çatısı altında yayınlanan bu platform, farklı üreticilerin AI hızlandırıcılarını tek bir yönetilebilir havuzda birleştirerek, model eşleştirme, bellek tahmini ve dağıtım gibi süreçleri basitleştiriyor. NVIDIA, AMD, Huawei Ascend, T-Head PPU ve Hygon DCU gibi çeşitli çiplerle uyumlu çalışabilmesi, işletmelere donanım bağımsızlığı ve esneklik sunuyor.
GPUWorks’ün en dikkat çekici özelliklerinden biri, sadece 40MB’lık kurulum dosyasıyla gelmesi. Bu hafif yapısı sayesinde, platform tek bir komutla yaklaşık 60 saniyede kurulabiliyor ve Kubernetes gibi karmaşık konteyner yönetim sistemlerine ihtiyaç duymuyor. Şirket içi ağlarda çevrimdışı kullanım için kurulum dosyaları, model dosyaları ve çalışma zamanı görüntülerinin içe aktarılmasına olanak tanıyan sistem, 400’e yakın model için binden fazla başlatma yapılandırması sunuyor. Ayrıca, yerleşik bir AI asistanı arıza teşhisinde yardımcı olurken, zamanlayıcı her yerleştirme kararını açıklayarak şeffaflık sağlıyor.
Platformun performans testleri de oldukça etkileyici. Ekibin kendi gerçekleştirdiği testlere göre, tek bir GPUWorks sunucusu 1.003 GPU sunucusunu başarıyla yönetti ve dört dakika içinde 500’den fazla çıkarım kopyasını devreye aldı. Bu süreçte saniyede 69.000 token çıktı elde edilirken, sunucu yalnızca dokuz CPU çekirdeği ve 1.6GB bellek kullandı. Özellikle büyük modellerin verimli kullanımını sağlayan ‘uyandırma’ özelliği sayesinde, uyku modundaki bir DeepSeek-V4.1-Flash dağıtımının sadece 3.6 saniyede aktif hale gelmesi, aynı GPU’ların birden fazla büyük model tarafından dönüşümlü olarak paylaşılmasına olanak tanıyor.
GPUWorks, model ağırlıklarını ana bellekte tutan birinci seviye uyku modu ile soğuk başlatmaya kıyasla yaklaşık 200 kat daha hızlı bir hizmet geri yükleme süresi sunuyor. Sekiz NVIDIA H20 kart üzerinde yapılan bir testte, NFS depolamadan soğuk başlatma 16-17.5 dakika sürerken, bellekten uyandırma yaklaşık dört saniyede gerçekleşti. Yöneticiler öncelik, boşta bırakma veya planlı rotasyon politikaları belirleyebiliyor. Daha büyük iş yükleri için çoklu düğüm paralelliği, birden fazla kopya ve ön doldurma-kod çözme ayrıştırmasını destekleyen platform, RDMA ağları veya Ascend HCCS bağlantıları için yapılandırma seçenekleri sunuyor. Ayrıca, token kullanımı, önbellek isabetleri, kart-saatleri ve boşta kalan GPU’lar gibi metrikleri izleyerek kapsamlı bir yönetim deneyimi sağlıyor.