Huawei Ascend, Çığır Açan Kimi K3.1 Pro Yapay Zeka Modelini Anında Destekliyor

Çin’in teknoloji devi Huawei’nin Ascend bilgi işlem ekibi, yapay zeka dünyasında önemli bir adım atarak Moonshot AI’nin yeni nesil büyük dil modeli Kimi K3.1 Pro’ya piyasaya sürüldüğü ilk günden itibaren destek verdiğini açıkladı. Pandaily tarafından aktarılan bilgilere göre, bu 2.8 trilyon parametreli modelin tam ağırlıkları 4 Kasım’da Moonshot AI tarafından yayınlanmıştı. Huawei’nin bu ‘sıfırıncı gün’ adaptasyonu, geliştiricilerin vLLM Ascend ve SGLang gibi araçları kullanarak modeli Atlas 800 A3 sunucuları, Atlas 900 A3 SuperPoD ve Ascend 950 SuperPoD serisi üzerinde anında dağıtabilmesini sağlıyor.

Kimi K3.1 Pro, Moonshot AI’nin K3.1 serisinin ilk modeli olma özelliğini taşıyor ve karma uzman (mixture-of-experts) mimarisiyle dikkat çekiyor. Yaklaşık bir milyon token’lık bağlam penceresi ve yerel görsel anlama yeteneği sunan bu model, her çıkarım adımında yaklaşık 104 milyar parametreyi etkinleştiriyor. Huawei’nin çıkarım ekibi, özellikle modelin K3’ün hibrit doğrusal dikkat mekanizması üzerine inşa edilen Kimi Delta Attention (KDA) katmanlarını koruyup, bazı tam dikkat katmanları yerine DSA seyrek dikkat katmanları eklemesiyle ortaya çıkan mimari adaptasyon üzerinde yoğunlaştı. Ekip, daha önceki Kimi K3 adaptasyon deneyimlerinden faydalanarak yeni modeli önceden analiz etti ve model entegrasyonu, operatör geliştirme ve hizmet doğrulama süreçlerini paralel yürüttü.

Huawei, optimizasyon çalışmalarının tarihsel bilgi seçimi, seyrek dikkat hesaplaması, ön işleme ve kalıntı hesaplaması gibi temel operatörleri kapsadığını belirtti. Bu çalışmalar, dağıtık önbellekleme ve çerçeve düzeyindeki özelliklerle birleşerek uzun bağlam çıkarımını ve üretim hizmetlerini destekledi. Modelin boyutu, donanım desteğini pratik bir zorunluluk haline getiriyor; BF16 ağırlıklarının yaklaşık 5.6 TB yer kaplaması ve INT4 niceleme ile bile 1.4 TB’a ihtiyaç duyması, tek bir tüketici GPU’sunda çalışmasını imkansız kılıyor. Huawei, A3 ve 950 SuperPoD sistemlerini tam da bu tür trilyon parametreli karma uzman çıkarım modelleri için konumlandırmış durumda.

Bu hızlı entegrasyon, Huawei’nin yapay zeka donanım ve yazılım ekosisteminin, en ileri düzeydeki yapay zeka modellerine ne kadar hızlı adapte olabildiğini gösteriyor. Şirket, bu hamleyle kullanıcıların ve geliştiricilerin, bir model piyasaya sürüldüğü ilk günden itibaren dağıtım ve uygulama testlerine başlayabilmelerini hedeflediğini vurguladı. Kimi K3.1 Pro’nun vLLM Ascend 0.30.0’da deneysel destek olarak listelenmesi ve sekiz düğümlü ön doldurma-çözme ayrımı içeren referans tasarımları, Huawei’nin yapay zeka altyapısındaki güçlü konumunu pekiştiriyor.