Taobao’dan Mobil Uygulamalar İçin Çığır Açan Yapay Zeka Modeli: MNN-Pocket-0.3B Açık Kaynak Oldu
Alibaba'nın Taobao bünyesindeki MNN ekibi, mobil uygulamalar içinde verimli çalışmak üzere tasarlanmış, sadece 173 MB boyutundaki MNN-Pocket-0.3B adlı dil modelini açık kaynak olarak kullanıma sundu.
- Ne oldu: Alibaba'nın Taobao MNN ekibi, mobil uygulamalar için özel olarak tasarlanmış, 300 milyon parametreli MNN-Pocket-0.3B adlı yapay zeka modelini açık kaynak olarak yayınladı.
- Kritik veri: Model, 173 MB'lık kurulum paketiyle iPhone ve Android cihazlarda saniyede 350 token'a varan hızlarda çalışırken, 100 çalıştırmada pilin yalnızca %0.3'ünü tüketiyor.
- Neden önemli: Bu gelişme, büyük ve çok amaçlı mobil uygulamalarda yapay zeka yeteneklerini doğrudan cihaz üzerinde, sınırlı kaynaklarla yüksek performansla sunarak kullanıcı deneyimini dönüştürme potansiyeli taşıyor.
Çin Radarı’nın edindiği bilgilere göre, Alibaba’nın e-ticaret devi Taobao bünyesindeki MNN ekibi, mobil uygulamalar için özel olarak geliştirilen MNN-Pocket-0.3B adlı dil modelini açık kaynak olarak kullanıma sundu. Pandaily tarafından aktarılan verilere göre, yaklaşık 300 milyon parametreye sahip bu model, özellikle Taobao gibi büyük ve çok amaçlı alışveriş ve hizmet uygulamalarında, telefonun sınırlı işlemci, bellek ve pil kaynaklarını diğer tüm uygulamalarla paylaşırken yüksek performans göstermek üzere tasarlandı. Bu hamle, yapay zeka yeteneklerini doğrudan kullanıcıların cihazlarına taşıyarak mobil deneyimde yeni bir dönemin kapılarını aralıyor.
MNN ekibi, bu ‘uygulama yerel’ büyük dil modeli için dört temel tasarım hedefi belirledi. Buna göre, modelin belirli cihazlarda saniyede 200 token’ı aşan bir kod çözme hızına ulaşması, bellek kullanımının 300 MB’ın altında kalması (500 MB’lık genel model bütçesi içinde), tipik bir çıkarımın referans bir telefonun pilinin on binde birinden fazlasını tüketmemesi ve belirli iş görevlerinde 8 milyar parametreli modellerle eşdeğer sonuçlar vermesi hedeflendi.
Yapılan testler, MNN-Pocket-0.3B’nin bu hedefleri başarıyla aştığını gösteriyor. Model, MNN çıkarım motoru aracılığıyla bir iPhone 18 Pro’da tamamen çevrimdışı çalışırken ortalama saniyede 350 token hızına ulaşıyor. Ağırlıklar, tokenleştirici, hesaplama grafiği ve çıkarım yapılandırmasını içeren INT4 dağıtım paketi sadece 173 MB boyutunda. M5 çipli bir iPad Pro’da Metal arka ucu kullanılarak saniyede 466 token kod çözme hızı ve saniyede 8.721 token ön doldurma hızı ölçüldü. Snapdragon 8 Gen 5 işlemcili bir telefonda ise CPU arka ucuyla saniyede 251 token performansı sergiledi. Bir OnePlus 13’te yapılan 100 çalıştırma için ek enerji maliyeti pilin yaklaşık %0.3’ü olarak kaydedildi. Model, Çince ve İngilizce odaklı olarak sıfırdan eğitildi.
Ekip, 50 milyon ila 1.3 milyar parametre arasındaki yoğun yapılandırmaları test ettikten sonra, hem bellek hem de hız hedeflerini karşılayan en büyük boyut olarak yaklaşık 300 milyon parametrede karar kıldı. 28 katmanlı ve gruplandırılmış sorgu dikkat mekanizmalı bir yapı tercih edildi; 36 katmana çıkmanın ortalama puanları artırmadığı ancak kod çözmeyi yavaşlattığı belirtildi. 3 tokenleştiricisindeki yaklaşık 151.000 token’lık kelime haznesi 64.000’e düşürülerek gömme ve çıktı katmanı maliyetleri azaltıldı. Model, IFEval’de 73.20, Çince IFEval’de 74.59 ve 11 Çince ve İngilizce karşılaştırma testinde ortalama 50.00 puan alarak 3-0.6B gibi aynı ve daha büyük boyutlu modelleri geride bıraktı. Model kartı, diğer milyar altı parametreli modeller gibi, gelişmiş matematik veya uzun kod üretimi için önerilmediğini belirtiyor. Yayınlanan varyantlar arasında temel model, denetimli ince ayar kontrol noktası, talimat ayarlı model, GGUF yapısı, INT4 MNN yapısı ve adaylar arasından seçim yapmak için bir karar başlığı modeli bulunuyor. Ayrıca, belirli görevlerde kod çözme verimini iki katına çıkarabileceği belirtilen bir DFlash2 spekülatif kod çözme taslak modeli de sürümde yer alıyor.