Huawei’den Yapay Zeka Belleğine Devrim: Videoları Olaylara Göre Hatırlıyor, Yanıt Süresi Azalıyor

Yapay zeka sistemlerinin uzun video içeriklerini anlaması ve bunlardan bilgi çekmesi, geleneksel yöntemlerle ciddi zorluklar barındırıyordu. Pandaily tarafından aktarılan bilgilere göre, videoları sabit birer dakikalık dilimlere ayırma yaklaşımı, kritik bilgilerin parçalanmasına veya alakasız görüntüler arasında kaybolmasına neden oluyordu. Bu durum, yapay zekanın ‘halüsinasyon’ görmesine, yani eksik veya yanlış çıkarımlar yapmasına yol açarken, bilgi geri çağırma doğruluğunu da düşürüyordu. Ayrıca, çoğu olay segmentasyon yönteminin tek bir modaliteye (sadece görüntü veya sadece ses) odaklanması, ekran değişmese bile konu değişikliklerini veya konuşma olmasa bile sahne geçişlerini gözden kaçırmasına neden oluyordu.

Huawei destekli açık kaynaklı ajan çerçevesi openJiuwen, bu sorunlara çığır açan bir çözüm sunuyor: OmniMem-Lens. AgentMemory modülünün 0.2.0 sürümüyle gelen bu çok modlu bellek yeteneği, yapay zeka ajanlarının uzun videoları sabit zaman dilimleri yerine gerçek olaylara göre hatırlamasını sağlıyor. OmniMem-Lens, hem görsel hem de işitsel akışları aynı anda takip ederek olay sınırlarını belirliyor. Görsel izleme sahne değişikliklerini tespit ederken, ses izleme konuşma tanıma teknolojisiyle konuşmacının konu değiştirdiği anları, ekran görüntüsü değişmese bile yakalayabiliyor. Bu çift kontrol mekanizması, yapay zekanın bir videodaki gerçek olayları çok daha doğru bir şekilde ayırmasına olanak tanıyor.

Sistem, bilgiyi üç katmanlı bir yapıda depoluyor: L0 ham videoyu, L1 olay düzeyindeki anıları ve L2 daha ince segment düzeyindeki anıları barındırıyor. L1 ve L2 katmanları tamamen metin ve vektörlere dönüştürülerek ana akım vektör veritabanlarına kolayca entegre edilebiliyor. Bu sayede, ağır düzenleme işleri çevrimdışı olarak yapılırken, bir soru sorulduğunda sistem L1 ve L2 katmanlarını sorguyla eşleştiriyor ve yalnızca görsel detayların kontrol edilmesi gerektiğinde L0’dan tam kareleri çekiyor. Bu akıllı yapı, önemli ölçüde hız ve doğruluk artışı sağlıyor.

Yapılan testler, OmniMem-Lens’in etkileyici performansını ortaya koyuyor. Qwen3-VL-8B ile eşleştirilen OmniMem-Lens, Video-MME-L testinde geri çağırma doğruluğunu %8, LVBench’te ise %6,4 artırdı. Özellikle günlük yaşamı birinci şahıs bakış açısıyla kaydeden ve sabit dilimlemenin başarısız olduğu EgoLife-QA veri setinde %45,7 gibi rekor bir artış sağlandı. Yanıt sürelerinde ise çarpıcı bir düşüş yaşandı; LVBench’te 34,5 saniyeden 1,72 saniyeye inerek yaklaşık 20 kat hızlanma, maksimum gecikme süresinde ise %97’lik bir azalma kaydedildi. Projenin kodu GitCode ve GitHub’da Apache-2.0 lisansı altında erişilebilir durumda. openJiuwen ekibi, yakın gelecekte WorkSwarm’ın AgentMemory’yi destekleyeceğini ve böylece günlük konuşmalarda paylaşılan videoların daha sonraki tartışmalarda hatırlanıp geri çağrılabileceğini belirtiyor.