Makine öğrenimi ve kullanıcı etkileşimi süreçlerinin uçta gerçekleştirilmesi yapay zekanın kullanıcıların cebine girmesini sağlayabilir.
Yazan: Couchbase Yazılım Geliştirme, AI ve Edge Başkan Yardımcısı Mohan Varthakavi
Şirketler üretken yapay zeka ve büyük dil modellerinin (LLM’ler) potansiyelini keşfetmeye devam ediyor. Ancak bu geleceği de düşünmedikleri anlamına gelmiyor. Birçok kişi için gerçek mobil yapay zeka, genellikle yüksek güç ve kaynak gerektiren uygulamaların sunduğu fırsatları cihazlara taşıyan ve ulaşılması istenen bir hedef olarak görülmektedir.
Tüketici ve iş odaklı uygulamalar kesinlikle bunları hedef olarak görecek olsa da bunun yalnızca akıllı telefonlara veya diğer cihazlara yönelik bir saplantı olmadığını söyleyebiliriz. Bu aynı zamanda, üretken yapay zekanın Nesnelerin İnterneti’ndeki (IoT) varlığını genişletmek ve potansiyel olarak gerçekten akıllı operasyonel sistemler oluşturmak anlamına da geliyor.
Buradaki asıl soru bunun nasıl başarılacağıdır. Modern bir mobil cihaz Nokia 3210’dan oldukça farklıdır ancak bu teknolojik gelişim bile büyük dil modellerinden yararlanmak için yeterli değildir. Peki buradaki asıl güç hesaplama gücü değilse, nedir?
Doğru Mimariyi İnşa Etmek
Varsayım, mobil yapay zekânın yalnızca bulutta var olabileceği, ağır işlem yükünü merkezi sunucuların üstleneceği ve cihazın yalnızca sonuçları görüntüleyeceği yönünde olsa da gerçek mobil yapay zekanın başarılı olabilmesi için bulut ile olan bağlarını koparması gerekir. Bağlantı elbette bir sorundur ki buluta bağlanamadığında çalışmayan bir uygulama anında daha az değerli bir hale gelir. Bunlara ek olarak verimlilik, hız ve veri gizliliği sorunları da bulunmaktadır.
En iyi üretken yapay zeka uygulamaları mümkün olduğunca gerçek zamana yakın çalışır. Her bir saniyelik gecikme, verilerin daha az güncel olması, yanıtların daha yavaş olması ve yapay zekanın vardığı her sonucun daha az güvenilir olması anlamına gelir. Merkezi bir sunucuya ve sunucudan veri aktarımının doğasında olan gecikme olgusu bulut tabanlı bir yaklaşımın her zaman yetersiz kalacağı anlamına gelir. Bununla birlikte şirketlerin, sürekli veri aktarımının bant genişliği maliyetleri ve aktarılan verilerin güvenlik riski ile mücadele etmesi gerekir. Açıkça söylemek gerekirse, bir cihazın kendisinde ne kadar çok şey gerçekleşebilirse o kadar iyidir.
Bu, bulut sunucularının önemsiz olduğu anlamına gelmiyor. Büyük dil ve derin öğrenme modellerinin eğitimi gibi bir mobil cihazın asla karşılayamayacağı yüksek işlem gücü gerektiren görevler için bulut sunucuları idealdir. Bununla birlikte, makine öğrenimi süreçleri ve kullanıcılar ile yapay zekanın kendisi arasında anında etkileşim gerektiren herhangi bir görevin uçtaki cihazda gerçekleşmesi gerekir. Bu da cihaz üzerindeki işlem yükünün azaltılması ve bir mimarinin uç bilişimin özel talepleri etrafında inşa edilmesinin sağlanması anlamına gelir.
İşlem Yükünü Cihazların Üzerinden Almak
Ağır işlem yükünün buluta yüklenmesi, gerçek mobil yapay zekanın erişilebilir olmasına yardımcı olacaktır. Ancak bir mobil cihazın üretken yapay zeka uygulamalarını yeterli bir performans düzeyinde çalıştırabilmesi için bu yükün daha da azaltılması gerekmektedir.
Nihayetinde en büyük yük, yapay zeka modelinin kendisinden kaynaklanmaktadır. Bunlar ne kadar basitleştirilebilirse cihaz üzerindeki yük de o kadar azalır. Benzer şekilde, daha fazla verimlilik için başka işlemleri optimize etmek, cihazın üretken yapay zeka uygulamalarına mümkün olan en fazla kaynağı ayırabilmesini sağlayacaktır.
Bu noktada doğru yaklaşım her uygulamanın özel ihtiyaçlarına bağlı olacaktır. Model niceleme genellikle yapay zeka modelinin etkili bir şekilde çalışmasını sağlayacak, basitleştirmeye yönelik önemli bir adımdır. Bunun ötesinde, eğitim sonrası modelleri sıkıştıran GPTQ, önceden eğitilmiş bir model içindeki küçük matrislere kadar ince ayar yapan LoRA ve daha fazla verimlilik için GPU bellek kullanımını optimize eden QLoRA gibi yaklaşımlar yükü daha da azaltabilir ve gerçek mobil yapay zekayı erişilebilir hale getirebilir.
Veriyi Yönetmek
Son olarak, diğer tüm uygulamalarda olduğu gibi yapay zekada da dikkatli bir veri yönetimi yapılması gerekir. Öncelikle verilerin özel ve güvenli olması gerekir. Verilerin bir cihazdan büyük dil modelinin öğrenme modeline taşınmasını önlemek gibi gizliliği koruyan teknikler uygulamak, bunları şifreleme ile desteklemek ve böylelikle en olumsuz durumda bile verilerin korunmasını sağlamak öncelik olmalıdır.
Ek olarak, verilerin tüm ağ boyunca tutarlı olması gerekir. Bütünlüğü sağlamak için uç cihazlar ile diğer bulut veya merkezi sunucular arasında veri senkronizasyonu kritik önem taşıyacaktır. Bütün bunlar sağlandığında kuruluşlar yapay zekanın her cihazda aynı verilerle çalıştığını bilir ve böylece beklenmedik ve tehlikeli sonuçlarla karşılaşma ihtimali azalır.
Bu koşullarda çeşitli veri türlerini yönetebilen ve yapay zeka modellerinin yerel veri depolarına erişmesini sağlayan bir veri platformu önemli bir avantaj olacaktır. Çevrimdışı veya çevrimiçi erişim, artırılmış performans ve gelişmiş bir kullanıcı deneyimi sağlayan bir veri platformu da aynı ölçüde fayda sağlayacaktır. Doğru platform sayesinde yapay zeka uygulamaları çeşitli ortamlarda çalışabilir, yüksek yanıt verebilirlik ve güvenilirlik ile çok daha değerli bir araç haline gelebilir.
Altın Kural
Sonuç olarak, veri yönetimi ve mimarisi birçok BT stratejisinin merkezinde yer alan altın kurala geri dönüyor: basit tutmak. Kuruluşlar karmaşıklığı ne kadar aza indirebilirse, yapay zekanın kendisine o kadar fazla güç sağlayabilirler. Bunu gerçekleştirebilmek, bilgi işlem gücünün her bir baytının önemli olduğu mobil ortamda başarılı olmak açısından kritik öneme sahiptir.
