Yapay zeka, bilişim dünyasında durdurulamaz bir ilerleme kaydediyor. Bugün veri merkezlerinin yaklaşık yedide biri yapay zeka iş yüklerini barındıracak donanıma sahipken bu oranın 2030 yılına kadar yüzde 70’e yaklaşması bekleniyor. Uç yapay zeka uygulamalarının on yıla kadar yaklaşık 66,5 milyar dolar değerinde bir pazar oluşturması öngörülürken yapay zeka, hiper ölçekli veri merkezlerinden kurumsal veri merkezlerine ve ağ çevresine doğru yayılıyor. Yeni bilişim çağının yakıtı olan verinin, son derece büyük hacimlerde, talepkar ve hızla büyüyen yapay zeka bilişim altyapısına yüksek hızda aktarılması gerekiyor.
Yazan: Sandisk CTO’su Alper İlkbahar
Bu devasa içerik depoları, geleneksel depolama yapılarını zorluyor ve mimari açıdan köklü bir zayıflığı gün yüzüne çıkarıyor. Veri merkezi belleği (DRAM ve HBM olarak bilinen yüksek bant genişlikli bellek); yoğunluk, depolama kapasitesi ve ölçeklenebilirlik açısından büyük yapay zeka modellerinin artan taleplerine ayak uydurmakta giderek zorlanıyor. Öte yandan hiper ölçekli bilişim üreticileri, yükselen DRAM ve HBM üretim maliyetleri, tasarım karmaşıklığı ve enerji tüketimiyle mücadele ediyor. Kurumsal veri merkezlerinde ve uç yapay zeka uygulamalarında bu zorluk daha da büyük bir sorun teşkil ediyor; zira bu ortamlarda nispeten daha küçük fiziksel alan, artan bellek maliyetlerini ve güç tüketimini karşılayabilecek donanıma sahip olmayı zorlaştırıyor.
Ayrıca, günümüzde yapay zeka iş yüklerinin en büyük kısmını oluşturan ve yapay zeka eğitiminden farklı bir veri yönetimi gereksinimine sahip olan yapay zeka çıkarımının ortaya çıkardığı bir başka acil sorun daha bulunuyor. Çıkarım, büyük ve giderek büyüyen yapay zeka modellerini barındırıyor. HBM ve DRAM tabanlı bellekler ise bu yeni taleplere ayak uyduracak kapasite ve maliyet açısından ölçeklenebilirlikten yoksun. Bu belirgin bellek özellikleri farklılıkları göz önünde bulundurulduğunda, özellikle yapay zeka çıkarımı için optimize edilmiş bir bellek teknolojisine yönelik ciddi bir fırsat ortaya çıkıyor.
Neden DRAM ve HBM, Yapay Zeka Çıkarımı İş Yüklerini Yeterince Karşılayamıyor?
DRAM ve HBM’nin, yapay zekanın uzun vadeli devreye alınması senaryoları için tek başına neden yetersiz kaldığını anlamak için aşağıdaki dezavantajları ele almak gerekiyor. Başlangıçta küçük çatlaklar olarak görünen bu sorunlar, düzeltilmediği takdirde zaman içinde büyüyerek yeni nesil yapay zeka merkezli depolamanın temelini sarsabiliyor.
Yoğunluk Cezaları: DRAM kapasite ölçeklemesi durma noktasına gelirken yapay zeka çıkarımına yanıt vermek için daha yüksek kapasiteye duyulan ihtiyaç artmaya devam ediyor.
Yapay Zeka Çıkarımı İçin Uyumsuzluk: DRAM’in düşük gecikme süresi ve rastgele erişim özelliklerinin sağladığı avantajlar, veri erişim kalıplarının öngörülebilir olduğu ve veri ön getirme (data prefetching) gibi teknikler sayesinde gecikmeye karşı daha toleranslı çalışan yapay zeka çıkarımı (AI inference) süreçlerinde belirleyici bir rol oynamıyor.
Optimize Edilmiş Bir Yapay Zeka Çıkarımı Bellek Mimarisinin Özellikleri
Bu çatlaklar, hiper ölçekli sağlayıcıların yapay zeka altyapısına yönelik harcamalarının on yılın sonuna kadar 6,7 trilyon dolara ulaşabileceği göz önüne alındığında, veri merkezlerindeki hakimiyetini korumaya kararlı olan 120 milyar dolarlık DRAM sektörünün altında yatıyor.
Ya artık tamamen yeni bir sayfa açıp uygulamanın ihtiyaçlarına uygun, sıfırdan tasarlanmış yeni bir bellek oluşturmanın zamanı geldiyse? Yapay zekaya özel olarak optimize edilmiş bir depolama sınıfı bellek şu özelliklere sahip olacaktır:
- Çıkarım iş yükleri için tahsis edilmiş daha büyük ve ölçeklenebilir bellek kapasitesi
- Daha yüksek bellek yoğunluğu (GB/mm²)
- Yapay zeka çıkarımının gereksinimlerini karşılayacak yüksek bant genişliği
- Daha düşük sistem düzeyinde güç tüketimi
- Maliyet etkin metrikler ($/TB)
Yüksek Bant Genişlikli Flash, Yapay Zeka Veri Merkezini Hedef Alıyor
Yüksek Bant Genişlikli Flash (HBF™), yeni nesil yapay zeka bilişimini desteklemek amacıyla sıfırdan tasarlanmış, yıkıcı nitelikteki yeni bir bellek mimarisi. HBF, gelişmiş bilişim ve veri yoğun uygulamaların kapasite, enerji, verimlilik ve ölçeklenebilirlik gereksinimlerini karşılıyor. HBM ile kıyaslandığında HBF, yapay zeka çıkarımı trendleriyle daha uyumlu olan, karşılaştırılabilir bant genişliğiyle birlikte daha yüksek kapasite ve bellek yoğunluğu sunuyor. Kalıcı bir depolama ortamı olarak HBF, güç kesildiğinde de verileri muhafaza ediyor ve yüksek çalışma sıcaklıklarını destekleyen termal kararlılık sağlıyor.
Bu avantajları hayata geçirmek için HBF, yüksek bant genişliği ve çıkarım bellek karakteristikleri için optimizasyon yaparak NAND flash’ı etkin biçimde yeniden tasarlayan Sandisk’in BiCS tasarım ve üretim teknolojisinden ve die mimarisinden yararlanıyor. BiCS CMOS bağlantılı dizi (CBA) wafer teknolojisinin kullanımı enerji verimliliğini ve bant genişliğini daha da artırıyor.
HBF, NAND Flash’ı Yapay Zeka Uygulamaları İçin Yeniden Tasarlıyor
Geleneksel NAND flash ile kıyaslandığında HBF’nin paralelizm, gelişmiş mantık ölçekleme ve özel yığınlama tekniklerinden yararlanması; büyük dil modellerinin DRAM’a yakın hızlarda veri akışı sağlamasına olanak tanıyarak daha düşük gecikme süresi ve önemli ölçüde daha yüksek okuma bant genişliği sunmasına katkıda bulunuyor.
HBF ayrıca, yapay zeka çıkarımı doğruluğunun artırılmasına yardımcı olan uzun ve karmaşık kullanıcı sorguları ile müşteriye ve alana özgü verileri etkin biçimde işlemek amacıyla büyük KV önbelleklerini destekliyor.
Bellek Merkezli Yapay Zekanın Kurumsala ve Ağ Ucuna Taşınması
HBM’nin yoğunluk, maliyet ve güç dezavantajları nedeniyle uç ve mobil ortamlarda genel olarak kullanılabilir olmaması göz önünde bulundurulduğunda, daha karmaşık yapay zeka çıkarımı problemlerini yönetmek için daha büyük bellek kapasitesinin değeri HBF ile hayata geçiriliyor. Bu durum, gerçek zamanlı kararlar alarak çok sayıda karmaşık görevi yönetebilecek kapasitedeki akıllı telefonlar gibi uç cihazların önünü açıyor. Kalıcı belleği sayesinde HBF, yeni sorunları çözmek için önceki sorgulardan eski bağlamı sorunsuz biçimde geri almayı destekliyor.
HBF’nin avantajları kurumsal düzeyde bilişime de uzanıyor. Burada kullanıcı tabanı, hiper ölçekli veri merkezlerine kıyasla çok daha küçük olduğundan, HBM tarafından desteklenen büyük GPU kümeleri son derece maliyetli oluyor. HBF destekli hızlandırıcıları benimseyerek daha küçük işletmeler, alana özgü kullanımlar için büyük ve önceden eğitilmiş modelleri potansiyel olarak ince ayarlayabiliyor.
Optimize Edilmiş Bellek, Yapay Zeka Bilişiminin Büyümesinin Önündeki Engelleri Kaldırıyor
Veri merkezleri ve uç yapay zeka cihazları, yemek tarifinden çığır açan bilimsel keşiflere kadar uzanan görevleri destekleyerek otonom biçimde çalışıyor. Web sitesi barındırma ve kurumsal veri yönetimi gibi rutin görevlerin yerini; makine öğrenimi, derin öğrenme ve veri analitiği kullanarak eyleme dönüştürülebilir içgörüler üreten akıllı iş yükleri alıyor.
Tahminler yapan ve çıktılar üreten büyük ölçekli çıkarım modellerini yönetme amacıyla veri merkezi ve uç belleğinin nasıl tedarik edildiğini yeniden değerlendirmenin zamanı geldi. HBM ile kıyaslandığında HBF, yapay zeka çıkarımı uygulamalarının gerektirdiği yüksek verimliliği sunarken belirgin bir kapasite avantajına sahip. Ölçeklenebilir yeni bir sistem belleği teknolojisi olarak HBF, performans darboğazlarının azaltılmasına yardımcı oluyor ve hem modern veri merkezlerinde hem de uç ağlarda yapay zeka uygulamaları için içgörüye ulaşma süresini hızlandırıyor.
