Google Cloud TPU’larda geliştirilmiş vLLM entegrasyonu ve Google Cloud’da kullanılabilen Red Hat AI Inference Server, ölçeklenebilir üretken yapay zeka için daha uygun maliyetli yapay zeka çıkarımları ve donanım seçenekleri sunuyor. Google Cloud, Red Hat’in yeni llm-d açık kaynak projesine kurucu olarak katkıda bulunuyor.Red Hat, Google’ın açık kaynaklı Gemma 3 modelini ilk test eden şirketlerden biri olacak ve daha ilk günden destek sağlayacak.
Red Hat ve Google Cloud, bugün Red Hat’in açık kaynak teknolojilerini Google Cloud’un özel olarak tasarlanmış altyapısı ve Google’ın açık model ailesi Gemma ile birleştirerek kurumsal uygulamalar için yapay zekayı geliştirmek üzere işbirliğini genişlettiğini duyurdu.
- Şirketler, aşağıdakileri gerçekleştirerek yapay zekanın ölçeklendirilmesi için kurumsal düzeyde kullanım örneklerini geliştirecekler:
- Google’ın kurucu katkı sağlayıcı olarak llm-d açık kaynak projesini başlatmak
- Yapay zeka çıkarımını geliştirmek için Google Cloud TPU’larda ve GPU tabanlı sanal makinelerde (VM) vLLM desteğini etkinleştirmek
- Gemma 3 model dağıtımlarında vLLM için 0. Gün desteği sunmak
- Google Cloud’da Red Hat AI Inference Server’ı desteklemek
- Google’ın Agent2Agent (A2A) protokolü için topluluk katılımcısı olarak Red Hat ile Agency AI’ı ilerletmek
vLLM ile yapay zeka çıkarımını güçlendirme
0. Gün hazırlığına duyduğu bağlılığı gösteren Red Hat, Red Hat, Google’ın açık model ailesi Gemma’nın —öncelikle Gemma 3’ün— ilk test edenlerinden biri oldu ve vLLM için anında destek sunmaya başladı.
vLLM, üretken yapay zekâ (gen AI) uygulamalarının çıktısını hızlandıran açık kaynaklı bir çıkarım sunucusu. Bu alandaki en büyük kurumsal katkı sağlayıcılardan biri olan Red Hat, üretken yapay zekâ uygulamaları için daha maliyet etkin ve daha hızlı yanıt veren bir platformun gelişimine öncülük ediyor.
Ayrıca, Google’ın yapay zeka portföyünü destekleyen yüksek performanslı yapay zeka hızlandırıcıları olan Google Cloud TPU’lar artık vLLM’de tam olarak etkinleştirildi. Bu entegrasyon, geliştiricilerin kaynakları en üst düzeye çıkarırken hızlı ve doğru çıkarım için gerekli olan performansı ve verimliliği elde etmelerini sağlıyor.
Yapay zeka araştırmalarından gerçek dünyadaki uygulamalara geçişin farkında olan birçok kurum, çeşitli yapay zeka ekosistemlerinin karmaşıklığı ve daha dağıtık hesaplama stratejilerine geçme ihtiyacıyla karşı karşıya. Red Hat bu ihtiaycı karşılamak için Google’ın kurucu katkıda bulunan olarak llm-d açık kaynak projesini başlattı. vLLM topluluğunun ivmesinden yararlanarak, bu girişim üretken yapay zeka çıkarımında yeni bir çağın öncüsü oluyor. Amacın, heterojen kaynaklar arasında daha fazla ölçeklenebilirlik sağlamak, maliyetleri optimize etmek ve iş yükü verimliliğini artırmak ve tüm bunları sürekli yeniliği teşvik ederken gerçekleştirmek olduğu belirtiliyor.
Topluluk destekli inovasyonla kurumsal yapay zekayı geliştirme
En son topluluk gelişmelerini kurumsal alana taşıyan Red Hat AI Inference Server, artık Google Cloud’da kullanılabilir. Red Hat’in vLLM kurumsal dağıtımı olan Red Hat AI Inference Server, kurumsal müşterilerin tüm hibrit bulut ortamlarında model çıkarımını optimize etmelerine yardımcı oluyor. Google Cloud’un sağlam ve güvenilir altyapısından yararlanarak, kurumsal müşteriler hem yüksek yanıt hızına sahip hem de ölçeklenebilir maliyet etkinliği sunan üretim hazır genAI modellerini dağıtabiliyorlar.
Açık yapay zekaya olan ortak bağlılıklarını vurgulayan Red Hat, artık Google’ın Agent2Agent (A2A) protokolüne de katkıda bulunuyor. Bu protokol, çeşitli platformlar ve bulut ortamlarındaki son kullanıcılar veya ajanlar arasında daha sorunsuz iletişim sağlayan bir uygulama düzeyinde protokol. A2A ekosistemine aktif olarak katılan Red Hat, kullanıcıların hızlı inovasyon için yeni yollar açmasına yardımcı olmayı ve Agentic AI iş akışlarının dinamik ve son derece etkili olmasını sağlamayı amaçlıyor.
