Red Hat’in hibrit bulut tabanlı AI platformu, AI iş akışlarını kolaylaştırıyor ve güçlü yeni çıkarım yetenekleri sunarak, büyük ölçekli ajans AI’nın temelini oluşturuyor ve BT ekipleri ile AI mühendislerinin daha hızlı ve daha verimli bir şekilde yenilik yapmalarını sağlıyor.
Red Hat, bugün kurumsal AI platformunun önemli bir gelişimi olan Red Hat AI 3’ü duyurdu. Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) ve Red Hat OpenShift AI’nın en son yeniliklerini bir araya getiren platform, yüksek performanslı yapay zeka çıkarımının karmaşıklığını basitleştirerek, kuruluşların iş yüklerini kavram kanıtlamadan üretime daha kolay bir şekilde taşıyabilmelerini ve yapay zeka destekli uygulamalar etrafında işbirliğini geliştirmelerini sağlıyor.
Kurumlar yapay zeka denemelerinin ötesine geçtikçe, veri gizliliği, maliyet kontrolü ve çeşitli modellerin yönetimi gibi önemli engellerle karşılaşıyorlar. Massachusetts Institute of Technology NANDA projesinin “GenAI Divide: State of AI in Business” (Üretken Yapay Zeka Ayrımı: İşletmelerde Yapay Zekanın Durumu) raporu, üretim yapay zekasının gerçekliğini vurguluyor ve kuruluşların yaklaşık yüzde 95’inin, yaklaşık 40 milyar dolarlık kurumsal harcamadan ölçülebilir finansal getiri elde edemediğini ortaya koyuyor.
Red Hat AI 3, CIO’ların ve BT liderlerinin yatırımlarını hızlandırması ve bilgi işlem teknolojilerini en üst düzeye çıkarmaları için daha tutarlı ve birleşik bir deneyim sunarak bu zorlukları doğrudan ele almaya odaklanıyor. Aynı ortak platformda, hibrit, çok satıcılı ortamlarda AI iş yüklerini hızla ölçeklendirip dağıtmayı mümkün kılarken, aynı zamanda ajanlar gibi yeni nesil AI iş yüklerinde ekipler arası işbirliğini geliştiriyor. Açık standartlara dayanan bir temele sahip olan Red Hat AI 3, kurumların AI yolculuğunda bulundukları noktada onlara ulaşıyor ve veri merkezlerinden genel bulut ve egemen AI ortamlarına, en uzak uç noktalara kadar her türlü donanım hızlandırıcısında her türlü modeli destekliyor.
Eğitimden “uygulamaya”: Kurumsal yapay zeka çıkarımına geçiş
Kurumlar AI girişimlerini üretime geçirdikçe, vurgu eğitim ve model ayarlamadan, kurumsal AI’nın “uygulama” aşaması olan çıkarımlara kayıyor. Red Hat AI 3, büyük başarı elde eden vLLM ve llm-d topluluk projeleri ile Red Hat’in model optimizasyon yeteneklerini temel alarak, büyük dil modellerinin (LLM’ler) üretim düzeyinde hizmet sunmasını sağlamak için ölçeklenebilir ve uygun maliyetli çıkarımlara önem veriyor.
Red Hat OpenShift AI 3.0, CIO’ların yüksek değerli donanım hızlandırmalarından en iyi şekilde yararlanmalarına yardımcı olmak için, LLM’lerin Kubernetes üzerinde yerel olarak nasıl çalıştığını yeniden tasarlayan llm-d’yi genel kullanıma sunuyor. llm-d, Kubernetes orkestrasyonunun kanıtlanmış değerini ve vLLM’nin performansını Kubernetes Gateway API Inference Extension, NVIDIA Dynamo düşük gecikmeli veri aktarım kitaplığı (NIXL) ve DeepEP Mixture of Experts (MoE) iletişim kitaplığı gibi temel açık kaynak teknolojileriyle birleştirerek akıllı dağıtılmış çıkarım sağlıyor:
- Akıllı çıkarım farkındalıklı model planlama ve ayrıştırılmış hizmet sunumu ile maliyetleri düşüyor ve yanıt süreleri iyileşiyor.
- Kubernetes üzerinde modellerin büyük ölçekte dağıtımını kolaylaştıran kuralcı “Well-lit Paths” ile operasyonel basitlik ve maksimum güvenilirlik sağlanıyor.
- NVIDIA ve AMD dahil olmak üzere farklı donanım hızlandırıcılarında LLM çıkarımını dağıtmak için çapraz platform desteği ile esneklik en üst düzeye çıkıyor.
llm-d, vLLM’yi temel alır ve onu tek düğümlü, yüksek performanslı bir çıkarım motorundan, Kubernetes ile sıkı bir şekilde entegre edilmiş, öngörülebilir performans, ölçülebilir ROI ve etkili altyapı planlaması sağlamak için tasarlanmış, dağıtılmış, tutarlı ve ölçeklenebilir bir hizmet sistemine dönüştürüyor. Tüm geliştirmeler, son derece değişken LLM iş yüklerini yönetme ve Mixture-of-Experts (MoE) modelleri gibi devasa modellere hizmet verme zorluklarını doğrudan ele alıyor.
İşbirliğine dayalı yapay zeka için birleşik bir platform
Red Hat AI 3, üretime hazır üretken AI çözümleri oluşturmanın işbirliği gereksinimlerine uyarlanmış, birleşik ve esnek bir deneyim sunuyor. Platform mühendisleri ve AI mühendislerinin AI stratejilerini uygulamaları için tek bir platform üzerinden ekipler arası işbirliğini teşvik ederek ve iş akışlarını birleştirerek somut değer sunmak üzere tasarlandı. Kavram kanıtlamadan üretime geçmek için gereken üretkenlik ve verimliliği sağlamaya odaklanan yeni özellikler şunlar:
- Model as a Service (MaaS) yetenekleri, dağıtılmış çıkarım üzerine kurulu ve BT ekiplerinin kendi MaaS sağlayıcıları olarak hareket etmelerini, ortak modelleri merkezi olarak sunmalarını ve hem AI geliştiricileri hem de AI uygulamaları için isteğe bağlı erişim sağlamalarını mümkün kılıyor. Bu, daha iyi maliyet yönetimi sağlıyor ve gizlilik veya veri endişeleri nedeniyle genel AI hizmetlerinde çalıştırılamayan kullanım durumlarını destekliyor.
- AI hub, platform mühendislerinin temel AI varlıklarını keşfetmelerini, dağıtmalarını ve yönetmelerini sağlıyor. Doğrulanmış ve optimize edilmiş gen AI modelleri, modellerin yaşam döngüsünü yönetmek için bir kayıt defteri ve OpenShift AI üzerinde çalışan tüm AI varlıklarını yapılandırmak ve izlemek için bir dağıtım ortamı içeren, özenle seçilmiş bir model kataloğu ile merkezi bir hub sağlıyor.
- Gen AI studio, AI mühendislerinin modellerle etkileşim kurmaları ve yeni nesil AI uygulamalarının prototiplerini hızla oluşturmaları için uygulamalı bir ortam sağlıyor. AI varlıkları uç noktası özelliği ile mühendisler, modellerin harici araçlarla etkileşimini kolaylaştırmak için tasarlanmış mevcut modelleri ve MCP sunucularını kolayca keşfedip kullanabiliyor. Yerleşik oyun alanı, modellerle denemeler yapmak, komut istemlerini test etmek ve sohbet ve geri getirme destekli üretim (RAG) gibi kullanım durumları için parametreleri ayarlamak için etkileşimli, durum bilgisi içermeyen bir ortam sağlıyor.
- Geliştirmeyi basitleştirmek için Red Hat tarafından onaylanmış ve optimize edilmiş yeni modeller dahil edildi. Seçilmiş modeller arasında OpenAI’nin gpt-oss, DeepSeek-R1 gibi popüler açık kaynak modelleri ve konuşma-metin dönüştürme için Whisper ve sesle çalışan ajanlar için Voxtral Mini gibi özel modeller bulunuyor.
Yeni nesil yapay zeka ajanlarının temellerini oluşturmak
Yapay zeka ajanları, uygulamaların oluşturulma şeklini dönüştürmeye hazırlanıyor ve karmaşık, otonom iş akışları, çıkarım yeteneklerine büyük yük getirecek. Red Hat OpenShift AI 3.0 sürümü, yalnızca çıkarım yetenekleriyle değil, aynı zamanda ajan yönetimine odaklanan yeni özellikler ve geliştirmelerle de ölçeklenebilir ajan tabanlı yapay zeka sistemleri için zemin hazırlamaya devam ediyor.
Ajan oluşturma ve dağıtımını hızlandırmak için Red Hat, Llama Stack tabanlı bir Birleşik API katmanı sundu. Bu katman, geliştirmeyi OpenAI uyumlu LLM arayüz protokolleri gibi endüstri standartlarıyla uyumlu hale getirmeye yardımcı oluyor. Ayrıca, daha açık ve birlikte çalışabilir bir ekosistemi desteklemek için Red Hat, AI modellerinin harici araçlarla etkileşimini kolaylaştıran güçlü ve yeni bir standart olan Model Context Protocol (MCP) protokolünü erken benimseyenlerden biri. Bu protokol, modern AI ajanları için temel bir özellik olarak ön plana çıkıyor.
Red Hat AI 3, mevcut InstructLab işlevselliği üzerine inşa edilmiş, model özelleştirme için yeni bir modüler ve genişletilebilir araç seti sunuyor. Geliştiricilere daha fazla esneklik ve kontrol sağlayan özel Python kütüphaneleri de var. Araç seti, yapılandırılmamış belgelerin AI tarafından okunabilir bir biçime dönüştürülmesini kolaylaştıran Docling gibi veri işleme amaçlı açık kaynaklı projelerle destekleniyor. Ayrıca, sentetik veri üretimi için esnek bir çerçeve ve LLM ince ayarları için bir eğitim merkezi de içeriyor. Entegre değerlendirme merkezi, AI mühendislerinin sonuçları izlemesine ve doğrulamasına yardımcı olarak, daha doğru ve alakalı AI sonuçları elde etmek için kendi özel verilerini güvenle kullanmalarını sağlıyor.
