Yapay zeka sistemlerinin performansını değerlendiren MLCommons, şimdi de AI teknolojilerinin olumsuz yönlerini ölçmek için yeni bir kriter belirledi. AILuminate adlı bu yeni ölçüt, büyük dil modellerinin 12 farklı kategoride 12 binden fazla teste verdiği yanıtları değerlendiriyor. Kategoriler arasında şiddet suçu teşviki, nefret söylemi, çocuk istismarı, kendine zarar verme teşviki ve fikri mülkiyet ihlalleri yer alıyor.
Modeller, “zayıf”, “orta”, “iyi”, “çok iyi” ve “mükemmel” gibi derecelendirmelerle değerlendiriliyor. Kullanılan test soruları, modellerin bu sorularla eğitilmesini önlemek amacıyla gizli tutuluyor. MLCommons Başkanı Peter Mattson, yapay zeka testlerinin hala genç bir disiplin olduğunu ve bu tür standartların hem toplum hem de piyasa için faydalı olacağını ifade ediyor.
Değerlendirmeye göre Anthropic’in Claude modeli, Google’ın Gemma modeli ve Microsoft’un Phi modeli “çok iyi” derecesi alırken, OpenAI’nin GPT-4o ve Meta’nın Llama modeli “iyi” seviyesinde kaldı. Allen Institute for AI’nin araştırma amaçlı geliştirdiği OLMo modeli ise “zayıf” derecesiyle en düşük puanı aldı.
MLCommons, Google, OpenAI, Meta gibi teknoloji devlerinin yanı sıra Stanford ve Harvard gibi akademik kurumları da kapsayan 125 üyeye sahip. Henüz Çin’den bir şirket bu ölçütü kullanmamış olsa da MLCommons, Asya’daki bilim insanları ve şirketlerle işbirliği yapmak için Singapur merkezli AI Verify ile ortaklık kurmuş durumda.
Rebecca Weiss, MLCommons’ın politika yapıcılardan daha hızlı hareket ederek endüstrideki gelişmeleri yakından takip edebildiğini belirtiyor. Stanford Üniversitesi’nden Percy Liang ise güvenilir güvenlik değerlendirmeleri için küresel ve çok paydaşlı bir sürecin önemine dikkat çekiyor.
Bu yeni kriterin, yapay zeka modellerini değerlendirme süreçlerinde bir dönüm noktası olması bekleniyor.
