Associated Press’in araştırması, OpenAI’nin Whisper transkripsiyon aracının, sağlık ve iş dünyasında yanlış metinler üreterek araya “hayali içerikler” eklediğini ortaya koydu.
Whisper, araya konuşmacıların söylemediği ifadeleri ekleyebiliyor. Bu durum AI alanında “halüsinasyon” olarak adlandırılıyor. 2022’deki çıkışında “insan seviyesinde doğruluk” iddiasında bulunan Whisper, özellikle sağlık alanında yüksek risk taşıyan yanlışlıklar yapabiliyor.
Minnesota’daki Mankato Kliniği ve Los Angeles Çocuk Hastanesi gibi 40 sağlık sistemi, hasta ziyaretlerini belgelemek için Whisper kullanan Nabla adlı bir şirketin hizmetlerine yönelmişti. Ancak Nabla’nın güvenlik nedeniyle orijinal ses kayıtlarını silmesi, doktorların transkripsiyonu doğrulamalarını engelliyor. Özellikle işitme engelli hastalar için bu hatalı transkriptler oldukça riskli sonuçlar doğurabiliyor.
Whisper, konuşmalar arasında bağlantı kurmaya çalışırken araya yanlış ifadeler ekleyebiliyor. Örneğin Cornell Üniversitesi ve Virginia Üniversitesi araştırmacıları, Whisper’ın bazı nötr konuşmalara şiddet eğilimli veya ırkçı içerikler eklediğini tespit etti. Bu durum, özellikle sağlık kuruluşları ve hassas iş ortamlarında büyük tehlikelere yol açabilir.
Whisper’ın hatalı sonuç üretmesi, büyük miktarda web verisiyle eğitilmesinden kaynaklanıyor. Model, tahmin algoritması ile en olası kelimeleri sıralayarak transkripsiyon yapıyor. Ancak belirsiz ya da kötü kalitede ses kayıtlarıyla karşılaştığında, “en olası” tahminleri yanlış yöne çekilebiliyor.
Uzmanlar, bu tür AI araçlarının kritik sağlık alanlarında kullanımı için daha titiz düzenlemeler ve doğrulama süreçlerinin gerekliliğine dikkat çekiyor.
