Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü öğretim üyesi Doç. Dr. Ali Albert Salah, bilgisayarların insanların sosyal ve duygusal sinyallerini anlaması yönünde çalışma başlattı.
Bu çalışma ile; çocukların ses tonlarından ve kullandıkları sözcüklerden duygu durumlarının tahmini, yapay öğrenme ile insan sesinin ve yüz ifadelerinin analizi, insan gülüşlerinin gerçek mi sahte mi olduğunun otomatik analiz edilmesi gibi robotların insan psikolojisini yüz ifadesi ve konuşmalarından anlamaları sağlanacak. Çalışma yaşlılara egzersiz yaptıran robot uygulamasında veya çocukların ruh durumunun tahmininde kullanılabilecek.
ChaLearn yarışmasında geçen yıl geliştirdikleri “kişinin verdiği kişilik izlenimlerini tahmin eden sistem” konulu kısa video ile birincilik alan Doç. Dr. Ali Albert Salah ve Namık Kemal Üniversitesi ekibi bu yıl da ‘’ChaLearn Workshop on Explainable Computer Vision Multimedia and Job Candidate Screening Coopetition ‘’ başlıklı uluslararası çalıştay ve yarışmaya Türkiye’den tek temsilci olarak katıldı ve yine ödül aldı.
Bilgisayarları daha akıllı hale getirmek için yapay zekâ alanında uzun zamandır çalışmalar yapan Salah, yaptıkları çalışmalar ile yapay zekâ sistemlerinin ve özellikle robotların insanlarla sosyal bir ortamda birlikte çalışabilmesinin amaçladıklarını belirtti. Salah, “Bizim çalışmalarımızdan biri yaşlılara egzersiz yaptıran bir robot idi. Böyle bir robotun, karşısındaki kişinin yüzündeki acı ifadesini okuyabilmesi, egzersizi gerektiği anda durdurmasını sağlayabilir” dedi.
Boğaziçi Üniversitesi Öğretim Üyesi Prof. Dr. Levent Akın ve doktora öğrencisi Binnur Görer ile yürüttükleri yüz ifadesi analizi çalışmasının mühendislik içeren birinci ayağında insanlara daha iyi hizmet verecek yapı planladıklarını belirten Salah, ikinci aşamada ise bilişsel bilim ve psikolojiyi biraraya getiren bir sistem kurmayı hedeflediklerini söyledi.
Salah, “Bu alanlarda amacımız insanların davranışını daha iyi anlamak. Geliştirdiğimiz sistemler psikologların uzun davranış kayıtlarını otomatik ve hızlı olarak analiz edebilmesine yarıyor. Ayrıca modelleme belli bir olgunluğa ulaşırsa, beyinde bazı süreçlerin nasıl gerçekleşiyor olabileceğine dair ipuçları ve öngörüler sunabiliyor” bilgisini verdi.
Bilgisayar artık çocukları yüz ve sesten tanımaya başlayacak
Çocuklar için multimedya üzerine devam etmekte olan bir BAP projesi de olan Salah, bu projeye dair şu bilgileri verdi: ‘’Günümüzde çocuklar interneti, bilgisayar sistemlerini çok kullanıyorlar. Ama bu sistemlerin çoğu, karşısındakinin bir çocuk olduğunu anlayacak ve ona göre davranışını değiştirecek şekilde geliştirilmiş değil. Mesela, belli bir platformun karşısında bir çocuk düşünün, gösterilen bir reklam büyükler için olabilir, şiddet içerebilir, çocuklar için sakıncalı olacak görüntüler içeriyor olabilir. Pek çok sistemin çocuklara göre uyarlanması gerekiyor. Bu çok kolay bir problem değil. Yapmamız gereken bazı temel modüller var. Bunlardan biri, yüz görüntüsünden yaş anlama. Bilgisayarın veya robotun kamerasından baktığı zaman karşısındakinin büyük mü küçük mü olduğunu anlayabiliyor olması lazım. Ya da sesten aynı şeyi anlayabiliyor olması lazım. Bunun dışında duygu tanımı modülü de önemli. Çocukların kullandığı sözcüklerden duygu analizi üzerine bir çalışmayı Bilgi Üniversitesi Psikoloji Bölümü’nden Yrd. Doç. Sibel Halfon’la yürütüyoruz.
Çocukların yüzleri, büyüklerin yüzlerinden biraz daha farklı. Daha tam gelişmemiş olduğu için çocuk yüzünün morfolojisi farklı, bu yüzden yüz ifadeleri de daha farklı oluşuyor. Aynı şekilde sesleri de farklı özelliklere sahip. Bu kapsamda çalışmalarımızdan birini St. Petersburg’dan bir araştırma grubuyla, Rus çocuklar üzerinde gerçekleştirdik. Çocukların seslerinden yaşlarını, cinsiyetlerini ve duygu durumlarını tahmin etme üzerine bir veri tabanı topladık ve yapay öğrenme yaklaşımları geliştirdik. Bu projelerde doktora mezunumuz, şimdi Namık Kemal Üniversitesi’nde görev yapan Yrd. Doç. Heysem Kaya ile çalışmalarımızı sürdürüyoruz.’’
