Derin öğrenme, Georgia Tech’in robotlarının insanları anlamasına ve onlara şarkı söylemesine yardım ediyor. İnsan-robot iletişimini kötü yapmak çok kolay, iyi yapmak ise oldukça güç. Bu problem için yeni bir yaklaşım ise lisan yerine müziği kullanmak. Yeni bir derin öğrenme temelli teknik sayesinde robotları Shimi’ye temel insan duygularını anlamasını ve bunlara nasıl sadece müzik kullanarak cevap vermesi gerektiğini öğrettiler.
Çoğu gerçek robotların ses ekibi gibi bir lüksleri yok. Peki robotlara doğru sesi doğru zamanda çıkarmayı nasıl öğreteceğiz. Georgia Tech’in Müzik Teknolojileri Merkezi’nde, Gil Weinberg ve öğrencilerinin robot sesleri üzerinde çok deneyimleri var. Yeni bir derin öğrenme temelli teknik sayesinde robotları Shimi’ye temel insan duygularını anlamasını ve bunlara nasıl sadece müzik kullanarak cevap vermesi gerektiğini öğrettiler.
Başlangıçta müzik çalıp birkaç dans hareketi yapabilmesi için tasarlanan Shimi için insan duygularını anlayabilmesi ve cevap verebilmesi çok daha zor bir görev. Shimi’nin doğru bir şekilde doğaçlama yapabilmesi, doğru ses ve doğru tonu tutturabilmesi için çok miktarda veri ile beslenmesi gerekiyor. Shimi’nin bunları yapabilmesi için Deep Neural Network teknolojisi kullanılıyor ve 15 doğaçlama ses sanatçısının farklı duygu durum değişiklikleri için yaptıkları 10 bin çalışmayı inceliyor. Aynı zamanda 300 bin adet farklı nota çalan enstrüman dosyalarıyla eğitiliyor.
Peki Shimi’nin öğrendiği şeyler tüm yaşlarda ve kültürlerde işe yarayacak mı? Ya da robotun daha etkili olabilmesi için farklı veri setlerine ihtiyacı olacak mı? Gil Weinberg çeşitli kültürlerden gelen veri setleriyle çalışmalarına devam ettiklerini ve bu çalışmalardan müzik ve duygular arasındaki ilişkinin, farklı kültürlerdeki durumları hakkında daha fazla bilgi edinme amacında olduklarını söylüyor.
