Yeni GPT-3 “Wu Dao”

OpenAI şirketinin “GPT-3” modeli Mayıs 2020’de çıktığında, herkes performansının bir sanat eseri olduğunu düşünüyordu. İnsan yapımı metinlerden ayırt edilemeyen metinler üreten GPT-3, derin öğrenmede yeni bir standart belirledi. Ancak 1 yılda çok fazla şey değişti ve 1 Haziran’da Beijing Yapay Zeka Akademisi (BAAI) kendi ürettikleri derin öğrenme modelleri, “Wu Dao”yu duyurdu. Wu Dao, GPT-3’ün yapabildiklerinin daha fazlasını yapabiliyor.

Öncelikle Wu Dao, olağanüstü büyüklükteki bir parametre ile eğitildi. Aynı kulvarda bulundukları GPT-3’ün eğitildiği 175 milyar parametrenin yaklaşık 10 katı büyüklüğünde, Google’ın “Switch Transformers” modelinden ise 150 milyar fazla… Wu Dao 1.75 kentilyon parametre ile eğitildi!

Wu Dao 2.0, ilk sürümünün Mart ayında piyasaya sürülmesinden sadece üç ay sonra hazırdı. Bu kadar büyük bir modeli bu kadar hızlı bir şekilde eğitebilmek için bazı yeni yöntemler olmalıydı: BAAI’nın araştırmacıları, öncelikle, Google’ın “Mixture of Experts”ine benzeyen, açık kaynaklı bir öğrenme sistemi olan “FastMoE”yi üretti. PyTorch üzerinde çalışabilen bu sistem, modelin hem süper bilgisayar kümelerinde hem de geleneksel GPU’lar üzerinde eğitilmesini sağladı. Bu durum FastMoE’ya Google’ın sisteminden çok daha fazla esneklik kazandırdı çünkü FastMoE Google’ın TPU’ları gibi özel donanım gerektirmiyordu ve bu nedenle off-the-shelf hardwarede bile çalışabiliyordu.  

Sadece Tek İşte En iyi Olmakla Yetinmeyecek!

Bu büyük bilgi işlem gücü sonucunda Wu Doa çeşitli kabiliyetlere sahip oldu. Amacı sadece tek bir görevi yerine getirmek olan çoğu derin öğrenme modelinden farklı olarak – bir kopya yazmak, derin sahtecilikler oluşturmak, yüzleri tanımak, Go’da kazanmak gibi – Wu Dao çok modüllü bir model, yani birçok farklı işte mükemmel yeterliliklere sahip olabilir. Bu teori, daha önce Facebook’un “anti-hatespeech AI”ında (anti-nefretsöylemi YZ) veya yakın zamanda piyasaya sürülen Google’ın “MUM”ında da kullanıldı. 

BAAI’deki araştırmacılar, laboratuvarın 1 Haziran’daki yıllık konferansında, Wu Doa’nın doğal dil işleme, metin oluşturma, görüntü tanıma ve görüntü oluşturma görevlerini yerine getirmedeki başarısını uygulamalı olarak gösterdiler. Bu model sadece geleneksel Çincede denemeler, şiirler ve beyitler yazmakla kalmıyordu, aynı zamanda statik bir görüntüye dayanan alt metinler ve doğal dil açıklamalarına dayanan neredeyse fotogerçekçi görüntüler oluşturuyordu! Wu Dao ayrıca sanal idol oluşturma (Microsoft-spinoff XiaoIce’den küçük bir yardımla) ve “AlphaFold” gibi proteinlerin 3D yapılarını tahmin etme yeteneğini de gösterdi.

BAAI Başkanı Dr. Zhang Hongjiang, 1 Haziran’daki konferansta yaptığı açıklamada: “Yapay genel zekaya giden yol, büyük modeller ve büyük bilgisayarlardan geçiyor,” dedi. “İnşa ettiğimiz şey, YZ’nin geleceği için bir güç kaynağı. Mega veri, mega bilgi işlem gücü ve mega modellerle, geleceğin YZ uygulamalarını beslemek için verileri dönüştürebiliriz.”