Google, VideoPoet adında yeni bir yapay zeka tabanlı video üretim aracı geliştirdi. VideoPoet, genellikle metin ve kod üretiminde kullanılan büyük/geniş dil modellerini kullanarak, uzun ve yüksek kaliteli videolar oluşturabiliyor. Bu, Google Araştırma ekibinin 270 milyon video ve 1 milyardan fazla metin ve görüntü çifti üzerinde gerçekleştirdiği kapsamlı bir ön eğitim sürecinin sonucudur. VideoPoet, hareketlerin bozulmaya başladığı kısa videolar yerine, daha uzun ve tutarlı hareketler içeren videolar üretebiliyor. Ayrıca, farklı kamera hareketlerini ve görsel stilleri simüle edebiliyor, seçilen video kliplerle uyumlu yeni sesler oluşturabiliyor ve metin, resim ve video gibi çeşitli girdileri kullanabiliyor. VideoPoet ayrıca dikey video üretimiyle de öne çıkıyor ve Google Araştırma ekibi, ilerleyen dönemlerde bu aracın yeteneklerini genişletmeyi hedefliyor. Şu anda VideoPoet genel kullanıma açık değil ve kullanıma sunulacağı tarih hakkında henüz bir açıklama yapılmadı.
Öne çıkan başlıklar;
- Google, “VideoPoet” adında yeni bir yapay zeka tabanlı video üretim aracı geliştirdi. Bu araç, daha uzun ve yüksek kaliteli videolar oluşturma kapasitesine sahip.
- VideoPoet, Google Research ekibi tarafından geliştirilen büyük/geniş bir dil modelidir. Bu model, özellikle video üretimi görevleri için tasarlandı ve 31 araştırmacı tarafından üretilmiştir.
- Google Araştırma ekibi, yaygın olarak kullanılan difüzyon modelleri yerine, büyük/geniş dil modelleri kullanmayı tercih etti. Bu modeller, metin ve kod üretimi için kullanılan dönüştürücü mimarisine dayanır ve ChatGPT, Claude 2, Llama 2 gibi ürünlerde görülebilir.
- VideoPoet, 270 milyon video ve 1 milyardan fazla metin ve görüntü çifti üzerinde ön eğitimden geçirildi. Bu eğitim sürecinde, yapay zeka modeli metin yerleştirmeleri, görsel ve ses belirteçlerine koşullandırıldı.
- VideoPoet, difüzyon modellerinin aksine, daha uzun ve daha yüksek kaliteli video kesitleri oluşturabilir. Difüzyon modelleri, videolardaki hareketleri birkaç kare sonrasında bozulmaya başlarken, VideoPoet daha uzun videolarda daha büyük ve tutarlı hareketler üretebiliyor.
- VideoPoet, farklı kamera hareketlerini ve görsel estetik stilleri simüle edebilir. Ayrıca, belirli bir video klibe uygun yeni sesler oluşturmak mümkün olup, üretim sürecinde metin, resim ve video gibi çeşitli girdileri kullanabilir.
- VideoPoet, diğer yapay zeka video üretim araçlarından farklı olarak dikey video üretimiyle de öne çıkıyor. Google Research ekibi, ileride VideoPoet’in yeteneklerini genişleterek, metinden sese ve sesten videoya dönüştürme gibi seçenekler sunmayı hedefliyor.
Kaynak: https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html
