Google Vlogger, Görsellerden Konuşma Videoları Oluşturuyor

Google araştırmacıları, geliştirdikleri yeni bir yapay zeka aracıyla hareketsiz görüntülerden konuşma videolarının oluşturulmasını sağladı.

Google, Vlogger adı verilen yeni yapay zeka aracıyla ilgili yeni bilgiler paylaştı. Tanıtıma göre tek bir kişi görselinden hareket eden yapay zeka,  ürkütücü derecede başarılı konuşma videoları oluşturabiliyor.

“İnsanları sesten sentezlemek için yeni bir çerçeve” olarak tanımlanan Vlogger’ın ilk testleri başarılı sonuçlar veriyor. Otomasyonu sağlayan ve davranışsal gerçekçiliği devreye alan Google, pek çok farklı projede yeni yapay zekanın yer alabileceğini söyledi. Asıl hedeflenen ise asistan ve robotlar gibi gerçek insanlarla etkileşime girileceği zamanlarda bu yapay zeka ile sahte insanlar yaratmak. Vlogger ile bu süreci sağlamak isteyen Google, kişiselleştirilmiş sanal asistanlar, online sunum eğitimlerinde kullanılacak kişiler ve online iletişimde yeni araç ile yapılacak çalışmaların etkin sonuçlar vereceğini söyledi.

Vlogger Kötü Amaçlar İçin Kullanılabilir

Sadece tek bir fotoğraftan gerçek etkili videolar oluşturan yapay zekanın tanıtımı sonrasında kötü amaçlar için kullanılabileceği de akıllara geldi. Bugüne kadar pek çok kötü niyetli yapay zeka çalışmaları gündeme gelirken Vlogger da benzer bir potansiyele sahip görünüyor. Zira fotoğraftan hareket ile özel aşamalardan geçen sistemde el, kol hareketleri ve mimikler taklit ediliyor. kullanıcıların kullanılacak sesi verecek olması, kötü amaçlı kullanımda işleri zorlaştırabilir. Ancak yapay zeka aracının eğitilebilir yapısı olması ve her gün geliştirilecek olması da bu alanda dikkat çekici bir detay.  Zira Google’ın tanıtımına göre 2200 saatlik video ve 800 bin kimlik ile desteklenen yapay zeka, zengin bir veri haznesine sahip.

Vlogger Nasıl Çalışıyor?

Vlogger’da sistem aşama aşama şöyle çalışıyor;

1. İlk olarak; bakış, yüz ifadeleri ve poz için ses girişinden vücut hareketi kontrolleri oluşturuluyor.
2. Ardından, referans görüntü üzerinden görüntüden görüntüye çeviri ile çerçeveler oluşturuluyor.
3. VLOGGER, konuyla ilgili hareketli ve gerçekçilik içeren çeşitli videolar oluşturarak kurguyu yapıyor.
4. Oluşturulan videolar, arka plan sabit kalırken kişinin önemli ölçüde hareket ettiği şekilde düzenleniyor.

Örnek video ise şöyle;

Video Translation:

One of the primary applications of this model is in video translation.

For instance, VLOGGER can take an existing video in one language and adjust the lip and facial movements to match new audio, such as Spanish. pic.twitter.com/6vjj2JKjdh

— Roni Rahman (@heyronir) March 19, 2024