Çinli Araştırmacılardan Video Geçiş Yöntemi: FCVG

Haber Özeti

Çinli araştırmacılar, Kare Bazlı Koşul Tabanlı Video Üretimi (FCVG) adlı yeni bir yöntemle, iki video karesi arasındaki geçişleri daha gerçekçi bir şekilde tahmin etmeyi başardı. FCVG, başlangıç ve bitiş karelerini analiz ederek ara karelerde pürüzsüz ve mantıklı bir geçiş sağlıyor. Önceki yöntemlerden daha başarılı sonuçlar veren model, yine de bazı artefaktlarla mükemmel olmaktan uzak. Araştırmacılar, yöntemin video üretimindeki belirsizlikleri azalttığını vurgularken, açık kaynaklı bu çalışmanın ticari uygulamalar için geliştirilmesi gerektiğini belirtiyor.

Yeni bir araştırma, Çin'den gelen bir yöntemle iki zaman aralıklı video karesi arasındaki boşluğu doldurmanın geliştirilmiş bir yolunu sunuyor. Bu, gerçekçi yapay zeka videoları oluşturma yarışında ve video codec sıkıştırmasında karşılaşılan en önemli zorluklardan biridir. Aşağıdaki örnek videoda, en soldaki sütunda bir 'başlangıç' (sol üstte) ve 'bitiş' (sol altta) karesi görüyoruz. Yarışan sistemlerin üstlenmesi gereken görev, iki resimdeki nesnenin A karesinden B karesine nasıl geçeceğini tahmin etmektir. Animasyonda bu süreç 'tweening' olarak adlandırılır ve sessiz film dönemine kadar uzanır.

Videoda, en soldaki sütunda önerilen başlangıç ve bitiş karelerini görüyoruz. Orta sütunda ve üçüncü (en sağdaki) sütunun üst kısmında, bu zorluğa yönelik üç önceki yaklaşım yer alıyor. Alt sağda ise yeni yöntemin, aradaki kareleri sağlama konusunda çok daha ikna edici bir sonuç elde ettiğini görüyoruz.

Çinli araştırmacılar tarafından önerilen yeni yöntem, "Kare Bazlı Koşul Tabanlı Video Üretimi" (FCVG) olarak adlandırılıyor ve yukarıdaki videonun alt sağ kısmında görülen sonuçlar, bir durak karesinden diğerine pürüzsüz ve mantıklı bir geçiş sağlıyor. Buna karşılık, Google'ın büyük hareketler için geliştirdiği "Kare İnterpolasyonu" (FILM) projesi, büyük ve belirgin hareketleri yorumlamakta zorlanıyor. Videoda görselleştirilen diğer iki rakip çerçeve, "Zaman Tersine Çevirme Füzyonu" (TRF) ve "Üretken Ara Geçiş" (GI), daha az çarpık bir yorum sağlasa da, karmaşık ve komik dans hareketleri yaratmış, bu da verilen iki çerçevenin içsel mantığını ihlal etmiştir.

FCVG, önceki yaklaşımlara göre daha inandırıcı bir şekilde iki kare arasındaki hareketi ve içeriği tahmin ediyor. Ancak, bu yöntem de mükemmel değil. El ve yüz kimliğinde istenmeyen morfing gibi artefaktlar hâlâ mevcut, ancak bu versiyon yüzeysel olarak en makul olanıdır. Yapay zeka ile üretilen videoların geleceği için bu zorluğun aşılması gerekmektedir.

FCVG, "Kare Bazlı Koşul Tabanlı Video Üretimi" başlıklı bir makalede sunulmuş olup, Harbin Teknoloji Enstitüsü ve Tianjin Üniversitesi'nden beş araştırmacı tarafından geliştirilmiştir. FCVG, interpolasyon görevindeki belirsizlik sorununu, kullanıcı tarafından sağlanan başlangıç ve bitiş karelerindeki kenarları belirleyen bir çerçeve ile birlikte kare bazlı koşulları kullanarak çözmektedir. Bu, bireysel kareler arasındaki geçişleri daha tutarlı bir şekilde takip etmeye yardımcı olur.

Araştırmacılar, FCVG'nin, her kare için açık bir koşul sunarak video üretimindeki belirsizliği önemli ölçüde azalttığını belirtmektedir. Bu yöntem, kullanıcıdan sağlanan iki görüntünün yalnızca başlangıç ve bitiş kareleri için koşullar sunduğu için, ara kareler için yeterli koşullar sağlamadığını vurgulamaktadır.

FCVG, hem ileri hem de geri yönlerden bilgi birleştirerek pürüzsüz geçişler oluşturur. Model, gürültülü girdileri kademeli olarak rafine ederek nihai ara kare setini üretir. Bu süreçte, GlueStick adı verilen bir model kullanılarak başlangıç ve bitiş kareleri arasında eşleşmeler oluşturulur. Araştırmacılar, FCVG'nin, her kare için açık bir koşul belirleyerek belirsizliği önemli ölçüde azalttığını ve bu sayede daha stabil ve tutarlı çıktılar elde edildiğini vurgulamaktadır.

Sonuç olarak, FCVG, açık kaynaklı bir bağlamda çerçeve interpolasyonu için en azından bir ilerleme temsil etmektedir. Araştırmacılar, çalışmanın kodunu GitHub'da paylaşmışlardır, ancak ilişkili veri setinin henüz yayımlanmadığı belirtilmiştir. Açık kaynak sahnesinin mevcut piyasa liderlerinin etkileyici gösterimlerinin gerisinde kalması muhtemel olsa da uzun vadede bu tür bir yaklaşımın ticari kullanım için risklerinin yüksek olduğu düşünülmektedir.

Kaynak: Unite.ai