تیم تحقیقاتی شرکت چینی علی‌بابا از یک مدل هوش مصنوعی برای تبدیل تصاویر به ویدئو رونمایی کرده که AtomoVideo نام دارد. این تیم، مقالات و نمونه‌هایی از تبدیل تصویر به ویدیو توسط AtomoVideo را به‌همراه نمونه‌هایی از نتایج هوش‌های مصنوعی نسل دوم Runway و همچنین نسل اول Pika به‌اشتراک گذاشته است.
نمونه‌های ارائه‌شده‌ی AtomoVideo با توجه به اینکه یک محصول نسل اول است، امیدوارکننده به‌نظر می‌رسند، هرچند که چندان واقع‌گرایانه نیستند. جالب اینجا است که مقایسه‌ی آن‌ها با مدل نسل دوم Runway (نسل اول در اوایل ۲۰۲۳ منتشر شد) نشان می‌دهد که این مدلِ تازه‌رونمایی‌شده نتایج بهتری در کاهش برخی تغییرات عجیب و غریب بین فریم‌ها ارائه داده است.
از ویژگی‌های AtomoVideo می‌توان به توانایی بالای آن در حفظ وفاداری به تصویر ورودی، حرکت روان کاراکترها و پیش‌بینی فریم‌های بعدی اشاره کرد. علاوه‌بر این، AtomoVideo با مدل‌های مختلف T2I (متن به تصویر) سازگار است و قابلیت کنترل معنایی بالایی را ارائه می‌دهد. این قابلیت به کاربران اجازه می‌دهد محتوای ویدئویی را بر اساس اولویت‌های خاص خود شخصی‌سازی کنند.
AtomoVideo با استفاده از مدل‌های از‌پیش‌آموزش‌دیده‌ی T2I و تقویت آن‌ها با ماژول‌های انحراف فضا-زمانیِ تک‌بعدی و ماژول‌های توجه، توانسته به چنین عملکرد قابل‌توجهی دست یابد. این لایه‌های اضافی AtomoVideo را قادر می‌سازد تا جزئیات و سبک‌های پیچیده را ثبت و در عین حال ثبات زمانی را در سراسر ویدئوها تضمین کند.
با وجود قابلیت‌های چشمگیر AtomoVideo، تیم تحقیقاتی هنوز نتوانسته بستری آنلاین برای تجربه‌ی شخصی کاربران فراهم کند. بااین‌حال، مدل هوش مصنوعی AtomoVideo علی‌بابا نشان‌دهنده‌ی یک پیشرفت قابل توجه در زمینه تبدیل تصویر به ویدئو است.
منبع: zoomit