Съвременните технологии за обработка на видео правят огромни крачки напред, но един от най-сложните проблеми остава реалистичното премахване на обекти от динамични сцени. Новият модел VOID (Video Object and Interaction Deletion) предлага пробивно решение, което надхвърля досегашните подходи, като въвежда разбиране за физическите взаимодействия в света.
Разработен от изследователи от INSAIT в сътрудничество с Netflix, VOID е първият по рода си модел, който не просто изтрива обекти от видео, а реконструира сцената така, сякаш те никога не са съществували. Това е съществена разлика спрямо традиционните техники за video inpainting, които често се ограничават до визуално запълване на липсващите части, без да отчитат причинно-следствените връзки.
Класическите методи могат успешно да възстановят фон или текстура, но се провалят при сцени с взаимодействия. Например, ако човек бута предмет и бъде премахнат от видеото, резултатът често изглежда нереалистичен – обектът продължава движението си без причина или остава „замръзнал“. VOID решава този проблем чрез въвеждане на контрафактическо мислене – моделът симулира какво би се случило, ако даден обект липсваше още от самото начало.
Практически пример илюстрира силата на подхода: ако от видео бъде премахнат човек, държащ китара, системата няма просто да изтрие фигурата му. Вместо това ще пресъздаде сцената така, че китарата да падне естествено под въздействието на гравитацията. Този на пръв поглед малък детайл показва дълбоко разбиране на физичните закони и прави резултатите значително по-убедителни.
Технологично VOID комбинира модели за разбиране на образ и текст с генеративни видео модели, базирани на дифузия. Освен това използва специално създаден тренировъчен набор от синтетични видеа, генерирани чрез физични симулации. В тях се създават както оригинални сцени, така и техни „алтернативни“ версии без определени обекти, което позволява на модела да учи причинно-следствени зависимости.
Резултатите показват значително подобрение спрямо съществуващите методи – не само във визуалното качество, но и в логиката на случващото се във времето. Това отваря нови възможности за филмовата индустрия, видеомонтажа, виртуалната реалност и дигиталните ефекти.
В по-широк план VOID бележи важна стъпка към създаването на изкуствен интелект, който не просто генерира съдържание, а разбира света. Това е ключов момент в развитието на AI – преминаване от повърхностна визуална обработка към моделиране на реалността чрез причинно-следствени връзки.
Подробна информация как работи модела може да прочетете тук, както и да видите визуализация на процеса.
Източник: INSAIT
📩 Абонирай се за бюлетина на Успелите
Получавай най-вдъхновяващите истории от България директно на имейла си.