Atlas снимает видео с камеры, которой не было World Labs показала Atlas —…

World Labs показали Atlas, мультимодальную модель мира, которая позволяет переснять уже готовое видео с ракурсов, где камеры физически не стояли. Вот как это работает. Вы берете 3-5 обычных смартфонов или экшн камер, снимаете сцену с нескольких точек одновременно.

сцену с нескольких точек одновременно. Atlas получает эти видео, восстанавливает трехмерную геометрию пространства и понимает, как объекты двигались во времени. После этого можете заморозить любой момент, поставить виртуальную камеру в точку, где реальной камеры вообще не было, и получить новый кадр с этого ракурса. В одном из демо-инженеры снимали разбивание арбуза

В одном из демо-инженеры снимали разбивание арбуза на несколько телефонов. Atlas реконструировал сцену, заморозил момент удара и перерендерил его с позиции, которая в реальности не снималась. По сути это Bullet Time эффект, только без дорогой установки с десятками синхронизированных камер по кругу. Самое важное начинается там, где реальные камеры

Самое важное начинается там, где реальные камеры ничего не зафиксировали. Atlas достраивает недостающие части сцены, опираясь на восстановленное пространственное представление мира. То есть модель не просто интерполирует кадры или меняет перспективу. Она сначала строит трехмерную модель того, что происходило, а потом рендерит из нее новые виды.

а потом рендерит из нее новые виды. В этом принципиальная разница с обычными видеомоделями. Видеомодель генерирует последовательность кадров. Atlas восстанавливает структуру мира за этими кадрами, а уже потом позволяет двигать внутри него камеру как угодно. Технология Atlas — это мультимодальный авторегрессивный диффузионный

угодно. Технология Atlas — это мультимодальный авторегрессивный диффузионный трансформер. Он работает с текстом, изображениями, видео, глубиной и точными координатами камер. Может выдавать не только двумерные кадры, но и Point Clouds или Gaussian Splats для работы в трехмерных редакторах. На выходе модель генерирует до одной минуты видео в

На выходе модель генерирует до одной минуты видео в разрешении 1440p с точным контролем траектории камеры. Для реконструкции сцены может использовать от одного изображения до 100 с лишним входных кадров. Чем больше входных данных, тем меньше модель додумывает, тем точнее реконструкция. Если такой подход станет стабильным и доступным,

тем точнее реконструкция. Если такой подход станет стабильным и доступным, логика съемки видео изменится радикально. Вы фиксируете события несколькими телефонами, а нужную позицию камеры, движения и кадрирования выбираете уже в постпродакшне. Не нужно угадывать лучший ракурс на площадке, можно протестировать десятки вариантов после того, как

протестировать десятки вариантов после того, как все уже разошлись. А на ютуб канале Гарри и Аватар еще больше про нейросети, и как на этом заработать.

и как на этом заработать.