Статті

Эксперименты с нейросетями, которые изменят производственные процессы в ТВ, кино и анимации

22 сентября в Киеве состоялся CG EVENT 2019, мероприятие для специалистов по компьютерной графике и спецэффектам.

На конференции традиционно говорили о трендах, творчестве, развитии и саморазвитии, и конечно же о AI (искусственном интеллекте).

Именно с применением глубоких нейронных сетей в анимации и компьютерной графике происходит революция в индустрии.

Построение 3D аватара по видео

Все знают о таком методе анимации персонажей и объектов, как захват движения или Motion Capture. Здесь используется специальная маркерная система. На человека наодевается костюм с датчиками, он производит движения, требуемые по сценарию; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения актёра, на основе которой позже (или в режиме реального времени) создаётся анимация персонажа.

Эта система Motion детекторов - уходящая индустрия. Поскольку теперь доступно построение 3D аватара по видео. Да, технология еще не идеальна, но видео становится все лучше и лучше, появляются новые модели. Интересно то, что создаются также и текстуры, которые тоже будут становится лучше, хотя еще есть артефакты, особенно в мимике.

Эксперименты с нейросетями, которые изменят производственные процессы в ТВ, кино и анимации

Где это может применятся? До того, чтобы полностью текстурировать загримированного актера и делать это в идеале в 3D, еще очень далеко. Но заменить человека внутри сцены на 3D аватара с хотя бы частичным перенесом текстур и возможностью считать все его позы становится возможным и это можно сделать без использования Motion Capture, что автоматически делает ее технологией вчерашнего дня. Индустриальный пайплайн для определения поз существует и он становится все лучше и лучше. В конечном итоге дорогие системы Motion Capture тоже будут доступны через алгоритмы для продакшенов.

Генерация речи из текста

На заглавной картинке полностью синтетический аватар из Китая с генерацией речи из текста.

На вход подается текст и на выходе мы получаем диктора. Сейчас этот формат в Китае активно используют для телевизионных новостей и комментирования спортивных событий, включая игровые киберспортивные турниры.

Разработчик программы китайский гигант в области ИИ компания Tencent.

Для того, чтобы сделать готовое видео с аватаром нужен просто текст, они ведут к тому, что в скором времени не потребуются даже услуг диктора. Единственная проблема на сегодняшний день – перенос смеха, но компания планирует в течении года решить и этот вопрос.

Автоматическая анимация аватара – это одно из направлений, которое может очень серьезно заменить продакшен для ТВ-программ и вообще продакшен для телевидения, блоггерства, где вы подаете на вход текст, а система, по сути, генерирует весь видеоролик, соответственно можно понять, на сколько сокращается время продакшена.

Конечно, до индустриального применения в открытую таких программ еще далеко, но это будущее, которое так или иначе найдет свое применение в телевидении и производстве видео.

Специалисты прогнозируют, что через 2-3 года появится индустриальный пайплайн, который позволит это делать самостоятельно, возможно его выпустит даже тот же YouTube.

Анимация из текста – мечта каждого автора

Речь о визуализации текста сценария с помощью методов обработки естественного языка и построения 3D сцен из текста. На вход подается текст сценария, а по выходу мы получаем анимированную сцену. Конечно, это не анимация высокого качества и так создаваться анимация не будет пока еще очень долго, но то, что можно делать аниматики на основании сценария уже понятно. Опять же можно делать раскадровки /storyboard на основании сценариев тоже уже понятно и уже понятен пайплайн, как это можно делать.
Представьте, на вход подается сценарий, готовые раскадровки, которые классифицируем по типам движения, при этом добавляем стандартный набор эффектов –сеть, таким образом обучаем создавать раскадровки, а по ним создавать 3D сцены.

Создание контента будет автоматизировано, в этом нет сомнений. Disney является одной из нескольких компаний, запатентовавших технологию. Пока компании получилось сделать автоматизацию с ограниченным набором объектов. Для создания полноценных 3D сцен нужно пройти очень долгий путь, но начало положено. Тем не менее создание раскадровок из сценариев в скором времени будет решенной инженерной задачей.

Самообучение агентов в виртуальных средах

Алгоритмы уже сейчас умеют обыгрывать человека в шахматы и даже обыгрывать тех, кто обыгрывал человека. Только теперь на вход нынешним алгоритмам подаются не данные, на вход им подаются правила. А партии и опыт они приобретают сами. И это действительно поражает!

Вероятно это будущее мы увидим лет через 15, но такие виды сети, которые работают вообще без данных - новая отдельная, очень интересная история.

Эксперименты с нейросетями, которые изменят производственные процессы в ТВ, кино и анимации

В виртуальных средах уже сейчас тренируются автономные машины, роботы, приобретая таким способом новые знания.

Куда будет развиваться AI+CGI

- Процедурная генерация в сочетании с генерационно-состязательными нейросетями даст возможность быстрого создания сложных текстур и виртуального окружения сред без рендеринга. Другими словами, мы создаем модели, а AI текстуру.
- Анимация из текста
- ‘Т9' для 3D моделей – предсказание видаобъекта по форме
- Полноценный контекстный поиск внутри любых видеофайлов.

 

В статье использованы материалы презентации Максима Прасолова "Применение глубоких нейронных сетей в анимации и компьютерной графике" 

Search