Стриминговый гигант Netflix стремится рассказывать интересные истории, уделяя основное внимание их качеству. С этой целью компания постоянно разрабатывает новые стратегии кодирования, алгоритмы адаптивной потоковой передачи, технологии воспроизведения и взаимодействия с клиентом. Компания постоянно экспериментирует с инновационными технологиями, позволяющими рассказывать истории, создавая при этом основу для интерактивного взаимодействия с существующей инфраструктурой.
Успех всех этих экспериментов в конечном итоге зависит от подписчиков Netflix и их готовности принять участие в истории, взять на себя ответственность за контроль над ней. Это требует небольшого обучения с учетом текущих зрительских привычек. Каждый интерактивный продукт компании содержит серию руководств, по одному для каждой платформы, предназначенных для того, чтобы побудить зрителей продвигать сюжет, используя пульт дистанционного управления, игровой контроллер или даже просто свой указательный палец.
Примечательным является пользовательский материал для «Брандашмыг», интерактивного эпизода сериала «Черное зеркало», премьера которого состоялась в декабре 2018 года. Зрители «Брандашмыга» могут плавно изменять сюжетную линию в реальном времени, отвечая на запросы в нижней части экрана. Когда зритель работает с руководством, пользовательский интерфейс взаимодействует с показываемым видео.
Масштабное интерактивное повествование
Netflix, возможно, не первая компания, экспериментирующая с таким типом повествования, но это первая компания, делающая это в таком масштабе – по всему миру, на десятках языков и на тысячах устройств.
Если вы распространяете или доставляете контент, вы понимаете проблему передачи в системах, отличающихся по своим возможностям. Например, бесшовное воспроизведение - это основная задача потоковой передачи, поэтому особенно сложно работать с интерактивным контентом, если не можете знать заранее, что именно будет воспроизводиться.
Независимо от того, занимаетесь ли вы доставкой интерактивного контента или нет, вы согласитесь с тем, что буферизация - ваш враг.
Адаптивное кодирование битрейта и плавная потоковая передача
Большая часть работы кодировщиков Netflix заключается в том, чтобы производить несколько вариантов одного и того же контента, чтобы они могли доставляться в различных сетевых условиях.
Хотя скорости передачи данных этих потоков различаются, структура каждого потока должна быть согласованной, чтобы все кодированные сегменты совпадали. Это позволяет игроку переключаться с одного потока на другой, и при этом не должно страдать воспроизведение. Алгоритм адаптивной потоковой передачи может выбрать использование разных сегментов из каждого потока для адаптации к пропускной способности сети.
В 2018 году инженеры Neflix пересмотрели это соотношение между кодированием и воспроизведением, вместо этого выровняв границы сегментов по границам фрагментов, и в конечном итоге оптимизировали параметры кодирования для каждого фрагмента. Теперь адаптация, которая осуществляется во время воспроизведения, в значительной степени скрыта решениями редактирования, присущими самому контенту. Связь между кодированием и потоковой передачей позволяет вставлять произвольные ключевые кадры, предоставляя детальный контроль над структурой кодирования в рамках распределенного транскодирования.
Кроме того, снизилось квантование. Это позволяет адаптировать скорость передачи данных к фактической пропускной способности при воспроизведении. При такой адаптации общий размер закодированных данных снижается до 50% без снижения качества.
Мультфильм «Кот и книга: пойман в сказку» был первым адаптивным проектом Netflix. Он был выпущен в мае 2017 года и представлял собой фрагментированную сказку. Молодые зрители помогли Коту пройти через ряд ситуаций, в конечном итоге помогая ему сбежать из заколдованного сборника рассказов, в котором он оказался из-за деспотического рассказчика. Инженеры компании использовали Кота в качестве модели, чтобы начать разработку стратегии приобретения, кодирования и развертывания.
В 2018 году Netflix запустила Minecraft: Story Mode. Это раздвинуло границы всего, что компания делала до сих пор. Затем появился «Брандашмыг». В рамках подготовки к «Брандашмыгу» разработчики Netflix создали инструмент «Диспетчер разветвлений», чтобы помочь производителям Black Mirror визуализировать временные рамки, развивать историю от сценария до экранной версии, и, в конечном итоге, преодолеть разрыв между воображением Чарли Брукера и инженерными решениями. Этот инструмент был хорошо принят. Если вы смотрели «Bandersnatch» и сделали определенный выбор, вы, возможно, видели эту сюжетную линию, в которой появляется «Диспетчер разветвлений».
Инженеры компании создали основные правила для проверки действительности сюжетных разветвлений. Каждый проект состоит из серии интерактивных сегментов, содержащих синхронизированные медиа, видео, аудио и текст. Сегмент может содержать точку выбора, побуждающую пользователя принять решение, а также определяет, какие сегменты будут воспроизводиться после того, как пользователь сделал свой выбор.
Как «Брандашмыг» использует разветвления в повествовании
«Брандашмыг» - отдельный эпизод серии «Черное зеркало». Речь идет о Стефане, начинающем разработчике игр в Великобритании в 1980-х годах. Зрители «Брандашмыга» помогают Стефану преодолеть ряд проблем, когда он пытается реализовать видение новой видеоигры и начинает подвергать сомнению свою собственную реальность.
«Брандашмыг» - первый интерактивный проект, предназначенный для взрослых, появившийся в результате годичной работы по улучшению результатов предыдущих проектов. Успех шоу оправдал все затраты на создание по-настоящему цельного механизма взаимодействия с новыми функциями, к которым относятся новый пользовательский интерфейс, разделение загрузки и воспроизведения на клиентском устройстве и добавление поддержки произвольного ключевого кадра в стеке кодирования.
Один из самых главных выборов, который должен сделать Стефан - принять или отказаться от возможности работать в новом стартапе под названием Tuckersoft. Точка выбора появляется в конце интерактивного сегмента под названием «Job_Offer», и сегмент определяет два возможных последующих сегмента: «Принять» и «Отказаться».
Различные состояния пользовательского интерфейса определяют взаимодействие с пользователем в каждой точке выбора. Фазами точки выбора являются инициализация, выбора варианта, тайм-аут и скрытие пользовательского интерфейса. В такой ситуации работает обратный отсчет, указывающий на время, в течение которого вы можете взаимодействовать с пользовательским интерфейсом. После завершения обратного отсчета ваш выбор будет заблокирован, а пользовательский интерфейс исчезнет.
Формат IMF
До "Брандашмыга" Netflix реализовала проект Minecraft: Story Mode. В самом начале этой серии вам предложили гипотетический вариант: вы бы предпочли столкнуться с 100 зомби размером с курицу или с 10 цыплятами размером с зомби?
До «Брандашмыга» инженеры Netfllix использовали развернутый на клиентских устройствах механизм адаптивной потоковой передачи, основанный на двухсекундных сегментах. Инженерам Netflix пришлось приложить немало усилий, чтобы обосновать необходимость технической работы такого огромного масштаба еще до того, как они могли показать какой-то успех в области интерактивности.
Первоначальная спецификация требовала, чтобы каждый интерактивный сегмент начинался с 2-секундной границы, гарантируя, что первый кадр каждого интерактивного сегмента был становился ключевым после его прохождения через конвейер кодирования. Ключевой кадр необходим игроку для случайного доступа к любому конкретному сегменту.
Поскольку клиентские приложения должны знать, где начинается и заканчивается каждый сегмент, какой выбор используется по умолчанию и т. д., инженеры компании использовали простую XML-схему. XML-карта выбора дает комментарии на временной шкале, обеспечивающие легкое прохождение по дереву поиска.
У этой модели было несколько недостатков. Даже незначительные изменения в исходном материале каждый раз требовали полной повторной доставки, включая повторную синхронизацию XML, чтобы обеспечить соответствие с новым хронометражем мультимедиа. Для эпизода Minecraft: Story Mode «Скала и трудное место» инженерам Netflix пришлось обрабатывать аудио-, видео- и текстовые материалы длительностью в 20 часов. К счастью, используемая система кодирования справлялась с такими крупными файлами, хотя определенные трудности в работе все-таки возникали. Хотя пользователям понравилась интерактивность этой части, компания решила использовать более масштабируемую модель.
Поскольку компонентизированная доставка мультимедиа является основным преимуществом для пользователей формата IMF (таких, как Netflix), такой подход кажется вполне естественным для такого типа приложений. Еще до создания «Брандашмыга» инженеры компании обновили исходную спецификацию, чтобы использовать маркерный трек IMF для комментирования временной шкалы для Профессиональной лиги кибератлетов (CPL) и устранения необходимости в отдельной карте выбора. Используя маркерный трек и крупные инвестиции в инженерный процесс, специалисты Netflix смогли уменьшить накладные расходы и снизить сложность спецификаций мастеринга и доставки. Именно так осуществляется видеозахват «Брандашмыга», и этот метод используется как основная модель доставки контента.
Масштабирование взаимодействия
Следующим шагом компании стало масштабирование этого подхода с упором на создание основы для разработки новых технологий повествования, а также создание платформы для предоставления высококачественного бесшовного взаимодействия. Многие процессы, которые использовали специалисты Netflix, были упорядочены и стандартизированы, чтобы обеспечить повсеместное использование этих процессов.
Инженеры компании опираются на простейшие элементы формата IMF, чтобы обеспечить компонентную доставку любым способом, который больше всего подходит для команд производства и постпроизводства. Такой подход позволяет дополнительно разъединять потоки от абонента и к абоненту. В настоящее время компания оценивает варианты, относящиеся к доставке на основе сегментов, которые смогут обеспечить дополнительную оптимизацию и гибкость в будущем.
По материалам streamingmedia.com