В этой статье рассматривается развитие за последние 12 месяцев и текущее состояние HEVC, AV1 и VVC. Давайте посмотрим, в каком положении находится каждый кодек с точки зрения разработки, где он используется, сколько времени занимает кодирование, сколько он стоит, а также разберемся с тем, как рынок кодеков изменился за последние несколько лет и что это означает для их внедрения.

Двумя наиболее успешными кодеками всех времен были MPEG-2 и H.264 – основанные на стандартах кодеки, направленные в первую очередь на рынок вещания. Стандарты имеют решающее значение для вещательной отрасли, помогая соединить множество поставщиков в сфере кодирования, передачи и декодирования. Хотя за каждый кодек нужно было платить авторские отчисления, их размер был разумным, а единый патентный пул был хорошо управляемым и прозрачным.

Сейчас потоковое вещание обошло традиционное вещание и вскоре почти полностью вытеснит его. Хотя стандарты для потоковой передачи так же важны, как и для и вещания, процесс внедрения стандартов отличается. Две компании, Apple и Microsoft, контролируют технологии, встроенные в их операционные системы для компьютеров. Две компании, Apple и Google, контролируют технологии, используемые в мобильных операционных системах. Несколько компаний, в том числе Amazon, Apple, Google и Roku, контролируют технологии, используемые в устройствах OTT. Воспроизведение видео с Amazon, Hulu, Netflix и YouTube является сейчас обязательной функцией для всех устройств, поэтому телевизоры, ОТТ-устройства и телевизионные приставки должны поддерживать технологии, используемые этими поставщиками контента.

Экономическая эффективность дополнительного сжатия быстро падает. Еще не так давно сети доставки контента взимали 50 центов за Гб контента, поэтому снижение скорости передачи данных означало реальную экономию. Сейчас оптовые цены упали ниже цента за один Гб, что усложняет возмещение затрат на внедрение дополнительных кодеков.

Тот же аргумент верен с точки зрения качества восприятия. Когда средняя полоса пропускания составляла 3 Мбит/с, а мобильные устройства подключались через 3G, способность передавать видео 1080p с HEVC или VP9 в отличие от 720p с H.264 потенциально имела большое значение. Теперь пропускная способность сети в США составляет в среднем более 14 Мбит/с, и не за горами массовое внедрение 5G, что снова снижает для конечного пользователя преимущества от использования более эффективного кодека. Таким образом, даже удвоение эффективности сжатия не оказалось достаточным стимулом для подавляющего большинства производителей к внедрению нового кодека.

Возможно, именно поэтому внедрение кодеков обусловлено возможностью выхода на новые рынки, а не сокращением операционных расходов – компании стремятся зарабатывать деньги, а не экономить их. VP9, который примерно на 30-40% эффективнее H.264, совместим с 86,39% браузеров для мобильных устройств и настольных компьютеров. Тем не менее, сайт Encoding.com сообщает, что производство контента с помощью VP9 сократилось с 11% в 2016 году до 5% в 2018 году. Хотя 78% мобильных устройств Apple могут воспроизводить HEVC, Encoding.com сообщает, что в 2018 году только 3% видео было упаковано в формат потоковой передачи HLS с помощью HEVC.

Когда в 2007 году Adobe интегрировала H.264 во Flash, казалось, что в течение нескольких месяцев весь рынок веб-видео перешел на новый кодек. Сегодня, 12 лет спустя, H.264 по-прежнему составляет 82% всего видео, созданного Encoding.com. В то время как исследователи кодеков громко заявляют о повышении эффективности, а маркетологи пытаются обратить наше внимание на каждую новую платформу, похоже, что большинство производителей контента не стремятся выходить за рамки платформ, использующих видео по запросу (SVOD), видео по запросу с рекламой (AVOD) или пользовательский контент (UGC).

Следующим святым Граалем будет кодек, доступный на достаточном количестве платформ, чтобы издатели могли кодировать в одном формате и, наконец, оставить позади H.264. В интервью, опубликованном на Streaming Media, Юси Шен из Twitch рассказал, что его компания надеется добиться этого к 2024 году, используя AV1.

Какие выводы мы можем сделать из всего этого? Бизнес-модели, которые поддерживали прошлый успех стандартных кодеков, больше не имеют значения. Большинство производителей потокового контента используют кодеки, которые открывают новые рынки, а не сокращают операционные расходы. Это повсеместное воспроизведение будет самым важным фактором для кодека, который заменит H.264. На данный момент кажется вероятным, что за использование любого кодека, который придет на замену H.264, нужно будет платить лицензионные отчисления, поэтому выиграет компания, которая внедрит самую доступную и рациональную политику лицензирования.

Рассмотрим то, как изменились за последний год HEVC, AV1 и VVC.

HEVC

Битовый поток HEVC не меняется с 25 января 2013 года. Сейчас, шесть лет спустя, HEVC воспроизводится на 16,57% всех браузеров. H.264 используется в 96,96% всех браузеров, а VP9 - в 86,39%. Это прекрасная иллюстрация того, как катастрофическая политика лицензионных отчислений влияет на результат.

Мобильная поддержка аппаратно-ускоренного декодирования HEVC, замеры которой провела 23 августа 2018 года компания ScientiaMobile, составила 78% для устройств iOS и 57% для Android, и, очевидно, выросла с того времени. Однако, несмотря на то, что Apple сделала воспроизведение HEVC доступным в браузере iOS Safari, упрощая доступ для всех потоковых производителей, ни один браузер Android не поддерживает воспроизведение HEVC, а это означает, что воспроизведение HEVC на Android в основном будет осуществляться через приложения. Это хорошо для сайтов OGC и премиум-контента, которые обычно развертываются через приложения, но усложняет использование HEVC для сайтов, которые доставляются через браузер.

Что касается использования HEVC, в «Отчете разработчика видео 2018» компании Bitmovin 42% из 456 респондентов заявили, что они показывают видео с использованием кодека HEVC, но это не указывает на процент видео, фактически показанного в этом формате. В своем «Отчете о глобальных медиаформатах за 2019 год», в котором подробно описываются результаты производства видео в 2018 году, Encoding.com сообщила, что 12% всего видео, произведенного в 2018 году, было создано с использованием HEVC, и дала некоторые оптимистичные прогнозы: «В прошлом году HEVC в основном использовался в тестировании и разработке; тем не менее, в 2018 году HEVC был внедрен во многие производственные процессы, и мы ожидаем существенное увеличение объема в 2019 году, обусловленное контентом UHD HDR; оба стандарта HDR премиум-класса HDR и HDR+ соответствуют видеоформату HEVC».

Как упоминалось ранее, Encoding.com сообщила, что HEVC использовался только для 3% видео, кодированного для HLS в 2018 году. Производители развертывают HEVC для доставки обновленных форматов на новые устройства, но не для экономии пропускной способности или сокращения операционных расходов.

Кодирование и транскодирование

В области кодирования HEVC выиграл от внедрения кодека Intel Scalable Video Technology (SVT) -HEVC, который значительно ускоряет программное кодирование для систем, работающих на процессорах Intel Xeon Scalable и процессорах Intel Xeon D.

В прошлом году также наблюдалось увеличение объемов аппаратного транскодирования HEVC, позволяющего осуществлять облачное транскодирование с более высокой плотностью потоков в реальном времени. На выставке NAB 2019 мы увидели решение на базе FPGA от NGCodec, а также решения на основе SoC от NETINT и SoftIron.

Интеллектуальная собственность

За последние 12 месяцев произошло незначительное изменение лицензионной политики HEVC трех патентных пулов HEVC. Вероятно, самая большая задержка, связанная с лицензионными платежами за контент, возникла, когда два пула (MPEG LA и HEVC Advance) заявили, что не будут взимать плату: MPEG LA прекратила взимать плату за любой контент, а HEVC Advance - за доставку через нефизические носители, такие как потоковая передача.

Сейчас, через 6 лет после того, как битовый поток HEVC был заморожен, веб-сайт Velos Media заявляет: «Что касается контента, мы не пожалеем времени, чтобы полностью понять динамику экосистемы и убедиться в том, что наша модель наилучшим образом поддерживает продвижение и внедрение технологии HEVC ». Конечно, компания может нанять пару высокооплачиваемых магистров в области бизнес-администрирования, чтобы выяснить это. Хотя и так понятно, в какую сторону дует ветер. Издатели ругают HEVC из-за неопределенности, связанной с лицензионными платежами за контент.

Что касается политики и роялти HEVC в области IP, то на ум приходит фраза «ситуация нормальная: полный бардак». Так было в 2015 году, когда был создан второй пул (HEVC Advance) и организован Альянс за открытые медиа (AOMedia), так есть и сегодня.

AV1

AV1 - кодек с открытым исходным кодом от AOMedia. Он был запущен в 2018 году, и за последние 12 месяцев произошли улучшения во времени кодирования и эффективности декодирования. Большой новостью стал запуск пула, требующего выплаты лицензионных отчислений за развертывание AV1, так что начнем именно с этого.

27 марта 2019 года базирующаяся в Люксембурге компания Sisvel объявила о двух новых патентных пулах, предлагающих лицензии на патенты, «соответствующие спецификациям VP9 и AV1». Пулы применяются исключительно к потребительским устройствам, таким как смартфоны, компьютеры и телевизоры, а также к телевизионным приставкам, роутерам и графическим картам. Стандартные тарифы для VP9 составляют 0,24 евро для устройств с дисплеями и 0,08 евро для устройств без дисплеев, а для AV1 - 0,32 евро и 0,11 евро соответственно.

Когда компания AOMedia объявила о выпуске AV1, она также анонсировала создание фонда правовой защиты для любых судебных разбирательств, связанных с патентами, поэтому создание пула Sisvel вряд ли должно кого-то удивить. Судебных исков пока еще не было. В начале осени 2019 года Sisvel подаст заявку на целый список патентов. Как только заявка будет подана, другие профессионалы в области IP могут начать проверку достоверности патентов и их применимости к AVI и VP9. До этого момента единственным реальным последствием анонса Sisvel является то, что все потенциальные пользователи получают уведомления о возможной платной основе использования AV1.

Поддержка браузеров AV1

Поскольку Google и Mozilla являются членами AOMedia, неудивительно, что Chrome и Firefox поддерживают воспроизведение AV1. Если учитывать Opera, то получается, что AV1 проигрывает в 35,28% всех браузеров. В марте компания Google объявила, что ОС Android Q, доступная в бета-версии, «вводит поддержку видеокодека с открытым исходным кодом AV1. Это позволит поставщикам мультимедиа передавать потоковое видео высокого качества на устройства Android, используя меньшую полосу пропускания». Это указывает на то, что поддержка будет только для воспроизведения, а не для записи.

В ноябре 2018 года Microsoft выпустила бета-версию программы AV1 Video Extension, которая позволяет воспроизводить AV1 на устройствах с Windows 10. Пока нет сведений о том, когда эта возможность будет добавлена в обновление Windows 10 , или когда Apple, член AOMedia, добавит AV1 на свои компьютеры или устройства.

Появление аппаратной поддержки кодирования / декодирования AV1 не планировалось до середины 2020 года. Воспроизведение на основе браузера оказалось более эффективным, чем предсказывали многие эксперты. В октябре 2018 года стало известно, что воспроизведение 1080p видео YouTube с кодировкой AV1 в Chrome потребляло около 20% процессорного времени на ноутбуке HP ZBook с процессором Intel Xeon E3-1505M v5 2,8 ГГц. Воспроизведение того же видео на таком же ноутбуке в Firefox потребляет от 10% до 15% ресурсов процессора.

23 мая 2019 года Mozilla объявила об интеграции декодера dav1d в Firefox, что должно еще сильнее снизить потребление ресурсов процессора. Mozilla также сообщила о том, что в 11,8% случаев воспроизведения видео в Firefox Beta используется AV1, по сравнению с 3% в марте и 0,85% в феврале того же года. Вероятно, большая часть этого трафика поступает от YouTube, который опубликовал плейлист AV1 в сентябре 2018 года. Кроме того, инженер-программист Google Стивен Робертсон пообещал на Demuxed 2018, что к концу октября 2018 года YouTube будет распределять 1 ТБ видео в формате AV1 в секунду. Компания Netflix выпустила в сентябре 2018 года некоторые видеоматериалы в формате AV1 для публичного просмотра.

Однако Netflix кодировала видео 1080p до 6,7 Мбит/с, а YouTube - 5,1 Мбит с, поэтому ни одна из компаний не продвигала конверт качества. Хотя Facebook утверждает, что AV1 экономит 51% по сравнению с x264 и 32,5% по сравнению с VP9, компания публично не заявляла, что поставляет видео в формате AV1. На данный момент, через год после замораживания битвого потока, мы не знаем, достигла ли какая-либо компания экономии битрейта, о которой сообщает Facebook.

Что с качеством кодирования? На данный момент это неизвестно, но качественное различие между SVT-AV1 и версией AV1, поставляемой AOMedia, должно со временем снизиться. Вот по каким причинам.

По данным BBC, AV1 был построен на основе спецификации Google VP9. Различные члены AOMedia предложили различные «инструменты» для включения в кодек. Обязательные (по крайней мере, на первых порах) инструменты встраиваются в архитектуру кодеков для обеспечения максимальной эффективности кодирования. Вот почему время кодирования AV1 в процессе разработки кодеков сильно выросло.

Intel SVT был разработан для того, чтобы «ядро кодировщика можно было разделить на независимо работающие потоки, каждый поток обрабатывал отдельный сегмент входного изображения, и эти потоки выполнялись параллельно на разных ядрах процессора, без каких-либо потерь в точности». Это ускоряет кодирование на многоядерных процессорах, таких как Intel Xeons. Однако портирование AV1 в архитектуру SVT начинается с основных функций, затем необходимо добавлять различные инструменты. По этой причине версия 1 любого кодека SVT не будет обеспечивать то же качество, что и готовая версия того же кодека.

Таким образом, за последние 12 месяцев AV1 продемонстрировал неплохую эффективность кодирования и воспроизведения, поддерживается различными браузерами, и в перспективе за использование этого кодека будут взиматься лицензионные отчисления.

VVC

VVC - это основанный на стандартах кодек следующего поколения, разработанный совместно MPEG и ITU. Целевой показатель качества - снижение скорости передачи битов на 30% по сравнению с HEVC при сохранении качества. Хотя производители не планируют выпускать кодек до конца 2020 года, некоторые сведения о качестве кодека уже поступают.

Как указано в документе Международной вещательной конвенции 2018 года под названием «Обзор последних достижений в области кодирования видео в MPEG и AOMedia», исследование, которое проводила ВВС, включало в себя как объективные, так и субъективные тесты.

При использовании разрешения HD BBC обнаружила, что AV1 эффективнее HEVC всего лишь на 7%, а VVC на 33% эффективнее, чем HEVC. При разрешении UltraHD AV1 был только на 2% лучше, чем HEVC, а VVC был лучше на 27%. Стоит упомянуть, что компания BBC является членом AOMedia и лицензиаром патентного пула MPEG LA HEVC.

При сопоставлении этих результатов с данными Facebook, следует обратить внимание на то, что BBC использовала для тестирования VVC и HEVC эталонные кодировщики, использующие в кодеке все инструменты. Таким образом, время кодирования оказалось слишком велико для коммерческого использования. Кроме того, BBC использовала стандартные тестовые клипы, которые обеспечивают сопоставимость различных поколений тестов. При этом, по сути, тестировались кодеры, которые никто никогда не будет использовать для производственного кодирования, и использовались клипы, которые ни один потребитель не будет смотреть. Напротив, компания Facebook проанализировала 100 своих самых популярных тестовых клипов с использованием реальных производственных кодеров.

Что касается лицензирования, можно предположить, что в число участников VVC входят многие компании из пулов HEVC и H.264. Чтобы помочь избежать проблем, связанными с HEVC, группа компаний сформировала Форум индустрии медийного кодирования (MC-IF). Как отмечается в пресс-релизе, «MC-IF первоначально будет сосредоточен на создании VVC и сопутствующих стандартов, а также общепринятых и широко используемых стандартов, в интересах потребителей и производственной сферы». Одна из ключевых целей - «Обеспечить площадку для обсуждения вопросов, связанных с лицензированием прав интеллектуальной собственности, имеющих отношение к развертыванию и использованию этих стандартов».

Будущее за патентными адвокатами?

В значительной степени будущее кодеков будет продиктовано свободным от лицензионных отчислений статусом AV1, который AOMedia может получить, доказав, что компании-члены альянса заново изобрели колесо со своим кодеком AV1, или лицензируя эту технологию по мере необходимости. Помните, что Google использовал последнюю тактику, чтобы еще в 2013 году прекратить формирование патентного пула VP8 компанией MPEG LA. Или, возможно, AOMedia сможет получить достаточно контроля над IP AV1, чтобы распределять AV1 по справедливой и разумной цене.

В противном случае владельцы IP попытаются навязать HEVC-подобные бизнес-условия для AV1, VVC и будущих кодеков.