ИИ в производстве и доставке видео

1. Машинное обучение в кодировании
2. Машинное обучение помогает Netflix, YouTube кодирует умнее
3. Коммерчески доступные технологии по названию
4. Машинное обучение приложений в потоковой технологии
5. Искусственный интеллект в производстве видео
6. Заключение

от Ян Озер

Технологии, основанные на искусственном интеллекте (ИИ), появляются на многих рынках, включая потоковое видео. AI - это общее описание программы, которая может воспринимать, рассуждать, действовать или адаптироваться, как показано на рисунке ниже.

Хотя границы между классификациями нечеткие, большинство достижений ИИ и приложений более точно называют «машинным обучением». Машинное обучение - это более специфическое подмножество ИИ, которое описывает любой алгоритм, который улучшается с течением времени за счет включения большего количества данных.

В свою очередь, «глубокое обучение» является более сложным подходом к машинному обучению. Он включает в себя использование многослойного нейронная сеть : цифровая сеть искусственных нейронов, смоделированная по образцу человеческого мозга, которая собирает большие объемы помеченных данных и использует их для категоризации информации, определения закономерностей, обучения и адаптации.

Как ИИ, машинное обучение и глубокое обучение сочетаются друг с другом (Источник: удаль )

В этой статье будут изучаться искусственный интеллект, машинное обучение и глубокое обучение. Мы обсудим их основные приложения для кодирования видео и потоковой доставки, а также их другие приложения в производстве видео.

Машинное обучение в кодировании

Различные типы потокового контента должны обрабатываться по-разному. Но до 2015 года большинство магазинов кодирования использовали фиксированную лестницу битрейта для каждого видео, независимо от типа контента или нюансов отдельных фрагментов. Например, говорящие головы могут отлично смотреться на гораздо более низких скоростях передачи данных, чем футбольный матч или балет. При одинаковом обращении с этим контентом один из них имеет низкое качество, а другой без необходимости потребляет большие объемы данных и пропускную способность.

Все изменилось, когда Netflix выпустили свои схема кодирования каждого заголовка в декабре 2015 года. На высоком уровне схема включала в себя кодирование каждого исходного файла с несколькими разрешениями и скоростями передачи данных, а затем использование метрики видео, называемой PSNR (Peak Signal to Noise Ratio), чтобы выбрать лучшую итерацию для каждой точки в лестнице кодирования. Но PSNR является более старым, статичным алгоритмом, и его часто критикуют за то, что он плохо предсказывает, как люди-наблюдатели на самом деле будут оценивать видео, что делает его менее чем идеальным для схемы кодирования на заголовок для зрителей премиум-класса Netflix.

Затем, в июне 2016 года, появилось машинное обучение в виде новой метрики и метода, названного Fusion Video Multimethod Assessment Fusion (VMAF). В VMAF результаты субъективных испытаний сливается с аналитическими метриками с помощью алгоритма машинного обучения. Другими словами, алгоритм «изучает» значения и закономерности данных, анализируя образцы «хорошего качества», идентифицированные и переданные ему наблюдателями.

Это позволяет VMAF не только включать субъективные оценки в свою систему начисления баллов, но и улучшаться с течением времени. Это также позволяет Netflix настраивать метрику для различных методов потребления (например, мобильный или большой экран), вводя различные субъективные результаты в алгоритм машинного обучения.

Netflix имеет VMAF с открытым исходным кодом, поэтому его можно настроить для разных типов контента и вариантов использования. В качестве примера, охранная фирма может ввести результаты субъективной оценки видеозаписей безопасности, чтобы создать VMAF, настроенный для этого типа видео. Мультипликационная сеть или спортивная сеть могут делать то же самое для своих собственных кадров.

Машинное обучение помогает Netflix, YouTube кодирует умнее

Внедренный Netflix, VMAF служит жизненно важным компонентом системы оценки, но не устанавливает параметры кодирования. Скорее, он заменил PSNR как механизм идентификации потоков самого высокого качества из десятков тестовых кодов, созданных для каждого исходного файла. Когда вы кодируете относительно ограниченную группу файлов для просмотра со сверхвысоким объемом, этот подход грубой силы имеет смысл.

С загрузкой 300 часов видео каждую минуту у YouTube совершенно другая проблема: как получить кодирование приемлемого качества за одну попытку. Чтобы достичь этого, YouTube создал нейронную сеть это включало данные из более чем 137 000 тестовых кодов на 14 000 клипов.

При кодировании загруженного клипа YouTube вводит данные, полученные из мезонинного транскодирования и тестового кодирования клипа с низким разрешением, в нейронную сеть. Вывод - это один параметр кодирования, используемый для кодирования каждого клипа в соответствии с целями качества YouTube. Сообщается, что Netflix разрабатывает аналогичный подход, называемый динамическим оптимизатором, для развертывания кодирования на основе сцен для своих видео.

Коммерчески доступные технологии по названию

Что все это значит для вас? Вероятно, у вас нет проблем, с которыми сталкиваются Netflix и YouTube. Но у вас есть выбор настольного или облачного кодировщика, и вы можете найти решение с некоторой формой кодирования для каждого заголовка.

На сегодняшний день большинство коммерчески доступных функций для каждого заголовка используют статические алгоритмы. Например, Лестница адаптивного битрейта источника систем Капелла (SABL) основан на кодировании коэффициента постоянной скорости, или CRF. Доступный в кодеках x.264, x.265, VP9 и других, CRF представляет собой механизм управления скоростью, который регулирует скорость передачи данных закодированного видео вверх и вниз для поддержания постоянного качества.

Хотя SABL Капеллы работает очень хорошо, вы не можете тренировать его с внешними, субъективными данными. Другие магазины кодирования ввели функции для каждого заголовка, но нет доказательств того, что они включают формальное машинное обучение.

Но это может скоро измениться. В Октябрь 2017 пост в блоге Гуру сжатия, Фабио Соннати, подробно рассказал о проекте, над которым он работал с NTT Data, который разрабатывает и продает потоковые кодировщики. По словам Соннати, более 14 000 оценок качества были использованы для обучения алгоритма машинного обучения, который позволяет пользователю выбирать целевой средний балл (MOS) для каждого кодирования. (MOS - рейтинг, используемый для субъективных тестов, обычно по шкале от 1 до 5).

Предположительно, такие функции, как эта, появятся не сразу, а в нескольких облачных или даже настольных кодировщиках. Фактически, в начале 2018 года EuclidIQ выпустила платформу облачного кодирования под названием Rithm.

По данным компании Веб-сайт «Адаптация контента Rithm моделирует качество видео на счетах, записанных людьми, поэтому ИИ Rithm основан на человеческом восприятии, а не на уравнениях некоторых инженеров». Другими словами, хотя пока еще не общедоступными, системы кодирования на основе машинного обучения скоро будут норма.

Машинное обучение приложений в потоковой технологии

Производители потокового видео используют адаптивное видео с битрейтом для обеспечения высококачественного взаимодействия в различных сетях и устройствах; например, это одна из ключевых функций, развернутых пользователями Программное обеспечение Wowza Streaming Engine ™ , Тем не менее, буферизация продолжает быть неудачным фактом жизни для многих зрителей.

Mens's Pensieve использует нейронную сеть, чтобы решить, какие потоки извлекать для улучшения QoE

Одним из подходов к этой проблеме, основанным на машинном обучении, является Лаборатория компьютерных наук и искусственного интеллекта Массачусетского технологического института. Называемый Pensieve, он использует нейронную сеть для принятия управляемых данными решений о том, какие потоки извлекать, чтобы избежать буферизации и других проблем с воспроизведением (как показано на рисунке выше). Pensieve заменит простые алгоритмы переключения битрейта, используемые большинством игроков сегодня, что должно уменьшить буферизацию для всех зрителей.

Как и в случае с кодированием, это не система, которую будет разрабатывать местный магазин оборудования для улучшения воспроизведения видео с практическими рекомендациями. Но нет сомнений в том, что подобные функции станут стандартом для онлайн-видео платформ и сетей доставки контента в будущем.

Искусственный интеллект в производстве видео

Помимо потоковой передачи, ИИ должен играть все более важную роль во всех аспектах производства видео. Статья под названием AI и следующее десятилетие производства видео на чикагском веб-сайте производителя видео Richer Studios предоставляет отличный обзор.

Одной из первых ролей, определенных в статье, является создание трейлера фильма, где автор описывает IBM создает трейлер фильма ужасов «Морган» используя машинное обучение. Во-первых, IBM обучила систему, передав ей данные из более чем 100 фильмов ужасов и их роликов. Затем IBM подала «Морган» в систему, которая определила 10 «моментов» на шесть минут, которые были лучшими кандидатами на трейлер. Затем режиссер из IBM разработал эти моменты в трейлере, показанном ниже:

Далее в статье Рихтера указывается, каким образом ИИ повлияет на производство видео, включая редактирование, озвучивание, написание сценариев, кинематографию и даже наложение голоса. Хотя не все готовы к прайм-тайму, как с объектами в зеркале, большинство из них ближе, чем они могут показаться.

Заключение

Если вы замените термин «машинное обучение» или «глубокое обучение» на «искусственный интеллект», вы получите более точное описание большинства приложений, описанных выше. Каким бы ни был правильный заголовок, это материал с большим бюджетом, нуждающийся в полном количестве докторов наук.

Соответственно, для большинства производителей потокового вещания эти технологии будут доставляться через сторонние продукты и услуги, а не через их собственные разработки. Как бы они ни были доставлены, они помогут нам быстрее и лучше выполнять свою работу, а в некоторых случаях заменят нас. Так что игнорируйте эти технологии на свой страх и риск.

Хотите узнать больше о потоковой передаче? Подпишитесь на наш блог так что вы не пропустите обновление.

Похожие

Комментарии