Статті

Интеллектуальные хранилища SpycerNode - будущее медиа отрасли

Мир вошел в эру беспрецедентного потребления видео. Взрыв спроса на видео высокого качества (от HD до UltraHD) создает серьезную нагрузку на инфраструктуры медиа компаний. Они пытаются правильно сориентироваться в изменившемся мире и вкладывать средства в стратегически «правильные» технологии и решения, не отставая от рынка и оставаясь профессиональными.

Если, например, взглянуть на типичную экосистему постпродакшн, как показано ниже, станет очевидным, что на каждом этапе - от создания до потребления, критически необходим только один компонент – хранилище медиа данных:

Broadcast SpycerNode workflow 

Центральное хранилище позволяет достичь жизненно важной калаборации между разрозненными группами в творческом процессе создания, и является важным звеном в сети распространения контента на множество устройств.

Однако, несмотря на очевидную важность правильного выбора центрального хранилища, слишком часто и слишком многие медийные компании вкладывают средства в хранение данных, совершенно не задумываясь о последствиях, что приводит к еще более сложным, обособленным и небезопасным технологическим процессам.

Стоит четко понимать, что решение проблем хранения данных простым добавлением дисков, флеш, массивов уже в перспективе работать не будет. Нужны новые интеллектуальные хранилища.

Итак, потребность времени - интеллектуальная и гибкая платформа хранения.

В этой статье мы рассмотрим ключевые проблемы хранения, с которыми сталкиваются медиа компании, и расскажем, как интеллектуальные хранилища нового поколения Rohde&Schwarz SpycerNode могут преодолеть их, закладывая фундамент под растущие требования потребительского рынка медиа.

Ранее мы уже упомянули о том, что традиционным системам хранения не хватает гибкости, адаптируемости, простоты, удобства использования, надежности, безопасности и доступности, необходимых для конкуренции на современном рынке цифровых медиа.

Для соответствия этим требованиям в хранилищах R&S SpycerNode разработчики применили гибридный подход, сочетающий преимущества программного хранения данных и высокую надежность аппаратной части.

Гибкость и адаптируемость

Как эти требования реализованы в SpycerNode? Благодаря примененному программному хранению данных на основе файловой системы IBM SpectrumScale. Это высокопроизводительная кластерная файловая система специально адаптированная для работы с мультимедиа данными (MMFS). Хранилище может адаптировать и настраивать емкость, производительность и защиту каждого рабочего пространства для проекта и клиента, используя ILM – менеджмент данных пула хранения на основе политик. Благодаря использованию ILM файловая система IBM Spectrum Scale позволяет обеспечивать доступ и миграцию данных между различными устройствами и уровнями хранения.

При этом универсальный указатель ресурса (URL файла) остается постоянным, вне зависимости от того, где расположены данные, или в какое место они мигрируют в процессе использования. Это самый эффективный метод менеджмента многоуровневых хранилищ, предотвращающий дублирование и оптимизирующий издержки.

Как правило, для обеспечения высокой производительности при работе с одним крупным файлом требуется распределение данных по нескольким дискам с помощью различных дисковых контроллеров. Вместо того, чтобы осуществлять распределение на уровне отдельного тома, IBM Spectrum Scale проводит распределение в файловой системе.
Управление распределением позволяет системе обеспечивать контроль, необходимый для обеспечения отказоустойчивости и балансировки нагрузки отдельных адаптеров, контроллеров памяти и дисков. Крупные файлы распределяются системой на блоки равных размеров; последовательные блоки размещаются на различных дисках.

Проекты и задачи медиа компаний могут сильно меняться и зависят под час от непредсказуемых внешних требований (например, популярность проектов или изменение графиков). Гибкость и адаптируемость SpycerNode, основанная на программном хранении, решает вопрос динамического распределения ресурсов хранения, обеспечивая критически важным проектам и высокоприоритетным направлениям максимальную производительность за счет менее приоритетных. Когда же проекты или бизнес-потребности меняются, хранилище адаптируется под них без ущерба для производства.

Надежность

SpycerNode предлагается в 3-х типоразмерах с разным числом дисков: 2u12 (12 дисков), 2u24 (24 диска), 5u84 (42 диска).

Broadcast SpycerNode Lineup

Могут использоваться NL-SAS и SAS-SSD диски в зависимости от конфигурации. Максимальные объемы хранения для разных моделей:

SpycerNode 2u12: HDD Bundle 96TB (12 HCS 8TB drives)

SpycerNode 2u24: SSD Bundle 92TB (24 SAS SSD 3840GB drives)

SpycerNode 5u84: HDD Bundle 336TB (42 HCS 8TB drives) или
SSD Bundle 160TB (42 SAS SSD 3840GB drives)

Аппаратное решение R&S SpycerNode обеспечивает 100% резервирование и чрезвычайную простоту обслуживания: диски, вентиляторы, блоки питания, контроллеры могут меняться на ходу, без остановки системы. Система спроектирована таким образом, чтобы исключить единую точку отказа. Все компоненты на 100% зарезервированы.

Broadcast SpycerNode Hardware

Питание системы обеспечивается двумя резервируемыми блоками питания.

Два системных контроллера SpycerNode обеспечивают работу системы в HA (High Avalabitity) режиме, что дает минимальное время простоя и исключение критических точек отказа. Целостность данных обеспечивается защитой всех шин данных, с проверкой четности и использованием методов коррекции ошибок. Внешние порты устройств поддерживают 100 Gbit Ethernet соединения.

Для организации работы RAID использует программное обеспечение IBM SpectrumScale RAID. Это ПО гарантирует высокую отказоустойчивость и производительность. В IBM Spectrum Scale RAID применена программная организацию RAID массива, не требующая внешних аппаратных контроллеров RAID. Функция декластеризации в IBM Spectrum Scale RAID равномерно распределяет пользовательские данные, информацию об избыточности и свободное пространство по всем дискам хранилища без выделения отдельных резервных дисков, что снижает затраты на восстановление и повышает скорость работы RAID массива по сравнению с обычным RAID более чем в 3,5 раза (если сравнивать с RAID5).

Broadcast Spycer RAID01

Broadcast Spycer RAID02

Защита данных в SpycerNode организована на нескольких уровнях:

- использована технология “удаляющего кодирования”;
- используется сквозная проверка контрольных сумм;
- используется функция “Disk Hospital”.

Технология “удаляющего кодирования”: увеличивает устойчивость системы к отказам дисков. В SpycerNode используется сквозная проверка контрольных сумм: это помогает бороться с “тихими” ошибками и фантомными записями в RAID системах, когда диски не сообщают о проблемах с чтением или даже записью данных. Функция “Disk Hospital”, ключевая особенность SpectrumScale RAID, которая асинхронно диагностирует ошибки и сбои в дисковой подсистеме хранения. Идет постоянный опрос и тестирование обращений к дискам системы хранения, все “медленные” диски, диски с ошибками ввода/вывода, диски с несоответствиями контрольных сумм направляются в “Disk Hospital”. Здесь определяются причины ошибок: либо это аппаратные проблемы диска, либо программные (с путями к нему). Одновременно с этим система восстанавливает данные с поврежденных дисков для предоставления их клиенту.

Удобство использования, простота, масштабируемость

Хранилище должно быть простым, подчиняясь правилам: “ поставь и забудь“ и “он просто работает“. Именно в этой «простоте» еще одна сильная сторона систем хранения SpycerNode. За всей казалось бы сложностью аппаратной и программной части, эти хранилища очень удобны в эксплуатации. Разработчиками создано приложение R&S Device Manager для управления и администрирования системой. Через Web UI пользователь может сконфигурировать систему, а также получить технический мониторинг. Вся статистика сохраняется в log-файлах, а уведомления об ошибках могут быть настроены для отправки по SNMP, e-mail, либо выведены в виде системных сообщений. Конфигурирование с помощью R&S Device Manager позволяет с нуля настроить кластер, удаленно обслужить систему, управлять лицензиями и т.д.

Broadcast SpycerNode ManagerДоступ клиентов к системе R&S SpycerNode может выполняться двумя способами: через Native и NAS клиенты. В случае использования ”Native” клиента SpycerNode работает через NSD (Network Shared Disk) по протоколу SpectrumScale (поддерживает Linux и Windows). Если для доступа применяется “NAS” клиент, то доступ к SpycerNode-кластеру идет через файл сервер, который может быть запущен на внутреннем контроллере SpycerNode или внешнем – R&S SpycerMedia Gateway. В дополнение к стандартным NAS сервисам SpycerNode предлагает функции “Cluster Export Services” для упрощения доступа к медиа данным.

Хранилище обеспечивает совместную работу с медиа в реальном времени, предоставляя творческим группам возможность ускорить производство благодаря одновременному доступу к медиа материалам всех участников.
Решение может использоваться со всеми полулярными программными продуктами Adobe, AVID, Blackmagic Design, Apple, Autodesk и др.

Скорости доступа к системам хранения SpycerNode:

Broadcast SpycerNode Speed

Приобретая систему SpycerNode, пользователь всегда будет уверен, что у него не закончится дисковое пространство или пропускная способность, т.к. система предлагает практически неограниченную масштабируемость. Масштабируемость в SpycerNode – горизонтальная и вертикальная! Что это значит? Независимо от того, добавляете Вы новые устройства через JBOD или через сетевое соединение, общий пул хранилища остается единым!

Broadcast SpycerNode Scale

Безопасность

Программное хранилище также должно защищать медиаресурсы, предоставляя командам контроль над чтением, чтением / записью или отсутствием доступа к рабочим областям через разрешения пользователей и групп. Использование SpycerNode будет гарантировать, что только те, кто авторизован для доступа к контенту, в состоянии сделать это и позволить выбрать оптимальную защиту данных для каждого рабочего пространства.

Доступность

Хранилища R&S SpycerNode выгодно использовать и с точки зрения экономических последствий. Это разумный выбор: он позволяет экономить средства, предоставляя творческим командам и техническим службам возможность комбинировать и подбирать компоненты для обеспечения не только потребностей отдельных проектов или компании в целом, но и требований бюджета сейчас и в будущем. SpycerNode c Enterpise платформой и программным хранением – прогрессивное модульное решение, способное объединить все ресурсы хранения компании в один виртуализируемый пул, и главное, эффективно их использовать. Виртуализация хранилища гарантированно снижает эксплуатационные расходы, устраняя сложность инфраструктуры и снижая стоимость управления отдельными разрозненными системами хранения, а также снижает трудоемкие операции.

Системы хранения SpycerNode компании Rohde&Schwarz полностью соответствуют требованиям к хранению контента и способны помочь растущим медиа компаниям решить проблему взрывного роста его объемов, оказывающего огромное давление на работу компаний.

 

Автор: Алексей Манько, для журнала Broadcast.net.ua

 

Search