В современной вещательной и медийной отрасли, использующей форматы высокого (HD) и ультравысокого разрешения (UHD), критическое значение прибрели системы хранения с быстрой и надежной архитектурой. Медийные компании любого масштаба требуют систем управления данными, которые позволят эффективно просматривать крупные массивы данных и управлять ими. Бизнесу нужны прозрачные сети, которые дают возможность просмотра и редактирования контента во всех подключенных системах, используя широкий ассортимент инструментов.
Если ваша компания в ходе ежедневной деятельности обрабатывает крупные объемы данных кино, видео и компьютерной графики, вам потребуется система, которая упорядочит этот процесс, обеспечивая автоматический обзор содержания во всех системах хранения и на всех рабочих станциях.
Ответом на эти вызовы медиа-индустрии стал R&S SpycerNode – уникальный продукт компании Rohde&Schwarz для хранения и менеджмента данных. Новейшая модульная аппаратно-программная концепция, использующая технологии Rodhe&Schwarz, IBM и Seagate. В ней использованы последние технологические достижения в HPC (High Performance Computing), и фактически SpycerNode –“Cluster-in-Box” для медийных и вещательных компаний.
«В современной деятельности медийных компаний крайний срок является по-настоящему крайним – в особенности для вещателей. Исключений не бывает. Поэтому таким важным является наличие хранилища, гарантирующего эффективность рабочего процесса. Сочетание устройств Rohde&Schwarz и файловой системы IBM обеспечивает масштабируемость производительности и емкости центральной системы хранения без каких-либо перебоев в работе».
Дирк Томецек, продакт-менеджер компании Rohde&Schwarz по файловым медиа-решениям.
Создатели считают Rohde&Schwarz SpycerNode лучшим решение для медиа бизнеса в эпоху больших данных.
Использование в SpycerNode HPC представляет собой сочетание аппаратной части, файловой системы и резервирования RAID. Резервирование RAID реализуется с помощью программных средств, а масштабируемость системы практически не ограничена – SpycerNode расширяется прямо в процессе эксплуатации добавлением новых устройств.
Для оценки системы в целом рассмотрим ее аппаратную и программную часть.
Аппаратная часть
SpycerNode предлагается в 3-х типоразмерах с разным числом дисков: 2u12 (12 дисков), 2u24 (24 диска), 5u84 (42 диска).
Аппаратное решение R&S SpycerNode обеспечивает 100% резервирование и чрезвычайную простоту обслуживания: диски, вентиляторы, блоки питания, контроллеры могут меняться на ходу, не останавливая систему. Модульная концепция (блоки по 2U и 5U) позволяет пользователю оплачивать и получать только тот объем хранения, который ему нужен, а в любой момент можно получить недостающий объем.
Система спроектирована таким образом, чтобы исключить единую точку отказа. Все компоненты 100% резервированы. Питание системы обеспечивается двумя резервируемыми блоками питания.
Система охлаждения SpycerNode состоит из группы вентиляторов с легкой заменой. Если какой-нибудь из них выходит из строя, система управления не только сигнализирует о проблеме, а компенсирует потерю мощности увеличением нагрузки на оставшиеся вентиляторы.
Диски
В SpycerNode могут использоваться NL-SAS и SAS-SSD диски в зависимости от конфигурации.
Максимальные объемы хранения для разных моделей:
SpycerNode 2u12
SpycerNode 2u12 HDD Bundle 96TB (12 HCS 8TB drives)
SpycerNode 2u24
SpycerNode 2u24 SSD Bundle 92TB (24 SAS SSD 3840GB drives)
SpycerNode 5u84
SpycerNode 5u84 HDD Bundle 336TB (42 HCS 8TB drives)
SpycerNode 2u84 SSD Bundle 160TB (42 SAS SSD 3840GB drives)
Контроллеры
Пара контроллеров R&S SpycerNode обеспечивают работу системы в HA (High Avalabitity) режиме, гарантирующем минимальное время простоя и исключение критических точек отказа. Целостность данных обеспечивается защитой всех шин данных, с проверкой четности и использованием методов коррекции ошибок. Внешние порты устройств поддерживают 100 Gbit Ethernet соединения
Программная часть
Система R&S SpycerNode использует файловую систему IBM SpectrumScale и IBM SpectrumScale RAID и эта комбинация дает SpycerNode высокую отказоустойчивость и производительность.
IBM Spectrum Scale RAID использует программную организацию RAID массива, не требует внешних контроллеров RAID или другого аппаратного ускорения RAID. Функция декластеризации в IBM Spectrum Scale RAID равномерно распределяет пользовательские данные, информацию об избыточности и свободное пространство по всем дискам хранилища без выделения отдельных резервных дисков. Такой подход снижает издержки на восстановление в случае сбоя дисков и повышает скорость работы RAID массива по сравнению с обычным RAID (восстановление выполняется в 3,5 раза быстрее, чем в случае с RAID5).
Система управления файлами IBM Spectrum Scale позволяет передавать данные между различными устройствами и уровнями хранения. При этом универсальный указатель ресурса (URL) данных не изменяется, вне зависимости от того, где расположены данные, или в какое место они перемещаются в процессе использования. Это эффективный метод использования многоуровневых хранилищ, позволяющий предотвращать дублирование и оптимизировать издержки, экономя ресурсы.
Как правило, для обеспечения высокой производительности при работе с одним крупным файлом требуется распределение данных по нескольким дискам с помощью различных дисковых контроллеров. Вместо того, чтобы осуществлять распределение на уровне отдельного тома, IBM Spectrum Scale проводит распределение в файловой системе. Управление распределением позволяет системе обеспечивать контроль, необходимый для обеспечения отказоустойчивости и балансировки нагрузки отдельных адаптеров, контроллеров памяти и дисков. Крупные файлы распределяются системой на блоки равных размеров; последовательные блоки размещаются на различных дисках круговым методом.
Система R&S SpycerNode c IBM Spectrum Scale автоматически определяет схемы общего доступа к данным и начинает соответствующую упреждающую выборку. Упреждающая выборка и кэширование обеспечивают высокую производительность и минимальное время отклика. К используемым схемам ввода-вывода относятся последовательная, обратно-последовательная схема и различные методы распределенного доступа.
Доступ клиентов к системе R&S SpycerNode может быть выполнен двумя способами: через Native и NAS клиенты. В случае использования ”Native” клиента SpycerNode работает через NSD (Network Shared Disk) по протоколу SpectrumScale (поддерживает Linux и Windows). Если для доступа применяется “NAS” клиент, то доступ к SpycerNode-кластеру идет через файл сервер, который может быть запущен на внутреннем контроллере SpycerNode или внешнем – R&S SpycerMedia Gateway. В дополнение к стандартным NAS сервисам SpycerNode предлагает функции “Cluster Export Services” для упрощения доступа к медиа данным.
Кроме удобства доступа к медиа SpycerNode гарантирует программную защиту данных на нескольких уровнях. Во-первых в RAID SpycerNode использована технология “удаляющего кодирования”: это увеличивает устойчивость системы к отказам дисков. Во-вторых, в SpycerNode используется сквозное контрольное суммирование: это помогает бороться с тихими ошибками и фантомными записями в RAID системах, когда диски не сообщаются о проблемах с чтением или даже записью данных. При этом, Spectrum Scale не только проверяет контрольные суммы по всем данным, предоставляемым клиентам NSD, но и в фоновом режиме восстанавливает утерянные записи на дисках. В-третьих в SpycerNode используется функция “Disk Hospital”, ключевая особенность SpectrumScale RAID, которая асинхронно диагностирует ошибки и сбои в дисковой подсистеме хранения. Идет постоянный опрос и тестирование обращений к дискам системы хранения, все “медленные” диски, диски с ошибками ввода/вывода, диски с несоответствиями контрольных сумм направляются в “Disk Hospital”. Здесь определяются причины ошибок: либо это аппаратные проблемы диска, либо программные (с путями к нему). Одновременно с этим система восстанавливает данные с поврежденных дисков для предоставления их клиенту.
Особенности и преимущества R&S SpycerNode:
- Технология HPC RAID и файловая система HPC
- Масштабируемость
- Надежность
- Концепция корпоративного аппаратного обеспечения
- Унифицированная система хранения файлов и блоков
- Диспетчер устройств
- Высокий уровень функциональной совместимости
- Высокая производительность
- Удобство и простота использования
Медийные компании создают, обрабатывают и хранят все больше данных. ОЧЕНЬ важно понимать, что те, кто быстрее внедряет новшества, обеспечивающие управление быстрой инфраструктурой, становятся лидерами отрасли. При внедрении таких новшеств основная система хранения, используемая компанией, должна быть готова к современному объему данных, обеспечивая надежность, безопасность, производительность и высокую масштабируемость, как это предлагает SpycerNode компании Rohde&Schwarz.