Сравнение MDR с обычными RAID массивами

 Задачи охранного видеонаблюдения, в большинстве случаев, подразумевают запись и хранение информации с видеокамер в течение определенного количества времени. Видеоинформация обладает большим объемом и для ее хранения может потребоваться емкость нескольких жестких дисков. 

   В видеонаблюдении одним из очевидных вариантов организации записи на несколько носителей является запись по принципу последовательного заполнения каждого диска. На текущий момент подобная организация видеоархива себя практически изжила, так как не обеспечивает необходимой скорости записи видеопотоков с IP камер. Здесь нужно отметить, что скорость записи на пустой жесткий диск может быть достаточно высокой. Выполняется только линейная запись новых данных и в таком режиме проблем с производительностью может и не возникнуть, но после заполнения диска, в режиме перезаписи старой информации, производительность жестких дисков снижается в несколько раз. 

   Другой известный вариант организации архива предусматривает распределение записи с групп камер на разные носители. Отчасти это решает проблему быстродействия, но никак не влияет на надежность хранения данных. При выходе из строя одного из носителей, теряются записи по группе камер на всю глубину архива. Также, при таком способе записи неизбежно возникает разница в глубине архива для каждой из групп камер. 

   Третий вариант организации архива, состоящего из нескольких дисков - создание массива RAID различных конфигураций («1+0», «5», «6»). Упрощенно, организация записи в RAID массивах выглядит так: все поступающие данные разделяются на фрагменты очень небольшого размера, которые затем сохраняются на разные жесткие диски, на отдельный жесткий диск сохраняется вычисляемая контрольная информация, которая используется для восстановления данных, при выходе из строя одного из дисков. RAID массивы используются для создания всевозможных хранилищ, начиная от файловых серверов небольших офисов и заканчивая базами данных крупных финансовых организаций. Независимо от сферы применения, для всех «классических» типов RAID массивов характерны следующие недостатки: сложность настройки, фатальная зависимость от неверных действий администратора, жесткая привязка к аппаратной части, высокая стоимость аппаратной части, не всегда достаточная скорость работы. 

Требования к хранилищу данных для задач видеонаблюдения зачастую отличаются от требований к системам хранения данных в других сферах. Если сравнить базу данных банковских транзакций и архив видеонаблюдения, то становится очевидным, что потеря одной записи в базе данных банка, по своим последствиям, совершенно несравнима с потерей одного кадра из архива видеозаписи клиентской зоны того же банка. Но, при этом, для видеозаписи критична потеря протяженного участка архива. 

   Учитывая все сказанное, была создана технология записи видеоданных, решающая одновременно задачу увеличения скорости работы с носителями, увеличения надежности хранения видеоданных и максимальную простоту эксплуатации – технология «Domination MDR». Запись при такой технологии ведется распределенно. Кадры группируются порциями до нескольких мегабайт, которые распределяются по очередям записи на разные жесткие диски. 

   Распределение записи снижает нагрузку на жесткие диски. Например, подключив 32 IP камеры разрешением 5 мегапикселей, получим суммарный поток записи 60 Мбайт/с. При наличии в системе 12 жестких дисков данные распределятся таким образом, что скорость записи на один носитель будет составлять весьма комфортные для диска 5 Мбайт/с. 
   Распределением нагрузки на диски снимается не только проблема "узкого горлышка" при записи, но и повышается долговечность диска, а, кроме того, обеспечивается высокая скорость доступа к записанным данным. При воспроизведении архива (для примера рассмотрим случай неускоренного просмотра всех записанных данных предыдущей ситуации), считываемые с дисков 60 Мбайт/с дадут нагрузку чтения 5 Мбайт/с с каждого диска. Отметим, что на практике процессы чтения происходят без остановки записи, более того, сетевая многопользовательская структура системы подразумевает, что одновременно может быть несколько процессов чтения. 
   Распределенная запись также повышает надежность хранения данных. Так, при потере работоспособности одного из дисков, в архиве образуются лишь небольшие промежутки длительностью от одного кадра видеозаписи. При просмотре архива, в этом случае, будут заметны лишь небольшие «скачки» движущихся объектов, но общий смысл происходящего на видеозаписи останется понятен. 
   Как правило, поводом для просмотра видеозаписи служит какое-либо происшествие. Чтобы получить представление о произошедшем событии, определяют, кто, куда двигался в зоне наблюдения, кто, что взял, как выглядел и т.д. Отсутствие в архиве нескольких кадров видеозаписи, если жесткий диск выйдет из строя, не станет препятствием для восстановления обстоятельств происшествия. Большая часть видеокамер работают как раз в режиме «общего» наблюдения, имея целью фиксацию обстановки в определенной зоне. 

   При необходимости более надежного хранения видеоданных, технология Domination MDR позволяет вести запись в режиме «зеркалирования». 

   В этом случае все сохраняемые данные дублируются на разные диски. При выходе из строя жесткого диска, видеоархив остается без изменений. 

   В таблице приведено сравнение основных характеристик технологии Domination MDR с наиболее распространенными «классическими» RAID массивами. 

		Domination MDR Зеркалирование выключено	Domination MDR Зеркалирование включено	RAID0	RAID10	RAID5	RAID6
1	Основные преимущества	Увеличение скорости записи, распределенное хранение архива	Увеличение скорости записи, распределенное хранение архива увеличение надежности	Увеличение скорости записи, уменьшение надежности	Увеличение скорости записи, увеличение надежности	Увеличение скорости записи, увеличение надежности	Увеличение скорости записи, увеличение надежности
		Организация массива жестких дисков, как правило, преследует две цели: увеличение скорости работы и повышение надежности хранения данных. В видеонаблюдении увеличение скорости записи является первоочередной задачей, так как потоки данных с IP камер постоянно растут, а производительность жестких дисков при произвольном чтении/записи если и увеличивается, то незначительно. На данный момент производительности отдельного жесткого диска, особенно в режиме перезаписи, для нужд видеонаблюдения недостаточно.
2	Затраты объема HDD на избыточность %	0%	50%	0%	50%	9%	18%
		Избыточность - это определенная часть дискового пространства, которая не увеличивает глубину архива, но повышает его надежность. Данный пункт отражает, какая часть дискового пространства в процентах используется для увеличения надежности хранения данных.
3	Производительность по сравнению с обычными дисками	Увеличивается пропорционально количеству HDD	Увеличивается пропорционально количеству HDD	Увеличивается пропорционально количеству HDD	Увеличивается в 2-3 раза	Увеличивается на 50%	Увеличивается на 30-40%
		Производительность массива MDR увеличивается пропорционально количеству жестких дисков. Производительность «обычных» RAID массивов, как правило, имеет конечное, не очень высокое значение.
4	Полная потеря всех данных при выходе из строя HDD, шт.	12	12	1	2 - 7	2	3
		При использовании технологии MDR только потеря работоспособности всех носителей приводит к полной потере записанных данных. В остальных случаях объем потерянных данных соответствует количеству вышедших из строя носителей. Данные, оставшиеся на работоспособных носителях, остаются полностью доступными. При использовании «классических» вариантов RAID, к полной потере всех данных приводит выход из строя двух или трех накопителей. На практике нередки случаи, когда к полной потере всех данных RAID массива приводила ошибочная замена исправного диска вместо неисправного. При использовании MDR каждый носитель является автономным хранилищем информации, и сохранность данных на нем не зависит от информации на соседних носителях.
5	Степень сохранности данных при выходе из строя 1 HDD	91%	100%	0%	100%	100%	100%
		См. П.9.
6	Степень сохранности данных при выходе из строя 2 HDD	83%	83 - 100%	0%	0% - 100%	0%	100%
		См. П.9.
7	Степень сохранности данных при выходе из строя 3 HDD	75%	75 - 100%	0%	0% - 100%	0%	0%
		См. П.9.
8	Степень сохранности данных при выходе из строя 6 HDD	50%	50 - 100%	0%	0% - 100%	0%	0%
		См. П.9.
9	Степень сохранности данных при выходе из строя 11 HDD	8%	16%	0%	0%	0%	0%
		Пп. 5 - 9. Здесь показана зависимость объема оставшихся данных от количества вышедших из строя накопителей. Как уже говорилось, в «классических» RAID массивах выход из строя 2-3 дисков, приводит к полной потере всех данных. При использовании MDR в режиме «без зеркалирования» объем оставшихся данных пропорционален количеству работоспособных накопителей. Интересно рассмотреть ситуацию, когда из строя выходят накопители в MDR при включенном "зеркалировании". В данной ситуации объем неповрежденного архива зависит от того, какая комбинация накопителей вышла из строя. Если потеряют работоспособность половина имеющихся накопителей, то, в худшем случае, станет недоступно 50% всех данных, а в лучшем - не потеряется вообще ничего. Конечно, если зеркалирование включено, то выход из строя одного любого диска не приводит к потере данных. В RAID 10 несколько похожая ситуация. Выход из строя до шести дисков не состоящих "в паре" друг друга не приводит к потере данных, но при выходе из строя всего двух "парных" дисков, весь архив теряется безвозвратно..
10	Требуется срочная замена неисправного диска	Нет	Нет	Полная потеря всех данных	Да	Да	Да
		Здесь показана зависимость объема оставшихся данных от количества вышедших из строя накопителей. Как уже говорилось, в «классических» RAID массивах выход из строя 2-3 дисков, приводит к полной потере всех данных. При использовании MDR в режиме «без зеркалирования» объем оставшихся данных пропорционален количеству работоспособных накопителей. Интересно рассмотреть ситуацию, когда из строя выходят накопители в MDR при включенном "зеркалировании". В данной ситуации объем неповрежденного архива зависит от того, какая комбинация накопителей вышла из строя. Если потеряют работоспособность половина имеющихся накопителей, то, в худшем случае, станет недоступно 50% всех данных, а в лучшем - не потеряется вообще ничего. Конечно, если зеркалирование включено, то выход из строя одного любого диска не приводит к потере данных. В RAID 10 несколько похожая ситуация. Выход из строя до шести дисков не состоящих "в паре" друг друга не приводит к потере данных, но при выходе из строя всего двух "парных" дисков, весь архив теряется безвозвратно..
11	Характер потери данных, при выходе из строя критического количества дисков	Небольшие промежутки	Небольшие промежутки	Полная потеря всех данных	Полная потеря всех данных	Полная потеря всех данных	Полная потеря всех данных
		При выходе из строя "критического" количества накопителей, RAID массив перестает существовать и все данные, хранящиеся на нем, полностью теряются. MDR сохраняет .
12	Необходимость начальной настройки массива	Нет	Нет	Да	Да	Да	Да
		MDR не требует предварительной настройки при начале работы. Достаточно подключить к видеосерверу новые накопители и видеосервер сам отформатирует жесткие диски и начнет их использование для записи архива. «Классический» RAID массив обязательно должен быть предварительно правильно настроен. От правильности выбора необходимых параметров зависят характеристики надежности и скорости работы будущего RAID массива.
13	Необходимость настройки массива при замене диска	Нет	Нет	Может возникнуть	Может возникнуть	Может возникнуть	Может возникнуть
		При замене вышедшего из строя накопителя, MDR не требует никаких дополнительных действий. Достаточно заменить жесткий диск новым и видеосервер автоматически отформатирует его и начнет с ним работать. «Классический» RAID массив может потребовать дополнительных действий, связанных с настройкой роли нового накопителя в составе массива.
14	Уровень квалификации персонала для обслуживания массива	Пользователь компьютера	Пользователь компьютера	Администратор	Администратор	Администратор	Администратор
		Поскольку видеосервер Domination с функцией MDR не имеет никаких настроек хранилища, то для его обслуживания не требуется специальных знаний. Персоналу достаточно уметь физически заменить неисправный жесткий диск новым. Все остальные действия видеосервер выполнит сам. Для настройки и обслуживания «классического» RAID массива персонал должен обладать навыками хорошего системного администратора, иначе неправильные действия могут привести к полной потере архива без возможности восстановления.
15	Возможность восстановления информации с неисправного носителя	До 100%	До 100%	Нет	Нет	Нет	Нет
		В MDR остается возможность восстановить данные даже с неисправного жесткого диска. Если, к примеру, на жестком диске имеются сбойные секторы, то с исправных частей жесткого диска можно прочитать записанный архив. В RAID массиве единичный жесткий диск не несет никакой полноценной информации.
16	Режим записи архива после выхода из строя 1 HDD	Не изменяется	Не изменяется	Полная потеря всех данных	Надежность 0%	Надежность 0%	Надежность 50%
		См.п.18.
17	Режим записи архива после выхода из строя 2 HDD	Не изменяется	Не изменяется	Полная потеря всех данных	Полная потеря всех данных	Полная потеря всех данных	Надежность 0%
		См.п.18.
18	Режим записи архива после выхода из строя от 3х до 10 HDD	Не изменяется	Не изменяется	Полная потеря всех данных	Полная потеря всех данных	Полная потеря всех данных	Полная потеря всех данных
		Пп. 16-18. Данные пункты перекликаются с пунктом 8. Здесь нужно обратить внимание на то, что надежность работы архива при использовании функции MDR не меняется при выходе из строя большей части жестких дисков. Если включена функция "зеркалирования", то такой режим работы сохраняется даже при двух .
19	Скорость работы массива после замены неисправного HDD	Не уменьшается	Не уменьшается	Полная потеря всех данных	Снижается в 2 -3 раза	Снижается в 2 -3 раза	Снижается в 2 -3 раза
		В MDR новый жесткий диск, установленный взамен неисправного, сразу включается в работу в обычном режиме. «Классический» RAID массив, после замены диска некоторое время продолжает работать в "аварийном" режиме, для которого характерна пониженная скорость и пониженная надежность.
20	Время восстановления массива после замены неисправного HDD	Нет	Нет	До 48 часов	До 48 часов	До 48 часов	До 48 часов
		Продолжительность работы в аварийном режиме (см. п. 19). Зависит от степени загрузки массива и может продолжаться, по нашим наблюдениям, от 8 до 48 часов. Все это время «классический» RAID массив не имеет запаса надежности. MDR всегда работает в оптимальном режиме. "Аварийных" режимов работы в MDR не существует.
21	Степень лояльности к неверным действиям администратора	Высокая	Высокая	Низкая	Низкая	Низкая	Низкая
		«Высокая» означает, что никакие действия администратора не могут привести к потере информации. «Низкая» означает, что некорректная комбинация извлеченных/замененных носителей приводит к полной потере информации. В «классических» RAID массивах необходимо очень внимательно осуществлять операции замены жестких дисков. Если при выходе из строя одного диска, случайно заменить другой, то в массиве образуются два диска, не входящие в массив - это один "по-настоящему" неисправный и тот, который установили - "новый". К примеру, для RAID 5-го уровня это приведет к полной потере всех данных без возможности восстановления. Даже если затем вернуть ошибочно замененный диск на место, то это, в большинстве случаев, уже не поможет восстановить данные. В MDR каждый диск автономен, всегда содержит данные, имеющие законченное логическое значение без привязки к другим носителям. В MDR любая комбинация жестких дисков, как и каждый отдельный диск, позволяет прочитать записанные данные.
22	Степень привязки к конкретному "железу"	Нет	Нет	Полная	Полная	Полная	Полная
		Вышедший из строя RAID-контроллер необходимо заменять точно таким же, иначе информация на дисках может полностью уничтожится. Компьютерные компоненты очень часто обновляются и найти в продаже контроллер, выпускавшийся несколько лет назад, зачастую не представляется возможным. В MDR не существует никакой привязки к аппаратной части. Таким образом, становится возможной "эволюционная" замена компонентов видеосервера на более современные без какого-либо ущерба для архива.

   Технология Domination MDR была создана именно исходя из специфики и требований к устройствам охранного видеонаблюдения. «Обычные» RAID массивы изначально были разработаны для иных задач, но затем были использованы в устройствах видеонаблюдения «как есть», без какой-либо адаптации. Как видно из таблицы, их характеристики, зачастую, противоречат требованиям к устройствам видеозаписи и в этом случае, оборачиваются скорее отрицательной стороной. К примеру, такое «достоинство», как восстановление массива после замены диска, крайне отрицательно сказывается на скорости записи, что может привести к пропускам в архиве, то есть часть поступающих данных будет просто отбрасываться. Здесь нужно отметить, что «обычный» RAID массив может перейти в «аварийный» режим и в результате перебоев с электропитанием. Если подобные перебои случаются часто, то «обычный» RAID массив может перманентно пребывать в состоянии «восстановления». Для Domination MDR не существует таких понятий, как «деградация массива», «разрушение массива» и т.д. Domination MDR не требует настройки и всегда работает в оптимальном режиме. 

   Для оценки максимальной величины потока видеоинформации, обрабатываемой видеосервером, были проведены практические тесты, которые показали, что видеосервер с функцией MDR, оснащенный четырьмя жесткими дисками, способен одновременно записывать в архив и производить чтение из архива на скоростях до 800 мегабит. Например, производилась запись видео с 32 IP камер по 25 мегабит каждая, и одновременное чтение разных участков видеоархива тремя видеоклиентами. При этом, показатели самого сервера, такие как загрузка процессора, загрузка дисковой подсистемы, были далеки от максимальных. Ограничение в 800 мегабит как на входящий, так и на исходящий поток накладываются сетевым оборудованием, работающем на скорости 1 гигабит. 

   Технология Domination MDR была запущена в производство в 2014 году и за это время зарекомендовала себя только с лучшей стороны. 

После внедрения в производство видеосерверов с технологией записи Domination MDR зарегистрировано заметно меньшее количество обращений в техническую поддержку по проблемам с жесткими дисками, что свидетельствует о более комфортном режиме эксплуатации носителей.