Данный обзор – результат совместной работы компании БиТек и ее официального партнера – компании Qsan. Мы полагаем, что он будет интересен не только тем, кто занимается разработкой и внедрением систем видеонаблюдения, но и многим специалистам по планированию и созданию корпоративных вычислительных сетей. Однако, прежде чем мы перейдем к рассмотрению различных аспектов хранения данных в системах видеонаблюдения, остановимся поподробнее на том, что такое iSCSI и какими преимуществами он обладает по сравнению с о всеми прочими интерфейсами.

Что такое iSCSI и каково его применение в современных IT системах
Что такое iSCSI SAN?
Каковы преимущества iSCSI перед традиционными NAS и DAS решениями?
iSCSI в системах видеонаблюдения
Архитектура системы
Дисковые массивы для видеонаблюдения
Дисковые массивы Qsan
Заключение

 

Что такое iSCSI и каково его применение в современных IT системах.

Как реализован протокол iSCSI и как именно используются имеющиеся IP сети?
Что такое iSCSI SAN?
Каковы преимущества iSCSI перед традиционными NAS и DAS решениями?

Как реализован протокол iSCSI и как именно используются имеющиеся IP сети?

Как известно, все новое – это хорошо забытое старое. Протокол SCSI, с момента своего создания в 70-х годах прошлого века, претерпел огромное количество изменений и, несмотря на свой почтенный возраст, все еще остается популярным в приложениях, требующих высокой производительности индивидуального сервера или рабочей станции. Впрочем, в последнее время SCSI в чистом виде практически не используется – уж слишком сильно ограничены возможности SCSI систем не только по количеству подключенных дисков, но и просто по длине кабелей.

Но принципы работы SCSI все еще актуальны и, даже спустя более 30 лет с момента своего появления, продолжают активно использоваться в системах хранения данных. Одно из новых направлений развития SCSI – сетевой протокол iSCSI.

Его разработчики пошли по довольно необычному пути – они не стали существенно модернизировать сам протокол, он неплохо изучен к настоящему времени и у многих компаний разработано немалое портфолио решений на его основе. Вместо этого они лишь добавили к обычной схеме «ОС – SCSI контролер – диски» еще один элемент – конвертер, преобразующий SCSI команда в Ethernet пакеты.

Как известно, эффективность использования Ethernet в чистом виде невелика – при использовании гигабитного варианта пропускная способность NAS систем редко превышает 25 мегабайт в секунду, причем канал при такой загрузке  «забивается» наглухо. iSCSI позволяет полностью использовать возможности Gigabit Ethernet (а в перспективе и 10 Gbit), причем сеть остается вполне пригодной для использования обычными Ethernet приложениями.

Несмотря на не слишком впечатляющую по сравнению с «чистым» SCSI скорость, iSCSI имеет целый ряд существенных преимуществ:

• iSCSI не требует обновления информационной инфраструктуры и системы хранения на его основе могут быть развернуты с использованием имеющейся Ethernet – сети компании.
• Поддержка QoS (Quality of Service), обеспечивающая высокую скорость и качество работы
• Удобное управление адресным пространством
• Безопасность, по причине хорошей изученности особенностей протокола абсолютным большинством системных администраторов.

 

Что такое iSCSI SAN?

SAN (Storage Area Network) – недавно завоевавшая популярность топология компьютерных сетей, предназначенная для высокоскоростного обмена данными. Вообще, когда речь заходит о SAN решениях, большинство IT специалистов представляют себе огромные сложные Fiber Channel, производительность которых сопоставима только с их стоимостью. Бесспорно, такие системы тоже существуют и представляют немалый интерес в определенных областях науки и бизнеса, но их применение в малом и среднем бизнесе, как правило, не оправдано и подробно останавливаться на их описании в рамках данного обзора смысла нет.

SAN – это понятие, не привязанное напрямую к какой либо топологии или технологии, не обязательно предполагающее огромные затраты или строго определенное оборудование. Идея SAN состоит в том, что любой подключенный к сети сервер, дисковый или ленточный массив должны иметь возможность подключаться друг к другу напрямую, не пользуясь промежуточными шлюзами. При этом для ОС клиентских компьютеров вся сеть абсолютно прозрачна, дисковое пространство всех устройств сети может быть одновременно использовано практически любым количеством устройств.

Преимущества SAN – удобство администрирования; возможность создания независимого от аппаратных компонентов  виртуального дискового пространства; великолепная производительность за счет  распараллеливания работы с информацией и отсутствия «посредников» между дисковым массивом и компьютером – клиентом.

Проще говоря, если в компании есть простая локальная Ethernet сеть, то для создания iSCSI SAN сети достаточно лишь закупить дисковые массивы, подключить их к LAN, запитать, настроить IP – адреса и создать RAID массив. Для подключения сервера (или рабочей станции) к iSCSI SAN достаточно установить на нее iSCSI – инициатор, настроить, опять же, IP адреса и пользоваться дисковым пространством, которое определяется операционной системой как локальный SCSI диск.

Несколько слов об iSCSI инициаторах. Они представляют собой средство, преобразовывающее SCSI команды в IP пакеты, могут быть программными или аппаратными. Программные инициаторы – небольшие утилиты, имеющиеся для всех популярных операционных систем (Windows 2000 и выше, MacOs, Linux и т.д.). Для работы они используют ресурсы центрального процессора компьютера. Недостаток программных инициаторов – загрузка процессора в некоторых случаях может превышать допустимый уровень и приводить к «торможению» всех прочих процессов. Достоинство программных решений – бесплатность и доступность для практически всех операционных систем. Кстати, о повышенной популярности iSCSI говорит тот факт, что инициаторы по умолчанию присутствуют в новейших операционных системах – Windows Vista и MacOs 10,5.

Аппаратный инициатор выглядит как обычный Ethernet хост – адаптер, но отличается дополнительной функциональностью. Его задача – не просто прием iSCSI пакетов и перенаправление их операционной системе, но и их преобразование в SCSI – команды. Пример такого устройства - Qlogic QLA4050C.  Использование аппаратных инициаторов гарантирует низкую нагрузку на процессор и автоматический контроль качества передачи, но они имеют и существенный недостаток – стоят денег и, иногда, немалых. Аппаратные инициаторы используются, как правило, на серверах и ориентированных на повышенную производительность рабочих станциях.

 

Каковы преимущества iSCSI перед традиционными NAS и DAS решениями?

Преимущества по сравнению с NAS системами:

• Качественная утилизация ресурсов Ethernet. Благодаря обмену данными на уровне блоков, производительность iSCSI приблизительно в пять раз выше, чем у NAS систем в той же сети.
• Гибкость обмена данными благодаря использованию дискового пространства не только серверами, но и индивидуальными рабочими станциями
• Поддержка приложений, требующих блочного доступа к данным, например СУБД, ERP и Exchange
• Консолидация средств хранения данных благодаря доступу к данным на уровне блоков. iSCSI систем могут использоваться для хранения данных файловых серверов, серверов резервного копирования, ftp – серверов, контроллеров домена и т.д. Дисковое пространство может быть назначено тому серверу, который нуждается в нем в настоящий момент
• Простота расширения. Так как доступ к NAS системам осуществляется на уровне файлов, эти массивы представляют собой полностью самостоятельные решения и не могут использоваться в качестве логического диска сервера. При использовании же блочной структуры данных, каждый RAID массив может быть разбит на несколько небольших логических дисков и быть использован различными серверами.
• Низкий показатель ТСО. Для обеспечения оптимальной производительности iSCSI системы достаточно обыкновенного гигабитного Ethernet коммутатора. Программные инициаторы доступны для практически всех популярных операционных систем.

Преимущества по сравнению с DAS системами:

• Удобство прямого обмена данными. При использовании архитектуры DAS, массив может работать только с тем сервером, к которому непосредственно подключен. iSCSI массивы поддерживают работу с несколькими серверами одновременно и прямое подключение между всеми всеми iSCSI устройствами.
• Управление дисковым пространством. Дисковое пространство DAS систем, в отличие от iSCSI массивов, не может быть переназначено для использования в других целях
• Простота и удобство расширения. Для подключения новой iSCSI системы не требуется покупать новый хост – адаптер для сервера, достаточно просто проложить новый кабель до Ethernet коммутатора. При этом количество подключаемых систем ограничено только количеством свободных портов.
• Бесплатные программные инициаторы для различных ОС. Поддерживаются Windows (XP, 2000 SP3 и выше, 2003 Server), Linux (SuSe), MacOSX 10.3.5 ($179)

 

iSCSI в системах видеонаблюдения

Система видеонаблюдения во многих компаниях построена по аналогичной схеме. Сигналы с развешенных по территории камер передаются на видеорегистраторы, подключенные к серверам. Сервера перемещают информацию на подключенные по топологии DAS дисковые массивы и, опционально на ленточные накопители.

При всей кажущейся простоте и изящности эта схема не лишена существенных недостатков. Во-первых это весьма высокая стоимость решения – помимо компонентов, отвечающих, собственно за запись видеопотока, приходится закупать (и обслуживать) еще и управляющий сервер. Во-вторых – возможность расширения системы по необходимости – количество свободных портов для хост – адаптеров ограничено, вычислительные возможности сервера не беспредельны, добавление нового хост – адаптера и настройка нового массива автоматически означает простой в записи и нарушение ее целостности. Таким образом, в решение добавляется лишний элемент (сервер), который не только не ведет к ускорению работы всей системы, но и вполне может стать «бутылочным горлышком» и потенциальной «точкой отказа».

iSCSI решения лишены этих, считающихся «неизбежным злом» недостатков. Прямое подключение видеорегистраторов к системам хранения по этому протоколу обеспечивает не только отличную производительность (более не ограниченную вычислительными возможностями сервера), но и практически стопроцентную «живучесть» решения при сбое любых аппаратных элементов!

Не следует забывать и о финансовом факторе – iSCSI сети строятся на базе самых обыкновенных Ethernet компонентов, которые, во первых, на 75% - 90% дешевле аналогичных по функциональности FC устройств и, во-вторых, широко доступны. Ведь найти в сжатые сроки новый FC хост-адаптер в небольшом, удаленном от районных центров городе.

Еще один существенный фактор – стоимость обслуживания, ведь специалистов по FC решениям, в отличии от Ethernet, не слишком много и стоимость их услуг может быть выше в разы.

Нельзя не упомянуть и о единственном существенном недостатке использования iSCSI – видеорегистраторы обязательно должны быть снабжены встроенными инициаторами, что несколько сокращает спектр пригодного для использования оборудования.

 

Архитектура системы

Начальный уровень
Самая простая система видеонаблюдения на основе ISCSI выглядит приблизительно следующим образом:

Данные с камер (аналоговых или IP) принимаются видеорегистратором, после чего переносятся на систему хранения данных. Всем процессом управляет удаленный сервер, единственная задача которого – управление порядком записи данных при помощи  специализированного ПО. Основное преимущество по сравнению с DAS системой – поток информации с камер фактически не попадает на сам сервер, хотя установленное на нем ПО искренне полагает, что записывает видео на локальный диск. Основное преимущество такой схемы в том, что необязательно покупать мощный сервер – его мощности должно хватать только на работу операционной системы, ПО видеозахвата, плюс процентов 20 «про запас».

Как ни странно, даже такая простая схема позволяет организовать весьма защищенное от сбоев решение. Ethernet – компоненты стоят дешево и, чтобы организовать резервный канал передачи данных от коммутатора до массива и сервера, достаточно просто проложить дополнительный Ethernet шнур.

Средний уровень

На изображении ниже представлен пример базовой системы с увеличенным количеством камер и, соответственно, видеорегистраторов.

В принципе есть всего два фактора, способных сдержать развитие решения – количество свободных портов на Ethernet коммутаторах и предельная пропускная способность контроллера массива. Требования к пропускной способности зависят целого ряда параметров, в частности разрешения камеры, наличия дополнительных режимов съемки и вычисляются в зависимости от конкретных условий.

Что интересно – требования к станции управления при увеличении количества камер и добавлении дополнительных видеорегистраторов практически не изменяются.

Высший уровень

Системы высшего уровня могут показаться излишне сложными в построении и обслуживании, но их производительность и защищенность не уступает, а иногда и превышает более дорогие системы (в основном в силу повсеместной доступности компонентов).

Хотя на схеме дисковые массивы, коммутаторы и видеорегистраторы выглядят одинаково, iSCSI сеть может состоять из любого количества устройств от самых разных производителей, что является несомненным плюсом.

 

Дисковые массивы для видеонаблюдения

Хотя iSCSI решения отличаются удивительной неприхотливостью к аппаратным компонентам, при внедрении таких решений желательно учитывать некоторые факторы.

Как известно, самый простой способ гарантировать надежность работы любого устройства в составе IT решения – это установить дублирующий элемент. Например, всегда существует шанс, что коммутатор выйдет из строя по причине скачка напряжения, падения с плохо закрепленной полки, проливания на него жидкости или по другим причинам. Коммутаторы стоят недорого, быстро устанавливаются, почти не требуют настройки и установки двух таких устройств, как правило, не составляет труда. Ситуация с большинством устройств аналогична. Однако, если речь идет о дисковых массивах, ситуация немного иная.
Основная задача системы видеонаблюдения – запись видеопотока и последующее его хранение в течение определенного срока. Выполнение этой задачи ложится в основном на дисковый массив, причем последний должен обладать целым рядом специальных возможностей.

Во-первых, контроллер массива должен обладать достаточной производительностью, чтобы обслуживать не только нужды самого RAID массива, но и эффективно преобразовывать весьма плотный поток iSCSI пакетов в SCSI команды. Во-вторых, каналы передачи данных и блоки питания должны быть дублированы во избежание потери работоспособности всей системы при выходе этих компонентов из строя. В-третьих, массивы должны поддерживать RAID6, ибо жесткие диски остаются механическими устройствами и выходят из строя чаще, чем хотелось бы. И, наконец, в-четвертых, массив должен обладать достаточным объемом для хранения материалов за длительный срок.

 

Дисковые массивы Qsan

Компания БиТек на протяжении долгого времени выбирала производителя, способного предложить нашим клиентам достаточно эффективные дисковые массивы по адекватной цене, пока наконец не заключила партнерское соглашение с компанией QSAN.

Qsan – довольно известный на тайваньском рынке производитель дисковых массивов, часть крупного IT холдинга. Первоначально компания специализировалась на SCSI решениях, которые, спустя некоторое время, были адаптированы для протокола iSCSI. 

Компания Qsan предлагает следующие модели iSCSI массивов:

Модель	P100E10	P120V40	P120V50	P120V60
Хост-интерфейс	Gigabit iSCSI x2
Количество дисков	5	8	12	16
Интерфейс дисков	SATA-II
Максимальная емкость	5 Тб	8 Тб	12 Тб	16 Тб
Тип CPU	Intel Xscale IOP80331
Объем памяти	512 Мб, поддерживается до 2 Гб DDR333
Поддерживаемые уровни RAID	0,1,0+1,3,5,6,10,30,50, 60 и JBOD
Поддержка Array Roaming	да
Управление	Com-порт, SSH и Web GUI
Дублированные блоки питания	нет	да
Встроенная поддержка снапшотов и репликации	нет	да
Встроенная поддержка транкинга	нет	да
Дублированные вентиляторы	нет	да
Поддерживаемые ОС	Windows (NT, 2000, Millennium, XP, 2003 ), Mac (9.1 и выше, включая OSX, OSX Server, XSERVE,Mac 8.6-9.04 - ATTO SCSI HBA)  Linux (все самые версии, поддерживающие SCSI), все остальные системы, поддерживающие протокол SCSI
Форм-фактор	Tower	2 U	2 U	2 U

Как можно видеть из представленной таблицы, компания Qsan поставляет массивы  различного уровня, применение которых, кстати, вовсе не ограничивается видеонаблюдением – при работе, например с небольшими базами данных, эти массивы показывают отличные результаты. Впрочем данный вопрос находится уже за пределами данного обзора.

 

Заключение

Корпоративная система видеонаблюдения – решение, которое не просто помогает компании существовать и развиваться, но и вполне может помочь выжить в жесткой конкурентной и гарантировать собственную безопасность. Разработка и внедрение этих систем, расчет характеристик каждого их элемента, безопасности и эффективности решений в целом должны выполняться только профессионалами. Надеемся, однако, что изложенные в этом обзоре идеи помогут Вам при дальнейшем развитии IT систем Вашей компании.