Где хранится информация? NAS vs SAN.

Недавно зашла речь о хранении большого объёма файлов. Точнее массы картинок и админ проекта «Всё в Odnom.ru», предложил несколько вариантов для оптимизации изображения. Но бесконечной оптимизации не существует и один из моих проектов связан с хранением огромного количества фотографий. Там не десятки, а тысячи фотографий в высоком разрешении, если подтянутся фотографы других регионов, то возможно счёт пойдёт на сотни тысяч фотографий. По этой причине оптимизация изображения совершенно не даст возможности использовать обычные хостинги. Даже выделенные сервера не блещут большими объемами. Максимум, что предлагают хостеры, так это объединить в RAID 0 несколько дисков. Обычно не более четырёх. Даже поставив двух терабайтные винты мы получим максимум восемь терабайт. Но для надёжности я бы их объединил в RAID 10, что приведет к потере четырёх терабайт, но как показала практика, это не лишняя перестраховка.

И так, обычные сервера совсем не тот выбор, чтобы обеспечить нужный объем хранения данных. И тут на помощь приходят специализированные сервера для хранения данных. Чаще всего мы получаем сервер с большим количеством отсеков для корзин с дисками. Например, сервера от компании SuperMicro.

В этом сервере тринадцать отсеков для корзин с винчестерами. Все корзины поддерживают винчестера для замены на лету. Правда, не все винчестера поддерживают подобные издевательства над собой. На метринской плате, конечно, нет такого количества разъемов под винчестера, за-то можно установить нужные контроллеры и к ним подключать диски. А раз мы сами выбираем контроллеры, то и выбор винчестеров тоже в наших лапах. Например, я предпочитаю ставить под операционную систему четыре винчестера SAS или SCSI на 36GB или 72GB. Если есть возможность, то приобретаются диски поддерживающие 15000 оборотов в минуту. Объединить их в RAID 10 и не беспокоиться о сохранности инфы. Главное предусмотреть один запасной винчестер на случай выхода из строя одного из работающих. Под данные можно поставить менее шустрые, но более объемные диски с интерфейсом SATA. Необходимость объединения винтов в RAID 1 или RAID 0 оценивается по месту и по выполняемым задачам. Иногда я использовал объединение в RAID 6.

Но огромные объёмы данных одного сервера иногда необходимо использовать и на других серверах. Так например, помимо сервера складирующего фотографии и видео нужен сервер по обработке фотографий и их сравнению. Та же фотоидентификация дельфинов занимает огромные объёмы вычислительных ресурсов. Если сервер хранящий данные будет заниматься обработкой фотографий и их постоянным сравнением, то он не сможет корректно обслуживать дисковый массив и вовремя отдавать и принимать данные от пользователей. А программа для фотоидентификации постоянно держит массу фотографий в оперативной памяти, что приводит к дополнительным накладным расходам на покупку и обслуживание сервера.

Самым идеальным вариантом была бы возможность вынести диски отдельно от сервера и иметь к ним независимый доступ. И тут на помощь приходят NAS (Network Attached Storage). Суть идеи заключается в том, что для хранения информации можно выделить отдельный компьютер или специализированное оборудование (по сути микрокомпьютер заточенный под функции NAS) для хранения данных. В чистом виде, NAS не требует ни клавиатур, ни монитора, это банальная железяка стоящая себе в сторонке или стойке и никому не мешает. Операционная система настраивается так, чтобы её можно было конфигурировать только по сети. Некоторые NAS даже не имеют разъёмов для подключения периферии.

В какой-то мере NAS является крайне выгодным и крайне удобным инструментом. Есть маленькие NAS для хранения небольших объемов данных и помещающихся на столе, а есть довольно крупные, которые можно запихать только в стойку.

NAS vs SAN

Но есть и минусы у NAS, заключаются они в том, что это банальные компьютеры которые предоставляют определённые ресурсы. В качестве ресурсов используется дисковое пространство которое можно использовать по определённым высокоуровневым протоколам. Это обычные сетевые файловые системы типа NFS, SMB и FTP. Могут быть вариации, но это не существенно. Но в некоторых задачах, которые стоят передо мной требуется прямое обращение к дискам, без сетевой прослойки. У Windows есть возможность подключать сторонние ресурсы в виде дисков, но это всё-равно не тот тип сервиса, что необходим. Нужна такая прослойка, которая не даст понять компьютеру, что диски хранятся не в корпусе сервера, а где-нибудь на недорогом хостинге в Германии или у меня дома. В случае работы с файловым сервером, лучше всего данные хранить ближе к датацентру в котором обрабатываются данные, а датацентр обеспечивающий резервное хранение и закачку новых материалов можно оставить в любом месте. Главное обеспечить высокопроизводительный канал между сервером и массивом данных. В качестве дискового хранилища можно использовать другую технологию. Называется она SAN (Storage Area Network).

Я обычно применяю SAN начального уровня: HP Storage Work Modular Smart Array 1000. Вот она малышка:

SAN начального и среднего уровня типа MSA 1000 умеет всё то, что и его старшие собратья и легко заменяется на старшие модели без определённых трудностей. Так же это хранилище позволяет дать старт консолидированной сети хранения данных на средних и крупных предприятиях. У него есть 14 отсеков для SATA винтов с данными. Подключается по оптике и имеет стандартный для SAN протокол iSCSI.

Самая интересная фишка SAN заключается в том, что можно сконфигурировать SAN так, что подключаемый к его дискам сервер будет видеть виртуальный диск LUN и загружаться прямо с него. Так же можно использовать два SAN и объединить их при подключении к серверу, тогда в случае выхода одного из SAN, сервер будет продолжать функционировать без потери данных и перерыва на замену дисков или целого хранилища. При этом можно иметь на замену аналогичный сервер и при выходе из строя основного сервера банально запустить резервный. А так как диски хранятся вне сбойного сервера, то и работа продолжится сразу как буден загружен сервер и пользователи даже не узнают, что вышел из строя целый сервер. Максимум, что будет заметно, так это то, что сервер был перезагружен.

Итоги

Но это уже для профессионального использования. Для любительских поделок достаточно небольших NAS или использования серверов с большим количеством подключаемых дисков. В случае же большой фирмы, то они и так юзают огромные дисковые массивы, большие стоечные сервера и отличную СКС... кстати, вот несколько фотографий из серверных Яндекса.

Яндекс

Яндекс с выключенным светом

Красиво, правда?

Тэги: ИТ

Отредактировано:2020-09-28 08:35:13