Эволюция СХД

Перфокарты

До появления компьютеров на протяжении столетий в простейших устройствах с программным управлением (ткацкие станки, шарманки, часы-карильоны) использовали перфорированные носители самых разных форматов и размеров и барабаны со штифтами. Сохраняя этот принцип записи, Герман Холлерит, основатель компании TMC, позже вошедшей в IBM, сделал открытие. Именно, в 1890 году он осознал, как можно использовать перфокарты для записи и обработки данных. Он реализовал эту идею при обработке статистических данных, полученных в ходе переписи населения, а позже перенес ее и в другие приложения, чем обеспечил благополучие IBM на десятилетия вперед.

Почему именно карты? Их можно сортировать и к ним может быть обеспечен, условно говоря, «прямой доступ» с тем, чтобы на специальном устройстве-табуляторе, следуя несложной программе, частично автоматизировать обработку данных.

Формат карт менялся, и с 20-х годов международным стандартом стали 80-колонные карты. Монополия на них до начала 60-х принадлежала IBM.

Эти простые картонки с прямоугольными отверстиями оставались доминирующим носителем данных на протяжении нескольких десятилетий, они производились миллиардами. Об объемах потребления карт можно судить хотя бы по одному примеру Центра расшифровки немецких радиограмм в Блечли Парке: неделя работы – 2 миллиона карт, это среднего размера грузовик! Послевоенный бизнес тоже строился на хранении данных на картах. Говоря о перфокартах, следует помнить, что они использовались в Германии для сбора данных о людях, подлежащих уничтожению.

Стимулом к дальнейшему развитию стало то, что в середине 80-х емкости жестких дисков стали измеряться сотнями мегабайт или даже гигабайтами поэтому для них понадобились накопители резервирования, соответствующей емкости. Неудобства открытых лент были понятны, даже в быту кассетные магнитофоны быстро вытеснили катушечные. Естественный переход к картриджам происходил двумя путями: один – создавать специализированные устройства, ориентированные на компьютеры (по линейной технологии): второй – обратиться к технологиям, изобретенным для видеозаписи и аудиозаписи с вращающимися головками (по винтовой технологии). С тех пор сложилось разделение на два лагеря, которое придает рынку накопителей неповторимую специфику.

За тридцать лет было разработано несколько десятков стандартов картриджей, наиболее распространенный сегодня стандарт LTO (Linear Tape-Open), в процессе которых картриджи совершенствовались, повышалась их надежность, емкость, скорость передачи и другие эксплуатационные характеристики. Современный картридж – это сложное устройство, снабженное процессором и флэш-памятью.

Переходу на картриджи способствовало то, что сейчас ленты работают исключительно в потоковом режиме. Картриджи используются либо в автономных устройствах, либо в составе ленточных библиотек. Первой роботизированную библиотеку на 6 тыс. картриджей выпустила компания StorageTek в 1987 году.

Аналитики и производители дисков не раз предрекали лентам кончину. Известен лозунг «Tapes must die», но они живы и будут жить долго, потому что рассчитаны на многолетнее хранение больших архивов. Размер бизнеса, связанного с производством лентопротяжек, лент и ленточных библиотек в 2017 году оценивался примерно в $5 млрд. И чем больше становятся объемы информации, которые можно сохранить на жестких дисках, тем больше потребность в архивировании и создании резервных копий. На чем? Разумеется, на лентах: экономически оправданной по стоимости хранения альтернативы магнитным лентам пока не найдено. Нынешнее 8-е поколение стандарта LTO позволяет штатно сохранить до 12 Тб, а в компрессированном режиме 30 Тб, перспективе эти цифры возрастут на порядок и более, при смене поколений повышаются не только количественные показатели, но и другие эксплуатационные характеристики.

Активная жизнь гибких (floppy) дисков растянулась на 30 лет с конца семидесятых до конца девяностых. Они оказались чрезвычайно востребованными в связи тем, что ПК появились раньше, чем у пользователей появилась возможность передачи данных по сети. В этих условия флоппики служили не только по прямому назначению для хранения резервных копий, но, пожалуй, в большей степени для обмена данными между пользователями, вот почему их еще называют sneaker, как кроссовки, типичную обувь программистов. Обмениваясь флоппиками, они создавали своего рода сеть – sneakernet.

Существовало 3 основных типа дисков и множество различных модификаций. Флопии-диски диаметром 8 дюймов были созданы в 1967 году в IBM, они задумывались как устройство первоначальной загрузки (bootstrap) для мэйнфреймов IBM/370 на замену более дорогой постоянной памяти (non-volatile read-only memory), ею комплектовалось предшествующее поколение IBM/360. Однако, осознав коммерческую ценность новинки, в 1971 IBM превратила флоппи в самостоятельный продукт, а в 1973 году руководитель разработки Алан Шугарт создал компанию Shugart Associates, ставшую ведущим производителей 8-ми дюймовых дисков с максимальной емкостью 1,2 Мбайта. Эти большие диски использовали на ПК, выпускавшихся до появления IBM XT. Особую популярность этот тип дискет получил благодаря операционной системе CP/M Гарри Килдала.

Что же касается дискет с диаметром 5,25 дюйма, то их появление напоминает анекдот о Николае II, который дольно своеобразно объясняет увеличенную ширину российской железнодорожной колеи по сравнению с европейской. В нашем случае Эн Ванг, хозяин компании Wang Laboratories, встретился в баре с выходцами из Shugart Associates, которые предложили сделать для его компьютеров более дешевый дисковод, но они не могли решиться на конкретный диаметр. Тогда Ванг взял коктейльную салфетку и сказал, что ему кажется, что размер должен быть таким. Пятидюймовые диски емкостью 360 и 720 Кб выпускали до конца девяностых годов, они были современниками компьютеров IBM XT и IBM AT, операционных систем MS-DOS и DR-DOS, верно служа становлению новой отрасли.

Предложенный в 1983 году Sony альтернативный картридж имел размер 90,0 мм × 94,0 мм, но его по традиции стали называть 3,5 дюймовым. В американской профессиональной среде он зовется стиффи (stiffy disk, перевод стоит посмотреть в словаре). После ряда усовершенствований в 1987 году был принят отраслевой стандарт 3,5-inch HD (High Density) с емкостью 1,44 Мб. Поначалу такими дисками комплектовали IBM PS/2 и Macintosh IIx, а позже он стал универсальным стандартом для PC и Macintosh. Попытки сделать во второй половине девяностых диски большей емкости Extended Density (ED) 2,88 Мб, а также казавшиеся перспективными магнитооптические Floptical disk 25 Мб, SuperDisk 120-240 Мб и HiFD 150-240 Мб рыночного успеха не имели.

Александр Белл предпринял попытку записать звук на диск, покрытый воском, сфокусированным лучом света примерно 130 лет назад, почти одновременно с изобретением граммофона Томасом Эдисоном. Его метод вырезания звуковой дорожки оказался практичнее. Это изобретение оказалось забыто, но комплект записанных им восковых дисков сохранился в Смитсониевском музее (Вашингтон), в 2013 году эти диски удалось прочесть и прослушать голоса более чем вековой давности.

Эксперименты в этом направлении не выходили из стен лабораторий вплоть до 1984 года, когда компании Sony и Denon разработали стандарт на диски CD, позже появилась возможность не только читать, но и записывать данные на диск при помощи устройства, ставшего в последствии стандартом для ПК. С этого момента CD стали устройством для СХД, их емкость составила примерно 700 Гб. Вторым поколением в 2000 году стали оптические диски DVD с емкостью 4,7 Гб, и третьим – диски Blu-ray, способные хранить 25 Гб. Все три могли быть использованы в качестве периферийных устройств. Сейчас ведутся работы над четвертым поколением, но комплектация ими СХД не предполагается.

Есть несколько причин отказа от оптических дисков:

• Отставание по скорости роста емкости оптических дисков от HDD. Когда появились CD, они вполне соответствовали дискам того времени, отсюда их популярность, DVD в меньшей мере, ну а о Blu-ray и говорить не приходится.
• Снижение стоимости флэш-накопителей, USB-флэшка 128 Гб имеет незначительную стоимость и для ее подключения не требуется специальное устройство
• Передача любых медийных данных по сети, то, что называют Non-Physical Media, обрушила традиционный музыкальный рынок.

Первые диски, в таком конструктиве, который стал прототипом для современных накопителей, создала шотландская компания Rodime, она выбрала в качестве образца формат популярных тогда 3,5 флоппи-дисков. Выпущенные ею в 1983 году модели RO351 и RO352 имели емкость 6,38 и 12,75 Мб соответственно. По тем временам этот не так мало, оригинальные PC XT комплектовались 5-дюймовыми дисками 5–10 Мб, заметно большими по размеру. В дальнейшем прогресс в области ферримагнитных материалов, способов записи и приводов позволили за 25 лет увеличить емкость дисков в миллион раз. Эволюция механики дисков, материалов и способов записи заслуживает специального рассмотрения.

Однако, как бы ни были высоки показатели емкости и соотношения емкость/цена у самых совершенных HDD, при них остаются их врожденные недостатки – большая задержка как неизбежное следствие механики и последовательные операции чтения и записи, неизбежные при перемещении головки над дорожкой.

Против ожиданий процесс создания быстродействующей электронной твердотельной постоянной памяти (Solid State Device, SSD) проходил медленно: потребовалось более четверти века экспериментов, чтобы лишь в конце 1990-х на рынке появились первые накопители NVM (Non-Volatile Memory). Успешнее других оказались эксперименты с технологией NAND, которую стали называть «флэш». С начала 2000-х она прочно вошла на рынок гаджетов, но только в 2013 году проникла и в корпоративные системы.

Длительность процедуры внедрения NVM обусловлена не столько техническими проблемами, сколько тем обстоятельством, что изначально все современные корпоративные информационные системы создавались именно в расчете на HDD, поэтому сдерживающим фактором стала инерционная масса существующей инсталляционной базы.

Флэш-память является частью более широкой совокупности возможных решений для создания NVM, или «памяти класса хранилища» (Storage-Class Memory, SCM). Помимо флэш-памяти, в эту категорию технологий попадают еще более десятка альтернативных физических методов, среди которых преимущество пока имеют следующие пять: мемристоры (Resistive Random Access Memory, ReRAM); магниторезистивная память с произвольным доступом (Magneto-resistive Random-Access Memory, MRAM); память с изменением фазового состояния (Phase-change memory, PCM); память на доменной стене (Domain-Wall Memory, DWM) и атомная память (Atomic memory). Кроме них, известны еще энергонезависимая статическая память с произвольным доступом (nvSRAM); сегнетоэлектрическая оперативная память (Ferroelectric RAM, FeRAM или FRAM); память на основе механического позиционирования углеродных нанотрубок (Nano-RAM). Из всего этого множества наиболее близки к практическому внедрению ReRAM и PCM.

Область внедрения SCM лежит между памятью и дисками, а поскольку производительность и стоимость технологий, потенциально пригодных для создания SCM, варьируются, то среди решений могут быть более быстрые, близкие по производительности к памяти, и более медленные, сравнимые по производительности с дисками. Сопоставимая по скорости с DRAM память на мемристорах или PCM позволит напрямую подключить к процессору большой объем памяти.

Из нескольких путей самый радикальный и логически простой предполагает подключение карт Solid State Card (SSC) в форм-факторе PCIe по интерфейсу NVMe непосредственно к серверам, хотя это самый логичный и высокоскоростной способ, но он пока применим для ограниченного числа новых приложений. Поэтому широкое распространение получают твердотельные накопители Solid State Drive с той же аббревиатурой SSD, выпускаемые в тех же форм-факторах, что и HDD — 5,25, 3,5, 2,5 и 1,8 дюйма, эмулирующие HDD.

Прямая замена HDD на SSD в существующих СХД вполне допустима, однако она не позволяет в полной мере реализовать потенциал флэш, поэтому остается несколько вариантов создания новых СХД. На данный же момент по экономическим соображениям в количественном отношении будут преобладать гибридные СХД, сочетающие в себе лучшие качества обоих видов накопителей: и HDD, и SSD – их производство растет со скоростью 8–10% в год.

Параллельно, по мере снижения цены флэш-памяти, все большую массовость приобретают массивы All-Flash Arrays (AFA), построенные исключительно на SSD. Этот сегмент рынка пока меньше гибридного, но растет в несколько раз быстрее. И здесь тоже есть свои варианты. Ряд компаний, главным образом стартапы, создают принципиально новые решения класса AFA с нуля (built from the ground up). Те же крупные вендоры, чьи проверенные временем массивы сохраняют потенциал для модернизации, доводят свои существующие продукты путем модернизации ПО и железа до уровня AFA. Они создают системы, которые называют оптимизированными под SSD (flash optimizing storage systems). Можно привести в качестве примера HP с 3PAR StoreServ.

Преимущество массивов AFA, относящихся к категории built from the ground up, по сравнению с optimizing storage systems состоит в том, что их заново написанные операционные системы лучше используют физические возможности флэш, это очевидно и не вызывает возражений. Но не менее очевидно и другое обстоятельство: из-за короткого периода существования built from the ground up им не хватает возможностей тех системных средств для управления данными корпоративного уровня (advanced data management features), которые были разработаны за десятилетия для HDD. Вот почему серьезные унаследованные приложения используют эти наработки, без них преимущества в скорости SSD сводится к нулю. Из сказанного следует, что нельзя в лоб сравнивать описанные выше два типа систем, на данный момент у каждого из них есть свои преимущества и перед пользователем стоит проблема выбора той СХД, которая точнее соответствует его требованиям. Для тех, кому важна в чистом виде скорость работы, больше подходят built from the ground up, если же критичны еще и требования корпоративного уровня, то предпочтительнее optimizing storage systems, сочетающие зрелые программные платформы с высокой надежностью и стабильностью, с более высокой, свойственной AFA скоростью работы.

HDD своих позиций не уступают, в прошлом году компания Western Digital представила HDD объемом 14 Тб по технологии черепичной магнитной записи и гермозоны с гелием, а на подходе технология микроволновой магнитной записи (MAMR), в 2022 году та же WD планирует выпустит диск емкостью 40 Тб, у которого удельная стоимость хранения будет на порядок ниже, чем у SSD.

Исторически первой составляющей операционных систем, поддерживающей работу с дисками, стали файловые системы, поначалу их функционал был ограничен распределением дискового пространства и сохранением имен файлов, присвоенных пользователями.

Компьютерный файл – это самый нижний уровень абстрагирования данных от физического хранения, существующих в виде байтов на носителе. Сегодня, говоря о файлах, чаще всего подразумевают файлы на дисках, к тому же данные в форме файлов хранятся и на флэшках, CD, DVD и на лентах резервного копирования. На компьютерах понятие «файлы» использовали с сороковых годов, так называли колоду перфокарт.

На чем бы ни хранился файл, он состоит из массива данных и фолдера – контейнера, содержащего данные, с уникальным идентификатором. В приложении к компьютерным данным фолдер называют метаданными, то есть данными о данных. Термин «дисковый файл» (disk file) впервые был употреблен в документации к диску IBM 350 (1956), а «файловая система» (file system) в одной из первых операционных с разделением времени Compatible Time-Sharing System (CTSS), разработанной в Массачусетском технологическом институте в 1961 году. На ее основе была создана OC Multics, которая в свою очередь вдохновила создателей Unix.

В 1973 году Гарри Килдал разработал файловую систему в составе своей ОС CP/M для 8-разрядного ПК, ее он затем переделал в DR-DOS 16- разрядного ПК, после чего в результате несложной комбинации против воли автора эта файловая система обрела новое воплощение в виде File Allocation Table (FAT) компании Micrоsoft.

По мере увеличения размеров дисков возникали новые файловые системы, одним из важнейших шагов стала Unix File System (UFS), она дала толчок к развитию целой плеяды файловых систем. Вершиной стала 128-битовая файловая систем Zettabyte File System (ZFS), разработанная в Sun Micro Systems.

В последние годы под влиянием необходимости работать с большими данными развитие файловых систем ускорилось. Их можно разделить на две категории: распределенные, обычно устанавливаемые на кластеры, и традиционные, но рассчитанные на работу с большим объемами данных. Из первых наибольшую известность получили Lustre, GPFS и две системы, созданные «по мотивам»

Lustre, — GlusterFS и Ceph. Система GPFS является коммерческой, остальные доступны в открытых кодах. Менее популярны системы XtreemFS, MogileFS, pNFS, ParaScale, CAStor и Tahoe-LAFS. Во второй категории безусловный лидер – ZFS и близкая ей LZJB, дополненная алгоритмом сжатия данных без потерь. Кроме этого имеются еще NILFS, разработанная в Nippon Telephone and Telegraph CyberSpace Laboratories, и Veritas File System, разработанная компанией Veritas Software. Не исключено и паллиативное решение, где совмещаются файловые системы из обеих групп.

Многоуровневое хранение данных (Data multy tiering) можно рассматривать как один из компонентов более широкого давнего понятия виртуализации памяти.

Термин virtual по отношению к памяти и СХД возник в 1959 году для обозначения виртуальной по своей сути внешней памяти на дисках, используемой для расширения внутренней памяти, которую в ту пору собирали из магнитных сердечников. Она по определению была очень маленькой, но при этом чрезвычайно дорогой. Маленькую и дорогую память подменяли прозрачным для процессора способом более дешевой дисковой памятью несравненно большего размера. В современных системах хранения точнее вести речь об интеграции хранения, замене физических адресов и номеров устройств логическими адресами и логическими номерами устройств и о более эффективных методах управления.

Появление SSD дало новый импульс к продолжению работ по виртуализации, нынешний этап называют Automated Tiered Storage (AST), на нем автоматически выполняются процедуры DataTiering, то есть перемещения данных по уровням хранения.

Появление SSD дало новый импульс к продолжению работ по виртуализации, нынешний этап называют Automated Tiered Storage (AST), на нем автоматически выполняются процедуры DataTiering, то есть перемещения данных по уровням хранения.

Необходимость в миграции данных связана с природой данных. Кривая распределения числа обращений к данным по времени напоминает гауссову кривую – количество обращений к свежим данным, требующим быстрого доступа, невелико, по мере старения данных оно возрастает, а далее падает и к архивированным данным на медленных устройствам количество обращений существенно меньше пикового. Это свойство данных побуждает к созданию многоуровневых СХД, на нынешнем уровне развития технологии можно реализовать 4-х уровневую модель: на 0 уровне – SSD, на них хранятся наиболее востребованные данные; на 1 уровне – быстрые диски SAS; на 2 уровне – медленные диски SAS или SANA, на 3 уровне – ленты. Принятая прежде трехуровневая схема из дисков SAS, SATA и лент устарела.

AST можно считать развитием ранее известного управления иерархическим хранением данных Hierarchical Storage Management (HSM), созданного в 1974 году для дисковой библиотеки IBM 3850, которая совместно с дисками впервые позволила образовать единое пространство данных. Возможно, использование нового названия отражает ускорение процессов миграции до уровня реального времени, что позволяет использовать SSD.

AST – это процесс перманентного перемещения данных между разными по стоимости устройствами в соответствии с «температурой» данных: чем данные горячее, тем дороже и соответственно быстрее может быть устройство, то есть SSD, а холодные данные можно переместить на ленту. Для этого AST по заданным алгоритмам периодически просматривает данные и осуществляет перемещение, руководствуясь температурой.

Следует различать функции AST с той ролью, которую играет кэш-память на флэш, подключаемая по NVMe. Принцип работы кэша проще, чем AST, любой кэш является инструментом, в него на время копируется фрагмент из более медленной памяти. Кэш – простой ускоритель, AST – оптимизирует использование ресурсов СХД.

Следует различать функции AST с той ролью, которую играет кэш-память на флэш, подключаемая по NVMe. Принцип работы кэша проще, чем AST, любой кэш является инструментом, в него на время копируется фрагмент из более медленной памяти. Кэш – простой ускоритель, AST – оптимизирует использование ресурсов СХД.

Работа с корпоративными данными является одной из важнейших составляющих цифровых изменений в компаниях. Эта работа требует наличия эффективных средств, поддерживающих интерфейс между иерархически организованными многоуровневыми системами хранения, аналитическими и другими технологиями, непосредственно служащими целям бизнеса. Такой интерфейс дает возможность трансформировать пассивно хранящиеся данные в важнейший актив предприятия, позволяющий извлекать полезные для принятия решений знания из накопленных данных. С возрастанием объема данных и появлением больших данных, значение взаимосвязи между данными и бизнесом многократно возрастает.

Отвечая на запросы, возникающие со стороны современного бизнеса, компания КРОК предложила собственную концепцию «Умное хранение данных», в соответствии с которой их хранение организуется с учетом их дальнейшего использования и возможности извлечения из них максимума полезной информации. Внедрение «Умного хранения данных» позволяет получить бизнес-преимущества за счет более эффективного использования корпоративной информации. Технологии, заложенные в концепцию «Умное хранение данных», распространяется как на структурированные данные, хранящиеся в реляционных СУБД, так и на стремительно возрастающие объемы неструктурированных данных. Совместно с партнером Dell EMС КРОК предоставляет возможность создавать производительную инфраструктуру для хранения данных на базе линейки массивов Dell EMC Unity. Благодаря гибкости и простоте управления можно легко объединять облачные среды, возможности all flash и гибридных СХД для перехода на новый уровень цифровой трансформации.

«Умное хранение данных» повышает экономическую эффективность работы с информацией за счет ее распределения по хранилищам, исходя из востребованности при одновременном соблюдении доступности данных для аналитических систем. К тому же поддержка рабочих процессов средствами «Умного хранения данных» позволяет повысить их надежность, поскольку данные хранятся и обрабатываются в общей и защищенной от сбоев среде. Перейти к новому подходу к хранению данных с помощью технологий Dell EMC можно максимально быстро и без капитальных затрат, воспользовавшись моделью Hardware as a Service.