ЕМС Corporation производит накопители очень большой емкости, способные одновременно работать с несколькими серверами различных платформ и называемые ICDA (Integrated Cached Disk Array). Появившись на рынке в 1990 году, они имели очень большой успех. Например, по сообщению ЕМС, ее доля на рынке высококачественных накопителей для мэйнфреймов IBM больше, чем у самой IBM.

ЕМС использует стандартные недорогие дисководы и другие компоненты в сочетании со встроенными замысловатыми алгоритмами кэширования и управления доступом. В состав устройства входят управляющие процессоры, внутренняя шина, память и собственно диски. Наибольшее распространение нашли микропроцессоры фирмы Motorola – это RISC-комплекты 88100 и 88200, процессоры 68060, а также коммуникационные 32-разрядные контроллеры 68360 (совместимые по системе команд с 680X0). Внутренняя шина имеет пропускную способность 60 Мбайт/с. Статическая память 1 Мбайт и выше имеет батарейку, хотя гарантируется сброс информации на диски в случае сбоя питания. Применяются диски на 3,4 и 9 Гбайт со временем доступа 12 мс. Архитектура накопителей ЕМС имеет специальное название: MOSAIC:2000. Судя по всему, она хорошо продумана. Об этом говорят, например, и высокая гибкость (широкие рамки выбора аппаратуры по параметрам: емкость дисковой памяти, кэш-памяти, типы и количество портов ввода-вывода), и по-настоящему реальная возможность "горячей замены" вышедших из строя агрегатов, и взаимозаменяемость аппаратных блоков систем, относящихся к разным продуктовым линиям, и, наконец, сроки появления новых устройств или новых возможностей для старых устройств.

MOSAIC:2000 – это прежде всего программное обеспечение, ядром которого является операционная система реального времени, решающая следующие задачи:

 – оптимизация передачи данных от кэш-памяти на физический диск и обратно в зависимости от того, каков характер запросов;

 – обмен данными с различными типами широко используемых платформ и операционных систем главных компьютеров;

 – непрерывное и с опережением отслеживание ошибок в хранилище информации, исправление их и/или сигнализация;

 – поддержка интерфейса для конфигурирования и управления ресурсами.

Рассмотрим теперь, как достигаются высокие технические характеристики накопителей ЕМС.

Производительность

Особенно высокой производительностью отличаются старшие модели – три серии Symmetrix. Они почти так же быстры, как полупроводниковая память. Это достигается за счет большой емкости кэшпамяти и продуманности самих алгоритмов кэширования.

Алгоритмы осуществляют быстрый поиск данных в кэш-памяти. Кроме того, они должны понимать, какую стратегию доступа использует внешняя программа в каждый момент, и соответствующим образом настраивать себя в реальном времени. Эти алгоритмы должны реагировать на запросы каналов, чтобы, когда потребуется, управлять кэш-памятью через программы главного процессора, и осуществлять управляющие функции самостоятельно, когда главный процессор не выдает запросов.

При возрастании объема кэш-памяти пропорционально растет и время, затрачиваемое на поиск по каждому запросу ввода-вывода, при чтении и записи – независимо от того, найдены нужные данные в кэш-памяти или нет. Системы Symmetrix 5000 осуществляют поиск в кэш-памяти всего лишь за 20 микросекунд. Алгоритм сохраняет постоянное время поиска независимо от объема кэш-памяти: от минимальных 512 Мбайт у Symmetrix 5100 до полных 4 Гбайт у Symmetrix 5500. При этом нет смысла отключаться от канала на время поиска. Отключение и повторное подключение занимают больше времени, чем требуется на поиск. Единственный случай, когда система Symmetrix 5000 отключится от канала, – это "промах", отсутствие данных при чтении.

Еще один комплекс проблем, связанных с кэшированием информации, – необходимость постоянного отслеживания характера обращений к памяти. Когда выполняются последовательно два обращения к одной и той же дорожке, запускается процесс последовательной выборки с упреждением, и следующий сегмент данных считывается в сверхоперативную память. Задача в том, чтобы предотвратить "промах" при чтении. Стоит главному процессору прочесть первый сегмент полностью, как третий сегмент считывается в то же место, что и первый.

Этот процесс использования сегментов в "карусельном" режиме предотвращает засорение кэш-памяти. Как только происходит "промах" при чтении, система Symmetrix сразу увеличивает число кэшированных сегментов с двух до пяти. Если же и после этого случается "промах" при чтении из-за очень резкого скачка интенсивности запросов ввода-вывода со стороны главного процессора, то имеющиеся у Symmetrix программы выборки с упреждением еще больше увеличат количество позиций. Наибольшее число дорожечных позиций, которое может быть выделено для последовательной работы, равно восьми. В том случае, если активность ввода-вывода спадет, соответствующим образом сокращается и число сегментных позиций. Когда главный процессор вернется к случайному режиму ввода-вывода, система Symmetrix прервет этот последовательный процесс выборки с упреждением.

Запись ускоряется за счет трех факторов:

 – наиболее активные участки (например, журнал транзакций) постоянно "живут" в кэш-памяти, дающей минимальную задержку; это очень резко поднимает производительность;

 – все операции записи направляются в кэш-память; при этом управление возвращается главному компьютеру гораздо быстрее, чем при физическом перемещении привода головки диска, когда приходится ожидать завершения записи;

 – рационализируется сброс данных на диск; запросы сортируются и выполняются во время регулярных, по графику, перемещений головки; преимущественно это делается в моменты спада активности работы, что в еще большей степени увеличивает пропускную способность.

Готовность

Иными словами, это высокая надежность плюс "горячий" ремонт, если что-нибудь все же поломалось. Рассмотрим, как это обеспечивается.

EMC Corporation на своих заводах (в США и Ирландии) занима-а^^только сборкой устройств из уже готовых элементов, а также тестированием. Фирма не производит и не заказывает специальных компонентов. Берется то, что есть на рынке, надежно работает и хорошо себя зарекомендовало. Это относится и к электронным компонентам, и к накопителям, и к прочим комплектующим.

Накопители имеют встроенную резервную систему батарей, обеспечивающих возможность записи на диск всей массы данных, оказавшихся в кэш-памяти в момент внезапного отключения питания. По истечении некоторого программируемого промежутка времени (он выбирается по возможности меньшим из-за необходимости перезарядки батарей после того, как в сети переменного тока опять появится напряжение) вся информация из кэш-памяти непременно будет перемещена на диски, дисковые устройства будут остановлены, головки переведены в нерабочее положение, а электронные узлы – в режим пониженного потребления энергии. После этого Symmetrix отключается от внешнего электропитания и на любой запрос ввода-вывода со стороны главного процессора выдает ответ "нерабочее состояние' (not operational). Если же напряжение вновь появится в сети переменного тока еще до того, как успеет истечь установленное время отсрочки, система Symmetrix немедленно возвращается в рабочее состояние.

Вспомним, что на картах памяти установлены батарейки. Это дает еще большие основания надеяться, что потери ценной информации не произойдет; к тому же контекст останется в памяти даже по истечении времени поддержки системы резервными источниками.

Семейство дисковых комплексов Symmetrix имеет встроенные алгоритмы самонаблюдения, самодиагностики и (в тех случаях, где это возможно) самокорректировки ошибок. Symmetrix активно выявляет внутренние временные ошибки благодаря операциям "чистки", регистрации ошибок и оповещения.

В период простоя диски считываются ("чистка дисков") и проверяются на наличие ошибок любого рода. Выявив ошибку, система исправляет ее, а затем переписывает. Этот блок данных затем вновь считывается – необходимо удостовериться, что ошибка исправлена окончательно. Если ошибку удалось исправить, то соответствующая информация заносится в протокол, и чистка продолжается. Если же устранить ошибку не удалось, весь процесс повторяется до тех пор, пока либо ошибка не будет полностью исправлена, либо программы исправления ошибок не определят, что необходимо прибегнуть к операции skip defect ("пропустить поврежденный участок"). Если в пределах одного сегмента встретится определенное количество ошибок, вынуждающих прибегнуть к skip defect, то возникает необходимость указать вместо него другой сегмент.

"Чистка кэш-памяти" осуществляется примерно так же, как и "чистка диска". В период простоя сверхоперативная память проверяется на наличие одноразрядных ошибок. Когда выясняется, что одноразрядная ошибка неисправима, весь 4-килобайтный блок кэш-памяти нейтрализуется. Этот процесс "нейтрализации" позволяет EMC снимать с обслуживания 4-килобайтные блоки кэш-памяти еще до того, как пользователь заметит временную ошибку. Symmetrix способен исправить как одноразрядные, так и двухразрядные ошибки. Тем самым удается предотвратить появление трехразрядной ошибки, которую уже никак нельзя устранить.

На высоком уровне Symmetrix можно охарактеризовать как симметричную мультипроцессорную систему (SMP), использующую централизованную память. Конструкции дублированы, и это позволяет обеспечить готовность и повысить параллелизм. В этой схеме предусмотрены такие шины, скорость памяти и прочее, чтобы нигде не создавалось узких мест. Например, внутри у Symmetrix стоит активно-активная сдвоенная внутренняя шина. Номинальная полезная пропускная способность каждой подшины составляет 60 Мбайт/с, что дает в совокупности 120 Мбайт/с. При нормальных условиях обе подшины участвуют в обмене данными, а если одна из них выйдет из строя, управление переходит к оставшейся подшине.

Блоки, подлежащие замене на месте (Field Replaceable Units, FRU), могут быть исправлены без остановки работы системы, причем это касается как микропрограмм, так и аппаратных средств. Новые версии микропрограмм могут быть загружены без нарушения доступности информации для пользователей и приложений. Заменять на месте можно следующие элементы:

 – адаптер канала;

 – адаптер диска;

 – головочно-дисковые узлы (HDA);

 – карты кэш-памяти;

 – блоки питания;

 – системы батарей;

 – вентиляторные подсистемы (у Symmetrix 5200, Symmetrix 5500).

В накопителях ЕМС используется технология RAID, что означает Redundant Array of Inexpensive Disks, или, в переводе, массив недорогих дисков с избыточностью. RAID представляет собой комплекс физических дисков, которые выступают по отношению к пользователю как единое логическое устройство. Данные распределяются по этому физическому комплексу контроллеров неким хитрым образом. Добавляется избыточная емкость дисков, так что данные могут быть сохранены даже при поломке одного из дисков (кроме варианта RAID 0).

Различные уровни применения RAID и разновидности этих уровней отличаются друг от друга способами распределения данных и использования избыточной емкости. При этом приходится идти на компромиссы, оценивая важность каждого из трех основных факторов, связанных с хранением информации:

 – производительность;

 – готовность;

 – соотношение между полезной и общей емкостью.

По сравнению с прочими подходами, RAID позволяет добиться оптимального сочетания любой пары указанных характеристик, но не всех трех одновременно. Какие-то уровни RAID в большей степени обращены на улучшение одних показателей (из числа трех упомянутых выше), а какие-то – других.

RAID 0 дает возможность брать одиночный набор данных и пускать его в "расщепленном" виде через несколько физических контроллеров. Хотя относительная производительность RAID 0 превосходна, любая утрата одного контроллера из числа включенных в "расщепленный" комплекс RAID 0 может привести к утрате всей информации с этого контроллера и к потере доступа ко всему "расщепленному" комплексу RAID 0.

RAID 1 дает возможность получить точную копию одного из физических контроллеров, так что, если один диск окажется неисправен, второй сможет продолжать обслуживание этой информации с прежней производительностью. Поскольку здесь имеет место полное дублирование каждого контроллера, связанного с RAID 1, то RAID 1 обеспечивает наиболее высокий уровень доступности данных среди всех известных вариантов RAID. Единственным недостатком RAID 1, по сравнению с прочими вариантами RAID, является то, что здесь приходится использовать большее число контроллеров.

RAID 3,4,5 и 6 представляют собой примеры того, что принято называть RAID-защитой на основе четности. Помимо того, что информация записывается на диски определенным образом (каждый из этих уровней RAID имеет свои особенности), вычисляется и сохраняется контрольный разряд. Если произойдет авария одного из контроллеров – соответствующая информация может быть восстановлена. Если же в традиционных RAID 3, 4 и 5 в пределах одной RAID-группы выйдет из строя не один, а несколько контроллеров, может прекратиться доступ ко всей группе.

 Применение RAID 6, благодаря использованию двух независимых вычислений (результаты которых распределены по разным физическим дискам в пределах одной группы RAID 6), как правило, позволяет безболезненно перенести утрату до двух контроллеров в пределах одной группы RAID.

Несмотря на то что применение RAID 3, 4, 5 и 6 увеличивает доступность информации во много раз (по сравнению с информацией, не защищенной с помощью RAID), все-таки у этих уровней есть два заметных недостатка. ~

Во-первых, при записи данных в варианте RAID 5, чтобы занести информацию и контрольный разряд, обычно требуется не менее четырех полных циклов ввода-вывода на диск. А в варианте RAID 6 дублирующая защита требует не менее шести циклов ввода-вывода на диск. Это приводит к тому, что там, где применяются RAID 4, RAID 5 или RAID 6, при решении задач с особенно интенсивной записью может существенно падать производительность.

Во-вторых, в случае аварии диска также не исключено резкое снижение скорости чтения, поскольку для восстановления данных требуется несколько дисков и несколько циклов ввода-вывода.

EMC Corporation отдает предпочтение созданию зеркальной копии (RAID 1) и патентованному уровню RAID-S, который является, грубо говоря, модернизированным RAID 5 с той лишь разницей, что вычисление контрольного разряда производится на уровне дискового контроллера, для чего в каждый контролер ставится отдельный микропроцессор. Это повышает производительность записи, поскольку главный процессор (или контроллер системы хранения информации) теперь освобожден от этих вычислений и может продолжать обслуживать операции ввода-вывода.

Кроме того, RAID-S поддерживает гиперпространственное расширение (HVE), которое способно реализовывать до восьми отдельных гипернакопителей на каждом физическом диске. Ниже приведен пример сочетания HVE и RAID-S, в котором четыре физических контроллера по 9 Гбайт сконфигурированы в три логических 3990-3 гипернакопителя и добавочный 60-цилиндровый накопитель, использующий расширенную адресацию цилиндров HVE. Из рисунка видно также, что четность каждого логического "ранга" может находиться на любом физическом носителе данной группы RAID-S.

Особенность накопителей ЕМС Corporation – подсистема SRDF, или Symmetrix Remote Data Facility, которая обеспечивает наиболее быстрое восстановление после выхода из строя центрального хранилища информации; ни одна из известных ныне форм компьютерного решения этой проблемы не позволяет так быстро возобновить нормальную работу системы. SRDF может поддерживать зеркальные копии данных между системами, находящимися на значительном удалении друг от друга. Как правило, восстановление занимает несколько минут, в то время как обычные методы требуют многих часов, а то и дней.

 Две системы Symmetrix, соединенные между собой волоконно-оптическим кабелем, смогут поддерживать зеркальную копию без задержек, если расстояние между ними не превышает 60 км. На практике существует пара, расположенная на западном и восточном побережьях США, но в этом случае сама фирма-пользователь применила дополнительные аппаратно-программные построения.

SRDF защищает от катастроф – причем не столько от наводнений и землетрясений, сколько от банальных прорывов водопроводных и отопительных труб или же пожаров, произошедших из-за замыканий в электросети. Такое случается довольно часто даже в странах с очень высоким уровнем производственной культуры. Совсем недавно в результате прорывов труб вышли из строя банки в ФРГ и ЮАР. Довольно часто банки горят (в буквальном смысле) в России. По статистике, банк, потерявший информацию, разоряется в течение 4 месяцев. Сейчас для предотвращения потери информации в конце каждого операционного дня производится копирование базы на сменные носители, которые затем перевозятся в удаленное хранилище информации. Это сложная технологическая цепочка, в которой завязано множество людей, оборудования, транспорта, – отсюда неизбежные сбои и накладки. Благодаря системам SRDF можно полностью забыть про головную боль и сэкономить большие деньги.

Совместимость

В аппаратной части используются открытые, повсеместно применяемые интерфейсы. Внешний процессор подключается по последовательным каналам ESCON, параллельным Block Multiplexer или Fast Wide Differential (FWD) SCSI. Те же принципы используются и для подключения узлов внутри устройства.

Накопители ЕМС поддерживаются практически любой операционной системой мэйнфреймов – System/370 и System/390, UTS, OS/1100, GCOS7, GCOS8, PICK. В области средних компьютеров (midrange) и Unix-систем накопители поддерживаются системами OS/ 400 для платформы AS/400, AIX на RS/6000, HP-UX на НР9000, SunOS на SPARC, Solaris на SPARC, IRIX на SGI Challenge и Power Challenge. Поддерживается также Novell NetWare и Windows NT.

Системы Symmetrix 5000 в отношении операционных систем главного процессора могут выступать в качестве 3990-3 или 3990-2. Symmetrix отвечает на команды кэш-памяти с главного процессора и реагирует на них как 3990-3, но выполняет он эту команду не всегда точно так же, как 3990-3. Некоторые методы обращения к главному процессору устроены таким образом, что во время последовательной обработки сверхоперативная память отключается. Это необходимо при использовании обычных контроллеров, оснащенных кэшпамятью, поскольку их алгоритмы кэширования вызывают засорение кэшпамяти при обработке последовательного ввода-вывода. Описанные выше способности Symmetrix осуществлять выборки с упреждением позволяют эффективно работать в последовательном режиме, не прибегая к реальному отключению кэш-памяти Symmetrix. Это позволяет интегрированным комплексам Symmetrix 5000 обеспечивать высокую производительность объединенного пространства кэш-памяти на протяжении всего времени, тогда как операционной системе главного процессора может "казаться", что сверхоперативная память была отключена.

Физические устройства хранения информации могут выступать по отношению к операционной системе главного процессора в виде набора из нескольких устройств типа 3380 и 3390. Могут быть эмулированы все модели накопителей данных 3380 и 3390 в пределах установленных физических объемов накопителей. Одна система Symmetrix 5000 способна поддерживать одновременно эмуляцию как 3380-, так и 3390-накопителей. Отдельные диски способны поддерживать накопители либо типа 3380, либо типа 3390, но не обоих типов одновременно на одном физическом диске.

Накопители ЕМС и открытые системы

Изначально системы ЕМС Corporation задумывались как накопители информации для мэйнфреймов. Но, глядя на быстро развивающийся рынок Unix-систем, фирма предложила новый класс систем хранения информации – ЕМС Open Storage Array (комплекс памяти для открытых систем).

Этот комплекс может быть подключен ко многим типам широко используемых платформ без специальных драйверов. Он обеспечивает одновременный доступ к информации нескольких разнородных компьютеров и операционных систем, дает возможность простого централизованного управления хранящейся информацией. Емкостью и производительностью он превосходит установки, обычно предлагаемые на рынке, и включает ряд усовершенствований в области защиты ценной информации.

По данным фирмы "Периферал Стретиджиз", 85 процентов памяти, используемой в настоящее время с Unix, не имеет защиты. Остальные 15 процентов до некоторой степени защищены либо с помощью зеркальных копий (RAID 1), либо на основе четности (RAID 5). Советую ответственным людям из серьезных организаций задуматься о последствиях возможных отказов. Для многих организаций цифра убытков может быть колоссальной.

ЕМС Corporation имеет ряд партнеровв области открытых платформ. Так, корпорация AT&T GIS, лидер рынка коммерческих многопроцессорных комплексов, и Hewlett-Packard выбрали устройства Symmetrix 3000 в качестве накопителей для своих серверов.

Среди разработчиков программного обеспечения партнерами ЕМС Corporation являются поставщики баз данных с архитектурой "клиент-сервер". Привожу некоторые выводы, полученные в результате совместной деятельности этих фирм.

База Sybase оптимизирована применительно к стратегии открытых систем. Конфигурация (сервер Sybase SQL и ЕМС Symmetrix) увеличивает быстродействие системы в 2-3 раза. Фирма дистрибьютор-мультимиллиардер, установившая у себя систему такой конфигурации, сообщила: теперь запрос к сложной базе данных вместо 40 минут обрабатывается за 20, а операции создания базы данных протекают в 8 раз быстрее.

Oracle. Накопители ЕМС идеально подходят для создания больших массивов данных. Заказчики уже поговаривают о петабайтах – следующий порядок после терабайтов. Необходимо создание индексных и обобщающих баз данных, которые дают возможность быстрой обработки. Необходимо заставить работать все процессоры и все диски систем Symmetrix.

Informix. Фирма MCI имеет крупнейшую среди открытых систем базу данных. Ее объем – 3 терабайта. Благодаря использованию ЕМС Symmetrix создание данной системы обошлось в 48 раз дешевле, чем покупка какой-либо из старых технологий.

Добавлю к сказанному, что совсем недавно в исследовательской лаборатории ЕМС в Милфорде (Массачусетс) фирмами ЕМС Corporation, Hewlett-Packard и Oracle была продемонстрирована база данных на4Тбайт (фактически 1 Тбайт зеркализированной базы плюс SRDF-копирование). База была создана специалистами Oracle в кратчайшие сроки и запущена в работу для демонстрации возможностей создания и эксплуатацш больших банков данных. В качестве носителей использовались Symmetrix 3000, в качестве сервера – HP 9000.

В 1994 фирма ЕМС совместно со своими деловыми партнерами "Алкател" и "Пасифик Белл" представила "Cinema of the Future" ("кинематограф будущего"). Это комплекс принципиально новых средств передачи потоков фильмов через некую сеть в кинотеатры, оборудованные проекторами качества HDTV; эти фильмы поступают от дистрибьюторов и передаются в цифровой форме. Это всего лишь один пример того, какие огромные перспективы имеет рынок средств хранения информации в эру информационного прорыва.

К автору можно обратиться по телефону: 374-2725.

Статья подготовлена по просьбе редакции сотрудником фирмы "Техносерв". Продукты, о которых она рассказывает, действительно добились выдающегося успеха на рынке. Лучше всего это иллюстрируют приведенные диаграммы, составленные по независимым оценкам.

Позиции ЕМС традиционно сильны на рынке накопителей для мэйнфреймов, но, по мнению аналитиков газеты The Wall Street Journal, фирма может стать лидером рынка открытых систем. Скептики основывают свое мнение на том, что ЕМС является независимым поставщиком накопителей для компьютерных систем, производимых другими фирмами.

ЕМС имеет соглашения с Oracle, Sybase и Informix. Эти три крупнейших поставщика ПО ранее объявили, что при использовании систем ЕМС Symmetrix работа с базами данных происходит быстрее. Кроме того, ЕМС заручилась бизнес-партнерскими соглашениями с компаниями Hewlett-Packard и AT&T GIS по продвижению на рынок устройства Symmetrix 3000 как системы хранения для серверов этих компаний.