Организация SPARE дисков¶
SPARE диски или диски горячей замены – это тип дисков, обеспечивающих максимальную доступность дисковой группы.
Все свободные диски в системе по умолчанию являются дисками глобальной горячей замены (global hot spare).
Особенности использования дисков SPARE:
Один диск может быть использован любой дисковой группой (RDG и DDP), состоящей из того же типа дисков (Global hot spare)
Чем больше физических дисков используется в дисковой группе, тем больше дисков SPARE рекомендуется резервировать. На 30 физических дисков рекомендуется иметь не менее одного spare диска.
Рекомендуется использовать диски SPARE для всех типов дисков в случае выхода из строя одного из дисков с данными, данные перестроятся на диск SPARE в ONLINE режиме, без потери доступа к СХД. Обратного автоматического копирования данных со SPARE диска на замененный диск нет, но это можно сделать вручную.
Assign global hot spare что это
Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов в рунете Pyatilistnik.org. В прошлый раз мы с вами рассмотрели ошибку «windows не удается получить доступ к указанному устройству». Идем дальше и поговорим на тему систем хранения данных и RAID массивов, а именно разберем вопрос чем отличаются Global Hot Spare и Dedicated Hot Spare при добавлении диска горячей замены. Уверен, что многие знают эти отличия, но для новичков это будет полезно.
Что такое Global Hot Spare и Dedicated Hot Spare
Если вы хоть раз настраивали сервер, то наверняка задавались вопросом его отказоустойчивости, которая может быть на разных уровнях, например два блока питания или дисковая подсистема, которая для сервера очень важна. Потеря данных просто неприемлема в современной модели бизнеса. Для этого существует технология RAID, где за счет избыточности достигается некий баланс безопасности и денег.
Существует много видов RAID массивов и у каждого свое количество дисков которое может выйти, прежде чем весь массив развалится. Для дополнительной защиты принято выделять один или несколько запасных дисков горячей замены, которые должны успеть подменить выходящий из строя диск, до момента его замены. Существует два вида дисков горячей замены, это Global Hot Spare и Dedicated Hot Spare.
Global Hot Spare — Глобальный диск горячего резервирования позволяет не потерять данные при выходе из строя одного из дисков массива. Это неиспользуемый резервный диск в группе дисков. Данный диск находятся в режиме ожидания и будет активирован на любом из виртуальных дисков, когда возникает сбой физического или повреждение диска, на то он и глобальный. Диск горячего резервирования автоматически активируется только в случае повреждения диска массива. Когда диск горячего резерва активирован, он восстанавливает данные для всех резервных виртуальных дисков, в которых использовался неисправный физический диск. Затем, после замены диска, данные отправляются обратно на новый диск с резервного диска. Следует помнить, что Global Hot Spare диск и физический диск массива должны использовать одну и ту же дисковую технологию и размер (размер может быть больше, но не меньше).
Dedicated Hot Spare — В ыделенный горячий резервный диск — это диск «горячего» резерва, который может использоваться только для одного резервного виртуального диска. Также возможно назначить выделенный Dedicated Hot Spare для защиты более чем одного логического диска; это называется резервным пулом (pool reserve). Прежде чем вы сможете назначить выделенный резервный диск для защиты массива, вы должны создать логический диск.
Из схемы видно, что выделенные диски будут являться резервными только для группы A и B, а вот глобальный Hot Spare для всех массивов.

Что применяется первым из Global Hot Spare и Dedicated Hot Spare
Предположим, что у вас есть два виртуальных диска, для каждого из них есть по одному Dedicated Hot Spare и два общих Global Hot Spare, если выходит из строя один из дисков виртуального массива, вопрос, куда буду переноситься данные? Правильный ответ:
- В первую очередь будет использован «Выделенный горячий резерв (Dedicated Hot Spare)»
- Потом уже будет использоваться глобальный диск резервного назначения (Global Hot Spare)
Как начинается процесс восстановления поврежденного диска RAID
Если у вас в системе есть назначенные Global Hot Spare и Dedicated Hot Spare и они полностью отвечает требованиям восстановления поврежденного диска RAID, восстановление начнется автоматически. Hot Spare диски должны быть запланированы до начала восстановления и должны соответствовать всем требованиям для виртуального диска. Если вы удалите виртуальный диск, то Dedicated Hot Spare станет Global Hot Spare.
shared hotspare для mdadm
Я обнаружил, что в интернете очень мало (и не очень внятно) объяснено, как mdadm работает с общими (глобальными) дисками горячей подмены. В заметке я опишу, что это такое, и объясню, почему shared hotspare не отмечены в /proc/mdstat как общие, а вместо этого выглядят как вполне себе локальные.
Что такое hot-spare?
(Я пишу не для новичков, так что галопом по европам)
Если массив обладает избыточностью и один из его дисков вышел из строя, то существует возможность восстановить избыточную информацию на резервный диск. Если диск добавляется в массив руками (админу пришло письмо о сбое, он прочитал письмо, проснулся/оделся, приехал на работу, вынул сбойный диск, вставил запасной, добавил его в массив, дал команду на восстановление избыточности), то такой диск называется cold-spare. Просто «запасной диск».
Если же в сервере есть простаивающий диск, на который осуществляется восстановление избыточности сразу после сбоя любого из дисков массива, то такой диск называется hot-spare. Главное достоинство — оно отребилдится (восстановит избыточность) даже если админ письмо прозевал или не успел вовремя приехать.
Локальные hot-spare
Обычно запасной диск добавляется для массива, то есть если в массиве сбой, то его резервный диск и используется. Если сбой происходит в соседнем массиве, то hot-spare из «чужого» массива не используется.
Это на самом деле логично — если у нас стоит выбор — использовать hot-spare для восстановления избыточности системного раздела или раздела с данными, то надо восстанавливать избыточность раздела с данными. А если системный раздел уже «занял» hot-spare, то будет бяка. Более того, некоторые производители предлагают 1EE hotspare, в которой резервный диск используется и для хранения данных (пустое место «размазано» между дисками массива, обеспечивая возможность быстрого ребилда и увеличивая производительность в нормальном режиме).
Глобальные (общие) hot-spare
Однако, бывает так, что массивов с данными много. И им всем нужны hot-spare диски. Но дисков жалко. И тогда возникает желание иметь «общий» диск, который может быть использован для любого из массивов (а ещё лучше 2-3 таких диска).
Это было вступление. Теперь переходим к сути вопроса.
linux md
mdadm (ядерный модуль в DM-стеке) не поддерживает shared hot-spare. Диск может быть добавлен как hot-spare только в конкретный массив.
Но mdadm поддерживает!
Именно так. mdadm поддерживает, ядерный модуль — нет. Mdadm реализует общий hot-spare методом «перекинуть hotspare с одного массива на другой, повреждённый».
Другими словами, для того, чтобы это сработало, должен быть запущен mdadm в режиме -F (follow). Он же обычно присылает сообщения на почту о проблемах рейда. Большинство современных дистрибутивов его запускают (если есть массивы), но, важно понимать, что он обслуживает только те массивы, которые были собраны из mdadm.conf, а не собранные ручками. (Да-да, тут нас ждёт подстава).
spare-group
Для возможности распределять диски между разными массивами есть понятие spare-group, то есть группа, в пределах которой возможно перекидывание дисков. Таких групп может быть много — и hot-spare переносятся только между ними.
Как легко понять из вышенаписанного про mdadm/linux md, в /proc/mdstat нет и не может быть ничего про spare-group. Потому что это личные мысли и соображения mdadm’а, а ядро про это ни сном, ни духом (файлы-то в /proc создаются модулями ядра. ).
Таким образом, обеспечивать shared hot-spare можно только с с помощью mdadm. Тут два варианта: если группа указана для массива, собирающегося при загрузке (/etc/mdadm/mdadm.conf), то там можно указать hot-spare, примерно так:
(сразу отвечаю на вопрос, где столько умных слов взять — mdadm —detail —scan —verbose )
Дописано по сравнению с выводом mdadm тут только spare-group. Обратите внимание — во втором массиве НЕТ hot-spare, однако, т.к. группа указана, то в случае сбоя будет использоваться диск из другого массива с той же самой группой. В нашем случае это будет /dev/md1.
Разумеется, всё это произойдёт, только если у нас есть запущенный в режиме -F mdadm. В debian он в выводе ps выглядит так:
Самих групп при этом на одной системе может быть несколько.
Кстати, тут есть мелкая гадость: при вызове mdadm с —detail упоминания о spare-groups не будет, их нужно будет дописывать самим.
Local && global hotspare
А вот тут, увы, йок. Насколько я знаю, mdadm не поддерживает одновременно и локальные (которые будут принадлежать только одному массиву) и общие hotspare. Если есть два массива с одним spare-group, то все hot-spare из одного массива могут быть использованы на благо другого.
Сценарий не такой редкий, как кажется. Вот простенькая топология:
SYS_ARRAY
DATA_ARRAY
2 hot-spare
Логично было бы один hot-spare сделать принадлежащим только DATA_ARRAY, а второй сделать общим, чтобы использовался и как резерв для SYS_ARRAY, и как «второй уровень резерва» для DATA_ARRAY.
Увы, увы, увы, этого нет (если меня разубедят в комментариях, я буду очень рад).
Global Hot Spare vs Dedicated Hot Spare
A global hot spare disk makes it possible not to lose data when one of the array disks fails.
The hot spare disk is automatically activated only if the array disk is damaged.
In this case, data is transferred from the damaged disk to the backup one.
Then, after replacing the drive, data is sent back to the new drive from the backup drive.
It should be noted that the hot disk is not just for particular disks in the array; it can be used if absolutely any disk fails.
It should be remembered that the hot disk and the physical disk of the array must use the same disk technology and size (the size can be larger, but not less).
Dedicated Hot Spare
A dedicated hot spare is a hot spare disk that can only be used for one redundant virtual disk. It is also possible to assign a dedicated hot spare reserve to protect more than one logical drive; this is called a pool reserve. Before you can assign a dedicated hot spare to protect an array, you must create a logical drive.
When importing an external configuration, the allocated hot reserves in the configuration are imported as the allocated hot reserves under two conditions:
- the associated virtual disk is already present
- the associated virtual disk is imported with its configuration
Dedicated and Global Hot Spare: Common Features
If a global or dedicated hot spare is assigned and it fully meets the recovery requirements for a damaged RAID disk, recovery starts automatically.
Hot spares must be scheduled before recovery starts and must meet all the requirements for a virtual disk.
When the disk group for which it was assigned is no longer present during import, the dedicated hot spare becomes a global hot spare.
If a global hot spare or a dedicated hot spare is deleted, inserted, and imported, it restores its hot spare status.
Global and Dedicated Hot Spare: Data Recovery
If the disk is assigned as a global hot spare or a dedicated hot spare, all data will be erased.
In this respect, there is no difference between the two. Therefore, you need to take care of this data in advance; it is better to have a backup copy or create a disk image.
If any files were lost or deleted on the RAID array, or the RAID array failed, the easiest way to recover them is to use DiskInternals RAID Recovery as soon as possible. The program has a Recovery Wizard to assist you if you do not have sufficient technical skills. You can preview the recovery results for free. Only after that, when you are completely sure in data safety, do you need to purchase a license for DiskInternals RAID Recovery online so you can export data to any drive. In addition, this utility supports manual and fully automatic detection of array type, RAID controller type, strip size and disk order, after which it restores files as much as possible.
Use these instructions for painless information recovery:
Download and install the application. Next, open it and optionally run the Recovery Wizard.
Select a specific array to work with.
Select a search mode:
- Fast recovery
- Full recovery
After scanning, review the search results and verify the integrity and correctness of the data.