Восстановление данных | Моя история о потере данных
У меня был четырёхдисковый NAS – и однажды один из накопителей дал сбой. Так как диски были объединены в массиве RAID 5, сбой остался незамеченным. Я по ошибке принял более низкое быстродействие за эффект, появляющийся, когда свободная ёмкость массива подходит к концу. Сам NAS никак не предупредил о проблеме. То есть, когда сбой дал второй диск, вся моя коллекция файлов (семейные фотографии и видеозаписи, музыка, два десятилетия работы и всё, что у меня было) исчезла в момент. Раз – и всё. И по причинам, позорным для ИТ-профессионала, в NAS-е содержалась единственная копия всех моих данных. Мои вопли были слышны за несколько кварталов.
Но всегда можно найти братьев по несчастью, и я был не один такой. Ещё в 2011 году Tom’s Hardware рассказал, что процент сбоев в жёстких дисках после трёх лет использования может достигать 20%. У SSD этот показатель получше, но спросите Линуса Торвальдса из Linux, утешил ли его этот факт, когда его компьютер приказал долго жить.
Ослеплённый паникой, я позвонил в самую большую в США компанию в области восстановления данных с жёстких дисков – Seagate Recovery Services, и процесс превратился в занимательный фоторепортаж. Мне показалось, что очень многим людям требуется помощь при сбое жёсткого диска, и взгляд за кулисы позволит им понять, за что они тратят немалые деньги, когда заказывают восстановление в специализированных фирмах, и как можно объяснить успех или провал предприятия.
Восстановление данных | С чего начать
Такая компания, как Seagate Recovery Services, в среднем получает более 18000 заказов в год. По словам сотрудников, эта цифра может вырасти до 30000 заказов. Данный показатель учитывает также USB-флэшки, массивы из нескольких SSD или даже сети SAN, где работают сотни жёстких дисков. Конечно, чтобы обслуживать потребности таких накопителей, у компании должно быть достаточно запасных частей, то есть у неё должен быть доступ к самой разнообразной коллекции решений для хранения данных. Старые диски с интерфейсом SCSI? Iomega Zip? Найдётся всё.
Обычно, когда требуется отдать диск в сервис восстановления данных, в таких больших фирмах нужно начать с формы на веб-сайте, которую надо заполнить, описав проблемы, возникшие с накопителем, предполагаемые причины сбоя, наблюдения, описание того, что происходило перед сбоем, и так далее. Данные сведения компонуются в “историю болезни” вашего накопителя.
Восстановление данных | Ощущение сбоя
Что интересно, первым шагом в процессе диагностики является не программная проверка. Нет, прежде всего, инженеры включают накопитель, слушают его и анализируют свои ощущения от его работы. Сведения, полученные от хозяина диска, также принимаются во внимание на данном этапе, но эксперты в области решений для хранения данных могут многое сказать по тому, как вибрирует диск, какие щелчки он издаёт, и, естественно, присутствуют ли какие-нибудь странные звуки. Конечно, дребезжание – это плохой признак, и работа диска сразу будет приостановлена. В целом, инженеры стараются как можно больше ограничить время работы неисправного диска на данном этапе. Но если накопитель звучит как механически исправный, можно переходить к следующей стадии диагностики.
Восстановление данных | Завершение первоначального осмотра
После предварительного анализа механики диска инженеры подсоединяют накопитель к тестовой системы и смотрят, может ли он выполнять базовые задачи, например, инициализацию во время загрузки, присваивание буквы тома в системе и исполнение операций чтения и записи. На этой ранней стадии целью специалистов не является начало ремонта. Технические специалисты хотят найти, какой аспект работы диска нуждается в исправлении и в какой отдел его передать.
Восстановление данных | Специальный рабочий стол
Это специальный рабочий стол с высокоэффективным воздушный фильтром задержки частиц медицинского класса, который используется для контроля чистоты воздуха вокруг диска, когда его вскроют. Такие столы позволяют избавиться от ненужных микрочастиц в пространстве объёмом в пару кубических метров – а этого достаточно, чтобы диагностировать и ремонтировать накопитель. Примыкающая к столу панель фильтра обеспечивает поступление отфильтрованного воздуха к столу, создавая тягу и вытягивая все взвешенные в воздухе частицы из бокса.
Восстановление данных | Внутри бокса
Некоторые случаи восстановления данных требуют организовать вращение пластин жёсткого диска в среде, полностью свободной от микрочастиц, – а для этого требуется больше, чем небольшой стол. Даже пылинка, попавшая между головкой и пластиной, может спровоцировать серьёзное повреждение и потерю данных, и некоторые виды работ по восстановлению требуют создания наиболее идеальных условий среды.
Восстановление данных | Заглянем под капот
Как только крышка диска снята, инженеры могут более точно оценить масштаб механических повреждений. Один сотрудник из лаборатории восстановления рассказывал мне: “Всякое бывало. Собака пожевала винчестер. Кто-то ударил по диску молотком. Случился пожар, в ходе которого диск не только сгорел, но и был залит водой во время тушения. Люди забывали, что сумка с ноутбуком лежит возле машины, и переезжали его. И, конечно, много дисков попадает в лабораторию после стихийных бедствий”.
Восстановление данных | Фильтр для осколков
Многие люди не осознают, что конструкция большинства 3,5-дюймовых жёстких дисков содержит хотя бы один фильтр. Так как данные фильтры устанавливаются в совершенно стерильных условиях, они должны оставаться абсолютно белыми. Однако фильтр может играть ключевую роль в процессе диагностики, так как по его состоянию можно узнать, происходил ли контакт головки с пластиной. При таком контакте на поверхности пластин образуются царапины, и мелкие осколки и пыль от пластины поднимаются в воздух, циркулирующий внутри винчестера. Фильтр улавливает частицы, и от налёта темнеет. По словам специалиста из Seagate, “этот налёт – практически ваши данные, оторвавшиеся от пластины”. Если убрать частицы из окружающего воздуха, можно восстановить работоспособность диска, чтобы восстановить данные без дальнейшего повреждения пластин.
Восстановление данных | Более серьёзные повреждения
Если удастся разглядеть это на изображении, становится ясно, что самая верхняя пластина данного диска не в лучшей форме. Пластины жёсткого диска должны иметь зеркальную поверхность. В нашем случае большая часть пластины покрыта царапинами наподобие концентрических кругов из-за соприкосновения головки с поверхностью пластины. Конечно, не все соприкосновения производят настолько серьёзный эффект. Но когда очевидно серьёзное повреждение, специалистам требуется быстро узнать, насколько повреждены остальные пластины. В данном случае пыль покрывала все пластины, так что пришлось полностью разобрать диск, чтобы добраться до причины неисправности. “Когда я провожу такую диагностику, – делится специалист, – я стараюсь сделать так, чтобы частицы отражали свет, и уже тогда понимаю, что делать дальше”.
Восстановление данных | Помощь инструментов
Очевидно, что разобрать жёсткий диск – это не то же самое, что разобрать LEGO. Одно неуклюжее движение – и головки могут наделать новых царапин на уже повреждённых пластинах. Для того чтобы избежать такой неприятности, инженеры используют специальный инструмент захвата, чтобы сделать процесс максимально безопасным. “Такое устройство было специально построено для нашей лаборатории – благодаря ему мы снимаем головки более безопасно, чем кто-либо другой в отрасли, – утверждает инженер Seagate. – Как видите, головки запаркованы около самой близкой к оси вращения области – это наиболее безопасная часть пластин для парковки головок. Но при помощи специального инструмента мы можем безопасно внедриться в пространство диска и снять эти головки”.
Восстановление данных | Разбираем!
Шаг за шагом инженеры разбирают диск для очистки и более глубокой диагностики. Пластины размещаются на специальных держателях. В редких случаях пластины могут быть размещены в специальных машинах, которые проводят глубокую диагностику дорожек. Обычно инженеры могут собрать диск заново, заменяя определённые компоненты (например, головки) запасными частями, чтобы ненадолго вдохнуть жизнь в мёртвый диск, чего хватит, чтобы восстановить необходимые данные. Любопытно, что, по словам представителя Seagate, команда технических специалистов в области восстановления данных может использовать особое ПО, которое даёт диску команды, определяющие, каким способом можно попытаться счесть данные. Это одна из причин, почему диск иногда необходимо разбирать. Техники использую визуальные наблюдения, чтобы понять, на каких областях диска сконцентрироваться.
Восстановление данных | Поиск решения
Неудивительно, что иногда трудно определить, какой именно компонент диска дал сбой. На данном изображении техник исследует под микроскопом механизм чтения-записи на предмет повреждений или дефектов. В некоторых случаях данные можно спасти, просто заменив определённый компонент запасным, собрав винчестер и подключив его к системе восстановления данных. Если это не кажется подходящим решением для стопроцентно исправного диска, то это и необязательно должно быть так. В ходе процесса восстановления данных специалистам из нашей лаборатории требуется запустить диск один или два раза. Этого достаточно для специалистов и ПО, чтобы вытащить все данные, которые можно спасти. Неисправный накопитель обычно не возвращается пользователю. По словам наших сегодняшних собеседников, в их компании удаётся спасти все данные в целом в 90% случаях.
Восстановление данных | 200 голов лучше, чем одна
“С течением времени починка винчестеров становится только труднее, – сообщил нам специалист лаборатории. – Стоит хотя бы проследить эволюцию технологии записывающих головок со времён магнитно-резистивной записи до времён перпендикулярной записи или HAMR. Сначала все магазины предоставляли услуги восстановления данных, и большая часть обращений предполагала программное вмешательство или выполнение простых логических операций. Возможно, чаще всего причиной сбоя становится программная ошибка, которую несложно устранить. Но самые трудные случаи связаны, конечно, с механикой, и тогда приходится разбирать диск и восстанавливать данные с пластин или заменять головку”.
Восстановление данных | Когда файлы в беспорядке
Компаниям-производителям приходится разбираться с большим количеством поломок, в том числе, с моей. Бывает, что в массиве NAS или сети SAN кто-то случайно удаляет папку. Для техника это означает, что нужно, скажем, найти миллионы фрагментов файлов, чтобы из кусочков составить сложные базы данных, распределённых по десяткам жёстких дисков. Логические сбои чаще всего касаются файловых структур, а не механики диска. Но, по словам специалистов, в большинстве случаев в сбое NAS-а замешаны как логические, так и физические неполадки.
Часто бывает, что политика компании не позволяет отдать даже неисправные диски в сторонний сервис. Конечно, работы по восстановлению данных на месте у заказчика стоят дороже, но это выполнимо.
Восстановление данных | Вполне логично
Когда я спросил, как выглядел процесс восстановления данных с моего NAS-а, мне ответили примерно следующее: “Конечно, вам хотелось бы увидеть нечто особенное, но большинство случаев, с которыми мы имеем дело, для обычных людей, которые не знают, чем мы занимаемся, выглядит совершенно ординарно. Контроллер, который вы видите, выглядит как обычная плата, но он был специально разработан для лаборатории, как и ПО. Он контролирует питание… и многие компоненты диска. Он контролирует маленькие детали, не видные с первого взгляда”.
В моём случае диски не отвечали вовремя на запросы системы NAS-а, то есть время ожидания истекало. Но что бы в среде NAS-а ни вызывало данную проблему, оно также влияло на работу остальных дисков. То есть сам NAS помечал диск как неисправный, продолжал работать с неполным массивом RAID 5, и когда сбой дал второй диск, весь RAID “упал”. Инженерам потребовалось создать новую среду для четырёх дисков, которым была дана команда “думать”, что они все исправны. Как только это было сделано, специалисты начали копировать файлы на другой накопитель. Что интересно, RAID всё ещё оставался неисправным. Приоритетной задачей было извлечь биты моих данных с диска “как есть” и сохранить их на исправный носитель. Затем команда восстановления данных могла восстановить по кусочкам файловые структуры и собрать вместе изначальную архитектуру четырёхдискового массива.
В целом, на восстановление данных понадобилось 28 человекочасов. Большая часть времени ушла на распознание необходимых файловых структур на всех четырёх накопителях, то есть определение правильных размеров и возраста данных, чтобы понять, какие из них были сохранены до и после сбоя первого диска.
Восстановление данных | Особое ПО
В рамках этапов оценки состояния и ремонта винчестера работники лаборатории также запускают особые приложения Drive Repair и Unlock Tool. Эти программы были созданы Seagate, и многие инженеры используют это ПО для работы с накопителями и поиска неисправностей. Приложение предоставляет инженерам сведения о том, что происходит с диском, в частности, что происходит не так. “Это не всегда научный подход, – утверждает специалист. – Временами процесс наполовину зависит от интуиции и творчества”.
Восстановление данных | Сначала копируем – все вопросы потом
Самый важный момент процесса – это успеть скопировать данные с повреждённого на здоровый накопитель. Всё остальное, включая выяснение причин сбоя, вторично. К счастью, при этом используются сложные специализированные инструменты, которые могут читать данные в таких условиях, в которых не действуют обычные системы и команды.
“Это ПО способно извлечь полную копию данных с исходного диска, – говорит инженер из нашей лаборатории. – В общем, приложение позволяет работать с накопителями в таких ситуациях, в которых не могут обычные компьютеры. Вот здесь на экране зелёный цвет. На этом экране видно, что мы исправили физику диска и подсоединили его к системе. Он отвечает на запросы так, как нам нужно. Мы делаем копии данных с источника, с диска нашего клиента, и сохраняем их на рабочих дисках, чтобы продолжить процесс восстановления”.
Восстановление данных | Глубоко в данных
Это вид, которые имеют данные на самом низком уровне. То есть, если точнее, приложение представляет собой шестнадцатеричный код, который позволяет инженерам взаимодействовать с данными на бинарном уровне. Специалист по восстановлению отмечает: “Когда мы пытаемся найти специфичные сведения о восстановлении логики диска, мы ищем определённые вещи, в зависимости от критериев процесса восстановления… различные структуры и данные. Так мы это и делаем”. Таким образом, инженеры не только могут рассмотреть данные на бинарном уровне, но иногда у них есть возможность исправить повреждённые файловые элементы и превратить “битые” файлы в функциональные.
Восстановление данных | Рассмотрим всё в подробностях
Данная лаборатория принимает практические любые типы накопителей, включая SSD и флэшки. Первоначальная задача при восстановлении данных с “мёртвого” накопителя – это определить, какой компонент спровоцировал сбой. На этой фотографии показано, как техник отслеживает сигнал, идущий от процессора до флэш-памяти. Целью данного теста является подтверждение того, что команды передаются и обрабатываются. В этом случае, рассмотрев поведение чипов памяти, транзисторов и других компонентов, инженеры смогут найти причину поломки.
Восстановление данных | Горячая замена
Хотя тип памяти, используемой в различных накопителях, отличается, процесс восстановления жёсткого диска и твердотельного накопителя практически идентичен. Как только определены неисправные компоненты, их надо заменить. Хотя мне и не рассказали историю накопителя, изображённого на фотографии, мне было ясно, что этому малышу досталось от жизни. Понадобилось заменить несколько компонентов. Но благодаря точным манипуляциям, уверенными руками можно быстро вернуть его к жизни.
Восстановление данных | Повреждение чипа
По словам работников лаборатории, наиболее частой причиной поломки флэшек является то, что люди, подключив их к ноутбуку, работают с файлами, а затем случайно жёстко задевают его рукой и таким образом ломают. Но были и случаи, когда на накопители наступали, их кусали, роняли в воду, стирали в стиральной машинке – всё, что угодно. Портативность накопителя – фактор риска.
На данном изображении показано, как повреждённый модуль флэш-памяти извлекают из флэшки.
Восстановление данных | Безопасность превыше всего
Так как наши сегодняшние собеседники являются частью большой глобальной компании, неудивительно, что безопасность является первоочередной задачей в масштабе корпорации. Все двери в лабораторию оснащены биометрическими сканерами отпечатков пальцев, и допуск предоставлен только самым необходимым работникам. Если честно, я давно пытался попасть в лабораторию восстановления Seagate и снять фоторепортаж, но компания не хотела допускать журналистов в святая святых, частично именно из-за соображений конфиденциальности. К счастью, мы попали в лабораторию во время переезда, так что нам удалось снять несколько кадров и написать эту статью.
Восстановление данных | Параноики выживают
Как только процесс восстановления завершён, данные клиента возвращаются к нему на внешнем накопителе. На моём NAS-е было около 3 Тбайт данных, и я получил их назад на 4-терабайтном внешнем винчестере. Только шесть MP3-файлов восстановить не удалось. Если сравнить это со всем семейным архивом… даже думать не нужно. Да, я могу обойтись без этих шести песен.
А что же стало с моими старыми дисками? Согласно политике лаборатории, диски будут храниться у них около месяца. В течение этого времени пользователь должен включить накопитель с сохранёнными данными, сделать резервную копию и подтвердить целостность данных. Ведь может случиться всякое: посылку потеряли или уронили. Может случиться что-то непредвиденное, вроде стихийного бедствия, до того, как данные будут скопированы на новый накопитель. То есть частью услуги восстановления является хранения исходных дисков и таким образом спасённых данных на протяжении нескольких недель. На всякий случай.
Восстановление данных | Удалить и уничтожить
Единственный случай, при котором данные клиента покидают лабораторию, – это отправка восстановленного контента пользователю. Seagate использует отжившие своё диски для других работ (до того, как они покажут признаки изнашивания), но любой диск заканчивает свою жизнь процедурой полного удаления данных, что и изображено на фотографии. В этом случае удаление означает физическую перезапись всех секторов диска, в отличие от обычного удаления, при котором большая часть битов остаётся нетронутой. Это спецификации процедуры удаления характерны для оборонных предприятий, и многие организации проводят три-семь таких процедур удаления, чтобы максимально обезопасить информацию. Работники лаборатории не стали открывать все секреты, но, учитывая опыт работы компании с корпоративными заказчиками, мы склонны верить, что процедура утилизации максимально эффективна.
“Очищенные” таким образом диски, принадлежащие лаборатории, используются во внутренних целях. Диски клиентов отправляются в шредер.
Восстановление данных | Некоторые цифры
28 человекочасов на восстановление данных с NAS – это недёшево. При первом звонке мне выдали стоимость от $3000 до $20000 за четыре диска, в зависимости от природы и сложности повреждений. Я прошёл через момент паники и поражения от таких цифр. Но вы способны потратить все средства, чтобы сохранить семейную историю? Возможно, это и не понадобится. Как было описано выше, большинство операций восстановления требует только определённого ПО, и такое сейчас даже есть в продаже (в США File Recovery Software стоит от $99). Можно, кстати, протестировать его, прежде чем совершать покупку. Для пользователя из США даже есть возможность удалённого подключения специалиста к компьютеру, чтобы он запустил программу – это обойдётся в $199. Лабораторное восстановление стоит от $399, включая доставку в оба конца и начальную диагностику. Есть и более дешёвые сервисы – но они в большинстве своём будут исправлять только логические неисправности. Для устранения последствий физических повреждений они также будут обращаться в такие большие лаборатории, в которой побывали мы.
Восстановление данных | Наилучший выход
Хоть я и безмерно рад, что вернул себе 3 Тбайт данных, я бы предпочёл никогда не проходить через такое снова. Поэтому я решил озаботиться приобретением нового NAS-а и регулярно делаю бэкап через специальный сервис. То есть мои данные копируются с внутренних дисков на внешний NAS через приложение для резервного копирования (SyncToy), а также синхронизируются с облачным хранилищем. Но для того, чтобы переместить в облако 3 Тбайт, уйдут месяцы. После пяти недель я не зарезервировал даже терабайта. Но так как сейчас есть новый NAS, а самые важные файлы, занявшие 700 Гбайт, получили резервную копию в первую очередь, мне хорошо и спокойно.
Я от всей души делаю вам никогда не сталкиваться с такими проблемами. Покупайте решения различных производителей, используйте различные техники резервного копирования – надеюсь, вам никогда не придётся идти в лабораторию восстановления данных. Но если это всё-таки произойдёт, теперь вы знаете, что именно происходит с вашим бесценным диском за закрытыми дверями, – и, вероятно, вам будет спокойнее.
