Вводная: у нас был арендован сервер на hosting.ua на котором крутился добрый десяток сайтов наших клиентов (общая посещаемость десятки тысяч), в т.ч. магазины с приличными оборотами, хостился баг-трекер, джира, ДНС. Говорят, что все люди делятся на 2 типа: 1-делают бекапы, 2- уже делают. Мы были где-то посередине. 
За историю нашей работы у нас уже сыпались винчестеры, горели материнские платы и летела файловая система. Поэтому была настроена система ежедневного бекапа на винчестер на том же сервере, и, изредка, делалась копия на другой сервер в этом же датацентре. При такой системе потеря боевого винчестера – неприятность, но явление довольно редкое, а что бы пропали и бекапы на двух севрах одновременно, должно случиться (как мне тогда казалось) что-то невероятное.  Во всех статьях рекомендациях по резервному копированию пишут, бекапы нужно хранить физически в разных местах. «На случай пожара» действий властей или других стихийных бедствий, звучит, согласитесь, смешно… В 21.30 я получил первое сообщение от системы мониторинга доступности сервера, попробовал выяснить что случилось – оказалось лежит датацентр полностью. Ни сайт хостера, ни мой сервер не пинговались. Я решил, что это проблемы с каналом (что уже не раз бывало) и спокойно отправился на «выходные» в Россию (ну что может случиться, пожар что-ли?).

 Прибыв на первый перевалочный пункт заполночь, я заметил, что система мониторинга не умолкала, и я просто отключил оповещения о СМСках. Проснувшись утром уже деревне недалеко от границы, я был неприятно удивлен количеству СМС о том, что сервер до сих пор не доступен. Набрал администратору, не смотря на ранее утро, и попросил выяснить, что же там такое. Через 10 минут я получил сообщение, содержавшее одно слово из шести букв «обозначающее полный крах всех надежд». Я сруза же перезвонил и после разговора стало понятно, что это слово очень точно характеризует произошедшее. По слухам(!) в датацентре произошел пожар, система автоматического пожаратушения не сработала, и то, что уцелело после огня, было обильно полито водой пожарными… Официальной информации нет, саппорт не отвечает.
 Благодаря слаженной работе офиса – мне не пришлось возвращаться в срочном порядке, хотя на телефоне пришлось провисеть довольно много. К середине понедельника у нас были сграблены ключевые сайты, и, наконец, удалось связаться с хостером, который нам сказал что наша стойка (С) от огня особо не пострадала и есть шанс что данные уцелели. Когда мне это передали – я первый раз выдохнул. Во вторник я уже был в офисе, и с самого утра мы принялись поднимать «фанерный вариант» главного сайта. К обеду посетители уже видели контент в приличном оформлении и могли ходить по ссылкам, при попытке заказать что-либо получали сообщение об аварии и просьбе звонить прямо в магазин. Параллельно с этим продолжались попытки получить доступ к информации, которая лежала в датацентре. Проблема осложнялась расстоянием (мы в Минске, ДЦ в Одессе), и тем что биллинг хостера был уничтожен, и они, строго говоря, не знали где чей сервер (при том что с момента аварии прошло уже 2.5 суток). Нас спасло то, что еще в понедельник нам удалось договориться по горячим следам, что нам отдадут наш винчестер в обмен на залог и заявление.  Времени терять было нельзя и начались поиска человека который мог бы на месте решить жти вопросы. Как оказалось, у нас было несколько вариантов, но все варианты упорно не отвечали. Владелец самого большого магазина уже заказал билеты для своего помошника что бы тот вылетал в Одессу, я просто спрашивал у всех кого видел: «нет ли у вас надежных линуксойдов в Одессе?». Таким странным образом был найден человек (назовем его Админ), который взялся нам помочь. Первый заход в ДЦ закончился неудачно, ответили, что никому никаких винчестеров не отдадут. После чего нам пришлось снова созваниваться и напоминать про обещания. Со второго заезда (ближе к вечеру) винчестер забрали. В том виде, что его получили, включать его было нельзя поэтому он сразу отправился в мастерскую на срочный ремонт. 
 Спустя 15 часов и 250 $ он вернулся к Админу, который, восстановив файловую систему, поставил заливаться данные к нам на сервер.
В этот момент выдохнули все. Ночью флагманский сайт уже работал и вечером, наконец, появилось первое официальное сообщение от hosting.ua на их сайте (что произошел пожар, и тут будет публиковаться информация). К концу четверга была поднята большая часть сайтов, и постепенно заканчиваем восстановительные работы на остальных.

 Надеюсь этот опыт поможет кому-то научиться на наших ошибках и перейти в категорию делающих бекапы без серьезных потрясений ИТ Предприниматель