воскресенье, 25 ноября 2012 г.

Veritas Volume manager

Сабж  используется у нас длительное время , лучший  по функционалу , гибкости и надежности . Много раз выручал при выключениях питания , авариях и т.д.  В общем , лучший  Volume Manager.
Так я думал  до позапрошлой недели , когда случился крайне неприятный случай .
Группа  Vxvm  переезжает с одного хоста на другой , процедура рутинная , проводилась десятки ( а может и сотни ) раз ,  выполняет  младший админ .
Само собой все работы ночью , звонок уже от старшего админа - 'База не поднимается , не может открыть кучу файлов'
При просмотре alert.log  возникает чувство deja-vou  - список битых файлов  странно знаком .... проверяю ...точно  !
Файлы с битыми заголовками  - только те , которые недавно переносились на новый диск, я сам их копировал при помощи vxassist mirror
Странно -  vxdg adddisk отработал  абсолютно штатно , эти файлы активно использовались базой  до переезда , ошибок не было . Все началось после deport/import. 
Поскольку у нас все (почти) организовано правильно , данные зеркалируются на разные Хитачи , то решение было очевидным  - отстрелить плексы  на этом новом диске ( lun конечно ) . После чего база успешно поднимается , вытираем холодный пот .
А вот если бы не зеркало , то данные мы бы потеряли .

На следующий день был быстро найден  баг Veritas  - ошибка при  инициализации нового диска . Неправильно считалось смещение привата , при deport писалось уже правильное смещение с очевидным результатом .
Все это на версии 5.1  с определенным  уровнем патчей , исправление уже есть .
В итоге - все обошлось , но - потеряно время и доверие к  ранее отличному  продукту .