В пятницу не успел закончить пред. заметку - пришлось срочно убегать .
Итак , ситуация была весьма скверная , основной причиной этого являлась чрезмерная склонность ZFS кэшировать данные . На слабых 'дисках' это проявляется очень хорошо .
После некоторых раздумий было решено переразбить рейд-группы и поменять файловую систему .
Понятно , что для этого понадобилось перенести куда-то лежащие там данные и времени это заняло немало .
Переделка рейдов
Из двух групп по 11 дисков 6 рейда было сделано 4 группы пятого рейда .
Каждая группа приводилась на хост , как и ранее , одним луном .
Файловая система .
Было решено перейти за хорошо знакомую старую добрую VxFS , вот результат
"Почувствуйте разницу"(c)
Понятно , что это не совсем чистое сравнение файловых систем , но подчеркну следующие моменты
1. Число и сами диски остались без изменений
2. Данные после обратного перемещения прежние
3. Характер доступа к данным также не поменялся
В целом замечено , что VxFS более равномерно осуществляет запись , иногда даже уменьшая производительность по IOPS . В результате диски не "заклинивает" на бесконечных 100% device busy
Итак , ситуация была весьма скверная , основной причиной этого являлась чрезмерная склонность ZFS кэшировать данные . На слабых 'дисках' это проявляется очень хорошо .
После некоторых раздумий было решено переразбить рейд-группы и поменять файловую систему .
Понятно , что для этого понадобилось перенести куда-то лежащие там данные и времени это заняло немало .
Переделка рейдов
Из двух групп по 11 дисков 6 рейда было сделано 4 группы пятого рейда .
Каждая группа приводилась на хост , как и ранее , одним луном .
Файловая система .
Было решено перейти за хорошо знакомую старую добрую VxFS , вот результат
"Почувствуйте разницу"(c)
Понятно , что это не совсем чистое сравнение файловых систем , но подчеркну следующие моменты
1. Число и сами диски остались без изменений
2. Данные после обратного перемещения прежние
3. Характер доступа к данным также не поменялся
В целом замечено , что VxFS более равномерно осуществляет запись , иногда даже уменьшая производительность по IOPS . В результате диски не "заклинивает" на бесконечных 100% device busy
Для ясности видимо следует добавить, что:
ОтветитьУдалить1. Замена R6 на R5 значительно уменьшила raid penalty. Что особенно важно в свете SATA дисков.
2. Нигде не написано отключался ли режим чтения после записи на AMS.
3. Однолуновая отдача на дисках такого размера не представляется оптимальной.