Волею судеб нам достался этот диск, который мы используем для BSA-Analytics. На диске хранится полная копия всех коротких данных с телескопа BSA (bsa1-short + bsa2-short). А также все эти данные нарезанные по кускам по звездному времени, в моих терминах «нарезка» (далее без кавычек). Данные, как и нарезка, занимают очень много места, поэтому диск, на котором лежит все и сразу, нам жизненно необходим.

Нарезка данных — очень долгая операция. Первая ее версия длилась около 4х дней. Тогда было данных 2.5 года, потому что это было уже полгода назад, и потому что я тогда не обрабатывал экспериментальный 2013ый год. Экспериментальный 2013-ый год отличается рандомным расположением «ступенек» (грубо говоря, несколько раз в сутки телескоп отключает свой приемник, чтобы провести калибровку усилителей), а также рандомным поведением усилителей. Сейчас, благодаря новым методам автоматического поиска ступенек стало возможной обработка 2013-ого года. Хоть он и хреновый, но данные есть данные, усиление сигнала — есть усиление сигнала, а новые пульсары — есть новые пульсары.

Да, и для понимания, — нарезка длинных данных потребовала месяца времени. Каждый день кое-кто (не я) приходил на работу, втыкал новый диск на 3TB и сообщал программе, что пора продолжать нарезку. И это на фоне того, что при прерывании процесса все, с большой вероятностью, понадобилось бы начать заново.

Проблемы с диском

Проблемы начались неожиданно. Сначала случились тормоза переписи данных. Нужно было скопировать пару новых месяцев данных, и в коротких данных это меньше 100 гигов. Только вот скорость угнетала. В конце концов я не выдержал и пришел к папе на работу смотреть что же там такое происходит. Экспертиза показала, что USB 3.0 диск объемом 8TB пишет данные на скорости 1.5 МБ/c. Уже как бы стало понятно, что пациент скорее мертв чем жив, только вот осталась очень простая проблема. Денег на новый нет. Ну не покупать же точной такой же диск за свои 17000р?

Подключение в линукс показало отключенный SMART. Честно говоря, я не уверен, что он был отключен, но после того как я его включил, он включился. Правда smartctl требует указания опции -d sat, но это мелочи. SMART показал, что диск перегрет до 55 градусов. Отключение диска с последующим охлаждением окном помогло минут на 5. Именно тогда я понял, что инженеры Seagate не очень. Особенно хорошо это стало понятно, когда выяснилось что боковой вентилляции у диска нет — дырочки являются муляжами. Есть дырочки снизу, но весь горячий воздух поднимается наверх, и диск кипятит сам себя. Поэтому я начал запускать его на спине, это позволило скопировать несчастную сотню гигабайт данных за несчастные 6 часов и провести нарезку.

Новая нарезка

Новая нарезка верхней площадки включала в себя полную калибровку по ступенькам и заняла 5 дней (+около недели на спецэффекты). Для понимания — программа нашла более 18 тысяч ступенек, из которых только одна оказалась ложной. Ее высота отличалась в 100 раз, так что я ее просто выкинул по предельному уровню. Нарезка принесла несколько десятков новых пульсаров, но мы хотели больше. Спустя несколько недель стали понятны все косяки и преимущества нового алгоритма.

Из-за неоднозначного процесса чистки одиночных помех в нарезке произошло расхождение теоретического усиления SNR от реального. В принципе, это нормально когда теория расходится с практикой, обычно я становлюсь на сторону практики. Но единственное возможное объяснение — занижение уровня шумов.

Новая перенарезка

Очередная оптимизация процесса нарезки позволяла правильно учитывать шумы исходных данных (в теории), поэтому мы решились на перенарезку. В качестве отладки я использовал свой диск, тоже от seagate — на 2TB. Отличительные особенности — ему 5 лет, время налета головок около месяца, и работает он хорошо. В паре, два диска демонстрировали чудеса скорости. Один файл (=один час наблюдений) обрабатывался за 2.5 секунды. Отладка показала усиление SNR раза в 2, а мой 2TB диск переполнился и был исключен из рабочей схемы.

Проблемой нарезки с использованием одного диска (как для чтения данных, так и для записи) являлась низкая скорость. Около 8 секунд на 1 файл. Я прошу заметить — файл объемом 50 МБ надо считать, а потом сбросить его же в виде уже 20 файлов обратно на диск. Файлы большие, скоростью программы можно пренебречь, ничего сложнее нескольких сортировок по процессорному времени там нет, а считывание и запись файлов должно проходить за быстро. Секунды за 2 максимум, и это уже с учетом тормозов USB 2.0 шины. Но 8 секунд — это еще норм, на этом можно жить.

Предъявите полный список пожалуйста!

Диск откровенно стремный, он стучит непрерывно. Судя по всему — это термокалибровки. Термокалибровки случаются из-за перегрева. Перегрев случается, когда за дело берутся дизайнеры. Диск оказался у нас благодаря маркетологам. Но дебилами я рискну назвать все же инженеров, потому что диск, позиционирующийся для бекапов, читает и пишет на скорости в несколько мегабайт в секунду исключительно из-за отсутствия вентилляции. Я бы, конечно, выломал его из корпуса, но он оказался на гарантии.

Итак, список фактов:

• Если держать диск на балконе (около 10 градусов), то скорость падает до сотен килобайт в секунду, и так жить нельзя
• Если держать диск на животе (как обычно), то он перегревается часов за 10, и начинает буянить совсем сильно
• Если держать диск включенным в USB, но не нагружать работой, то он все равно перегревается, ибо заставить его снизить обороты возможно нет. Ибо Seagate
• Если работает моя программа, то на запрос данных SMART диск может отвечать до минуты
• В SMART есть информация об >300 каких-то ошибок. Но этого слишком мало для того чтобы объяснить просадку скорости
• Скорость прямого чтения и записи через dd составляет около 100 МБ/c
• Скорость удаления файлов из-под Windows составляет около файла в секунду (в нарезке 0.5 миллиона файлов)
• Скорость копирования файлов под Windows составляет 1.5 МБ/c
• Если запускать диск на спине, то его температура становится около 50 градусов, что уже хоть как-то (60 градусов, и диску каюк. Нормальные диски работают на 40 градусах)
• Если диск работает на спине, то его скорость может упасть до сотен килобайт в секунду. В рандомный момент
• Если почитать отзывы и диске в интернете, то становится понятно, что проблема массовая. Кто-то предлагает просверлить нормальные дырочки дрелью, кто-то — просто выломать диск из корпуса. Только даже в обдуваемом NAS температура диска огромная. Но хотя бы без перегрева
• Если запускать короткие тесты от Seagate, то диск их либо проходит, либо отказывается проходить под надуманными предлогами
• Если запускать длинные тесты от Seagate, то все виснет намертво
• Если дать диску отдохнуть, то он начинает работать нормально. Причем относительно долгое время. Заведомо большее, чем нагрев до стабильной температуры
• Если остановить нарезку, то ее можно начинать заново, ибо есть много side-эффектов. Хотя формально программа умеет продолжать прерванную нарезку, но реально при этом требуется условные 20 минут работы, косяк проведения которой выльется в битую нарезку. С битыми пульсарами
• Чтение ровно тех файлов, которые обрабатываются на убер-низкой скорости идет на 100 МБ/c
• Запись ровно тех файлов, которые сбрасываются программой идет на скорости 100 МБ/c
• Программа как читает, так и записывает блоки объемом 4 МБ
• Во время работы программы диск чем-то занят
• После перестановки диска с крышки ноута (=охлаждающая подставка) на пол скорость возросла с сотен килобайт в секунду до десятка мегабайт (=с критически низкой до просто низкой)

Конечно, мне бы хотелось чтобы этот диск уже закончился бы, и можно было бы получить новый от Seagate, потому что он на гарантии еще целых полтора года. А с его постоянными термокалибровками он точно когда-нибудь сдохнет. Лучше бы во время гарантии.

Текущая теория следующая: если диск стоит как обычно, то он перегревается. Если я пытаюсь дать диску охлаждение, то блины охлаждаются неравномерно, из-за чего ему приходится непрерывно калиброваться, что ведет к тормозам контроллера. Нормальную скорость чтения объясняю тем, что во время чтения калибровка проводится автоматически безо всяких проблем. Нормальную скорость записи нулей объясняю выкрутасами NTFS. Нормальную сокрость копирования файлов с диска на него же объясняю выкрутасами NTFS. Нормальную скорость записи рандомных данных объясняю выкрутасами NTFS. Превышение скорости USB 2.0 как на чтение, так и на запись объясняю … Э… Ну наверное там USB 3.0 (нет).

Что происходит в реальности я не в курсе, но что-то там все-таки происходит. Ах да — диск не покупайте. Ну или по крайней мере не в этом идиотском пластиковом корпусе без вентилляции.

UPD: скорость записи объяснилась отсутствием sync. Реальная запись 15 МБ/c. Чтение объяснить можно только USB 3.0, хотя все порты у меня на ноуте серые, да и он очень старый.

UPD2: На ноуте действительно USB 3.0. Больше 5 лет ноуту, я об этом только что узнал из обзора. 2 порта 2.0, 2 порта 3.0 по цвету конечно же не различаются.