Архив рубрики: Linux и сервера

Как перекодировать всю коллекцию музыки одной командой

Дано:
1) Весь Король и Шут, скачанный с рутрекера в формате *.m4a, с кодеком alac (apple lossless codec)
2) Skoda Octavia III, которая читает m4a, но не переносит проприетарные кодеки (как и я)

Нужно раздобыть всю коллекцию уже в читаемом машиной формате. Традиционно, все решается одной командой. Главное верить, и тогда эта команда заработает. Первый вариант — для кодирования без потерь, второй — для того чтобы машина таки начала играть музыку.

find . -iname "*.m4a" -execdir sh -c 'ffmpeg -i "$0" -acodec flac "$(basename "$0" .m4a)".flac' "{}"  \;
find . -iname "*.m4a" -execdir sh -c 'ffmpeg -i "$0" -acodec mp3 -b:a 320k "$(basename "$0" .m4a)".mp3' "{}"  \;

И финализация только после проверки, что все прошло удачно:

find . -iname "*.m4a" -execdir rm "{}" \;

Сгоревший диск

Впервые у меня сдох диск на сервере. По моим воспоминаниям ему было около 7 лет, так что все основания имелись.

После ряда переездов технология поведения была отточена. Но в нештатной ситуации появились коррективы. Нужно было срочно сбросить актуальные бекапы к себе, потому что последнее что было на руках — трехмесячной давности. Боялся, что мне технари дернут не тот диск из сервера.

Короче, дождался вечера, перекачал к себе на диск по московскому интернету гигов 300-400 образов, и, уже утром, отправил в hetzner заявку с оглядкой на русский мануал. Спустя 10 минут мне ребутнули сервер с уже новым диском и я начал интересный процесс ребилда массива RAID-1.

Ребилд массива подходит к концу

Несмотря на все мои опасения ребилд завершился без особых проблем. Никаких провалов в скорости я не заметил. Исходная скорость была 140МБ/c, которая постепенно упала до 65МБ/c. Я так понимаю это из-за разной скорости чтения/записи в зависимости от расстояния до центра блинов в диске.

Новый сервер

Неожиданно для самого себя из-за идиотских блокировок телеграмма всплыла тема выбора провайдера для vpn сервера. Последние 3 года мой vpn находится в Нидерландах у провайдера ramnode — это 500Gb трафика, около 20 мбит практической скорости openvpn tcp.

Пока гулял по lowendbox, lowendtalk опять вспомнил всех провайдеров уже физических серверов, и тут я понял, что у моего провайдера основного сервера — hetzner на аукционе выставлена цена на мой же сервер аж на 5 евро дешевле. 5 евро — это цена какого-нибудь хорошего облачного сервера с возможностью переброса в другую локацию и без ограничения трафика, который у меня регулярно заканчивается. Короче, как я увидел это предложение, так сразу и купил.

Core i7-3770, 2x3TB hdd, 28.76 евро в месяц. Сеть стандартная — белый ipv4, подсеть ipv6, дополнительные адреса по 1 евро / месяц за штуку, при превышении 20TB исходящего трафика скорость режется с гигабита до 10 мегабит.

Переброс данных занял удивительно маленькое время. Я сделал актуальные бекапы всех 8 виртуалок, скопировал их на новый сервер и развернул там через qmrestore. Также пришлось скопировать несколько правил iptables. Также настроил zsh и перенес немножко данных с bsa. Даунтайм основной пачки сайтов составил около 20 минут — время на бекап главной виртуалки, ее передачу и восстановление. Параллельно как раз DNS обновлялся.

Короче, это было очень легко, система из виртуалок показала себя очень хорошо. Шлюзом в интернет служит одна из виртуалок, так что буквально пара правил iptables и перенос виртуалок — и все сервисы работоспособны. Раньше это выливалось в несколько дней и пачку проблем с ejudge / owncloud и т.п.

Это вряд ли конец, так как я уже почувствовал запах халявы — если к концу месяца у hetzner’a еще на пару евро дешевле станет, то я и еще один переезд устрою. На сдачу всегда можно взять какой-нибудь arm сервер от scaleway, vpn на них одно удовольствие настраивать.

uptime старого сервера

UPD: переехал тем же макаром еще раз, теперь за 25.8 евро тот же сервер, что и раньше был

Немного о безопасности, приватности и анонимности

Ничто не предвещало беды, я всего лишь зашел на торрент-трекер rarbg.to

Надпись «С вашего ip-адреса поступает слишком много запросов» меня смутила. Такое бывает только когда я захожу на трекер напрямую без vpn. Только вот проблема, без vpn я давно в интернет не выхожу — в России без vpn бродить по сайтам невозможно, слишком много всего заблокировано не по делу.

Короче, мой ручной vpn дал сбой. Как оказалось, ipv6 трафик идет мимо него. Роутер в квартире был настроен провайдером, и этот самый провайдер начал поддерживать ipv6. ArchLinux автоматом подхватил ipv6. Rarbg ответил через ipv6. В один момент у меня оказался вполне себе белый ipv6 адрес (скорее всего какая-нибудь подсеть, доступа к роутеру толком нет). И в этот самый момент часть моего трафика оказалась видна в России. Полная жесть, меня просто трясет от того как можно все пропалить сидя из-под vpn будучи параноиком.

Скрина с rarbg нет, потому что rarbg мне теперь доверяет.

по ipv4 мы заходим из Нидерландов, по ipv6 — из Москвы

Ну а пока что я пытаюсь попеременно сломать ipv6 под арчем и починить openvpn на сервере для полной маршрутизации трафика.

UPD: +1 день
Долго пытался сделать переадресацию ipv6 трафика в туннель, но в итоге забил. Грохнул поддержку ipv6 на уровне системы через sysctl как кому-то это понадобилось.

Частичная реанимация жесткого диска с битыми секторами

Попал ко мне в руки полусломанный диск на 3TB. Данные на него записываются на скорости около 40МБ/c, а вот читаются как повезет. Большая часть пространства вполне целая. Но вот несчастный процент поверхности портит все. Он читается. Просто очень медленно. Итого, диск можно заполнить данными за день, но на то чтобы прочитать все уйдут месяцы.

Виндовый chkdsk проработав несколько суток подряд ничего полезного не сделал, и я принялся за крайние меры.

Сразу оговорюсь, метод работает только на дефекте именно такого класса: быстрая запись, медленное чтение некоторых секторов. Более того, придумал это не я, это из комментов с хабра, только в комменте не было кода, а у меня код есть. Сам коммент я потерял…
Читать далее

Прощай мой старый сервер

Доживает свой последний день мой сервер от kimsufi. У него был аптайм 822 дня, он был нереально крут. Исходно я планировал оставить его после покупки нового сервака для наличия запасного vpn/backup/tor, но что-то дорого выходит. Единственный жесткий диск этого сервера был десктопного класса и крутится без сбоев до сих пор, процессор Intel Atom N2800 не поддерживал виртуализацию, оперативки было всего 2 гига. Тем не менее я сильно сомневаюсь, что еще когда-нибудь встречу продукт с подобным отношением цена/качество, и этот сервер навсегда останется в моем сердце.

Последний скрин сервера


Читать далее

Переезд на новый сервер

Я тут переехал на новый сервер. Очень давно пора было это сделать, жить на сервере с одним диском — идея не очень хорошая. Бывший сервер:
Процессор: Intel Atom N2800
Passmark: ~600
Оперативная память: 2G DDR3 1066MHz (привет meminfo, lshw и dmidecode)
Диск: 500Gb hitachi travelstar 7200rpm
Канал: 100mbit/s + DDoS protection
Провайдер: kimsufi, Франция
Текущий аптайм: 803+ дня
Цена: 5евро в месяц

Новый сервер:
Процессор: Intel Core i7-2600
Passmark: ~8300
Оперативная память: 8x4Gb DDR3 1333MHz (32 гига суммарно)
Диски: 2x3TB Seagate Barracuda 7200rpm (raid1)
Канал: 250mbit/s (40tb/month лимит)
Провайдер: hetzner, Германия
Цена: 34евро в месяц

Процесс переезда оказался ожидаемо болезненным.
Читать далее

Система шестилетней давности

Когда-то очень давно когда я учился в школе, у меня не было ноута. При этом уже тогда мне нравился линукс, который я таскал с собой на внешнем жестком диске. Когда я приходил на кружок по программированию, я доставал специальный mini-cd диск на 200 мегабайт, содержащий загрузчик Grub 0.97. Школьные машины не умели грузиться по USB, но имели cd приводы.

В те времена я еще не очень хорошо был знаком с внутренним устройством линуксов, поэтому мне пришлось перебрать несколько дистрибутивов, чтобы понять какой из них умеет загружаться с внешнего жесткого диска. Я все еще помню свои результаты:

  1. ASPLinux — крутой инсталлятор, проблемы с софтом, очень старая (уже по тем временам) версия дистрибутива
  2. Mandriva — сидел около года, наверное. Но с диска она грузиться не умела
  3. Fedora — норм система, но чем-то не понравилась
  4. ArchLinux — графику не завезли, при нажатии бекспейса на консоли TTY раздавался страшный звук из динамиков, который меня сильно пугал
  5. Gentoo — поставил, только клавиатура не работала. И графики не было. А так в принципе норм, приглашение логина появлялось. Зато без initramfs грузился
  6. OpenSUSE — грузилась с диска, работала, имела пакетный менеджер
  7. Ubuntu — с диска не грузилась, судя по всему из-за автоустановки и настройки проприетарных драйверов на видеокарту.
    Раздражала из-за своей простоты. Тем не менее, в тем времена Cannonical рассылала бесплатно свои диски, и у меня была идея фикс на следующем релизе (10.04) попросить их прислать мне пару дисков.
    К сожалению, именно начиная с этой версии они эту халяву прекратили
  8. Kubuntu — сидел около полугода, норм система
  9. Mint — сидел года два. Любимая система до арча. Отличалась открытием менюшки аналогичной Win по 4-5 секунд. С загрузкой процесса python2 на 100%. Поэтому я не люблю питон

Короче, на диске у меня стояла OpenSUSE. В СУНЦе диск благодаря одалживанию различным нехорошим личностям раздолбался (а это не самая легкая затея раздолбать ADATA SH93), и до недавних пор пылился, потому что я разобрать его не мог. Но сейчас у меня дошли руки, поэтому с помощью ножа, топора, рычагов и грубой силы я раздолбал внешнюю неразбираемую оболочку и, неожиданно, извлек вполне рабочий Western Digital Blue 500GB.

Читать далее

ThinkPad P50 — мощь без компромиссов

Предыстория

С недавних пор меня перестал устраивать Acer Aspire S7. Конкретно — откровенно перестало хватать 4Gb памяти. Любая активность, вплоть до открывания нескольких «правильных» вкладок chrome, выливалось в использование swap со всеми вытекающими. В принципе, с учетом SSD, скорость swap’a была вполне приемлемой. На постоянно жить на swap’е c последующим перегревом — не вариант. Я просто боялся в какой-то момент остаться со сгоревшим ноутом. SSD можно было бы конечно дернуть, но его стоимость (а он был достаточно странным — планка представлялась рейд массивом, количество сброшенных данных не считалось) была несравнима со стоимостью всей машины. Поэтому он был торжественно продан.

Поиск нового ноута

Основные критерии:

  1. Экран не меньше FullHD
  2. Приличная батарея
  3. Либо 4 ядра SkyLake, либо 2 ядра KabyLake
  4. Отсутствие видеокарты AMD
  5. Возможность установки не менее 16 гигов оперативки, лучше 32
  6. Возможность установки SSD. Его, конечно всюду можно поставить, но все же…

Список интересных моделей:

  1. Dell XPS 15. Красивый и легкий ноут. Хорошая батарея и процессор. К сожалению, дико дорогой в нормальной конфигурации — 130 тысяч, из-за границы никак не провезти без возни с таможней. Вдобавок к этому — он перегревается при нагрузке. Если бы был готов отдать столько денег — купил бы его.
  2. ThinkPad t460/t560. Хорошие машинки. Единственная претензия — слабоват процессор.
  3. Ряд игровых ноутов. Две основные проблемы: никакущие аккумуляторы, уродливый дизайн.

Но победил ThinkPad p50. Младшая модель — 20ENCTO1WW.

Последняя фотка Aspire S7 на линуксе


Читать далее

OpenSSH и костыли

Когда я только начал пользоваться ssh, а он тормозил, я молчал — я ведь не владел технологией. Когда я прочитал статью на хабре про тормоза логина в убунте я молчал — ведь у меня не убунта. Когда мой сервер на дебиане требовал десяток секунд на логин я молчал — я думал что виноват тор, и вообще, не тяжело подождать.

Но теперь логин занимает 25.8+ секунд. И пора с этим заканчивать. Наплевав на аптайм в 471 день, я смело добавил строчки
UsePAM no
UseDNS no

в /etc/ssh/sshd_config и теперь все работает. Ускорение чуть более чем в 25 раз.

Стало - Было - Стало

Стало — Было — Стало