XServer Live OS: rescue-система, которая знает, что делать

XServer Live OS — система для обслуживания сервера, которая загружается по сети и живёт целиком в оперативной памяти. На диски она ничего не пишет, пока вы сами не попросите. Запустить её можно из панели управления: достаточно выбрать Live OS в меню загрузки сервера.

Live OS состоит из двух ступеней:

• Базовая Live OS — маленькая система на BusyBox. Она загружается за секунды и сразу открывает меню на экране сервера. В ней уже есть всё для диагностики, восстановления и запуска установленной ОС.
• Полная Live OS — Debian 13 с systemd и apt. Около 150 МБ скачиваются прямо в память по одному пункту меню. Она нужна, когда не хватает инструментов: поставить пакет, починить Windows, перенести сервер.

Между ступенями можно переключаться сколько угодно раз без перезагрузки сервера: команда live переходит в полную, base возвращает к меню.

Работа начинается с базовой Live OS: оттуда одна команда ведёт в полную, а один пункт меню запускает вашу систему с диска.

Вместо пустого приглашения командной строки Live OS начинается с меню. Каждый пункт выбирается одной клавишей, а под ним в две строки написано, что именно произойдёт. Всё, что может что-то изменить, спрашивает подтверждение кнопками Yes и No.

Пока вы читаете меню, Live OS уже собирает сведения о железе в фоне. Поэтому первые два пункта обычно открываются сразу, без ожидания опроса дисков.

Пункт Diagnose проверяет всё, что стоит между включением сервера и работающей системой, и пишет по каждому пункту вердикт: OK, WARN (стоит посмотреть) или FAIL (именно это мешает загрузке). Рядом с каждой проблемой написано, чем её исправить.

Диагностика только читает. Файловые системы монтируются без воспроизведения журнала, программный RAID собирается в режиме только для чтения, а по завершении всё отмонтируется. Запускать её можно сколько угодно раз и без риска.

Для Linux проверяется:

• режим загрузки установленной системы против режима прошивки (BIOS или UEFI);
• GRUB в MBR или загрузчик на разделе EFI и запись о нём в прошивке;
• grub.cfg и fstab: все ли UUID, на которые они ссылаются, есть на сервере;
• ядра, их initramfs и модули, а также есть ли в initramfs драйвер контроллера, на котором лежит корень;
• состояние файловых систем и свободное место;
• сетевые настройки системы против портов сервера и адреса, который ему выдан.

Для Windows — загрузочный код и активный раздел или bootmgfw.efi с записью в прошивке, куда указывает BCD, запускает ли Windows драйвер своего дискового контроллера, флаг «грязного» NTFS и гибернация (быстрый запуск). Для самого сервера — видны ли диски, их здоровье по SMART и состояние программного RAID.

Так выглядит отчёт по системе, которую перенесли на сервер с другим RAID-контроллером (пример):

Linux: Debian GNU/Linux 12 (bookworm) on sda2
[ OK ] UEFI loader on the ESP (sda1): grubx64.efi, shimx64.efi.
[ OK ] fstab: all 3 entries are on this server.
[ OK ] Default entry: Debian GNU/Linux
[FAIL] initrd.img-6.1.0-26-amd64 lacks megaraid_sas: the kernel will not
       find the root disk. Rebuild it with the driver (rescue).

Summary: 1 problem(s) that keep it from booting, 0 warning(s)

Без диагностики такая система просто останавливается на загрузке с невнятной ошибкой про корневой раздел. С ней причина и способ починки видны сразу: зайти в rescue и пересобрать initramfs с нужным драйвером.

Пункт Rescue делает всю подготовку сам и открывает шелл уже внутри вашей системы. Он:

1. Собирает программный RAID, даже если массив создавался на другой машине, и активирует LVM.
2. Находит корневую файловую систему: ext4, XFS или Btrfs, в том числе в подтоме.
3. Монтирует её вместе с остальными разделами из fstab: /boot, раздел EFI.
4. Подключает /dev, /proc, /sys и переменные UEFI, чтобы внутри работали grub-install и efibootmgr.
5. Открывает шелл в chroot.

Дальше вы работаете со своей системой как обычно: переставляете GRUB, пересобираете initramfs, правите fstab или сбрасываете пароль. После exit Live OS сама отмонтирует всё в правильном порядке, чтобы изменения точно легли на диск.

Если базовая Live OS не справится с файловой системой, она предложит перейти в полную. Rescue там запустится сам, на той же консоли. Для Windows в полной Live OS есть отдельная утилита win-rescue. Она без запуска Windows чинит типичные причины ошибки INACCESSIBLE_BOOT_DEVICE, повреждённый BCD и зависшие обновления, а перед любой правкой делает резервную копию реестра.

Пункт Boot the installed OS находит Linux на дисках и запускает его прямо из Live OS, без перезагрузки сервера. Он читает конфигурацию GRUB, выбирает ту же запись, что выбрал бы сам GRUB, и стартует её ядро с теми же параметрами через kexec. Перед запуском меню показывает, что именно загрузится: запись, ядро, initramfs и командную строку.

Это полезно в двух ситуациях:

• Сломан только загрузчик. Система цела, но GRUB или запись в прошивке потеряны. Сервер можно вернуть в работу сразу, а загрузчик починить потом, из работающей системы.
• Обслуживание закончено. Вместо перезагрузки с долгой проверкой оборудования, которая на серверах идёт минутами, система стартует сразу.

Тем же способом полная Live OS возвращается к базовой по команде base. Windows так запустить нельзя: её стартует только прошивка. Если на дисках Windows, Live OS скажет об этом и предложит перезагрузку.

Server configuration показывает конфигурацию сервера на одном экране. Память описана так, как её заказывают: «32 GB · 2x 16 GB DDR4 2400». Для каждого сетевого порта его MAC-адрес, для контроллеров — модель и настроенные RAID-тома. На виртуальном сервере всё короче: ядра, объём памяти и диски.

Disks and health рассказывает про каждый диск, в том числе про те, что спрятаны за аппаратным RAID-контроллером Dell PERC или HP Smart Array. Обычно для этого нужны утилиты производителей, здесь — нет. Для каждого диска видны модель, объём, тип (HDD, SSD, NVMe), температура и два числа, которые понятны без расшифровки SMART:

• здоровье в процентах — «health 93%» вместо сырых атрибутов износа;
• наработка в годах и днях — «4y 119d» вместо 37 896 часов.

Изношенный SSD и диск, который сам сообщает о проблеме, помечены сразу. Те же данные учитывает диагностика: иногда система не грузится просто потому, что умирает диск.

Переустановить систему можно, не уходя с консоли сервера. Пункт Install an operating system показывает QR-код прямо в окне меню:

1. Вы сканируете код телефоном — открывается диалог установки в панели для именно этого сервера.
2. Выбираете систему и параметры.
3. Live OS замечает задание в течение нескольких секунд и сразу его выполняет.

Если вы подключены по SSH, рядом с QR-кодом есть кликабельная ссылка. Так же по QR-коду наши инженеры запускают инвентаризацию железа новых серверов.

Меню ничего не запирает. Клавиша S открывает шелл, и в его шапке сразу перечислены команды Live OS. Та же шапка встречает при входе по SSH, в базовой и в полной Live OS:

  menu        the console menu
  live        switch to the full Live OS
  local-boot  boot the installed OS
  diagnose    check why the installed OS does not boot
  rescue      mount the installed OS and chroot into it to repair it
  hardware    server configuration; hardware disks: disk health

Каждый пункт меню — это обычная команда. Её можно запустить вручную, например передать rescue нужный раздел или посмотреть, что загрузит local-boot -n, ничего не запуская.

В полной Live OS доступен весь Debian: недостающий инструмент ставится через apt прямо в память. В отличие от образов «на все случаи жизни», вам не нужно заранее скачивать гигабайты утилит: ставится только то, что нужно сейчас.