Как мы узнаём о проблеме раньше, чем вы напишете

Хороший сервис отличается не тем, что у него ничего не ломается, а тем, как быстро он об этом узнаёт.

Почему пинга недостаточно

Самая частая ошибка в мониторинге — проверять доступность сервера командой ping. Беда в том, что сервер может отвечать на пинг, когда:

• прокси-ядро упало и не принимает подключения
• закончилось место на диске и сервис не может писать логи
• соединение между промежуточным узлом и нодой заблокировано, хотя оба живы

Во всех этих случаях пинг зелёный, а пользователь подключиться не может.

Что проверяем мы

Живость прокси на каждой ноде. Не порт, а именно сервис: мы обращаемся к служебному адресу и ждём конкретного ответа. Если приходит ошибка веб-сервера вместо него — значит ядро упало.

Каждую пару «узел — нода» отдельно. Это оказалось критично. Блокировки часто бьют не по серверу, а по маршруту между двумя нашими машинами. Снаружи всё выглядит здоровым, и только отдельная проверка показывает разрыв.

Платёжный канал. Если перестанет приходить подтверждение оплат, мы узнаем об этом раньше, чем человек напишет «я заплатил, а подписки нет».

Ресурсы. Место, память, исходящий трафик — чтобы заметить проблему до того, как она станет аварией.

Борьба с ложными тревогами

Мониторинг, который кричит постоянно, бесполезен — на него перестают реагировать. Мы специально настраивали пороги так, чтобы единичный пропущенный опрос не поднимал тревогу: сигнал приходит, только если проблема держится несколько минут.

Одновременно важно не замести под ковёр настоящие проблемы. У нас был случай, когда мы списали шквал сигналов на помехи — и ошиблись: большая часть была честной, маршруты действительно рвались. С тех пор правило простое: прежде чем глушить сигнал, проверить руками.

Что происходит, когда сервер блокируют

1. Мониторинг фиксирует, что промежуточный узел перестал доставать ноду
2. Проверяем вручную — несколько раз подряд, чтобы отличить стабильную поломку от мигания
3. Проверяем ту же ноду с других узлов: часто проблема только в одном маршруте
4. Если есть рабочий маршрут — переводим сервер на него, и он возвращается в строй
5. Если недоступен отовсюду — временно убираем из списка, чтобы вы не выбирали мёртвый вариант
6. Периодически проверяем снова и возвращаем, когда блокировка спадёт

Почему это важно для вас

Потому что разница между «VPN не работает» и «переключился на соседний сервер и забыл» — это как раз скорость реакции. Мы стараемся, чтобы сломанных вариантов в вашем списке просто не было.

Читайте также