Перейти к содержимому

Правила

Правила добавляются при первом запуске, после чего принадлежат вам: DumbMonit никогда не переписывает изменённое вами правило, он лишь воссоздаёт отсутствующие. Встроенные правила можно редактировать и отключать, но нельзя удалять.

Важность показана словом из интерфейса; значение API указано в скобках. Правило, метрику которого не производит ни один монитор, не имеет рядов и никогда не срабатывает, поэтому каждое правило ниже поставляется включённым на каждом экземпляре.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Monitor unreachableНи одного измерения не получено более трёх минут. bottomk by (target) (1, time() - tlast_over_time(dumbmonit_up[7d]))> 180 с1 минWarning (critical)6 ч
High CPUНагрузка CPU стабильно выше 90%, усреднённая по монитору по источникам SNMP, Proxmox и агента; сбрасывается ниже 85 %.> 90 %10 минAdvisory (warning), эскалируется через 1 ч6 ч
Unusual CPUНагрузка CPU заметно отличается от обычной для этого времени и дня недели (сезонная базовая линия).score > 3.515 минInfo (info)6 ч
Disk almost fullФайловая система заполнена на 90% или более, по точке монтирования (SNMP, хранилища Proxmox и корневые файловые системы); сбрасывается ниже 88 %.≥ 90 %15 минAdvisory (warning), эскалируется через 24 ч6 ч
Filesystem almost fullПри такой скорости файловая система заполнится в течение четырёх дней (predict_linear за 6 ч; только растущие файловые системы).≥ 100 %30 минAdvisory (warning)6 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
UPS on batteryИБП питает нагрузку от батареи (dumbmonit_ups_output_source == 5).> 030 сWarning (critical)15 мин
UPS battery lowБатарея ИБП разряжена или исчерпана (dumbmonit_ups_battery_status, 3 = низкий заряд, 4 = исчерпана).≥ 31 минWarning (critical)30 мин
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Port accumulating errorsСетевой порт зафиксировал более пятидесяти ошибок за последний час: обычно это неисправный кабель, грязное оптоволокно или несовпадение duplex (increase_prometheus(dumbmonit_if_errors_in[1h]) + increase_prometheus(dumbmonit_if_errors_out[1h]); в течение первого часа нового монитора ничего не срабатывает, поэтому ошибки, подсчитанные до его добавления, не сообщаются как новые).> 5015 минAdvisory (warning)24 ч
Port flappingСетевой порт упал и снова поднялся более двух раз за тридцать минут (changes_prometheus(dumbmonit_if_oper_status[30m])). Порт, отключённый намеренно, не имеет ряда и никогда не срабатывает.> 45 минAdvisory (warning)1 ч

Ряды состояния равны 0 (OK), 1 (Warning) или 2 (Critical). Пустой слот (Absent) или отключённый не имеет ряда, поэтому сервер, поставленный с одним блоком питания из двух, никогда не срабатывает.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Server fan failedКонтроллер управления сообщает о неисправности вентилятора (dumbmonit_redfish_fan_health).≥ 22 минWarning (critical)6 ч
Server temperature above criticalДатчик температуры выше критического порога, который объявляет сам контроллер (dumbmonit_redfish_temperature_celsius >= dumbmonit_redfish_temperature_upper_critical_celsius).> 05 минWarning (critical)6 ч
Power supply redundancy lostБлоки питания больше не резервируют друг друга: ещё один отказ, и сервер выключится (dumbmonit_redfish_power_redundancy_health).≥ 15 минAdvisory (warning), эскалируется через 1 ч6 ч
Power supply failedКонтроллер сообщает о неисправности блока питания (dumbmonit_redfish_psu_health).≥ 22 минWarning (critical)6 ч
Drive failure predictedДиск сообщает о прогнозируемом отказе: замените его, пока он ещё работает (dumbmonit_redfish_drive_failure_predicted).> 010 минAdvisory (warning)24 ч
Server health criticalКонтроллер сообщает о состоянии самой системы как Critical (dumbmonit_redfish_system_health).≥ 22 минWarning (critical)6 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Service downСлужба не отвечала корректно три минуты (dumbmonit_probe_success{probe!="push"} == bool 0).> 03 минWarning (critical)30 мин
Heartbeat missedЗадание не вышло на связь в течение ожидаемого интервала плюс льготного периода или само сообщило о сбое (dumbmonit_probe_success{probe="push"} == bool 0; задержка задаётся для каждого монитора, см. Heartbeat).> 02 минAdvisory (warning)6 ч
Service flappingСлужба сменила состояние более шести раз за тридцать минут (changes(dumbmonit_probe_success{probe!="push"}[30m])).> 65 минAdvisory (warning)1 ч
Slow serviceСлужба отвечает дольше трёх секунд; неудачные проверки не учитываются (dumbmonit_probe_duration_seconds and dumbmonit_probe_success == 1).> 3 с10 минAdvisory (warning)6 ч
Certificate expiring soonСертификат истекает менее чем через четырнадцать дней.< 14 дн1 чAdvisory (warning)24 ч
Certificate expiredСрок действия сертификата истёк.< 0 дн5 минWarning (critical)24 ч

Сообщаются агентом; см. Агент. Оповещение называет контейнер.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Container stoppedКонтейнер остановлен в течение двух минут (dumbmonit_container_up == bool 0). Контейнер, который Docker не стал бы перезапускать, не учитывается (dumbmonit_container_stop_expected = 1): одноразовый docker run, завершившийся штатно, контейнер, который так и не запускали, или остановленный вручную без политики перезапуска. Сбой (любой другой код выхода), завершение по нехватке памяти или контейнер с always / unless-stopped по-прежнему учитываются.> 02 минAdvisory (warning)1 ч
Container unhealthyПроверка работоспособности контейнера не проходит три минуты (dumbmonit_container_health == 2; 0 нет, 1 здоров, 3 запускается). Остановленный контейнер не учитывается: Docker хранит его последний вердикт, который уже ничего не значит.> 03 минAdvisory (warning)1 ч
Container restartingКонтейнер перезапускался три раза или более за пятнадцать минут (increase(dumbmonit_container_restart_count[15m])): он редко остаётся остановленным достаточно долго для предыдущего правила.≥ 31 минAdvisory (warning)1 ч
Container update availableВ реестре доступен более новый образ для этого контейнера (dumbmonit_container_update_available == 1).> 01 чInfo (info)24 ч

Сообщаются агентом, по kloset и по источнику. Ни одного из этих рядов не существует, пока Plakar не обнаружен, поэтому ни одно из правил не может сработать на машине без него.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Plakar backup too oldНет нового снимка Plakar для этого источника более двух дней (dumbmonit_backup_last_success_seconds).> 2 дн1 чAdvisory (warning)24 ч
Plakar backup failedПоследний снимок содержит ошибки (dumbmonit_backup_last_status{source!="*"} < 1).< 110 минWarning (critical)24 ч
Plakar kloset unreadableАгент не может открыть kloset: хранилище недоступно, не хватает парольной фразы или плагина; в журнале агента указано, чего именно, один раз (dumbmonit_backup_last_status{source="*"} < 1).< 130 минAdvisory (warning)24 ч

Сообщаются агентом для каждого репозитория, объявленного в restic_repos или borg_repos в agent.yaml; см. Агент. Без объявленного репозитория рядов нет, поэтому ни одно из правил не может сработать.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
restic/Borg backup too oldНет нового снимка restic или Borg в этом репозитории более 48 часов (dumbmonit_agent_backup_repo_last_snapshot_age_seconds).> 48 ч1 чAdvisory (warning)24 ч
restic/Borg repository unreachableАгент не может прочитать репозиторий: он недоступен, пароль отклонён или отсутствует бинарный файл; в логе агента указано, что именно (dumbmonit_agent_backup_repo_reachable < 1).< 130 минAdvisory (warning)24 ч

Сообщаются агентом; см. Агент.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
WireGuard peer silentPeer с persistent keepalive не завершал handshake более 15 минут: туннель не работает (dumbmonit_agent_wireguard_peer_handshake_age_seconds and on (target, interface, peer) dumbmonit_agent_wireguard_peer_keepalive_seconds > 0). Peer, который никогда не подключался, отсчитывает свою тишину с момента, когда агент впервые его увидел. Peer без keepalive (телефон, ноутбук) простаивают днями и исключены; измените порог, чтобы изменить N, или уберите часть and on …, чтобы следить за каждым peer.> 15 мин5 минAdvisory (warning)6 ч

Сообщаются агентом; см. Агент. Ряд существует только для CHILD_SA, объявленного в конфигурации strongSwan, поэтому правило срабатывает и на туннеле, который так и не поднялся, а не только на оборвавшемся.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
IPsec tunnel downУ настроенного туннеля IPsec нет установленной сессии (dumbmonit_agent_ipsec_tunnel_up < 1).< 110 минAdvisory (warning)6 ч

Сообщается агентом; см. Агент. Тест по умолчанию выключен, и каждое правило молчит, пока в agent.yaml не задан соответствующий порог: никто не может угадать, что значит «медленно» для вашего канала.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Internet download rate lowПоследний тест показал скорость загрузки ниже speedtest_min_download_mbps (dumbmonit_agent_speedtest_download_min_bytes_per_second - dumbmonit_agent_speedtest_download_bytes_per_second > 0).> 010 минAdvisory (warning)24 ч
Internet upload rate lowТо же, для speedtest_min_upload_mbps.> 010 минAdvisory (warning)24 ч
Internet latency highПоследний тест показал задержку выше speedtest_max_latency_ms.> 010 минAdvisory (warning)24 ч

Сообщаются агентом; см. Агент.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Disk SMART failingСобственная самооценка SMART диска сообщает о его неисправности (dumbmonit_agent_disk_smart_ok == bool 0). Замените его и проверьте резервные копии.> 010 минWarning (critical)24 ч
ZFS pool degradedПул ZFS больше не в порядке: устройство отсутствует, неисправно или удалено (dumbmonit_agent_zfs_pool_health: 0 online, 1 degraded, 2 всё остальное).> 05 минWarning (critical)6 ч
ZFS scrub found errorsПоследний scrub ZFS нашёл ошибки в этом пуле или файлы безвозвратно потеряны (dumbmonit_agent_zfs_pool_scrub_errors or dumbmonit_agent_zfs_pool_data_errors). Пул может оставаться ONLINE.> 010 минWarning (critical)24 ч
Temperature above criticalДатчик выше критической температуры, которую объявляет его собственное оборудование (dumbmonit_agent_sensor_temperature_celsius >= dumbmonit_agent_sensor_temperature_critical_celsius); фиксированного значения нет.> 05 минWarning (critical)6 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Backup too oldНет успешной резервной копии Proxmox VE более семи дней (dumbmonit_proxmox_backup_last_age_seconds).> 7 дн1 чAdvisory (warning)24 ч
VM or container stoppedГость работал в последние два часа и остановлен пять минут (1 - dumbmonit_proxmox_guest_running, объединено через and с max_over_time(…[2h]) == 1).> 05 минAdvisory (warning)6 ч
VM or container CPU highГость использовал более 90 % выделенных ему ядер в течение пятнадцати минут (dumbmonit_proxmox_guest_cpu_percent). Уведомление называет гостя, nextcloud (202).> 90 %15 минAdvisory (warning)6 ч
VM or container memory highГость использовал более 95 % своей памяти в течение десяти минут (dumbmonit_proxmox_guest_memory_percent).> 95 %10 минAdvisory (warning)6 ч
VM or container disk almost fullКорневой диск гостя заполнен более чем на 90 % (dumbmonit_proxmox_guest_disk_used_percent): у контейнеров всегда, у ВМ только когда гостевой агент QEMU сообщает об использовании.> 90 %15 минAdvisory (warning)24 ч
Guest lockedВМ или контейнер заблокирован шесть часов (dumbmonit_proxmox_guest_locked, метка lock): прерванная резервная копия или миграция оставила блокировку, и ни одна операция не может выполняться на госте, даже следующая резервная копия.> 06 чAdvisory (warning)24 ч
Old snapshotСамому старому снимку гостя более тридцати дней (dumbmonit_proxmox_guest_snapshot_oldest_age_seconds).> 30 дн1 чInfo (info)7 дн
HA resource in errorРесурс Proxmox HA находится в состоянии error или fenced (dumbmonit_proxmox_ha_resource_error).> 02 минWarning (critical)1 ч
HA manager not reportingЛокальный менеджер ресурсов HA узла перестал записывать своё состояние (dumbmonit_proxmox_ha_lrm_stale): гости HA этого узла не будут ни перезапущены, ни перемещены.> 05 минWarning (critical)1 ч
Cluster lost quorumКластер Proxmox не имеет кворума (1 - dumbmonit_proxmox_cluster_quorate): гостей больше нельзя запускать.> 01 минWarning (critical)30 мин
Proxmox node offlineУзел кластера сообщается как офлайн (1 - dumbmonit_proxmox_node_up).> 02 минWarning (critical)30 мин
Proxmox service downОсновной демон Proxmox не запущен на узле (dumbmonit_proxmox_node_core_services_down: pve-cluster, pvedaemon, pveproxy, pvestatd, pve-firewall, corosync, watchdog-mux, каждый учитывается только там, где узел его включает).> 05 минWarning (critical)1 ч
Node network interface downИнтерфейс, настроенный на запуск при загрузке, не поднят на узле (dumbmonit_proxmox_node_interface_offline). Интерфейс, поднимаемый по требованию, никогда не сообщается.> 05 минAdvisory (warning)6 ч
Proxmox storage almost fullХранилище Proxmox заполнено более чем на 85% (dumbmonit_proxmox_storage_used_percent); при 90% подключается “Disk almost full”.> 85 %15 минAdvisory (warning)24 ч
Thin pool almost fullThin-пул LVM заполнен более чем на 90 %: при заполнении каждый гость, хранящийся на нём, переходит в режим только для чтения (dumbmonit_proxmox_node_thinpool_used_percent); сбрасывается ниже 88 %.> 90 %15 минWarning (critical)6 ч
Thin pool metadata almost fullТом метаданных thin-пула LVM заполнен более чем на 80 % (dumbmonit_proxmox_node_thinpool_metadata_used_percent). Он намного меньше тома данных и часто переполняется первым, с теми же последствиями.> 80 %15 минWarning (critical)6 ч
Proxmox disk wearing outSSD или NVMe узла израсходовал более 90 % своего номинального ресурса (dumbmonit_proxmox_node_disk_wearout_percent). Уведомление выглядит как pve1 · /dev/nvme0n1.> 90 %1 чAdvisory (warning)7 дн
Proxmox disk SMART failureДиск узла сообщает состояние SMART FAILED (dumbmonit_proxmox_node_disk_smart_failed).> 05 минWarning (critical)24 ч
Proxmox ZFS pool degradedПул ZFS узла не в состоянии ONLINE (dumbmonit_proxmox_node_zfs_pool_degraded). Уведомление выглядит как pve2 · tank.> 05 минWarning (critical)6 ч
Backup job failedПоследнее задание vzdump на узле или плановое задание резервного копирования завершилось неудачей (1 - dumbmonit_proxmox_backup_job_last_ok).> 010 минWarning (critical)24 ч
Backup job excludes a diskПлановое задание резервного копирования пропускает диск одного из охватываемых им гостей (dumbmonit_proxmox_backup_job_guest_excluded_volumes): задание каждую ночь завершается успешно, а этих данных в копии нет. Приводы CD-ROM и образы cloudinit исключены по замыслу и никогда не учитываются.> 01 чAdvisory (warning)7 дн
Replication failedЗадание репликации сообщает об ошибке или ненулевом счётчике сбоев (dumbmonit_proxmox_replication_job_error): резервная копия устарела.> 010 минWarning (critical)6 ч
Ceph health errorCeph сообщает HEALTH_ERR (dumbmonit_proxmox_ceph_health, 0 OK, 1 WARN, 2 ERR).≥ 22 минWarning (critical)30 мин
Ceph health warningCeph сообщает HEALTH_WARN более пятнадцати минут (dumbmonit_proxmox_ceph_health == 1).> 015 минAdvisory (warning)6 ч
Ceph OSD downOSD Ceph не работает пять минут (1 - dumbmonit_proxmox_ceph_osd_up). Уведомление называет OSD и его хост.> 05 минWarning (critical)1 ч
Ceph OSD nearly fullОдин OSD Ceph заполнен более чем на 85 % (dumbmonit_proxmox_ceph_osd_used_percent): запись прекращается, когда он достигает своего предела, что бы ни говорило среднее по кластеру; сбрасывается ниже 82 %.> 85 %15 минAdvisory (warning)24 ч
Ceph pool almost fullПул Ceph заполнен более чем на 85 % (dumbmonit_proxmox_ceph_pool_used_percent); сбрасывается ниже 82 %.> 85 %15 минAdvisory (warning)24 ч
Ceph noout flag left onФлаг Ceph noout установлен два часа (dumbmonit_proxmox_ceph_flag{flag="noout"}): ребалансировка отключена, и кластер выглядит здоровым, пока его избыточность сокращается.> 02 чInfo (info)24 ч
Proxmox updates pendingНа узле ожидает более двадцати обновлений пакетов (dumbmonit_proxmox_node_updates_pending).> 201 чInfo (info)7 дн
Proxmox security updates pendingХотя бы одно ожидающее обновление приходит из архива безопасности (dumbmonit_proxmox_node_updates_security_pending).> 01 чAdvisory (warning)7 дн
Proxmox packages changedУстановленная версия пакета Proxmox изменилась между двумя опросами — кто-то выполнил apt upgrade (dumbmonit_proxmox_node_packages_changed, публикуется в течение одного часа, подробности в его метке changes: pve1 · pve-manager 8.2.4→8.2.7). Разрешается само через час.> 01 минInfo (info)24 ч
Node certificate expiringСертификат узла Proxmox истекает менее чем через четырнадцать дней (dumbmonit_proxmox_node_certificate_expiry_days).< 14 дн1 чAdvisory (warning)24 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
PBS datastore almost fullDatastore PBS заполнен более чем на 90%.> 90 %15 минAdvisory (warning), эскалируется через 24 ч6 ч
PBS datastore filling upПри текущей скорости PBS оценивает, что datastore заполнится в течение семи дней.< 7 дн1 чAdvisory (warning)24 ч
PBS datastore not mountedСъёмный datastore не смонтирован (dumbmonit_pbs_datastore_removable_unmounted): в него ничего нельзя записать.> 06 чAdvisory (warning)24 ч
PBS backup too oldНет нового снимка для этой группы резервного копирования (по одной на машину) более двух дней (dumbmonit_pbs_backup_last_age_seconds). Измените порог для машин, копируемых еженедельно; уведомление называет группу и datastore.> 2 дн1 чAdvisory (warning)24 ч
PBS backup verification failedПроверка последнего снимка для этой машины завершилась неудачей (dumbmonit_pbs_backup_last_verified < 1).< 130 минWarning (critical)24 ч
PBS task failedХотя бы одна задача PBS завершилась неудачей в окне просмотра (dumbmonit_pbs_tasks_failed).> 010 минAdvisory (warning)24 ч
PBS garbage collection too oldНет успешной сборки мусора на этом datastore более восьми дней (dumbmonit_pbs_gc_last_success_age_seconds).> 8 дн1 чAdvisory (warning)24 ч
PBS garbage collection failedПоследняя сборка мусора на datastore завершилась неудачей (dumbmonit_pbs_gc_last_run_ok < 1; из /gc на PBS 3.3+, из последней задачи GC раньше).< 110 минAdvisory (warning)24 ч
PBS corrupt chunks foundСборка мусора нашла нечитаемые чанки на datastore (dumbmonit_pbs_gc_bad_chunks): некоторые резервные копии больше нельзя восстановить.> 010 минWarning (critical)24 ч
PBS prune job failedПоследний запуск задания prune PBS завершился неудачей: ничего не очищается, и datastore продолжает заполняться (dumbmonit_pbs_job_last_ok{kind="prune"} < 1). Уведомление называет задание и datastore.< 110 минAdvisory (warning)24 ч
PBS verification job failedПоследний запуск задания проверки PBS завершился неудачей (dumbmonit_pbs_job_last_ok{kind="verify"} < 1).< 110 минAdvisory (warning)24 ч
PBS sync job failedПоследний запуск задания синхронизации PBS завершился неудачей (dumbmonit_pbs_sync_job_last_ok < 1).< 110 минWarning (critical)24 ч
PBS tape backup failedПоследний запуск резервного копирования на ленту завершился неудачей (dumbmonit_pbs_tape_backup_job_last_ok < 1): офлайн-копия не создаётся.< 110 минWarning (critical)24 ч
PBS job never ranЗадание включено и запланировано, но ни разу не запускалось (dumbmonit_pbs_job_never_run).> 02 днAdvisory (warning)7 дн
PBS service downСлужба, необходимая Proxmox Backup Server, не запущена (dumbmonit_pbs_node_service_active{expected="1"} < 1); пока она не работает, резервное копирование невозможно.< 15 минWarning (critical)6 ч
PBS disk SMART failureДиск сервера резервного копирования сообщает состояние SMART FAILED (dumbmonit_pbs_node_disk_smart_failed). Уведомление выглядит как /dev/sdb.> 05 минWarning (critical)24 ч
PBS SSD worn outSSD сервера резервного копирования израсходовал более 90 % своего номинального ресурса (dumbmonit_pbs_node_disk_wearout_percent).> 90 %1 чAdvisory (warning)7 дн
PBS ZFS pool degradedПул ZFS сервера резервного копирования не в состоянии ONLINE (dumbmonit_pbs_node_zfs_pool_degraded).> 05 минWarning (critical)6 ч
PBS certificate expiringСертификат, который отдаёт сервер резервного копирования, истекает менее чем через три недели (dumbmonit_pbs_node_certificate_expires_seconds). Требуется параметр certificates.< 21 дн1 чAdvisory (warning)48 ч
PBS restart pending after upgradeПакет обновлён, но работающий демон всё ещё старый (dumbmonit_pbs_node_running_version_stale).> 06 чInfo (info)7 дн
PBS updates pendingНа сервере резервного копирования ожидает более двадцати обновлений пакетов (dumbmonit_pbs_node_updates_pending).> 201 чInfo (info)7 дн
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Federated instance unreachableКонсоль дата-центра не может достучаться до одного из кластеров Proxmox VE или серверов резервного копирования, которые она объединяет (dumbmonit_pdm_remote_reachable < 1). Уведомление называет экземпляр и его продукт.< 110 минWarning (critical)6 ч
Federated instance behindЭкземпляр работает на более старой версии, чем другой экземпляр того же продукта в той же инфраструктуре (dumbmonit_pdm_remote_version_behind). Сравнивается между экземплярами, никогда с тем, что публикует Proxmox.> 01 чInfo (info)7 дн
Task failed on a federated instanceХотя бы одна задача завершилась неудачей на объединённом экземпляре в окне просмотра (dumbmonit_pdm_remote_tasks_failed).> 010 минAdvisory (warning)24 ч
Datacenter console disk almost fullКорневая файловая система консоли дата-центра заполнена более чем на 90 % (dumbmonit_pdm_node_rootfs_percent): когда она заполнена, консоль перестаёт записывать то, что собирает.> 90 %15 минAdvisory (warning), эскалируется через 24 ч6 ч
Datacenter console certificate expiringСертификат консоли дата-центра истекает менее чем через четырнадцать дней (dumbmonit_pdm_node_certificate_expiry_days).< 14 дн1 чAdvisory (warning)24 ч
Datacenter console updates pendingНа консоли дата-центра ожидает более двадцати обновлений пакетов (dumbmonit_pdm_node_updates_pending).> 201 чInfo (info)7 дн
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Mail queue growingОчередь отложенной почты выросла более чем на сто сообщений за два часа (delta(dumbmonit_pmg_queue_messages{queue="deferred"}[2h])): следующий узел, вероятно, отказывается принимать почту. Рост, а не размер, потому что загруженный шлюз всегда держит несколько десятков отложенных.> 10015 минAdvisory (warning)6 ч
Mail stuck in the queueСообщение ждёт в очереди более четырёх часов (dumbmonit_pmg_queue_oldest_age_seconds). Возраст — нижняя граница (qshape сообщает интервалами), поэтому правило срабатывает скорее поздно, чем рано. Уведомление называет очередь.> 4 ч15 минWarning (critical)6 ч
Mail gateway service stoppedОстановлена служба, необходимая шлюзу для приёма и фильтрации почты (dumbmonit_pmg_service_running для postfix, pmg-smtp-filter, pmgpolicy, pmgproxy, pmgdaemon). Не установленный юнит не имеет ряда и не может сработать.< 15 минWarning (critical)6 ч
Virus signatures out of dateЕжедневным вирусным сигнатурам ClamAV более двух дней (dumbmonit_pmg_signature_age_seconds{family="virus",database="daily"}): freshclam перестал их обновлять, и шлюз продолжает фильтровать по прошлонедельному списку.> 2 дн1 чAdvisory (warning)24 ч
Spam rules out of dateПравилам SpamAssassin более восьми дней (dumbmonit_pmg_signature_age_seconds{family="spam"}). У канала, который никогда не обновлялся, нет ни даты, ни ряда.> 8 дн1 чAdvisory (warning)7 дн
Quarantine filling upВ спам-карантин поступило более тысячи сообщений за шесть часов (delta(dumbmonit_pmg_quarantine_messages{kind="spam"}[6h])): кампания или правило, только что отправившее легитимный домен в корзину.> 100030 минAdvisory (warning)12 ч
Mail gateway cluster degradedШлюз кластера больше не синхронизирован с остальными (dumbmonit_pmg_cluster_node_insync): он фильтрует по устаревшей базе правил. У автономного шлюза ряда нет.< 115 минAdvisory (warning)6 ч
Mail gateway certificate expiringСертификат почтового шлюза истекает менее чем через четырнадцать дней (dumbmonit_pmg_certificate_expires_in_seconds).< 14 дн1 чAdvisory (warning)24 ч
Mail gateway updates pendingНа почтовом шлюзе ожидает более двадцати обновлений пакетов (dumbmonit_pmg_node_updates_pending).> 201 чInfo (info)7 дн
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
MDaemon mail service downОтслеживаемая почтовая служба сервера MDaemon не отвечает или приветствует лишь затем, чтобы отказать в обслуживании (dumbmonit_mdaemon_service_up). Ряд есть только у служб, перечисленных на мониторе. Уведомление называет службу и её порт.< 15 минWarning (critical)6 ч
MDaemon XML API not answeringXML API перестал отвечать, пока почтовые службы ещё отвечают (dumbmonit_mdaemon_api_up): вероятно, остановлено Remote Administration. Ряд есть только у монитора с учётной записью.< 115 минAdvisory (warning)12 ч
MDaemon mail queue growingВходящая, локальная или удалённая очередь выросла более чем на сто сообщений за два часа (delta(dumbmonit_mdaemon_queue_messages{queue=~"inbound|local|remote"}[2h])): MDaemon перестал доставлять из неё. Читается агентом на сервере MDaemon, поэтому оповещение относится к монитору агента.> 10015 минAdvisory (warning)6 ч
MDaemon Bad queue not emptyВ очереди Bad ждут сообщения (dumbmonit_mdaemon_queue_messages{queue="bad"}): MDaemon не смог ни доставить, ни вернуть их, и они остаются там, пока администратор не освободит или не удалит их.> 030 минAdvisory (warning)24 ч
MDaemon Retry queue highБолее пятидесяти сообщений ждут в очереди Retry (dumbmonit_mdaemon_queue_messages{queue="retry"}): удалённые серверы продолжают временно отказывать в приёме почты.> 501 чAdvisory (warning)6 ч
SecurityGateway service downОтслеживаемая служба шлюза не отвечает или приветствует лишь затем, чтобы отказать в обслуживании (dumbmonit_securitygateway_service_up).< 15 минWarning (critical)6 ч
SecurityGateway API not answeringREST API перестал отвечать, пока службы ещё отвечают (dumbmonit_securitygateway_api_up). Ряд есть только у монитора с ключом API.< 115 минAdvisory (warning)12 ч
SecurityGateway delivery queue growingОчередь доставки выросла более чем на сто сообщений за два часа (delta(dumbmonit_securitygateway_counter{counter=~".*(delivery_queue|queued_for_delivery).*"}[2h])): почтовый сервер за шлюзом, вероятно, отказывается принимать почту. Имена счётчиков берутся из API как есть; если ваша версия называет очередь иначе, поправьте matcher.> 10015 минAdvisory (warning)6 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Internet gateway downdpinger больше не получает ответа от шлюза (dumbmonit_opnsense_gateway_up). На межсетевом экране с несколькими WAN трафик уже тихо ушёл на другой канал. loss и delay — предупреждения, а не сбои, и это правило не вызывают.< 15 минWarning (critical)6 ч
Gateway losing packetsШлюз теряет более пятой части отправленных ему пакетов (dumbmonit_opnsense_gateway_loss_percent): канал отвечает, но плохо. Сбрасывается ниже 10 %.> 20 %10 минAdvisory (warning)6 ч
Gateway slowВремя кругового обхода шлюза остаётся выше 300 мс (dumbmonit_opnsense_gateway_delay_seconds). Триста миллисекунд не трогают резервный мобильный канал.> 300 мс15 минInfo (info)12 ч
Firewall state table filling uppf отслеживает более 80 % разрешённых ему соединений (dumbmonit_opnsense_pf_states_used_percent). За пределом межсетевой экран отбрасывает новые соединения без каких-либо других симптомов.> 80 %10 минAdvisory (warning)6 ч
Firewall network buffers exhaustedИспользуется более 90 % сетевых буферов FreeBSD (dumbmonit_opnsense_mbuf_used_percent). Межсетевой экран, у которого они закончились, перестаёт пересылать трафик при простаивающем CPU.> 90 %10 минAdvisory (warning)6 ч
VPN tunnel downУ настроенного VPN-туннеля нет сеанса в течение десяти минут (dumbmonit_opnsense_vpn_tunnel_up). Не установленный плагин или отключённое соединение не имеют ряда и не могут сработать.< 110 минAdvisory (warning)6 ч
Firewall resolver stoppedUnbound перестал отвечать (dumbmonit_opnsense_unbound_running). Межсетевой экран по-прежнему маршрутизирует; машины за ним больше не разрешают имена. Отключите это правило, если ваш межсетевой экран разрешает имена чем-то другим.< 15 минAdvisory (warning)6 ч
Firewall core service stoppeddpinger, следящий за шлюзами, или configd, запускающий всё остальное, остановлен (dumbmonit_opnsense_service_running{service=~"dpinger|configd"}). Только эти два, потому что намеренно выключенная служба — не сбой.< 15 минWarning (critical)6 ч
Firewall too hotДатчик показывает более 85 °C (dumbmonit_opnsense_temperature_celsius): безвентиляторная коробка в шкафу вот-вот начнёт троттлить. Сбрасывается при 78 °C.> 85 °C10 минAdvisory (warning)6 ч
Firewall left in CARP maintenance modeCARP оставлен в постоянном режиме обслуживания (dumbmonit_opnsense_carp_maintenance_mode): этот межсетевой экран передал свои виртуальные адреса партнёру и сам их не заберёт обратно.> 01 чInfo (info)24 ч
Firewall reboot pendingОбновление установлено, но для вступления в силу требуется перезагрузка (dumbmonit_opnsense_firmware_reboot_required).> 01 чInfo (info)7 дн
Firewall updates pendingУ межсетевого экрана есть пакеты, ожидающие обновления (dumbmonit_opnsense_firmware_updates_pending). Это самая уязвимая машина в сети.> 01 чInfo (info)7 дн
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
NAS pool degradedZFS больше не считает пул здоровым (dumbmonit_truenas_pool_healthy). Деградировавший пул всё ещё отдаёт свои данные, именно поэтому никто не замечает, пока не откажет следующий диск. Страница монитора называет диск.< 15 минWarning (critical)6 ч
NAS disk errorsДиски пула сообщили об ошибках чтения, записи или контрольной суммы с момента последнего zpool clear (dumbmonit_truenas_pool_device_errors, один ряд на вид).> 015 минAdvisory (warning)24 ч
NAS pool almost fullПул заполнен более чем на 85 % (dumbmonit_truenas_pool_used_percent). ZFS замедляется задолго до заполнения. Сбрасывается при 80 %.> 85 %30 минAdvisory (warning), эскалируется через 7 дн24 ч
NAS scrub found errorsПоследний scrub пула нашёл повреждённые данные (dumbmonit_truenas_pool_last_scrub_errors).> 05 минWarning (critical)24 ч
NAS scrub overdueПул не завершал scrub более 45 дней (dumbmonit_truenas_pool_last_scrub_age_seconds). Отсутствует после resilver, который стирает запись о последнем scrub.> 45 дн1 чInfo (info)7 дн
NAS disk failed its SMART testСамотест SMART в журнале диска завершился неудачей (dumbmonit_truenas_disk_smart_failed). У диска, который никогда не тестировался, ряда нет.> 05 минWarning (critical)24 ч
NAS disk too hotДиск выше 55 °C (dumbmonit_truenas_disk_temperature_celsius, читается из кэша TrueNAS). Сбрасывается при 50 °C.> 55 °C15 минAdvisory (warning)6 ч
NAS dataset near its quotaДатасет использовал более 90 % своей квоты (dumbmonit_truenas_dataset_quota_used_percent): при 100 % записи в него завершаются ошибкой, хотя в пуле ещё есть место. Нет квоты — нет ряда.> 90 %30 минAdvisory (warning)24 ч
NAS replication failedВключённая задача репликации в состоянии ошибки (dumbmonit_truenas_replication_error): копия на другой стороне стареет.> 010 минAdvisory (warning)12 ч
NAS snapshot task failedВключённая задача периодических снимков в состоянии ошибки (dumbmonit_truenas_snapshot_task_error).> 010 минAdvisory (warning)12 ч
NAS snapshots staleВключённая задача периодических снимков не запускалась более восьми дней (dumbmonit_truenas_snapshot_task_last_run_age_seconds): задача, которая перестаёт запускаться, не завершается ошибкой, она просто замолкает.> 8 дн1 чAdvisory (warning)24 ч
TrueNAS alert raisedСам TrueNAS поднял оповещение уровня ERROR или выше (dumbmonit_truenas_alerts). Его собственная формулировка — на странице монитора.> 010 минAdvisory (warning)12 ч
NAS service stoppedСлужба, настроенная на запуск вместе с NAS, остановлена (dumbmonit_truenas_service_running). У намеренно выключенной службы ряда нет.< 110 минAdvisory (warning)6 ч
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Synology disk SMART warningDSM больше не сообщает состояние SMART этого диска как normal (dumbmonit_synology_disk_smart_status: 1 attention, 2 critical, неизвестные слова считаются как 1).> 015 минAdvisory (warning)24 ч
Synology disk failedDSM сообщает, что диск вышел из строя или неисправен (dumbmonit_synology_disk_status).≥ 25 минWarning (critical)6 ч
Synology disk bad sectorsЧисло плохих секторов диска превышает порог, заданный в DSM (dumbmonit_synology_disk_bad_sector_exceeded).> 015 минWarning (critical)24 ч
Synology disk bad sectors growingЗа последние 24 часа появились новые нечитаемые секторы (delta(dumbmonit_synology_disk_unc_count[24h])).> 015 минAdvisory (warning)24 ч
Synology SSD wearing outУ SSD осталось менее 10 % номинального ресурса (dumbmonit_synology_disk_remaining_life_percent); сбрасывается выше 12 %.< 10 %1 чAdvisory (warning)7 дн
Synology volume degradedТом деградировал или вышел из строя: избыточность утрачена (dumbmonit_synology_volume_status).≥ 25 минWarning (critical)6 ч
Synology storage pool degradedПул хранения или SSD-кэш деградировал или вышел из строя: диск отказал, избыточность утрачена или перестраивается (dumbmonit_synology_pool_status or dumbmonit_synology_ssd_cache_status).≥ 25 минWarning (critical)6 ч
Synology volume almost fullТом заполнен на 90 % или более, без учёта места, зарезервированного толстыми iSCSI LUN (dumbmonit_synology_volume_effective_used_percent, без LUN равно сырой заполненности); сбрасывается ниже 88 %. Том, заполненный толстым LUN, полон по замыслу и не вызывает оповещения.≥ 90 %15 минAdvisory (warning), эскалируется через 24 ч6 ч
Synology thin LUN over-allocationТонким LUN тома обещано больше места, чем на томе ещё свободно (dumbmonit_synology_volume_thin_overcommit_percent: обещанное и ещё не записанное место в процентах от свободного); сбрасывается ниже 95 %.≥ 100 %1 чAdvisory (warning)24 ч
Synology thin LUN almost fullТонкий LUN записан на 95 % своего размера или более (dumbmonit_synology_lun_used_percent). Толстый LUN с NAS непрозрачен: оповещают правила монитора, который его использует (datastore, файловая система).≥ 95 %30 минAdvisory (warning)24 ч
Synology temperature highДиск выше 55 °C или DSM поднял собственное предупреждение о температуре (dumbmonit_synology_disk_temperature_celsius, dumbmonit_synology_temperature_warning); сбрасывается ниже 52 °C.> 55 °C15 минAdvisory (warning)6 ч
Synology memory highИспользование памяти NAS выше 95 % (dumbmonit_synology_memory_usage_percent); сбрасывается ниже 90 %.> 95 %15 минAdvisory (warning)6 ч
Active Backup task failedПоследний запуск задачи Active Backup for Business завершился неудачей или скопировал лишь часть своих устройств (dumbmonit_abb_task_last_status == bool 0). Уведомление называет задачу.> 010 минWarning (critical)24 ч
Active Backup too oldНет успешного запуска Active Backup for Business для этой задачи более двух дней (dumbmonit_abb_task_last_success_seconds). Ряда нет для задачи, которая ни разу не завершалась успешно; тогда говорит “Active Backup task failed”.> 2 дн1 чAdvisory (warning)24 ч
Active Backup task disabledУ задачи нет расписания или её непрерывное резервное копирование приостановлено (dumbmonit_abb_task_enabled == bool 0): она ничего не скопирует, пока кто-нибудь её не запустит.> 01 чInfo (info)7 дн
Active Backup device overdueУстройство дольше без успешного запуска Active Backup for Business, чем позволяет его собственный ритм, исключая выходные дни (dumbmonit_abb_device_overdue, см. Synology).> 030 минAdvisory (warning)24 ч
Active Backup device failingПоследние две или более попытки устройства завершились неудачей (dumbmonit_abb_device_consecutive_failures); отменённый запуск не считается ни тем, ни другим.≥ 210 минWarning (critical)24 ч

VictoriaMetrics, VictoriaLogs, Loki и Graylog (мониторы). Счётчики проходят через increase_prometheus, поэтому сервер, добавленный с историей отклонённых данных, не срабатывает на первом же измерении.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Metrics or log storage read-onlyСвободное место на диске упало ниже -storage.minFreeDiskSpaceBytes, и хранилище отклоняет любую запись (dumbmonit_victoriametrics_read_only or dumbmonit_victorialogs_read_only).≥ 12 минWarning (critical)1 ч
Metrics or log storage almost read-onlyОсталось менее 10% диска до перехода в режим только для чтения (dumbmonit_victoriametrics_disk_headroom_percent or dumbmonit_victorialogs_disk_headroom_percent); сбрасывается выше 12 %.< 10 %30 минAdvisory (warning)24 ч
Metrics or log server unhealthy/health не отвечает OK (dumbmonit_victoriametrics_healthy or dumbmonit_victorialogs_healthy).< 13 минWarning (critical)6 ч
Metrics or log data refusedСэмплы или строки логов отклонены за последний час: метки времени вне срока хранения, слишком длинные метки, лимит рядов (increase_prometheus(dumbmonit_victoriametrics_rows_rejected_total[1h]) or increase_prometheus(dumbmonit_victorialogs_rows_rejected_total[1h])).> 015 минAdvisory (warning)24 ч
VictoriaMetrics slow insertsБолее 5% новых сэмплов за 15 минут пошли по медленному пути: не хватает памяти для активных рядов ((100 * increase_prometheus(dumbmonit_victoriametrics_slow_inserts_total[15m]) / increase_prometheus(dumbmonit_victoriametrics_rows_added_total[15m])) and on (target) dumbmonit_victoriametrics_uptime_seconds > 900); сбрасывается ниже 3 %. Оценивается, только когда сервер проработал 15 минут, поэтому перезапуск (холодный кэш, счётчики обнулились внутри окна) не оставляет правило в ожидании.> 5 %30 минAdvisory (warning)24 ч
Loki not ready/ready не отвечает ready (dumbmonit_loki_ready).< 15 минWarning (critical)6 ч
Loki refusing log linesСтроки отклонены за последний час: слишком старые, лимит скорости или потока, слишком длинная строка (increase_prometheus(dumbmonit_loki_discarded_lines_total[1h])).> 015 минAdvisory (warning)24 ч
Loki cannot flush to storageЧанки не смогли попасть в хранилище за последние 30 минут; они теряются, если Loki перезапустится (increase_prometheus(dumbmonit_loki_flush_failures_total[30m])).> 010 минWarning (critical)1 ч
Loki write-ahead log disk fullЗаписи WAL потеряны из-за заполненного диска (increase_prometheus(dumbmonit_loki_wal_disk_full_failures_total[30m])).> 05 минWarning (critical)1 ч
Loki request errorsБолее пяти запросов получили ответ с ошибкой сервера за 15 минут (increase_prometheus(dumbmonit_loki_request_errors_total[15m])).> 515 минAdvisory (warning)6 ч
Graylog not processingОбработка сообщений приостановлена на узле (dumbmonit_graylog_processing).< 15 минWarning (critical)6 ч
Graylog search cluster downOpenSearch или Elasticsearch в состоянии red или недоступен из Graylog (dumbmonit_graylog_indexer_status: 2 red, 3 недоступен).≥ 25 минWarning (critical)1 ч
Graylog search cluster yellowРеплики шардов не назначены в течение получаса (dumbmonit_graylog_indexer_status == 1).> 030 минAdvisory (warning)24 ч
Graylog journal fillingЖурнал заполнен более чем наполовину: вывод не справляется (dumbmonit_graylog_journal_used_percent); сбрасывается ниже 40 %.> 50 %10 минAdvisory (warning), эскалируется через 1 ч6 ч
Graylog input failedНе удалось запустить input (dumbmonit_graylog_inputs_failed).> 05 минAdvisory (warning)24 ч
Graylog indexing failuresЗаписи в кластер поиска или обработка сообщений завершились неудачей за последний час (increase_prometheus(dumbmonit_graylog_output_failures_total[1h]) + increase_prometheus(dumbmonit_graylog_processing_failures_total[1h])).> 015 минAdvisory (warning)24 ч

Nextcloud, Immich, Paperless-ngx, Jellyfin и Plex (мониторы). Они редко падают полностью: страница открывается, а синхронизация, миниатюры, импорт или сканирование библиотек остановились. Эти правила следят за такими состояниями; приложение, которое не отвечает вовсе, — это Monitor unreachable.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Nextcloud stuck in maintenanceРежим обслуживания включён (dumbmonit_nextcloud_maintenance): никто не может войти или синхронизироваться.> 030 минAdvisory (warning), эскалируется через 3 ч6 ч
Nextcloud database upgrade pendingКод обновлён, и Nextcloud ждёт occ upgrade (dumbmonit_nextcloud_needs_db_upgrade).> 010 минWarning (critical)1 ч
Nextcloud update availableПроверка обновлений Nextcloud нашла более новый выпуск (dumbmonit_nextcloud_update_available).> 01 чInfo (info)7 дн
Nextcloud OPcache fullВ OPcache PHP закончилось место, и страницы замедляются (dumbmonit_nextcloud_opcache_full).> 030 минAdvisory (warning)24 ч
Nextcloud free space lowМенее 5 ГиБ свободно для каталога данных (dumbmonit_nextcloud_free_space_bytes / 1073741824); сбрасывается выше 6 ГиБ.< 5 ГиБ30 минAdvisory (warning)24 ч
Immich jobs stalledЗадания ждут в очереди, которая не приостановлена и ничего не выполняет (dumbmonit_immich_queue_waiting > 0 and on (target, queue) dumbmonit_immich_queue_active == 0 unless on (target, queue) dumbmonit_immich_queue_paused == 1). Уведомление называет очередь.> 01 чAdvisory (warning)6 ч
Immich queue pausedОчередь заданий приостановлена в течение суток (dumbmonit_immich_queue_paused).> 024 чInfo (info)7 дн
Immich storage almost fullДиск с библиотекой заполнен более чем на 90 % (dumbmonit_immich_storage_used_percent); сбрасывается ниже 88 %.> 90 %30 минAdvisory (warning)24 ч
Immich update availableПроверка версий Immich знает более новый выпуск (dumbmonit_immich_update_available).> 01 чInfo (info)7 дн
Paperless task queue downRedis или Celery в состоянии ошибки (max by (target) (dumbmonit_paperless_component_status{component=~"redis|celery"}): 2 — это ошибка): ничего нового не импортируется.≥ 25 минWarning (critical)1 ч
Paperless index or sanity check errorПоисковый индекс, классификатор или проверка целостности (отсутствующие или изменённые файлы) сообщают об ошибке (dumbmonit_paperless_component_status{component=~"index|classifier|sanity_check"}).≥ 230 минAdvisory (warning)24 ч
Paperless migrations pendingОстались неприменённые миграции базы данных (dumbmonit_paperless_unapplied_migrations).> 030 минAdvisory (warning)24 ч
Paperless task failedЗадача, видимая этому пользователю, завершилась неудачей в окне неудачных задач и не была отклонена (dumbmonit_paperless_tasks_failed_recent).> 05 минAdvisory (warning)24 ч
Paperless storage almost fullДиск с документами заполнен более чем на 90 % (dumbmonit_paperless_storage_used_percent); сбрасывается ниже 88 %.> 90 %30 минAdvisory (warning)24 ч
Paperless update availableПроверка версий Paperless-ngx знает более новый выпуск (dumbmonit_paperless_update_available).> 01 чInfo (info)7 дн
Jellyfin scheduled task failedПлановая задача (сканирование библиотеки, очистка) завершилась неудачей или была прервана при последнем запуске (dumbmonit_jellyfin_scheduled_tasks_failed).> 010 минAdvisory (warning)24 ч
Jellyfin plugin brokenПлагин не удалось загрузить или он не поддерживает эту версию (dumbmonit_jellyfin_plugins_broken).> 015 минAdvisory (warning)24 ч
Jellyfin restart pendingJellyfin ждёт перезапуска сутки после установки или обновления плагина (dumbmonit_jellyfin_pending_restart).> 024 чInfo (info)7 дн
Plex update availableПроверка обновлений Plex нашла более новый выпуск (dumbmonit_plex_update_available).> 01 чInfo (info)7 дн

GitLab (self-managed) и Forgejo/Gitea (мониторы). Экземпляр, который не отвечает вовсе, — это Monitor unreachable; эти правила следят за частями, которые продолжают отдавать страницы, тихо отставая, — Sidekiq, раннеры CI/CD, плановая задача, которая перестала запускаться.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
GitLab runners all offlineВсе раннеры CI/CD, известные GitLab, офлайн, и зарегистрирован хотя бы один (dumbmonit_gitlab_runners_online and on (target) dumbmonit_gitlab_runners_total > 0).< 110 минAdvisory (warning)6 ч
GitLab Sidekiq backlog highВ очереди Sidekiq ожидает более 500 заданий (max by (target) (dumbmonit_gitlab_sidekiq_queue_backlog)): уведомления, вебхуки и импорты отстают.> 50015 минAdvisory (warning)6 ч
GitLab migrations pendingОстались неприменённые миграции базы данных после обновления (dumbmonit_gitlab_migrations_pending).> 01 чInfo (info)24 ч
GitLab license expiringЛицензия Enterprise Edition истекает менее чем через 30 дней (dumbmonit_gitlab_license_expiry_seconds).< 30 дн1 чAdvisory (warning)24 ч
Forgejo/Gitea runners all offlineВсе раннеры Actions офлайн, и зарегистрирован хотя бы один (dumbmonit_forgejo_runners_online and on (target) dumbmonit_forgejo_runners_total > 0).< 110 минAdvisory (warning)6 ч
Forgejo/Gitea scheduled task overdueПлановая задача (проверка репозитория, очистка, проверка обновлений) не запустилась в свой интервал (dumbmonit_forgejo_cron_task_overdue).> 030 минAdvisory (warning)24 ч

Одно правило, общее для всех интеграций, отслеживающих подключающиеся и копирующиеся устройства — на сегодня это телефоны, планшеты и настольные компьютеры Immich (мониторы), копируемые машины Proxmox Backup Server, по одной на группу резервного копирования (мониторы), и защищаемые компьютеры и ВМ Veeam, по одному на объект с точкой восстановления (мониторы); со временем появятся другие. Каждая интеграция вычисляет отставание относительно окна устаревания своей цели (device_stale_days, по умолчанию 3 дня) и публикует его как dumbmonit_client_device_stale_seconds с метками device, type, os, user, kind и signal (connection или backup); затем это единственное правило срабатывает для любого из них, называя устройство в уведомлении. Synology Active Backup for Business отслеживает свои устройства отдельно, через механизм, учитывающий ритм (synology_abb_device_*), а не через это общее семейство — см. Synology.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Client device staleУстройство не подключалось или не копировалось в пределах окна устаревания, настроенного для этой цели (dumbmonit_client_device_stale_seconds).> 01 чAdvisory (warning)24 ч

Pi-hole v6, читается через его REST API.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Pi-hole blocking disabledБлокировка выключена, приостановлена или не удалась (dumbmonit_pihole_blocking_enabled). Выдержка позволяет пережить пятиминутную паузу из веб-интерфейса.< 115 минAdvisory (warning)6 ч
Pi-hole blocklists staleСписки блокировки (gravity) не пересобирались более восьми дней (dumbmonit_pihole_gravity_age_seconds): еженедельное обновление не удаётся.> 8 дн1 чAdvisory (warning)24 ч
Pi-hole update availableДоступна более новая версия (dumbmonit_pihole_updates_available): образ в Docker, а иначе core, веб-интерфейс или FTL. Pi-hole проверяет раз в сутки.> 01 чInfo (info)7 дн
Pi-hole diagnosis messagesPi-hole перечисляет сообщения на странице диагностики (dumbmonit_pihole_messages): список блокировки, который не удалось загрузить, клиент с ограничением скорости, перегруженный хост.> 015 минInfo (info)24 ч

DNS-фильтр (монитор). Показатели запросов и блокировок — суммы за собственное окно статистики AdGuard Home, а не счётчики: на них не построено ни одно правило.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
AdGuard Home protection offЗащита отключена или приостановлена и ещё не вернулась (dumbmonit_adguard_protection_enabled).< 115 минAdvisory (warning)6 ч
AdGuard Home DNS not runningВеб-интерфейс отвечает, но DNS-сервер остановлен (dumbmonit_adguard_running).< 15 минWarning (critical)1 ч
AdGuard Home upstream failingВышестоящий DNS-сервер не проходит собственный тест AdGuard Home или молчит 4 секунды (dumbmonit_adguard_upstream_up, один ряд на upstream).< 110 минAdvisory (warning)6 ч
AdGuard Home filter lists staleСамому старому обновлению включённого списка фильтров более трёх дней (dumbmonit_adguard_filter_oldest_update_age_seconds).> 3 дней1 чAdvisory (warning)24 ч
AdGuard Home update availableСобственная проверка версий AdGuard Home объявила более новую версию (dumbmonit_adguard_update_available); никогда не срабатывает, когда эта проверка отключена, как в официальном образе Docker.> 01 чInfo (info)7 дней

ИБП, читаемые с сервера NUT. Каждый ряд несёт метку ups, поэтому оповещение называет ИБП, когда один сервер публикует несколько. Флаги состояния при каждом чтении равны 0 или 1, поэтому правило сбрасывается само, как только возвращается сетевое питание. ИБП, читаемые по SNMP, охватываются правилами ИБП выше.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
UPS on battery (NUT)ИБП питает нагрузку от батареи (dumbmonit_nut_ups_on_battery, флаг OB в ups.status).> 030 сWarning (critical)15 мин
UPS battery low (NUT)ИБП сообщает о низком заряде батареи, флаг LB (dumbmonit_nut_ups_low_battery): питаемые им машины вот-вот выключатся.> 01 минWarning (critical)30 мин
UPS battery needs replacing (NUT)ИБП просит заменить батарею, флаг RB (dumbmonit_nut_ups_replace_battery).> 01 чAdvisory (warning)7 дн
UPS load high (NUT)Нагрузка остаётся выше 80 % (dumbmonit_nut_ups_load_percent); сбрасывается ниже 75 %.> 80 %10 минAdvisory (warning)24 ч
UPS runtime short (NUT)ИБП оценивает время работы от батареи менее пяти минут (dumbmonit_nut_battery_runtime_seconds); сбрасывается выше шести. При сетевом питании это изношенная батарея или ИБП, слишком маленький для своей нагрузки.< 300 с5 минAdvisory (warning)24 ч
UPS data stale (NUT)Сервер NUT отвечает, но не имеет свежих данных от ИБП: кабель, драйвер или ИБП молчит (dumbmonit_nut_ups_data_stale). Тем временем отключение электричества осталось бы незамеченным.> 05 минAdvisory (warning), эскалируется через 1 ч6 ч

Ряды несут метку interface или sensor, поэтому уведомление называет порт или датчик (монитор). Счётчики проходят через increase_prometheus: маршрутизатор, добавленный с годами ошибок за плечами, не срабатывает на первом же измерении.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
MikroTik CPU highCPU маршрутизатора остаётся выше 90 % (dumbmonit_mikrotik_cpu_load_percent): его насыщают маршрутизация, межсетевой экран или скрипт. Сбрасывается ниже 80 %.> 90 %15 минAdvisory (warning)6 ч
MikroTik memory highИспользуется более 90 % памяти (dumbmonit_mikrotik_memory_used_percent). Сбрасывается ниже 85 %.> 90 %15 минAdvisory (warning)6 ч
MikroTik storage almost fullФлеш-хранилище заполнено более чем на 90 % (dumbmonit_mikrotik_storage_used_percent): изменения конфигурации и обновления могут не удаваться. Сбрасывается ниже 85 %.> 90 %30 минAdvisory (warning)24 ч
MikroTik temperature highДатчик температуры показывает выше 80 °C (dumbmonit_mikrotik_temperature_celsius). Сбрасывается при 75 °C.> 80 °C10 минAdvisory (warning)6 ч
MikroTik power supply or fan failedДатчик psu*-state или fan*-state не в состоянии ok (dumbmonit_mikrotik_health_ok). Умерший резервный блок питания ничего не отключает, пока не умрёт и второй.< 15 минWarning (critical)1 ч
MikroTik interface accumulating errorsБолее пятидесяти ошибок приёма и передачи на интерфейсе за последний час (increase_prometheus(dumbmonit_mikrotik_interface_rx_errors_total[1h]) + increase_prometheus(dumbmonit_mikrotik_interface_tx_errors_total[1h])).> 5015 минAdvisory (warning)24 ч
MikroTik link flappingИнтерфейс потерял линк более двух раз за тридцать минут (increase_prometheus(dumbmonit_mikrotik_interface_link_downs_total[30m])). Порт, отключённый навсегда, считается один раз и не срабатывает.> 25 минAdvisory (warning)1 ч
MikroTik RouterOS update availableНа канале обновлений маршрутизатора доступна более новая RouterOS (dumbmonit_mikrotik_update_available). Известно только когда маршрутизатор сам проверяет обновления: см. необязательный шаг настройки.> 01 чInfo (info)7 дн
MikroTik firmware upgrade pendingRouterBOOT старше прошивки, входящей в установленную RouterOS (dumbmonit_mikrotik_firmware_upgrade_pending); он обновляется только по запросу, затем при следующей перезагрузке.> 01 чInfo (info)7 дн

Страница монитора. Ряды устройств несут имя, модель и тип устройства, поэтому уведомление говорит «Living room AP». Устройство, ожидающее принятия, не имеет ряда device_up и никогда не считается офлайн.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
UniFi device offlineУстройство UniFi, принятое контроллером, офлайн, изолировано или не удалось принять (dumbmonit_unifi_device_up).< 15 минAdvisory (warning), эскалируется через 1 ч6 ч
UniFi Internet downШлюз UniFi сообщает об отсутствии подключения к Интернету (dumbmonit_unifi_internet_up). Без шлюза UniFi ряда не существует, и правило молчит.< 13 минWarning (critical)1 ч
UniFi WAN link downWAN-линк шлюза UniFi не работает (dumbmonit_unifi_wan_link_up): при двух линках резервирование утрачено, хотя ничего не кажется сломанным. У отключённого порта ряда нет.< 15 минAdvisory (warning)6 ч
UniFi gateway CPU highПроцессор шлюза UniFi выше 90% в течение пятнадцати минут (dumbmonit_unifi_device_cpu_percent{type="gateway"}); сбрасывается ниже 80 %.> 90 %15 минAdvisory (warning)6 ч
UniFi device waiting for adoptionВ сети появилось устройство, которое ждёт принятия в UniFi (dumbmonit_unifi_devices{state="pending"}).> 030 минInfo (info)24 ч
UniFi firmware update availableДля устройств UniFi доступно обновление прошивки (dumbmonit_unifi_devices_upgradable).> 01 чInfo (info)7 дн
UniFi alarmsUniFi зафиксировал критические события или поднял тревоги за последние 24 часа (dumbmonit_unifi_alarms). Читается только с учётной записью View Only.> 05 минAdvisory (warning)24 ч

Страница монитора.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Home Assistant in recovery modeHome Assistant запустился в режиме восстановления: его конфигурацию не удалось загрузить, и автоматизации не работают (dumbmonit_homeassistant_recovery_mode).> 02 минWarning (critical)1 ч
Home Assistant not runningHome Assistant отвечает, но не завершил запуск в течение десяти минут (dumbmonit_homeassistant_running).< 110 минAdvisory (warning)6 ч
Home Assistant entities went unavailableНедоступных сущностей как минимум на пять больше, чем час назад: остановилась интеграция, хаб или радио (sum by (target) (dumbmonit_homeassistant_entities_unavailable) - sum by (target) (dumbmonit_homeassistant_entities_unavailable offset 1h)). Считается прирост, а не общее число, которое в реальной установке никогда не равно нулю.≥ 510 минAdvisory (warning)6 ч
Home Assistant battery lowБатарея, о которой сообщает Home Assistant, разряжена (dumbmonit_homeassistant_battery_low, один ряд на батарею ниже порога монитора, по умолчанию 20%; его значение — уровень заряда).≥ 0 %30 минInfo (info)3 дн
Home Assistant update availableУ Home Assistant есть ожидающие обновления: core, операционная система, дополнения или прошивка устройств (dumbmonit_homeassistant_updates_available).> 01 чInfo (info)7 дн
Home Assistant repair to addressВ Home Assistant есть открытый ремонт с важностью error или critical (dumbmonit_homeassistant_repair{severity=~"error|critical"}).> 015 минAdvisory (warning)24 ч

Страница монитора. Ряды хостов несут esxi, ряды ВМ — vm, ряды хранилищ данных — datastore, поэтому уведомление называет объект.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
vSphere host not respondingХост vSphere не отвечает vCenter (dumbmonit_vsphere_host_connection_state: 2 не отвечает). Намеренно отключённый хост (1) не вызывает срабатывания.≥ 23 минWarning (critical)1 ч
vSphere host health redvSphere сообщает общее состояние хоста как красное (dumbmonit_vsphere_host_status == 2). Серый означает неизвестно и не вызывает срабатывания.> 05 минWarning (critical)1 ч
vSphere host left in maintenanceХост vSphere находится в режиме обслуживания сутки: его ВМ перенесены, и о нём могли забыть (dumbmonit_vsphere_host_maintenance).> 024 чInfo (info)24 ч
vSphere datastore almost fullХранилище данных vSphere заполнено на 90% или более (dumbmonit_vsphere_datastore_used_percent); сбрасывается ниже 85 %.≥ 90 %15 минAdvisory (warning), эскалируется через 24 ч6 ч
vSphere datastore inaccessibleХранилище данных vSphere недоступно: хранящиеся на нём ВМ не могут работать (dumbmonit_vsphere_datastore_accessible).< 15 минWarning (critical)1 ч
vSphere VM tools not runningVMware Tools установлены, но не запущены во включённой ВМ: гость, возможно, завис (dumbmonit_vsphere_vm_tools_status == 2). ВМ без Tools не вызывают срабатывания.> 030 минInfo (info)24 ч
vSphere red alarmvSphere поднял красную тревогу, которую никто не подтвердил (dumbmonit_vsphere_alarm{status="red"}, один ряд на тревогу, названный по тревоге и объекту).> 05 минAdvisory (warning)6 ч

Базы данных, брокер сообщений и движок безопасности

Заголовок раздела «Базы данных, брокер сообщений и движок безопасности»

Redis / Valkey, MongoDB, RabbitMQ и CrowdSec (Redis, MongoDB, RabbitMQ, CrowdSec). Счётчики проходят через increase_prometheus или changes_prometheus, поэтому ничего не срабатывает на первом измерении монитора.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Redis memory near maxmemoryИспользуемая память выше 90 % от maxmemory (dumbmonit_redis_memory_used_percent); сбрасывается ниже 85 %. Без maxmemory ряда нет.> 90 %10 минAdvisory (warning)6 ч
Redis refusing connectionsКлиентские соединения отклонялись за последние 15 минут: достигнут maxclients (increase_prometheus(dumbmonit_redis_rejected_connections_total[15m])).> 05 минWarning (critical)1 ч
Redis replication link downРеплика потеряла связь с primary (dumbmonit_redis_master_link_up).< 12 минWarning (critical)1 ч
Redis replica laggingС точки зрения primary реплика не подтверждала более 30 секунд (dumbmonit_redis_replica_lag_seconds).> 30 с5 минAdvisory (warning)6 ч
Redis snapshot failedПоследний BGSAVE завершился неудачей; при stop-writes-on-bgsave-error запись отклоняется (dumbmonit_redis_rdb_last_save_ok).< 15 минWarning (critical)1 ч
Redis append-only file write failedПоследняя запись AOF завершилась неудачей (dumbmonit_redis_aof_last_write_ok).< 15 минWarning (critical)1 ч
MongoDB replica set without primaryНи один участник не является primary: запись не принимается (dumbmonit_mongodb_replset_primary_present).< 12 минWarning (critical)1 ч
MongoDB member unreachableУчастник набора реплик недоступен для остальных (dumbmonit_mongodb_replset_member_health).< 15 минWarning (critical)1 ч
MongoDB replication lagSecondary отстаёт от primary более чем на минуту (dumbmonit_mongodb_replset_member_lag_seconds); сбрасывается ниже 30 с.> 60 с10 минAdvisory (warning)6 ч
MongoDB connections near the limitИспользуется более 80 % доступных соединений (dumbmonit_mongodb_connections_used_percent); сбрасывается ниже 75 %.> 80 %10 минAdvisory (warning)6 ч
MongoDB cache under pressureБолее 20 % кэша WiredTiger «грязные» (dumbmonit_mongodb_wiredtiger_cache_dirty_percent); сбрасывается ниже 15 %.> 20 %10 минAdvisory (warning)6 ч
MongoDB internal errorsОбычные assertions за последний час (increase_prometheus(dumbmonit_mongodb_asserts_total{type="regular"}[1h])).> 015 минAdvisory (warning)24 ч
RabbitMQ memory or disk alarmУзел поднял аварию ресурса: все издатели заблокированы (dumbmonit_rabbitmq_alarm, один ряд на узел и ресурс).> 01 минWarning (critical)1 ч
RabbitMQ node downУзел кластера не работает (dumbmonit_rabbitmq_node_running).< 12 минWarning (critical)1 ч
RabbitMQ network partitionУзел видит сетевое разделение (dumbmonit_rabbitmq_node_partitions).> 02 минWarning (critical)1 ч
RabbitMQ queue without consumerВ очереди есть сообщения, а потребителя нет (dumbmonit_rabbitmq_queue_messages_ready and dumbmonit_rabbitmq_queue_consumers == 0); значение — число ожидающих сообщений.> 015 минAdvisory (warning)6 ч
RabbitMQ queue unavailableОчередь не работает: quorum-очередь без большинства или её узел не работает (dumbmonit_rabbitmq_queue_running).< 15 минAdvisory (warning)6 ч
CrowdSec Local API downLocal API не отвечает на /health (dumbmonit_crowdsec_lapi_up).< 15 минWarning (critical)1 ч
CrowdSec bouncer stopped pullingЗапросы bouncer не менялись за 30 минут (changes_prometheus(dumbmonit_crowdsec_bouncer_requests_total[30m])).< 15 минAdvisory (warning)6 ч
CrowdSec reads no logsНи одной строки лога не прочитано за шесть часов (increase_prometheus(dumbmonit_crowdsec_lines_read_total[6h])).< 130 минAdvisory (warning)24 ч

Traefik, Caddy, Nginx Proxy Manager и регистрации доменов (Traefik, Caddy, Nginx Proxy Manager, Domain expiry), а также параметр DNS-проверки Alert when the answer changes (Services). Ряды несут router, service, server, upstream, proxy_host или cert, поэтому уведомление называет то, что вышло из строя.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Traefik router disabledМаршрутизатор отключён из-за ошибки конфигурации (отсутствует сервис или middleware, недопустимое правило): его сайты не обслуживаются (dumbmonit_traefik_router_status: 0 включён, 1 предупреждение, 2 отключён).≥ 25 минAdvisory (warning)6 ч
Traefik backend server downСервер сервиса с балансировкой нагрузки не проходит проверку работоспособности (dumbmonit_traefik_server_up).< 15 минAdvisory (warning)6 ч
Traefik service without a serverНи один сервер сервиса не отвечает на проверку работоспособности: его сайты получают 503 (dumbmonit_traefik_service_servers_up).< 12 минWarning (critical)1 ч
Traefik certificate not obtainedМаршрутизаторы запрашивают у распознавателя сертификатов сертификат, который пока не покрывает ни один сертификат, хранимый Traefik: Traefik отдаёт свой самоподписанный сертификат по умолчанию (dumbmonit_traefik_resolver_routers_uncovered, требуется /api/certificates Traefik).> 01 чAdvisory (warning)24 ч
Caddy upstream unhealthyБэкенд не проходит активную или пассивную проверку работоспособности Caddy (dumbmonit_caddy_upstream_healthy).< 15 минAdvisory (warning)6 ч
Caddy configuration reload failedCaddy отклонил последнюю перезагрузку конфигурации и продолжает работать с предыдущей (dumbmonit_caddy_config_last_reload_ok).< 15 минAdvisory (warning)24 ч
Nginx Proxy Manager host offlinenginx отклонил конфигурацию включённого хоста: хост не обслуживается (dumbmonit_npm_host_online).< 110 минAdvisory (warning)6 ч
Proxy certificate not renewedСертификат, который хранит Traefik или предъявляет хост Nginx Proxy Manager, истекает менее чем через 14 дней: автоматическое продление начинается за 30, значит, оно не удаётся (dumbmonit_traefik_cert_expiry_days or dumbmonit_npm_cert_expiry_days).< 14 дн1 чAdvisory (warning)24 ч
Reverse proxy answering 5xxБолее 5 % ответов за десять минут были 5xx, при не менее чем пятидесяти запросах (increase_prometheus от dumbmonit_{traefik,caddy}_requests_5xx_total относительно …_requests_total). Требуются метрики прокси.> 5 %10 минAdvisory (warning)6 ч
Domain expiringДомен истекает менее чем через 30 дней (dumbmonit_domain_expiry_days >= 7).< 30 дн1 чAdvisory (warning)24 ч
Domain about to expireДомен истекает менее чем через 7 дней или уже истёк (dumbmonit_domain_expiry_days).< 7 дн1 чWarning (critical)12 ч
Domain on holdРеестр перевёл домен в clientHold или serverHold: он исключён из DNS (dumbmonit_domain_on_hold).> 030 минWarning (critical)6 ч
Domain in redemptionДомен в состоянии redemptionPeriod, pendingDelete или pendingRestore: он истёк (dumbmonit_domain_redemption).> 030 минWarning (critical)12 ч
Domain name servers changedСерверы имён делегирования отличаются от предыдущего чтения (changes_prometheus(dumbmonit_domain_nameservers_fingerprint[1d])). Разрешается само через сутки.> 01 минAdvisory (warning)24 ч
Domain registrar changedРегистратор отличается от предыдущего чтения: был перенос (changes_prometheus(dumbmonit_domain_registrar_fingerprint[1d])).> 01 минAdvisory (warning)24 ч
Domain DNSSEC lostDNSSEC был подписан в последние 7 дней, а теперь нет (dumbmonit_domain_dnssec).< 11 чAdvisory (warning)24 ч
DNS answer changedОтвет DNS-проверки с Alert when the answer changes отличается от предыдущего (changes_prometheus(dumbmonit_probe_dns_answer_fingerprint[1h])). Разрешается само через час.> 01 минAdvisory (warning)24 ч

Репутация почтового сервера и чёрные списки для диапазона IP. Списки опрашиваются только раз в 6 часов; последний результат записывается заново при каждой проверке, поэтому выдержка короткая. Страница монитора даёт ссылку на удаление для каждой записи.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Listed on a major blocklistАдрес или домен числится в Spamhaus (ZEN или DBL), Barracuda или SpamCop: значительная часть его почты отклоняется (dumbmonit_blacklist_listed_major_lists).> 05 минWarning (critical)24 ч
Listed on a blocklistАдрес или домен числится в менее крупном списке: Mailspike, UCEPROTECT, PSBL, SpamRATS, SURBL или URIBL (dumbmonit_blacklist_listed_lists - dumbmonit_blacklist_listed_major_lists).> 05 минAdvisory (warning)24 ч
Mail server reverse DNS mismatchУ адреса почтового сервера нет обратного DNS, или его имя не разрешается обратно в него: Gmail, Outlook.com и Yahoo отклоняют такую почту или отправляют её в спам (dumbmonit_blacklist_ptr_ok == bool 0).> 05 минAdvisory (warning)24 ч
SPF or DMARC missingУ домена нет записи SPF (или их несколько) либо нет записи DMARC: Gmail и Yahoo требуют обе от массовых отправителей (dumbmonit_blacklist_mail_auth_missing).> 05 минAdvisory (warning)24 ч

См. Website changes. Страница монитора показывает каждое изменение до и после.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Website changedПроверка отслеживаемой страницы или сайта нашла страницы, которые изменились, появились или исчезли (dumbmonit_webchange_last_check_changes). О каждой такой проверке уведомляют с перечислением страниц, в рамках того же оповещения, пока оно активно; оно снимается при первой проверке, не нашедшей ничего нового.> 030 сInfo (info)нет

См. Kubernetes / k3s. Каждый ряд помечен узлом или пространством имён и подом, рабочей нагрузкой или запросом тома, о которых идёт речь.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Kubernetes node not readyУзел не Ready: его kubelet больше не сообщает, и его поды будут вытеснены (dumbmonit_k8s_node_ready == bool 0).> 05 минWarning (critical)6 ч
Kubernetes node under pressureУзел сообщает о нехватке памяти, диска или PID (dumbmonit_k8s_node_pressure, метка condition).> 05 минAdvisory (warning)6 ч
Kubernetes pod crash loopingКонтейнер в состоянии CrashLoopBackOff и всё ещё перезапускается: не менее двух перезапусков за 15 минут (max_over_time(dumbmonit_k8s_pod_crashlooping[10m]) and on (target, namespace, pod) increase_prometheus(dumbmonit_k8s_pod_restarts[15m]) >= 2; состояние на мгновение исчезает при каждой попытке перезапуска). Контейнеры, убитые перезапуском узла или среды выполнения (код выхода 137, 143 или 255, не OOMKilled), не учитываются, поэтому перезагрузка не выглядит как цикл сбоев.> 010 минWarning (critical)6 ч
Kubernetes pod stuck pendingПод находится в Pending пятнадцать минут: ни один узел не может его принять или не появляется необходимый ему том или образ (dumbmonit_k8s_pod_pending).> 015 минAdvisory (warning)6 ч
Kubernetes pod restartingПод перезапускался более пяти раз за последний час, не находясь в CrashLoopBackOff (increase_prometheus(dumbmonit_k8s_pod_restarts[1h]) unless on (target, namespace, pod) max_over_time(dumbmonit_k8s_pod_crashlooping[10m]) > 0).> 55 минAdvisory (warning)6 ч
Kubernetes workload missing replicasУ Deployment, StatefulSet или DaemonSet меньше доступных реплик, чем он запрашивает (dumbmonit_k8s_workload_unavailable).> 010 минAdvisory (warning), эскалируется через 1 ч6 ч
Kubernetes volume claim pendingPersistentVolumeClaim, нужный поду или связанный с ошибкой provisioning, всё ещё не привязан (dumbmonit_k8s_pvc_pending).> 015 минAdvisory (warning)6 ч

См. Active Directory. Контроллер домена, который опрашивает DumbMonit, охватывается правилом Monitor unreachable; прочие контроллеры домена — правилом Domain controller unreachable (метка dc).

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Domain controller unreachableКонтроллер домена больше не отвечает на своём порту LDAP (dumbmonit_ad_dc_reachable == bool 0). Имя, которое не разрешается из DumbMonit, не даёт ряда и никогда не срабатывает.> 05 минWarning (critical)6 ч
Active Directory bind failedКонтроллер домена отвечает, но отклоняет служебную учётную запись: истёкший пароль, отключённая или заблокированная учётная запись (dumbmonit_ad_bind_ok == bool 0).> 05 минAdvisory (warning)24 ч
Privileged group membership changedУчастник вошёл в Domain Admins, Enterprise Admins, Schema Admins, Administrators или группу операторов либо вышел из неё, включая вложенность (changes_prometheus(dumbmonit_ad_privileged_group_fingerprint[1h]), метка group). Разрешается само через час.> 01 минAdvisory (warning)24 ч
Active Directory replication failingОпрашиваемый контроллер домена не может реплицироваться с партнёром (dumbmonit_ad_replication_consecutive_failures). Только когда учётная запись может читать состояние репликации.> 030 минAdvisory (warning)6 ч
krbtgt password older than 180 daysПароль krbtgt последний раз менялся более 180 дней назад (dumbmonit_ad_krbtgt_password_age_seconds).> 180 дней10 минInfo (info)нет

См. pfSense. Шлюзы помечены gateway, интерфейсы — interface и descr, службы — service.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
pfSense gateway downШлюз pfSense не работает: его адрес мониторинга больше не отвечает, и несомый им трафик прекращается или переключается (dumbmonit_pfsense_gateway_up).< 13 минWarning (critical)6 ч
pfSense gateway losing packetsШлюз pfSense теряет более 10 % зондов к своему адресу мониторинга: линия деградировала (dumbmonit_pfsense_gateway_loss_percent unless on (target, gateway) dumbmonit_pfsense_gateway_up == 0).> 10 %10 минAdvisory (warning)6 ч
pfSense gateway slowВремя кругового обхода до адреса мониторинга шлюза pfSense остаётся выше 500 мс пятнадцать минут (dumbmonit_pfsense_gateway_delay_milliseconds).> 500 мс15 минAdvisory (warning)6 ч
pfSense interface without linkУ включённого интерфейса pfSense нет линка: кабель, порт коммутатора или сетевая карта (dumbmonit_pfsense_interface_down).> 05 минAdvisory (warning)6 ч
pfSense service stoppedВключённая служба pfSense не запущена: DNS-резолвер, VPN, NTP… (dumbmonit_pfsense_service_stopped).> 05 минAdvisory (warning)6 ч
pfSense disk nearly fullДиск pfSense заполнен более чем на 90 %: логи, отчёты и обновления пакетов перестают записываться (dumbmonit_pfsense_disk_used_percent).> 90 %30 минAdvisory (warning)1 дн

См. Unraid. Диски помечены disk и role (parity, data, cache), контейнеры — container.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Unraid array stoppedМассив Unraid не запущен: шары, контейнеры и ВМ, расположенные на нём, недоступны (dumbmonit_unraid_array_started).< 110 минWarning (critical)6 ч
Unraid disk disabled or missingДиск Unraid отключён, отсутствует или недействителен: массив работает в деградированном режиме, и ещё один отказ приведёт к потере данных (dumbmonit_unraid_disk_ok).< 15 минWarning (critical)6 ч
Unraid disk read errorsДиск Unraid сообщал об ошибках чтения с момента запуска массива: при следующей он может быть отключён (dumbmonit_unraid_disk_errors).> 05 минAdvisory (warning)1 дн
Unraid disk too hotДиск массива или чётности Unraid остаётся выше 55 °C пятнадцать минут (dumbmonit_unraid_disk_temperature_celsius{role=~"data|parity"}).> 55 °C15 минAdvisory (warning)6 ч
Unraid parity check found errorsПоследняя проверка чётности Unraid не удалась или нашла ошибки синхронизации: чётность больше не соответствует данным (dumbmonit_unraid_parity_check_ok).< 15 минAdvisory (warning)1 дн
Unraid parity check overdueПоследней проверке чётности Unraid более 40 дней: ежемесячная проверка пропущена (dumbmonit_unraid_parity_check_age_seconds).> 40 дн1 чAdvisory (warning)1 дн
Unraid cache nearly fullКэш-пул Unraid заполнен более чем на 90 %: запись откатывается на медленный массив или завершается ошибкой (dumbmonit_unraid_disk_used_percent{role="cache"}).> 90 %30 минAdvisory (warning)1 дн
Unraid container stoppedКонтейнер Docker, настроенный на запуск вместе с массивом, не запущен (dumbmonit_unraid_container_autostart_stopped).> 010 минAdvisory (warning)6 ч

См. Veeam Backup & Replication. Задания помечены job и type, репозитории — repository.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Veeam job failedПоследний запуск включённого задания Veeam завершился неудачей: у защищаемых им данных нет новой точки восстановления (dumbmonit_veeam_job_failed).> 05 минWarning (critical)1 дн
Veeam job ended with a warningПоследний запуск включённого задания Veeam завершился с предупреждением: некоторые объекты могут быть не защищены (dumbmonit_veeam_job_warning).> 05 минAdvisory (warning)1 дн

V e e a m

b a c k u p

t o o

o l d

|

Б о л ь ш е

д в у х

д н е й

н е т

у с п е ш н о г о

з а п у с к а

з а д а н и я ,

з а п л а н и р о в а н н о г о

х о т я

б ы

е ж е д н е в н о

( d u m b m o n i t _ v e e a m _ j o b _ l a s t _ s u c c e s s _ a g e _ s e c o n d s ) .

|

2

д н

|

1

ч

|

A d v i s o r y

( w a r n i n g )

|

1

д н

| | Veeam repository nearly full | Репозиторий резервных копий Veeam заполнен более чем на 90 %: следующие задания завершатся неудачей из-за нехватки места (dumbmonit_veeam_repository_used_percent). | > 90 % | 30 мин | Advisory (warning) | 1 дн | | Veeam license expiring | Лицензия Veeam истекает менее чем через 30 дней: задания остановятся по окончании льготного периода (dumbmonit_veeam_license_expiry_seconds). | < 30 дн | 1 ч | Advisory (warning) | 1 дн |

См. Tailscale. Устройства помечены device — первой меткой их имени MagicDNS.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Tailscale device offlineУстройство Tailscale, которое должно оставаться онлайн (по умолчанию устройство с тегом), отключено более 15 минут (dumbmonit_tailscale_device_offline_seconds and on (target, device) dumbmonit_tailscale_device_watched > 0).> 15 мин5 минAdvisory (warning)6 ч
Tailscale node key expiringКлюч узла устройства Tailscale истекает менее чем через 14 дней: оно покинет tailnet, пока кто-нибудь не войдёт на нём снова (dumbmonit_tailscale_device_key_expiry_seconds).< 14 дн1 чAdvisory (warning)1 дн
Tailscale device awaiting approvalУстройство присоединилось к tailnet и ожидает одобрения: одобрите его, если оно ожидаемо, иначе удалите (dumbmonit_tailscale_device_authorized).< 15 минAdvisory (warning)1 дн
Tailscale client updateУстройство Tailscale, которое должно оставаться онлайн, работает с клиентом, для которого доступно обновление (dumbmonit_tailscale_device_update_available and on (target, device) dumbmonit_tailscale_device_watched > 0).> 06 чInfo (info)7 дн

См. FortiGate. Туннели помечены tunnel, интерфейсы — interface и alias, лицензии — license.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
FortiGate IPsec tunnel downНи одна фаза 2 туннеля IPsec «сайт-сайт» FortiGate не поднята: сайт за ним отрезан (dumbmonit_fortigate_ipsec_tunnel_up).< 15 минWarning (critical)6 ч
FortiGate interface without linkУ включённого интерфейса FortiGate с адресом нет линка: кабель, трансивер или устройство напротив (dumbmonit_fortigate_interface_down).> 05 минAdvisory (warning)6 ч
FortiGate HA out of syncУ участников кластера HA FortiGate больше не совпадает контрольная сумма конфигурации: при переключении запустится другая конфигурация (dumbmonit_fortigate_ha_in_sync).< 115 минAdvisory (warning)6 ч
FortiGate HA member lostВ кластере HA FortiGate меньше участников, чем за последние 24 часа: резервного больше нет (max_over_time(dumbmonit_fortigate_ha_members[1d]) - dumbmonit_fortigate_ha_members).> 05 минWarning (critical)6 ч
FortiGate memory near conserve modeПамять FortiGate остаётся выше 85 % десять минут: при 88 % (по умолчанию) он входит в conserve mode и перестаёт проверять новые сессии (dumbmonit_fortigate_memory_used_percent).> 85 %10 минAdvisory (warning)6 ч
FortiGate CPU highCPU FortiGate остаётся выше 90 % пятнадцать минут (dumbmonit_fortigate_cpu_usage_percent).> 90 %15 минAdvisory (warning)6 ч
FortiGate licence expiringЛицензия FortiGuard или FortiCare на FortiGate истекает менее чем через 30 дней или уже истекла (dumbmonit_fortigate_license_expiry_seconds).< 30 дн1 чAdvisory (warning)1 дн
FortiGate firmware updateFortiGuard предлагает более новый патч-выпуск ветки FortiOS, на которой работает FortiGate (dumbmonit_fortigate_firmware_update_available).> 01 чInfo (info)7 дн

См. Sophos Firewall.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Sophos interface without linkУ включённого интерфейса Sophos Firewall, привязанного к зоне, нет линка (dumbmonit_sophos_interface_down).> 05 минAdvisory (warning)6 ч

Сообщается агентом Linux на хосте KVM; см. Агент.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
KVM domain crashedlibvirt сообщает о домене KVM как об аварийно завершившемся: гипервизору пришлось его остановить (dumbmonit_agent_libvirt_domain_crashed).> 01 минWarning (critical)1 ч
libvirt pool almost fullВыделенное место пула хранилища libvirt достигает 90 % его ёмкости (dumbmonit_agent_libvirt_pool_used_percent).≥ 90 % (сбрасывается ниже 88 %)15 минAdvisory (warning), эскалируется через 24 ч6 ч

См. XCP-ng / XenServer.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
XCP-ng host offlineХост пула XCP-ng больше не отвечает координатору (dumbmonit_xcpng_host_live).< 15 минWarning (critical)1 ч
XCP-ng SR almost fullРепозиторий хранилища (SR) XCP-ng заполнен более чем на 90 % (dumbmonit_xcpng_sr_used_percent).≥ 90 % (сбрасывается ниже 88 %)15 минAdvisory (warning), эскалируется через 24 ч6 ч
XCP-ng HA-protected VM downВМ, защищённая высокой доступностью пула, остановлена (dumbmonit_xcpng_vm_ha_protected_down).> 02 минWarning (critical)1 ч
XCP-ng pool HA overcommittedУ пула больше нет плана, как пережить отказы хостов, которые он настроен выдерживать (dumbmonit_xcpng_pool_ha_overcommitted).> 05 минAdvisory (warning), эскалируется через 1 ч6 ч

См. Nutanix AHV.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Nutanix host degradedPrism сообщает о хосте Nutanix как о деградировавшем (dumbmonit_nutanix_host_degraded).> 05 минWarning (critical)1 ч
Nutanix storage container almost fullКонтейнер хранилища Nutanix заполнен более чем на 90 % (dumbmonit_nutanix_storage_container_used_percent).≥ 90 % (сбрасывается ниже 88 %)15 минAdvisory (warning), эскалируется через 24 ч6 ч
Nutanix critical alertsPrism Central сообщает об одном или нескольких неустранённых критических оповещениях (dumbmonit_nutanix_alerts_critical).> 05 минWarning (critical)1 ч

Сообщается агентом Windows на хосте Hyper-V; см. Агент.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Hyper-V VM health criticalHyper-V сообщает о виртуальной машине в критическом состоянии: исчерпан необходимый ей ресурс, чаще всего место на диске (dumbmonit_hyperv_vms_health_critical).> 05 минWarning (critical)6 ч
Hyper-V host CPU highЛогические процессоры хоста Hyper-V заняты более чем на 90 % пятнадцать минут, включая гостей (dumbmonit_hyperv_host_cpu_percent).> 90 %15 минAdvisory (warning)6 ч
Hyper-V virtual disk errorsВиртуальный диск Hyper-V сообщал об ошибках ввода-вывода за последний час (increase_prometheus(dumbmonit_hyperv_vhd_errors_total[1h])).> 05 минAdvisory (warning)6 ч

Вычисляется сервером каждые 15 минут для каждого монитора, чей тип имеет проверки безопасности, и сохраняется как dumbmonit_security_score (0–100), только пока оценка безопасности включена в Настройках (по умолчанию выключена). См. Оценка безопасности.

ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
Security score droppedОценка упала на 10 пунктов или более относительно лучшего значения за последние 24 часа (max_over_time(dumbmonit_security_score[1d]) - dumbmonit_security_score): какая-то проверка начала не проходить.≥ 10 пунктов30 минAdvisory (warning)24 ч
Security score lowОценка ниже 40, класс F (dumbmonit_security_score). Повышайте или понижайте порог в соответствии с вашей собственной планкой.< 401 чInfo (info)7 дн

Срабатывают по плановым сканированиям сети и их инвентарю (см. Плановые сканирования и инвентарь). Все три правила по умолчанию отключены; у первых двух важность info, у правила о смене MAC — warning: включите их в списке правил, когда они понадобятся. На каждое новое устройство или порт приходится одна серия, а значит одно оповещение; оно остаётся открытым, пока элемент не отмечен как известный (метрика прекращается, оповещение разрешается за несколько минут), и не имеет напоминания. Первое сканирование сети никогда ничего не вызывает.

ПравилоЧтоПорог по умолчаниюЗадержкаВажностьНапоминание
New device on the networkПлановое сканирование нашло устройство, которого нет в инвентаре (dumbmonit_netscan_unknown_device).> 0нетInfo (info), отключенонет
New open port on the networkПлановое сканирование нашло новый открытый порт на известном устройстве (dumbmonit_netscan_unknown_port).> 0нетInfo (info), отключенонет
MAC address changed for an IPНовое устройство заняло адрес известного с другим MAC-адресом: подмена или заменённое оборудование (dumbmonit_netscan_mac_change). Открыто, пока не отмечено как известное или игнорируемое.> 0нетAdvisory (warning), отключенонет
ПравилоЧтоПорог по умолчаниюВыдержкаВажностьНапоминание
DumbMonit backup did not runПлановое локальное резервное копирование базы данных DumbMonit не запускалось более двух дней (time() - dumbmonit_instance_backup_last_success_seconds).> 2 дн1 чAdvisory (warning)24 ч
DumbMonit data volume almost fullНа томе с /data свободно меньше 10 % (100 * dumbmonit_instance_data_free_bytes / dumbmonit_instance_data_size_bytes).< 10 %15 минAdvisory (warning)24 ч
DumbMonit metrics database restarting in a loopВстроенный VictoriaMetrics перезапускался три раза или больше за 30 минут (increase_prometheus(dumbmonit_instance_vm_restarts_total[30m])).≥ 31 минWarning (critical)6 ч
DumbMonit scheduler stalledБольше двух минут нет ни одного цикла планировщика: мониторы не опрашиваются (dumbmonit_instance_scheduler_lag_seconds).> 120 с5 минWarning (critical)6 ч
DumbMonit polls running lateМониторы остаются просроченными после каждого цикла (min_over_time(dumbmonit_instance_scheduler_backlog[15m])).> 015 минAdvisory (warning)24 ч
DumbMonit metric writes failingЗа последние 15 минут VictoriaMetrics отклонял пакеты или измерения терялись (dumbmonit_instance_sample_writes_failed_total, dumbmonit_instance_samples_dropped_total).> 05 минAdvisory (warning)6 ч
DumbMonit database growing fastdumbmonit.db за сутки вырос более чем вдвое и превышает 100 МБ (dumbmonit_instance_database_bytes).> 2×1 чAdvisory (warning)24 ч

Эти правила и исходящий heartbeat описаны в разделе Watching DumbMonit itself.

Каждое встроенное правило применяется ко всем мониторам и ко всем включённым каналам.

На странице Alerts раздел Rules перечисляет каждое правило с его важностью, пометкой Built-in и, когда уместно, числом оповещений, которые оно сейчас порождает. У каждого правила есть:

  • переключатель, чтобы включить или отключить его;
  • Edit, раскрывающий встроенный редактор имени, описания, оператора, порога, выдержки (for), важности, напоминания (repeat every) и эскалации (escalate after). Запрос встроенного правила показывается, но не редактируется; запрос ваших собственных правил редактируется. Правила базовой линии показывают свои параметры обнаружения только для чтения;
  • Delete, только для ваших собственных правил.

Правило можно настроить для одного монитора, не трогая само правило: другой порог, другой порог сброса или отключение только для этого монитора. В редакторе каждого правила есть панель Per-device overrides, чтобы добавить или убрать переопределение прямо там.

Действие Ignore в один клик над оповещением (на вкладке Now или на странице монитора оповещения) — тот же механизм, записанный с enabled: false: монитор немедленно и обратимо перестаёт нести это правило. Страница монитора перечисляет игнорируемое с кнопкой Stop ignoring; само правило показывает Ignored on N devices в Alerts → Rules, где та же панель переопределений для монитора убирает его. API см. в Переопределениях для монитора.

Нажмите New rule. Форма требует:

ПолеЗначение
NameПоказывается в оповещениях и уведомлениях.
QueryВыражение MetricsQL, вычисляемое для каждого монитора. Пример: dumbmonit_cpu_usage_percent.
Operator>, >=, < или <=.
ThresholdЧисло, с которым сравнивается результат запроса.
SeverityInfo, Advisory или Warning.
Hold forСекунды, в течение которых условие должно сохраняться до срабатывания. Ненулевая выдержка поглощает единичный плохой сэмпл.

Каждый ряд, возвращённый запросом, становится одним потенциальным оповещением, привязанным к монитору, названному его меткой target. Агрегируйте с помощью avg by (target, host) (…), когда нужно одно оповещение на монитор, а не на ядро или интерфейс. Идентичность оповещения игнорирует метки host и tag_*, если присутствует target, поэтому переименование монитора сохраняет его оповещения; ряд, чей target не соответствует существующему включённому монитору, игнорируется.

Запросы пишутся на MetricsQL — надмножестве PromQL от VictoriaMetrics. Метрики — это ряды dumbmonit_*, описанные в справочнике метрик, и каждый ряд несёт метку target (id монитора) и метку host (его имя).

Некоторые шаблоны, используемые встроенными правилами:

# Age of the last sample, freshest series per device: what "unreachable" means
bottomk by (target) (1, time() - tlast_over_time(dumbmonit_up[7d]))
# One value per device, whatever the source
avg by (target, host) (dumbmonit_cpu_load_percent or dumbmonit_proxmox_node_cpu_percent or dumbmonit_cpu_usage_percent)
# A percentage computed from two gauges
100 * dumbmonit_storage_bytes_used / dumbmonit_storage_bytes_total
# A boolean condition: the series is returned only when true
dumbmonit_ups_output_source == 5
# Extrapolation done by VictoriaMetrics
predict_linear(dumbmonit_pbs_datastore_used_percent[6h], 345600) and deriv(dumbmonit_pbs_datastore_used_percent[6h]) > 0
# Availability of a service over thirty days
avg_over_time(dumbmonit_probe_success[30d])

kind — это threshold (сравнение с порогом), predict (то же сравнение для запроса predict_linear; показывается как прогноз) или anomaly (сезонная базовая линия; params содержит k, alpha, mad_floor_abs, mad_floor_rel, min_samples). Интерфейс создаёт правила threshold; два других вида можно создавать через API.