Skip to content
🇷🇺 Российская разработка

Наш User-Agent в логах

Когда Monisite проверяет ваш сайт — наш агент отправляет HTTP-запрос со специальным User-Agent. По этой строке вы легко найдёте наши запросы в логах сервера и можете отделить их от настоящих посетителей.

Что мы отправляем

Section titled “Что мы отправляем”

В каждой проверке наш HTTP-клиент шлёт заголовок:

User-Agent: Mozilla/5.0 MonisiteBot/1.0

Префикс Mozilla/5.0 стоит для совместимости — некоторые сервера обрезают запросы которые не похожи на браузер. Идентификатор MonisiteBot/1.0 — наша уникальная подпись.

Как найти нас в логах

Section titled “Как найти нас в логах”

nginx

Section titled “nginx”

В формате логов по умолчанию (combined) User-Agent видно в конце строки в кавычках:

192.0.2.1 - - [20/May/2026:14:23:05 +0300] "GET / HTTP/1.1" 200 1234 "-" "Mozilla/5.0 MonisiteBot/1.0"

Чтобы найти только наши запросы:

Terminal window
grep "MonisiteBot" /var/log/nginx/access.log

Чтобы посчитать сколько проверок мы сделали за день:

Terminal window
grep "MonisiteBot" /var/log/nginx/access.log | wc -l

Apache

Section titled “Apache”

Аналогично, в стандартном combined логе:

Terminal window
grep "MonisiteBot" /var/log/apache2/access.log

Для приложения за CDN (Cloudflare, Selectel)

Section titled “Для приложения за CDN (Cloudflare, Selectel)”

Если у вас CDN — реальный IP клиента передаётся в заголовке (например, CF-Connecting-IP у Cloudflare). User-Agent при этом не меняется и остаётся Mozilla/5.0 MonisiteBot/1.0.

Сколько запросов от нас приходит

Section titled “Сколько запросов от нас приходит”

Из расчёта 3 региона × раз в минуту:

  • Обычный режим: 3 запроса в минуту = ~4320 в сутки
  • Fast-recovery (сразу после падения): до 36 запросов в минуту от одного агента в течение нескольких минут, пока сайт лежит. Подробнее в Защита от ложных срабатываний.

На объём трафика это влияет минимально: один GET-запрос на корневую страницу или указанный вами URL.

Исключение нас из аналитики

Section titled “Исключение нас из аналитики”

Если вы используете Яндекс.Метрику, Google Analytics или другую систему — наш бот не считается посетителем сайта, потому что не выполняет JavaScript. Счётчики на странице не загружаются и не отправляют hit.

Если же у вас серверная аналитика (например, считаете уники по логам) — добавьте фильтр по User-Agent чтобы не учитывать наши запросы:

# nginx: исключить из лога запросы с MonisiteBot
map $http_user_agent $loggable {
    ~MonisiteBot 0;
    default 1;
}


access_log /var/log/nginx/access.log combined if=$loggable;

Whitelisting нашего бота

Section titled “Whitelisting нашего бота”

Если у вас на сайте включена защита от ботов (WAF, anti-DDoS, rate-limit) — добавьте в исключения User-Agent MonisiteBot. Иначе ваша защита будет блокировать наши проверки, и мы будем слать ложные DOWN-алерты.

Большинство WAF позволяют делать whitelisting по User-Agent. В Cloudflare:

  1. Security → WAF → Custom rules
  2. Создайте правило: (http.user_agent contains "MonisiteBot") → Action: Skip

В nginx с limit_req — добавьте условие:

map $http_user_agent $no_rate_limit {
    ~MonisiteBot 1;
    default 0;
}

Если хочется скрыть User-Agent

Section titled “Если хочется скрыть User-Agent”

Иногда задают вопрос: «А можно ходить с обычным User-Agent браузера, чтобы наш бот не палился?» — пока нет. Мы намеренно подписываемся явно, чтобы:

  • Вы могли отличить наш трафик от настоящих пользователей
  • Ваши счётчики и логи были чистыми
  • Соблюдать правила хорошего тона для ботов (как делают поисковики)

Если вашему сайту нужны проверки с произвольным User-Agent — напишите в поддержку, обсудим.

Что дальше

Section titled “Что дальше”