Передача лог-файлов

Отправка логов веб-серверов на серверы Curator позволяет анализировать и очищать HTTP-трафик, идущий к этим веб-серверам на уровне приложений (L7 по модели OSI/ISO) в тех ситуациях, когда техническая возможность анализировать сам HTTP-трафик отсутствует.

В частности, рекомендуется настроить отправку логов, если вы используете обратный TCP-прокси Curator. Этот прокси анализирует трафик на транспортном уровне (L4), но с помощью анализа логов может также осуществлять защиту от некоторых атак уровня приложений (L7).

Чтобы передавать логи в сеть Curator:

Определите IP-адреса и порты для передачи логов.
Задайте формат логов.
Настройте сбор и отправку логов.

Важно

Для анализа требуются логи именно того веб-сервера в вашей сети, который принимает внешние запросы первым, вне зависимости от того, куда он маршрутизирует или проксирует их позже. При этом необходимы только логи доступа (access logs). Логи ошибок передавать не требуется.

1. Определите IP-адреса и порты для передачи логов

Этот шаг выполняется вами совместно со специалистами технической поддержки Curator. С вашей стороны необходимо зафиксировать, с какого IP-адреса будет происходить отправка логов. Со стороны Curator будут назначены IP-адрес и порт приёмника логов (log receiver). Назначенный IP-адрес может отличаться от Curator IP, указанного в личном кабинете.

2. Задайте формат логов

Настройте сервер так, чтобы логи доступа (access logs) записывались в определённом формате, из которого обратный TCP-прокси Curator сможет извлечь всю необходимую для анализа информацию. Требования к формату логов могут меняться в будущем, в этом случае специалисты технической поддержки Curator заблаговременно сообщат вам об изменениях.

Ниже представлены актуальные форматы логов для популярных веб-серверов.

NGINX

Apache

F5 BIG-IP

HAProxy

Укажите следующую строку в опции log_format.

'2xFFFFFF|:,_|$bytes_sent|:,_|$http_accept|:,_|$http_accept_encoding|:,_|$http_accept_language|:,_|$http_cookie|:,_|$http_host|:,_|$http_referer|:,_|$http_user_agent|:,_|$http_x_forwarded_for|:,_|$remote_addr|:,_|$request|:,_|$request_time|:,_|$status|:,_|$time_local|:,_|$upstream_response_time|:,_|$http_x_requested_with|:,_|$http_authorization|:,_|$remote_port|:,_|-|:,_|$msec|:,_|'

Укажите следующую строку в опции CustomLog.

'5xFFFFFF|:,_|%O|:,_|%{Accept}i|:,_|%{Accept-Encoding}i|:,_|%{Accept-Language}i|:,_|%{Cookie}i|:,_|%{Host}i|:,_|%{Referer}i|:,_|%{User-Agent}i|:,_|%{X-Forwarded-For}i|:,_|%a|:,_|%r|:,_|%{ms}T|:,_|%s|:,_|%t|:,_|%D|:,_|%{X-Requested-With}i|:,_|%{Authorization}i|:,_|%{remote}p|:,_|%{sec}t.%{msec_frac}t|:,_|-|:,_|'

Укажите следующую строку при настройке логирования согласно руководству Configuring Request Logging.

'3xFFFFFF|:,_|$RESPONSE_SIZE|:,_|$Accept|:,_|${Accept-Encoding}|:,_|${Accept-Language}|:,_|$Cookie|:,_|$Host|:,_|$Referer|:,_|${User-Agent}|:,_|${X-Forwarded-For}|:,_|$CLIENT_IP|:,_|$CLIENT_PORT|:,_|$HTTP_REQUEST|:,_|$RESPONSE_MSECS|:,_|$HTTP_STATCODE|:,_|$DATE_YYYY/$DATE_MM/${DATE_DD}_$TIME_HH24:$TIME_MM:$TIME_SS|:,_|$HTTP_KEEPALIVE|:,_|$SERVER_IP|:,_|$SERVER_PORT|:,_|$BIGIP_CACHED|:,_|${X-Requested-With}|:,_|${Authorization}|:,_|$CLIENT_PORT|:,_|$TIME_MSECS|:,_|-|:,_|'

Вставьте следующий фрагмент в конфигурационный файл HAProxy.

capture request header Accept len 4096
capture request header Accept-Encoding len 4096
capture request header Accept-Language len 4096
capture request header Cookie len 16384
capture request header Host len 4096
capture request header Referer len 4096
capture request header User-Agent len 4096
capture request header X-Forwarded-For len 4096
capture request header X-Requested-With len 4096
capture request header Authorization len 4096
log-format "4xFFFFFF|:,_|%B|:,_|%[capture.req.hdr(0)]|:,_|%[capture.req.hdr(1)]|:,_|%[capture.req.hdr(2)]|:,_|%[capture.req.hdr(3)]|:,_|%[capture.req.hdr(4)]|:,_|%[capture.req.hdr(5)]|:,_|%[capture.req.hdr(6)]|:,_|%[capture.req.hdr(7)]|:,_|%ci|:,_|%r|:,_|%Ta|:,_|%ST|:,_|%Tl|:,_|%Tr|:,_|%[capture.req.hdr(8)]|:,_|%[capture.req.hdr(9)]|:,_|%cp|:,_|%Ts.%ms|:,_|-|:,_|"

3. Настройте сбор и отправку логов

В зависимости от используемого веб-сервера, вам могут быть доступны разные способы отправки логов в сеть Curator. Наиболее простым способом является отправка логов напрямую из веб-сервера, если он поддерживает такую конфигурацию. Более универсальным решением является использование системы сбора логов для любого веб-сервера.

Обратите внимание, что приёмник логов на стороне Curator принимает логи по протоколу syslog поверх транспортного протокола TCP. Некоторые веб-серверы поддерживают протокол syslog только поверх UDP или через Unix-сокеты. В таком случае рекомендуется собирать их с помощью систему сбора логов, которая будет перенаправлять логи в сеть Curator.

sending logs

Отправка логов напрямую

Если веб-сервер, обрабатывающий запросы пользователей, способен отправлять логи в сеть Curator по протоколу syslog самостоятельно, то вам достаточно произвести соответствующие настройки этого веб-сервера. Например, инструкцию по отправке логов напрямую из F5 BIG-IP можно найти здесь: Configuring the BIG-IP system to log to a remote syslog server.

Чтобы использовать для отправки логов защищённый протокол TLS, даже если сам веб-сервер не поддерживает этот протокол, можно воспользоваться дополнительной программой stunnel, как описано в этой инструкции: SSL Encrypting Syslog with Stunnel.

Использование систем сбора логов

Система сбора логов — это программное обеспечение, которое может выполнять роль промежуточного узла между вашим веб-сервером и приёмником логов Curator. Примерами таких систем для Unix-подобных операционных систем являются rsyslog и syslog-ng, для Windows — Snare. При выборе системы сбора логов обратите внимание, что сеть Curator принимает логи по протоколу syslog поверх транспортного протокола TCP, а не UDP.

Примечание

Популярные системы сбора логов также поддерживают шифрование отправляемых логов с использованием протокола TLS, например:

Взаимодействие между веб-сервером и системой сбора логов может быть настроено разными способами, включая чтение логов из текстового файла, через Unix-сокет или по протоколам TCP или UDP. Выбор способа зависит от того, находятся ли веб-сервер и система сбора логов на одном сервере или на разных серверах.

Также обычно требуется выполнить настройку самого веб-сервера, чтобы отправлять логи в нужный файл, сокет или на нужный адрес. Подробнее читайте в документации используемого веб-сервера, например:

Важно

При использовании системы сбора логов rsyslog необходимо дополнительно сконфигурировать очереди записей, а также правила их игнорирования (discard). Подробнее можно прочитать по ссылке: Action Queue cfg discarding local messages.

Примеры конфигурации rsyslog

Ниже приведены примеры конфигурационных файлов rsyslog для HAProxy и NGINX. Нужный конфигурационный файл следует поместить в директорию /etc/rsyslog.d/, после чего следует перезапустить rsyslog. Для использования транспортного протокола TLS требуется также подставить в конфигурационный файле путь к сертификату Curator.

HAProxy без TLS

HAProxy с TLS

NGINX без TLS

NGINX с TLS

$AddUnixListenSocket /var/lib/haproxy/dev/log
if ($programname startswith 'haproxy') then {
    if ($msg contains '4xFFFFFF') then {
         $template codename-fwd,"<%PRI%>1 %timegenerated:::date-rfc3339% codename %syslogtag:1:32% - - %msg:::drop-last-lf%\n"
         action(type="omfwd"
                Target="<IP-адрес приёмника логов>"
                Port="<порт приёмника логов>"
                protocol="tcp"
                queue.filename="codename-fwd-q1"
                queue.discardSeverity="4"
                queue.discardMark="25000"
                queue.size="30000"
                queue.highWatermark="10000"
                queue.lowWatermark="0"
                queue.timeoutEnqueue="500"
                queue.maxDiskSpace="20m"
                queue.timeoutWorkerthreadShutdown="-1"
                queue.saveOnShutdown="on"
                queue.type="LinkedList"
                Action.ResumeRetryCount="-1"
                template="codename-fwd"
          )
    }
}

$AddUnixListenSocket /var/lib/haproxy/dev/log
global(
    DefaultNetstreamDriverCAFile="<путь к файлу сертификата приёмника>"
)
if ($programname startswith 'haproxy') then {
    if ($msg contains '4xFFFFFF') then {
         $template codename-fwd,"<%PRI%>1 %timegenerated:::date-rfc3339% codename %syslogtag:1:32% - - %msg:::drop-last-lf%\n"
         action(type="omfwd"
                Target="<IP-адрес приёмника логов>"
                Port="<порт приёмника логов>"
                protocol="tcp"
                queue.filename="codename-fwd-q1"
                queue.discardSeverity="4"
                queue.discardMark="25000"
                queue.size="30000"
                queue.highWatermark="10000"
                queue.lowWatermark="0"
                queue.timeoutEnqueue="500"
                queue.maxDiskSpace="20m"
                queue.timeoutWorkerthreadShutdown="-1"
                queue.saveOnShutdown="on"
                queue.type="LinkedList"
                Action.ResumeRetryCount="-1"
                template="codename-fwd"
          )
    }
}

input(type="imuxsock"
      Socket="/var/log/nginx/nginx.sock")

template(name="codename-fwd" type="string"
         string="<%PRI%>1 %timegenerated:::date-rfc3339% codename %syslogtag:1:32% - - %msg:::drop-last-lf%\n"
)
if ($programname startswith 'nginx') then {
    if ($msg contains '2xFFFFFF') then {
        action(type="omfwd"
               Target="<IP-адрес приёмника логов>"
               Port="<порт приёмника логов>"
               protocol="tcp"
               StreamDriver="gtls"
               StreamDriverMode="1"
               StreamDriverAuthMode="anon"
               queue.filename="codename-fwd-q1"
               queue.discardSeverity="4"
               queue.discardMark="30000"
               queue.size="30000"
               queue.highWatermark="10000"
               queue.lowWatermark="0"
               queue.timeoutEnqueue="500"
               queue.maxDiskSpace="20m"
               queue.timeoutWorkerthreadShutdown="-1"
               queue.saveOnShutdown="on"
               queue.type="LinkedList"
               Action.ResumeRetryCount="-1"
               template="codename-fwd"
        )
        & stop
    }
}

input(type="imuxsock"
      Socket="/var/log/nginx/nginx.sock")

template(name="codename-fwd" type="string"
         string="<%PRI%>1 %timegenerated:::date-rfc3339% codename %syslogtag:1:32% - - %msg:::drop-last-lf%\n"
)
global(
    DefaultNetstreamDriverCAFile="<путь к файлу сертификата приёмника>"
)
if ($programname startswith 'nginx') then {
    if ($msg contains '2xFFFFFF') then {
        action(type="omfwd"
               Target="<IP-адрес приёмника логов>"
               Port="<порт приёмника логов>"
               protocol="tcp"
               StreamDriver="gtls"
               StreamDriverMode="1"
               StreamDriverAuthMode="anon"
               queue.filename="codename-fwd-q1"
               queue.discardSeverity="4"
               queue.discardMark="30000"
               queue.size="30000"
               queue.highWatermark="10000"
               queue.lowWatermark="0"
               queue.timeoutEnqueue="500"
               queue.maxDiskSpace="20m"
               queue.timeoutWorkerthreadShutdown="-1"
               queue.saveOnShutdown="on"
               queue.type="LinkedList"
               Action.ResumeRetryCount="-1"
               template="codename-fwd"
        )
        & stop
    }
}

Сертификаты Curator

Чтобы отправлять данные по транспортному протоколу TLS, необходимо использовать сертификат приёмника логов Curator.

Разные приёмники на стороне Curator используют разные сертификаты. Чтобы узнать, на какой именно приёмник вам нужно передавать логи, свяжитесь со специалистами технической поддержки Curator. Также вы можете проверять подлинность CA (certificate authority), которым подписаны данные сертификаты.

Сохраните нужный сертификат в файл, например, /etc/rsyslog.d/codename-syslog-ca.crt, и укажите этот в путь в конфигурации системы сбора логов. Файлы конфигурации для rsyslog вы можете найти в разделе Примеры конфигурации rsyslog.

Сертификат для 178.248.239.29

Сертификат для 178.248.239.30

Сертификат для 185.94.108.254

Сертификат для 100.64.1.254

Сертификат для CA