IMHO.WS - Разбор файла syslog

IMHO.WS (https://www.imho.ws/index.php)

- Сети (https://www.imho.ws/forumdisplay.php?f=145)

- - Разбор файла syslog (https://www.imho.ws/showthread.php?t=108964)

Разбор файла syslog

Решил я тут на досуге трафик посчитать, да что то не сходится у меня с результатом провайдера :(
Может я чего не учитываю в анализе лога, мож у кого где завалялось описание полей и чего надо считать для получения исходящего/входящего трафика. Роутер - d-link dfl200, syslog сервер - kiwi syslog daemon, разбираю все это безобразие на php (1C было сначала - ф топпку этого тормоза)

Строка лога выглядит как(жирынм выделены поля, по которым считаю):

Цитата:

2006-07-31 09:58:10 Local0.Info 192.168.0.1 EFW: CONN: prio=1 rule=HTTP_Outbound conn=close connipproto=TCP connrecvif=core connsrcip=192.168.0.111 connsrcport=6301 conndestif=WAN conndestip=123.123.123.123 conndestport=80 origsent=954 termsent=7337

Возможно, надо считать еще что то кроме закрытых соединений (conn=close)?

ЗЫ. На форуме d-link народ тож жаждет информации по логам, длинки молчат, хатты.

э-э-э... AFAIK на блинковском форуме проскакивала софтина для анализа логов... в принципе, не могли бы Вы выложить сюда кусок лога чтобы там были не только ТСР соединения, потому что я думаю что вы таки что-то не учитывате при разборе и поэтому получаете

Цитата:

Madness:
что то не сходится у меня с результатом провайдера

например очень хотелось бы на UDP и ICMP траффик посмотреть ;) кстати, Вы привели кусок лога исходящего трафика

Цитата:

Madness:
rule=HTTP_Outbound

а проавйдер же Вам считает входящий или как?

snark
>а проавйдер же Вам считает входящий или как?
Входящий. Строку я как пример привел.

Тулза проскакивала, но под линух, да и не нужна она, мне бы чуть поподробнее про параметры услышать хочется.

Кiwi в лог поставил писаться только закрытые соединения (conn=close), на все остальное вроде не ограничивал...

Цитата:

Madness:
в лог поставил писаться только закрытые соединения

э-э-э... у UDP же AFIAK не сущестует такого понятия (/me думает что он 100% прав, т.к. UDP протокол без контроя соединений ;)) поэтому лично я на Вашем месте писал бы _все_, а потом уже решал что стоит учитывать, а что нет...

Цитата:

Madness:
Строку я как пример привел.

м-м-м... тогда, если Вас не напрягают секьюрные обязательства, включите пожалуйста логирование абсолютно всего и пришлите мне на мыло (дам в ПМ) лог файл... думаю разберемся что к чему ;) я конечно могу взять на "пощупать" оный DFL-200 и на нем сам посмотреть логи, но мое первое знакомство с ним прошедшее под знаменем "хочу фильтровать!" как то не удалось, в отличие от блинковских же свичей, впрочем это уже совсем другая история...

snark
>поэтому лично я на Вашем месте писал бы _все_
Хм, кстати да, отключу-ка я все фильтры на недельку посмотреть что оно там налогирует :)

>у UDP же AFIAK не сущестует такого понятия (/me думает что он 100% прав, т.к. UDP протокол без контроя соединений :))
А как его тогда считать? Все пакеты UDP суммировать? В TCP оно писало в лог, насколько я помню, сначало отдельные пакеты, а потом с conn=close в termsent уже итоговую сумму передачи, вот ее я и беру, а с udp тада как, все считать? Че то не соображу :(

Цитата:

Madness:
Хм, кстати да, отключу-ка я все фильтры на недельку посмотреть что оно там налогирует :)

ага ага ага

Цитата:

Madness:
А как его тогда считать?

Считать _все_ пакеты, т.к. используемая Вами методика на мой взгляд не верна... Почему? Потому что...
ТСР - Вы считаете только закрытые соединения, т.е. как я понял те что с флагом FIN, а как же неустановленные соединения, т.е. те которые пришли с флагом SYN и не получили ACK (а пакет то Вам пришел и пров его посчитал, уж будьте уверены, сам такой ;)) или например текущее соединение aka established, т.е. с установленым АСК, но без FIN, например скачивание файла с FTP в процессе оного скачивания, тут я правда бОльше ориентируюсь на netflow и не знаю как логирует это DFL :( но думаю что в Вашем варианте он Вам отдает в акурат последние переданные байты...
UDP - тут надо логировать все пакеты, т.к. некий удаленный сервер только отправляет вам пакеты, а дошли они до Вас или нет - это его ниипет, так же там нет флагов и невозможно узнать состояние соединения. Кстати DNS запросы - это в аккурат UDP траффик ;)
ICMP - тот самый ping и traceroute которым Вы пользуетесь тоже гоняет Вам пусть небольшой, но траффик. Например винда при простом ping imho.ws отправит и примет минимум 4 пакета * 32 байта*=*128 байт, а если при этом еще учесть оверхеды, то траффика будет еще бОльше, впрочем это уже совсем другая история... ;)
В общем - считайте _все_ и кладите все в базу, потом запросами разгребете что надо, а что нет ;)

snark
Ко мне на ты можно ;)
Где udp и icmp используется я в курсе, спасиб за напоминание :)
Щас отключил фильтр по conn=close, появились еще conn=open, их все суммировать получается надо?

Разница в подсчитанном трафике с провайдером разнится от 200 метров до 3 гигов :( При общем где-то 15-20 гигов (все указано за месяц). Не пинги же на столько набежали... :idontnow:

Цитата:

Madness:
Где udp и icmp используется я в курсе, спасиб за напоминание

учитывая ник - не удивительно ;) просто это для тех кто читать будет...

Цитата:

Madness:
отключил фильтр по conn=close, появились еще conn=open

ну дык я о том и писал в общем то... ведь оно как робит:
запрос на соединение (syn) -> соединение (ack) -> работа (established) -> закрытие соединения (fin)
и IMHO(.ws) надо их все суммировать, а то пулучается что ты считал только последний шаг, а все остальные проходили мимо...

Цитата:

Madness:
Разница в подсчитанном трафике с провайдером разнится от 200 метров до 3 гигов

сдается мне что из за разной активности юзеров так получается ;) в общем давай ты посчитаешь _все_ за некий N-й период и там посмотрим... кстати, пров статистику что, раз в месяц только предоставляет? неужто почасовой/подневной нету? ведь так проще считать будет... взять допустим лог за 1 сутки (с 00:00:01 и по 23:59:59) и сравнить посчитанное с тем что пров насчитал, тут и выяснится что считать надо...

All
Кто-нить может проверить правильность php скрипта на своем логе?

snark
Маленький кусок лога. Вроде попали все события которые фиксируются, большего нету :(

Код:

2006-10-09 11:51:17        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=open connipproto=TCP connrecvif=LAN connsrcip=192.168.0.117 connsrcport=1120 conndestif=WAN conndestip=62.113.32.72 conndestport=3001

2006-10-09 11:51:17        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=UDP connrecvif=MSK connsrcip=192.168.1.15 connsrcport=1026 conndestif=LAN conndestip=192.168.0.251 conndestport=53 origsent=63 termsent=98

2006-10-09 11:51:18        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=TCP connrecvif=SPB connsrcip=192.168.2.17 connsrcport=1073 conndestif=LAN conndestip=192.168.0.251 conndestport=1025 origsent=608 termsent=512

2006-10-09 11:51:18        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=TCP connrecvif=SPB connsrcip=192.168.2.17 connsrcport=1072 conndestif=LAN conndestip=192.168.0.251 conndestport=135 origsent=516 termsent=420

2006-10-09 11:51:20        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=open connipproto=TCP connrecvif=LAN connsrcip=192.168.0.117 connsrcport=1121 conndestif=WAN conndestip=62.113.32.72 conndestport=2693

2006-10-09 11:51:22        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=open connipproto=UDP connrecvif=LAN connsrcip=192.168.0.101 connsrcport=24967 conndestif=WAN conndestip=170.140.14.206 conndestport=21300

2006-10-09 11:51:24        Local0.Notice        192.168.0.1        EFW: DROP: prio=2 rule=dropall-final action=drop recvif=WAN srcip=64.12.174.215 destip=wan_ip ipproto=TCP ipdatalen=20 srcport=80 destport=8864 ack=1 fin=1

2006-10-09 11:51:24        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=open connipproto=ICMP connrecvif=EKT connsrcip=192.168.3.14 connsrcid=512 conndestif=LAN conndestip=192.168.0.251 conndestid=512

2006-10-09 11:51:24        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=open connipproto=TCP connrecvif=EKT connsrcip=192.168.3.14 connsrcport=1158 conndestif=LAN conndestip=192.168.0.251 conndestport=445

2006-10-09 11:51:25        Local0.Notice        192.168.0.1        EFW: DROP: prio=2 rule=dropall-final action=drop recvif=WAN srcip=89.108.66.93 destip=wan_ip ipproto=TCP ipdatalen=20 srcport=80 destport=6155 ack=1 fin=1

2006-10-09 11:51:26        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=open connipproto=TCP connrecvif=LAN connsrcip=192.168.0.113 connsrcport=49885 conndestif=WAN conndestip=83.102.137.1 conndestport=110

2006-10-09 11:51:28        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=TCP connrecvif=SPB connsrcip=192.168.2.18 connsrcport=1072 conndestif=LAN conndestip=192.168.0.251 conndestport=135 origsent=948 termsent=764

2006-10-09 11:51:28        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=TCP connrecvif=SPB connsrcip=192.168.2.18 connsrcport=1073 conndestif=LAN conndestip=192.168.0.251 conndestport=1025 origsent=976 termsent=712

2006-10-09 11:51:30        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=ToVPN conn=open connipproto=UDP connrecvif=LAN connsrcip=192.168.0.252 connsrcport=3732 conndestif=MSK conndestip=192.168.1.200 conndestport=161

2006-10-09 11:51:30        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=UDP connrecvif=SPB connsrcip=192.168.2.18 connsrcport=1066 conndestif=LAN conndestip=192.168.0.251 conndestport=53 origsent=110 termsent=169

2006-10-09 11:51:30        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=UDP connrecvif=SPB connsrcip=192.168.2.18 connsrcport=1067 conndestif=LAN conndestip=192.168.0.251 conndestport=389 origsent=191 termsent=206

2006-10-09 11:51:33        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=ICMP connrecvif=EKT connsrcip=192.168.3.14 connsrcid=512 conndestif=LAN conndestip=192.168.0.251 conndestid=512 origsent=120 termsent=120

2006-10-09 11:51:35        Local0.Notice        192.168.0.1        EFW: DROP: prio=2 rule=dropall-final action=drop recvif=WAN srcip=64.12.174.205 destip=wan_ip ipproto=TCP ipdatalen=20 srcport=80 destport=6693 rst=1 ack=1

2006-10-09 11:51:35        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=close connipproto=TCP connrecvif=LAN connsrcip=192.168.0.108 connsrcport=1194 conndestif=WAN conndestip=83.102.137.1 conndestport=110 origsent=387 termsent=507

2006-10-09 11:51:36        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=Allow_standard conn=open connipproto=TCP connrecvif=LAN connsrcip=192.168.0.115 connsrcport=1217 conndestif=WAN conndestip=83.102.137.1 conndestport=110

2006-10-09 11:51:37        Local0.Notice        192.168.0.1        EFW: USAGE: conns=204 if0=core ip0=127.0.0.1 tp0=0.00 if1=LAN ip1=192.168.0.1 tp1=0.10 if2=WAN ip2=wan_ip tp2=0.10 if3=DMZ ip3=127.0.0.1 tp3=0.00

2006-10-09 11:51:38        Local0.Info        192.168.0.1        EFW: CONN: prio=1 rule=FromVPN conn=close connipproto=TCP connrecvif=MSK connsrcip=192.168.1.16 connsrcport=1150 conndestif=LAN conndestip=192.168.0.251 conndestport=445 origsent=6997 termsent=4749

>запрос на соединение (syn) -> соединение (ack) -> работа (established) -> закрытие соединения (fin)
Похоже все в conn=close суммируется или вообще не показывается :(

Насчет UDP - в логе видно что оно тоже как conn=close может быть посчитано.
+ скрипт от d-link( в винде оказывается оно работает) считает тоже по conn=close:

Цитата:

# We work with "conn=close" events that involve either
# the interface we're interested in as "recvif=" or "destif".

Логи у прова суточные некорректные :(
Эх, поругаться пойти чтоль...

2 Madness - на днях, как разгребу завал на работе _обязательно_ буду ковырять... посмотрим чего можно достать из этого лога ;) скорее всего свой скрипт напишу, пусть будет...

snark
Мой вот.
Юзать: php _traffic.php >result.txt