Контент фильтр и статистика посещенных сайтов Squid + rejik + ipcad + Free-SA + nginx

Для организации логирования, статистики посещенных сайтов и других сетевых соединений я воспользовался связкой Squid + Free-SA + ipcad.

• Squid - Прокси сервер, который работает у меня в прозрачном (transparent | intercept) режиме - пользователям ничего настраивать не придется. Более подробно о нем писать не вижу смысла.
• Free-SA - Анализатор логов Squid написан на языке Си, по функциональности и назначению похож на LightSquid. Главное отличие - скорость формирования отчетов от 7 до 20 раз выше по сравнению с LightSquid (7х - для 50 Мб файла access.log, 20x - для 1 Гб). Присутствуют дополнительные отчеты (в том числе для оценки эффективности сервера), изменяемые "на лету" темы оформления, имеется поддержка различных форматов файлов журналов (Squid, CLF, Postfix, Qmail, CGP). Имеет мало зависимостей в отличие от того же LightSquid и малые требования к веб серверу! В настройках можно много чего интересного покрутить, об этом ниже. Еще хотелось бы отметить полезного из функционала - опционально можно включить в отчеты полные URL - для подробной отчетности, либо наоборот отключить (будет быстрее формироваться статистика).
• Rejik - redirector для Squid, выполняющий функции контент фильтра. Поддерживает регулярные выражения, и просто списки сайтов. Можно добавлять исключения, применять правила по времени или ip адресам. Из плюсов - высокая скорость работы. Из минусов, чтобы скачать базы, нужно либо поработать - проверить несколько сотен сайтов на принадлежность, либо просто купить списки "плохих" сайтов.
• ipcad - Коллектора для сбора трафика, идущего в обход прокси-сервера. Остается только взять извлечь из него статистику и записать в лог Squid. Скрипт для этого есть ниже.
• nginx - Легковесный и производительный веб-сервер. Для запуска CGI скриптов/программ лучше всего использовать fcgiwrap, о настройке ниже. Более подробно расписывать не вижу смысла.

Весь выбранный софт бесплатный и имеется в портах FreeBSD и под Linux, думаю тоже все эти пакеты есть.
Итак по порядку, первым делом обновляем порты и устанавливаем весь перечисленный софт:

FreeBSD# cd /usr/ports
FreeBSD# portsnap fetch update
FreeBSD# cd /usr/ports/www/squid
FreeBSD# make config && make config-recursive
[x] SQUID_IDENT
[x] SQUID_KQUEUE
[x] SQUID_LARGEFILE
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/free-sa
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/rejik
FreeBSD# make config && make config-recursive
[x] BAN
[x] DBL
[x] WWW
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/nginx
FreeBSD# make config && make config-recursive
[x] HTTP
[x] HTTP_CACHE
[x] HTTP_REWRITE
[x] HTTP_STATUS
[x] WWW
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/fcgiwrap
FreeBSD# make install clean
FreeBSD# cd /usr/ports/net-mgmt/ipcad
FreeBSD# make install clean

Когда все успешно установится переходим к настройкам:
Листинг free-sa.conf:

#
# Sample configuration file for free-sa(1)
#
# copy to /usr/local/etc/free-sa/free-sa.conf
#


#########
# FILES #
#########
log="/var/log/squid/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/cache/free-sa"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="true"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
#paf_limit="50"
#saf_limit="50"
#pdn_limit="50"
#sdn_limit="50"
#cct_limit="50"
#pst_limit="50"
#dld_limit="50"
#lcf_limit="50"
#url_limit="50"
#ts_limit="0"
#dld_min="0"
#rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa.conf"
logformat="0"
#skip_errors="false"
fulltraffic="true"
inameuser="true"
#user_unescape="false"
indicators="true"
overwrite="2"
resolveip="true"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.KOI8-R"
#rotate=""
divisor="b"
#tz_shift="0"

Создаем каталог для скриптов:

FreeBSD# mkdir /usr/local/etc/squid/scripts

И создаем в этой папке скрипты:
Листинг ipcadstat.sh:

#!/bin/sh

# Диапазон адресов локальной cети, указываем подсеть.
net="192\.168\.[0-9]?[0-9]?[0-9]\.[0-9]?[0-9]?[0-9]$" # 192.168.0.0/16
#net="192\.168\.0\.[0-9]?[0-9]?[0-9]$" # 192.168.0.0/24

# Каталог с логами squid'а
squid_DIR='/var/log/squid/'

ttime=`rsh localhost sh ip acco | grep 'Accounting data saved' | awk '{print ($4)}'`
rsh localhost clear ip accounting > /dev/null
rsh localhost show ip accounting checkpoint | awk -v vtime=$ttime '{
 if ( $2 ~ /^'$net'/ )
     print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")
 }' >> "$squid_DIR/access.log"

#TODO - если ошибок не было, то продолжаем.
/usr/local/bin/free-sa

Листинг rotate_log.sh:

#!/bin/sh

# Ротация логов Squid
/usr/local/sbin/squid -k rotate
for i in $(ls $squid_DIR | grep -i '\.log\.[4-9]'); do
    rm -f $squid_DIR/$i
done

Добавляем эти скрипты в планировщик заданий /etc/crontab:

# rotate squid logs
0    0  */1  *  *  root  /usr/local/etc/squid/scripts/rotate_log.sh >>/var/log/squid/rotate_log.log 2>&1

# Наполнение лога squid данными из ipcad.
*/5  *  *    *  *  root  /usr/local/etc/squid/scripts/ipcadstat.sh >>/var/log/squid/ipcadstat.log 2>&1

Привожу только те строки, которые изменил в дефолтном конфиге Squid - /usr/local/etc/squid/squid.conf:

http_port 3129 transparent
cache_mem 500 MB
maximum_object_size_in_memory 64 KB
cache_dir ufs /var/squid/cache 20480 16 256
maximum_object_size 100 MB
access_log /var/log/squid/access.log squid
cache_log /var/log/squid/cache.log
logfile_rotate 100
strip_query_terms off
url_rewrite_program /usr/local/rejik/redirector /usr/local/rejik/redirector.conf
url_rewrite_children 10
header_access Via deny all
cache_mgr Тут@Мое.мыло
visible_hostname имя.сервера.сквида
error_directory /usr/local/etc/squid/errors/Russian-1251
dns_nameservers Тут.ip.вашего.DNS.сервера
append_domain .local
forwarded_for off

Страницу блокировки я предпочитаю отдавать самим Squid, как это описано в FAQ по rejik'у - А нельзя ли обойтись без установки локального web сервера? Добавляем строки в /usr/local/etc/squid/mime.conf:

# Для rejik
dfgxfdgdfg-squid-porno dfgxfdgdfg-squid-deny/dfgxfdgdfg-squid-porno-html rejik/porno.html - ascii
dfgxfdgdfg-squid-deny dfgxfdgdfg-squid-deny/dfgxfdgdfg-squid-deny-html rejik/deny.html  - ascii
dfgxfdgdfg-squid-banner dfgxfdgdfg-squid-banner/dfgxfdgdfg-squid-banner-1px rejik/1x1.gif  - image
dfgxfdgdfg-squid-js dfgxfdgdfg-squid-js/dfgxfdgdfg-squid-js-js  rejik/js.js  - ascii

Файл 1x1.gif - это пустая gif картинка размером 1x1 пиксель.
Файл js.js - это пустой текстовый файл.
Файлы porno.html, deny.html - произвольный html документ, который будут видеть те, кто откроет запрещенный сайт.
Например у меня deny.html выглядит так:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>Доступ ограничен</title>
<style type="text/css">
<!--
body,td,th {
 font-family: Verdana, Arial, Helvetica, sans-serif;
 font-size: 14px;
 color: #FFFFFF;
}
body {
 background-color: #000000;
 margin-top: 100px;
 margin-left: 100px;
 margin-right: 100px;
}
.style1 {
 color: #FF0000;
 font-size: 16px;
 font-weight: bold;
}
.style2 {font-size: 10px}
-->
</style></head>

<body>
<div align="center">
  <p class="style1">Содержимое данного сайта заблокировано!</p>
  <p>Система контентной фильтрации определила,<br />
  что материалы запрашиваемого вами ресурса<br />
  могут противоречить целям и задачам <br />
  образовательного процесса.</p>
  <hr width="400" size="3" />
  <p><span class="style2">Если вы уверены, что сайт не содержит недопустимой информации,<br />
  обратитесь к системному администратору. После проверки адрес<br />
  будет добавлен в список разрешенных ресурсов.</span></p>
</div>
</body>
</html>

Листинг /usr/local/rejik/redirector.conf:

error_log /usr/local/rejik/redirector.err
change_log /usr/local/rejik/redirector.log
make-cache /usr/local/rejik/make-cache
allow_urls /usr/local/rejik/banlists/allow_urls

# Список ip - исключений. (для кого НЕ будут применяться правила фильтрации)
allow_ip f:/usr/local/rejik/ip/allow


#
#ban_dir  /usr/local/rejik/banlists/audio-video
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/avto-moto
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir /usr/local/rejik/banlists/banners
#файлы смотри в каталоге /usr/local/etc/squid/icons/rejik + mime.conf файл сквида
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/1x1.gif
log off

#
#ban_dir  /usr/local/rejik/banlists/chats
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/dating
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/extremism
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/icq
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/jobsearch
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/online-games
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/phishing
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/photogallery
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/porno
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/socnet
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
work_ip f:/usr/local/rejik/ip/deny_socnet
log off


ban_dir  /usr/local/rejik/banlists/spyware
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/torrents
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/virus-detect
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/warez
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/web-mail
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/web-proxy
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

Так как rejik из текстовых файлов со списками плохих сайтов делает файлы бинарные файлы, от после внесения изменений в списки, нужно обновлять *.cache файлы rejik'а, для этого я использую скрипт:

#!/bin/sh

# Путь  до rejik
REJIK_PATH=/usr/local/rejik


# Найдем и удалим файлы кеша rejik
find $REJIK_PATH -name '*.cache' -exec rm {} \;
# Создадим снова кеш rejik
$REJIK_PATH/make-cache

# говорим squid перечитать новую конфигурацию
/usr/local/sbin/squid -k reconfigure

Листинг с описанием виртуального хоста squid.local:

server {
#-------------------------- Options --------------------------#
    listen *:80;
    server_name squid.local squid;

    open_file_cache max=100000 inactive=40s;
    open_file_cache_valid 60s;
    open_file_cache_min_uses 2;
    open_file_cache_errors on;

#logs
    access_log /var/log/nginx/squid.local_http_access.log;
    error_log /var/log/nginx/squid.local_http_error.log;


#-------------------------- Configs --------------------------#
    # redirect server error pages to the static page /50x.html
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/local/www/nginx-dist;
    }

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    location ~ /\.ht {
        deny  all;
    }

    index index.html free-sa.cgi;

#-------------------------- Locations ------------------------#

    location ~ ^/favicon.ico$ {
 root /usr/local/www/data/free-sa;
 log_not_found off;
 access_log off;
 expires max;
    }

# Main location
    location / {
 root /usr/local/www/data/free-sa;

    location ~ \.cgi$ {
     gzip off; #gzip makes scripts feel slower since they have to complete before getting gzipped
     fastcgi_pass  unix:/var/run/fcgiwrap/lightsquid.socket;
     fastcgi_index free-sa.cgi;
     fastcgi_param SCRIPT_FILENAME /usr/local/www/data/free-sa/$fastcgi_script_name;
     fastcgi_param QUERY_STRING  $query_string;
     fastcgi_param REQUEST_METHOD $request_method;
     fastcgi_param CONTENT_TYPE  $content_type;
     fastcgi_param CONTENT_LENGTH $content_length;
     fastcgi_param GATEWAY_INTERFACE CGI/1.1;
     fastcgi_param SERVER_SOFTWARE nginx;
     fastcgi_param SCRIPT_NAME  $fastcgi_script_name;
     fastcgi_param REQUEST_URI  $request_uri;
     fastcgi_param DOCUMENT_URI  $document_uri;
     fastcgi_param DOCUMENT_ROOT  $document_root;
     fastcgi_param SERVER_PROTOCOL $server_protocol;
     fastcgi_param REMOTE_ADDR  $remote_addr;
     fastcgi_param REMOTE_PORT  $remote_port;
     fastcgi_param SERVER_ADDR  $server_addr;
     fastcgi_param SERVER_PORT  $server_port;
     fastcgi_param SERVER_NAME  $server_name;
 }
    }
}

Конечно же каталог с логами должен существовать и права должны быть такие же как у nginx:

FreeBSD# mkdir /var/log/nginx
FreeBSD# chown www:www /var/log/nginx

Не забываем про ротацию логов - добавляем в /etc/newsyslog.conf:

#nginx
/var/log/nginx-error.log www:www  644  7    900 *     XC /var/run/nginx.pid 30
/var/log/nginx/*.log  www:www  644  7    900 *     GXC /var/run/nginx.pid 30

# rejik
/usr/local/rejik/redirector.err squid:squid 644  10    300 *     XC
#crontab for Squid
/var/log/squid/rotate_log.log   644  3    100 *     XC
/var/log/squid/ipcadstat.log   644  3    100 *     XC

И перезапускаем демона newsyslog:

FreeBSD# service newsyslog restart

В качестве бонуса привожу скрипт для удобной перезагрузки конфига Squid. Так как после внесения изменений в конфигурацию Squid, нужно перезапускать сервис, либо из консоли давать команду squid -k reconfigure, что не всегда удобно + если мы допустили ошибку в конфиге ничего хорошего не будет от такой команды и уж темболее от перезагрузки сервиса - он не запустится, а у людей не будет интернета, чтобы всего этого избежать я написал простенький скриптик:

#!/bin/sh

# Функция вывода цветных сообщений
COLOR_STR() {
 case $2 in
  red) printf %b "\033[1;31m$1\033[0m" ;;
  green) printf %b "\033[1;32m$1\033[0m" ;;
 esac
}

squid -k check
if [ $? = 0 ]; then
 squid -k reconfigure
 COLOR_STR 'SUCCESS' green
 echo ': Squid config reloaded.'
else
 COLOR_STR 'ERROR' red
 echo ': in Squid config file.'
fi

В кратце как это работает - скрипт сперва проверяет синтаксис конфига squid -k check, и если ошибок небыло, то выполняет загрузку нового конфига squid -k reconfigure, если были ошибки, то он выдаст ошибку и Squid останется работать со старым конфигом, следовательно у всех будет интернет, а у вас будет время все исправить.
И последний конфиг - листинг файла конфигурации IpCad/usr/local/etc/ipcad.conf:

capture-ports enable;

interface lan0 filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16 and not src port 80";

aggregate 0.0.0.0/0 strip 32; /* Drop the last octet of all other IPs */

aggregate 110 into 110;
aggregate 443 into 443;
aggregate 3129 into 0;
aggregate 3128 into 0;
aggregate 3130-65535 into 65535;

rsh enable at 127.0.0.1;
rsh root@127.0.0.1 admin;
rsh root@127.0.0.1 backup;
rsh root@127.0.0.1;
rsh 127.0.0.1 view-only;
rsh ttl = 3;
rsh timeout = 30;
chroot = /var/log/ipcad;
dumpfile = ipcad.dump;
pidfile = ipcad.pid;

Обратите внимание на строку interface lan0 filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16 and not src port 80"; Эта строка предписывает ipcad собирать статистику пакетов попадающих в локальную сеть извне (из интернет) на LAN-интерфейсе. При этом в статистику не должны попадать пакеты от squid (т.е. те, порт источника которых равен 80 - у нас же прозрачный прокси) т.к. squid сам отразит их статистику в своем логе. Дублирование статистики нам ни к чему.

Как и чем заворачивать всех клиентов в Squid выбирайте сами - в интернете полно информации по этому поводу, я приведу 2 примера заворота при помощи pf и ipfw:
pf:

# редиректим всех, кроме таблицы <no_www_proxy> на наш Proxy сервер, чтобы отфильтровать "Плохие сайты"
rdr proto tcp from !<no_www_proxy> to !lan0:network port http -> 127.0.0.1 port 3129

ipfw:

# Squid transparent redirect
add fwd 127.0.0.1,3129 tcp from any to not 192.168.0.0/16 http via lan0

Где lan0 - имя локального интерфейса.
Теперь можно все это добавить в автозагрузку и запустить.
Вырезка из /etc/rc.conf:

#------------------------------ squid ------------------------------------#
squid_enable="YES" # Прозрачный прокси, для ведения статистики посещенных сайтов.
ipcad_enable="YES" # Для записи в статистику squid'а, всего остального трафика.
#-------------------------------------------------------------------------#


#------------------------------ nginx ------------------------------------#
nginx_enable="YES"  # (bool) Set to "NO" by default. Set it to "YES" to enable nginx

#php_fpm_enable="YES"

fcgiwrap_enable="YES"
fcgiwrap_profiles="lightsquid"
fcgiwrap_flags="-c 4"
fcgiwrap_lightsquid_socket="unix:/var/run/fcgiwrap/lightsquid.socket"
fcgiwrap_lightsquid_user="www"
#-------------------------------------------------------------------------#

Запускаем всех демонов:

FreeBSD# service squid start
FreeBSD# service ipcad start
FreeBSD# service fcgiwrap start
FreeBSD# service nginx start

Пробуем выйти в интернет, открыть запрещенные сайты - все должно работать как и предполагали. Через пять минут пробуем зайти в Free-SA http://squid.local/ и посмотреть статистику. Чтобы посмотреть статистику в режиме реального времени нужно открыть ссылку http://squid.local/cgi-bin/, где squid.local - имя вашего сервера с nginx.

---

Ссылки по теме:
1. Rejik FAQ: А нельзя ли обойтись без установки локального web сервера?
2. Wiki - IT рабочие заметки: ipcad
3. lissyara.su: Анализатор статистики Free-SA
4. rootmaster.at.ua: шлюз для небольшой сети на основе FreeBSD.
5. Подсчет трафика с помощью Squid и ipcad в pfSense 1.2.3
6. coolchevy's blog: Simple CGI support for Nginx
7. Habrahabr: Вебсервер nginx + fastcgi-wrapper + matlab
8. nginx.localdomain.pl: Simple CGI support for Nginx (fcgiwrap)
9. Rejik: DBL листы - что это и где взять?
10. Free-SA log processor