Категории

пятница, 22 марта 2013 г.

Скрипт для пакетного конвертирования из wav в alaw, ulaw, gsm через sox.

Скрипт для пакетного конвертирования из wav в alaw, ulaw, gsm.
#!/bin/sh

IN='IN'  # Входная папка.
OUT='OUT' # Выходная папка.

[ ! -d "$IN" ] && mkdir "$IN" && echo "Create dir: $IN"    # Создаем папку для входных файлов.
#[ -d "$OUT" ] && rm -rf "$OUT" && echo "Delete dir: $OUT"  # Чистим папку OUT.
[ ! -d "$OUT" ] && mkdir "$OUT" && echo "Create dir: $OUT" # Создаем папку для выходных файлов.
[ -d "$OUT/wav" ] && rm -rf "$OUT/wav" && echo "Delete dir: $OUT/wav"  # Чистим папку для wav файлов.
[ ! -d "$OUT/wav" ] && mkdir "$OUT/wav" && echo "Create dir: $OUT/wav" # Создаем папку для wav файлов.

convert_to() {
#$1 - Output format file.
#$2 - IN file.

 [ -z "$1" ] && echo 'ERROR: $1 is empty!' && exit 1
 [ -z "$2" ] && echo 'ERROR: $2 is empty!' && exit 1

 case $1 in
  alaw) SOX_OPT='-t al' ;;
  ulaw) SOX_OPT='-t ul' ;;
  gsm) SOX_OPT='' ;;
  *) echo "ERROR: fromat $1 is not supported!"; exit 1 ;;
 esac

 # Если нужные директории не существуют, то создаем их.
 if [ ! -d "$OUT/wav$D_OUT" ]; then
  echo "Create dir: $D_IN -> $OUT/wav$D_OUT";
  mkdir -p $OUT/wav$D_OUT
  echo '------------------------'
 fi
 if [ ! -d "$OUT/$1$D_OUT" ]; then
  echo "Create dir: $D_IN -> $OUT/$1$D_OUT";
  mkdir -p $OUT/$1$D_OUT
  echo '------------------------'
 fi

 F_OUT=$(basename $2 .wav)
 echo "Processing: $2 -> $OUT/$1$D_OUT/$F_OUT.$1"

 # Проверим, существует ли входной файл.
 if [ -f "$2" ]; then
  # Если нету wav, то для начала сконвертим в wav.
  if [ ! -f $OUT/wav$D_OUT/$F_OUT.wav ]; then
   echo 'Convert to 8bit wav first at 8000Hz - this can take a while...'
   sox "$2" -r 8000 -c1 "$OUT/wav$D_OUT/$F_OUT.wav"
  fi
  #Проверяем имеется ли входной wav файл.
  if [ -f $OUT/wav$D_OUT/$F_OUT.wav ]; then
   # Если файл в нужном формате $1 уже существует, то сперва удаляем его, потом конвертим
   if [ -f $OUT/$1$D_OUT/$F_OUT.$1 ]; then
    echo "INFO: File exist! $OUT/$1$D_OUT/$F_OUT.$1 remove..."
    rm -f $OUT/$1$D_OUT/$F_OUT.$1
   fi
   sox "$OUT/wav$D_OUT/$F_OUT.wav" $SOX_OPT "$OUT/$1$D_OUT/$F_OUT.$1"
  else
   echo "ERROR: Input wav file $OUT/wav$D_OUT/$F_OUT.wav is not exist!"
   exit 1
  fi
 else
  echo "ERROR: Input file $2 not exists!"
 fi
}

find $IN -type d -depth -print | while read D_IN; do # ищем сперва самые "глубокие Директории"
 D_OUT=$(echo "$D_IN" | sed -e 's/'$IN'//') # Получаем имя выходного каталога.

 # Ищем во входном каталоге wav файлы.
 find $D_IN -type f -name "*.wav" -print -maxdepth 1 | while read file; do
  convert_to alaw "$file"
  convert_to ulaw "$file"
  convert_to gsm "$file"
 done
done

# TIP - Увеличение громкости
#sox file1.wav -v 5 file2.wav
#ffmpeg myfile.wav $i -vol 256 -acodec pcm_s16le -ar 8000 -ac 1 -y filename_out"${i%wav}wav" -vol volume change audio volume (256=normal)

четверг, 21 марта 2013 г.

Контент фильтр и статистика посещенных сайтов Squid + rejik + ipcad + Free-SA + nginx

Для организации логирования, статистики посещенных сайтов и других сетевых соединений я воспользовался связкой Squid + Free-SA + ipcad.

  • Squid - Прокси сервер, который работает у меня в прозрачном (transparent | intercept) режиме - пользователям ничего настраивать не придется. Более подробно о нем писать не вижу смысла.
  • Free-SA - Анализатор логов Squid написан на языке Си, по функциональности и назначению похож на LightSquid. Главное отличие - скорость формирования отчетов от 7 до 20 раз выше по сравнению с LightSquid (7х - для 50 Мб файла access.log, 20x - для 1 Гб). Присутствуют дополнительные отчеты (в том числе для оценки эффективности сервера), изменяемые "на лету" темы оформления, имеется поддержка различных форматов файлов журналов (Squid, CLF, Postfix, Qmail, CGP). Имеет мало зависимостей в отличие от того же LightSquid и малые требования к веб серверу! В настройках можно много чего интересного покрутить, об этом ниже. Еще хотелось бы отметить полезного из функционала - опционально можно включить в отчеты полные URL - для подробной отчетности, либо наоборот отключить (будет быстрее формироваться статистика).
  • Rejik - redirector для Squid, выполняющий функции контент фильтра. Поддерживает регулярные выражения, и просто списки сайтов. Можно добавлять исключения, применять правила по времени или ip адресам. Из плюсов - высокая скорость работы. Из минусов, чтобы скачать базы, нужно либо поработать - проверить несколько сотен сайтов на принадлежность, либо просто купить списки "плохих" сайтов.
  • ipcad - Коллектора для сбора трафика, идущего в обход прокси-сервера. Остается только взять извлечь из него статистику и записать в лог Squid. Скрипт для этого есть ниже.
  • nginx - Легковесный и производительный веб-сервер. Для запуска CGI скриптов/программ лучше всего использовать fcgiwrap, о настройке ниже. Более подробно расписывать не вижу смысла.
Весь выбранный софт бесплатный и имеется в портах FreeBSD и под Linux, думаю тоже все эти пакеты есть.
Итак по порядку, первым делом обновляем порты и устанавливаем весь перечисленный софт:
FreeBSD# cd /usr/ports
FreeBSD# portsnap fetch update
FreeBSD# cd /usr/ports/www/squid
FreeBSD# make config && make config-recursive
[x] SQUID_IDENT
[x] SQUID_KQUEUE
[x] SQUID_LARGEFILE
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/free-sa
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/rejik
FreeBSD# make config && make config-recursive
[x] BAN
[x] DBL
[x] WWW
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/nginx
FreeBSD# make config && make config-recursive
[x] HTTP
[x] HTTP_CACHE
[x] HTTP_REWRITE
[x] HTTP_STATUS
[x] WWW
FreeBSD# make install clean
FreeBSD# cd /usr/ports/www/fcgiwrap
FreeBSD# make install clean
FreeBSD# cd /usr/ports/net-mgmt/ipcad
FreeBSD# make install clean
Когда все успешно установится переходим к настройкам:
Листинг free-sa.conf:
#
# Sample configuration file for free-sa(1)
#
# copy to /usr/local/etc/free-sa/free-sa.conf
#


#########
# FILES #
#########
log="/var/log/squid/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/cache/free-sa"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="true"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
#paf_limit="50"
#saf_limit="50"
#pdn_limit="50"
#sdn_limit="50"
#cct_limit="50"
#pst_limit="50"
#dld_limit="50"
#lcf_limit="50"
#url_limit="50"
#ts_limit="0"
#dld_min="0"
#rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa.conf"
logformat="0"
#skip_errors="false"
fulltraffic="true"
inameuser="true"
#user_unescape="false"
indicators="true"
overwrite="2"
resolveip="true"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.KOI8-R"
#rotate=""
divisor="b"
#tz_shift="0"
Создаем каталог для скриптов:
FreeBSD# mkdir /usr/local/etc/squid/scripts
И создаем в этой папке скрипты:
Листинг ipcadstat.sh:
#!/bin/sh

# Диапазон адресов локальной cети, указываем подсеть.
net="192\.168\.[0-9]?[0-9]?[0-9]\.[0-9]?[0-9]?[0-9]$" # 192.168.0.0/16
#net="192\.168\.0\.[0-9]?[0-9]?[0-9]$" # 192.168.0.0/24

# Каталог с логами squid'а
squid_DIR='/var/log/squid/'

ttime=`rsh localhost sh ip acco | grep 'Accounting data saved' | awk '{print ($4)}'`
rsh localhost clear ip accounting > /dev/null
rsh localhost show ip accounting checkpoint | awk -v vtime=$ttime '{
 if ( $2 ~ /^'$net'/ )
     print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")
 }' >> "$squid_DIR/access.log"

#TODO - если ошибок не было, то продолжаем.
/usr/local/bin/free-sa
Листинг rotate_log.sh:
#!/bin/sh

# Ротация логов Squid
/usr/local/sbin/squid -k rotate
for i in $(ls $squid_DIR | grep -i '\.log\.[4-9]'); do
    rm -f $squid_DIR/$i
done
Добавляем эти скрипты в планировщик заданий /etc/crontab:
# rotate squid logs
0    0  */1  *  *  root  /usr/local/etc/squid/scripts/rotate_log.sh >>/var/log/squid/rotate_log.log 2>&1

# Наполнение лога squid данными из ipcad.
*/5  *  *    *  *  root  /usr/local/etc/squid/scripts/ipcadstat.sh >>/var/log/squid/ipcadstat.log 2>&1
Привожу только те строки, которые изменил в дефолтном конфиге Squid - /usr/local/etc/squid/squid.conf:
http_port 3129 transparent
cache_mem 500 MB
maximum_object_size_in_memory 64 KB
cache_dir ufs /var/squid/cache 20480 16 256
maximum_object_size 100 MB
access_log /var/log/squid/access.log squid
cache_log /var/log/squid/cache.log
logfile_rotate 100
strip_query_terms off
url_rewrite_program /usr/local/rejik/redirector /usr/local/rejik/redirector.conf
url_rewrite_children 10
header_access Via deny all
cache_mgr Тут@Мое.мыло
visible_hostname имя.сервера.сквида
error_directory /usr/local/etc/squid/errors/Russian-1251
dns_nameservers Тут.ip.вашего.DNS.сервера
append_domain .local
forwarded_for off
Страницу блокировки я предпочитаю отдавать самим Squid, как это описано в FAQ по rejik'у - А нельзя ли обойтись без установки локального web сервера? Добавляем строки в /usr/local/etc/squid/mime.conf:
# Для rejik
dfgxfdgdfg-squid-porno dfgxfdgdfg-squid-deny/dfgxfdgdfg-squid-porno-html rejik/porno.html - ascii
dfgxfdgdfg-squid-deny dfgxfdgdfg-squid-deny/dfgxfdgdfg-squid-deny-html rejik/deny.html  - ascii
dfgxfdgdfg-squid-banner dfgxfdgdfg-squid-banner/dfgxfdgdfg-squid-banner-1px rejik/1x1.gif  - image
dfgxfdgdfg-squid-js dfgxfdgdfg-squid-js/dfgxfdgdfg-squid-js-js  rejik/js.js  - ascii
Файл 1x1.gif - это пустая gif картинка размером 1x1 пиксель.
Файл js.js - это пустой текстовый файл.
Файлы porno.html, deny.html - произвольный html документ, который будут видеть те, кто откроет запрещенный сайт.
Например у меня deny.html выглядит так:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>Доступ ограничен</title>
<style type="text/css">
<!--
body,td,th {
 font-family: Verdana, Arial, Helvetica, sans-serif;
 font-size: 14px;
 color: #FFFFFF;
}
body {
 background-color: #000000;
 margin-top: 100px;
 margin-left: 100px;
 margin-right: 100px;
}
.style1 {
 color: #FF0000;
 font-size: 16px;
 font-weight: bold;
}
.style2 {font-size: 10px}
-->
</style></head>

<body>
<div align="center">
  <p class="style1">Содержимое данного сайта заблокировано!</p>
  <p>Система контентной фильтрации определила,<br />
  что материалы запрашиваемого вами ресурса<br />
  могут противоречить целям и задачам <br />
  образовательного процесса.</p>
  <hr width="400" size="3" />
  <p><span class="style2">Если вы уверены, что сайт не содержит недопустимой информации,<br />
  обратитесь к системному администратору. После проверки адрес<br />
  будет добавлен в список разрешенных ресурсов.</span></p>
</div>
</body>
</html>
Листинг /usr/local/rejik/redirector.conf:
error_log /usr/local/rejik/redirector.err
change_log /usr/local/rejik/redirector.log
make-cache /usr/local/rejik/make-cache
allow_urls /usr/local/rejik/banlists/allow_urls

# Список ip - исключений. (для кого НЕ будут применяться правила фильтрации)
allow_ip f:/usr/local/rejik/ip/allow


#
#ban_dir  /usr/local/rejik/banlists/audio-video
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/avto-moto
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir /usr/local/rejik/banlists/banners
#файлы смотри в каталоге /usr/local/etc/squid/icons/rejik + mime.conf файл сквида
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/1x1.gif
log off

#
#ban_dir  /usr/local/rejik/banlists/chats
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/dating
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/extremism
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/icq
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off

#
#ban_dir  /usr/local/rejik/banlists/jobsearch
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/online-games
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/phishing
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/photogallery
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/porno
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/socnet
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
work_ip f:/usr/local/rejik/ip/deny_socnet
log off


ban_dir  /usr/local/rejik/banlists/spyware
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/torrents
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/virus-detect
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off


ban_dir  /usr/local/rejik/banlists/warez
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off

#
#ban_dir  /usr/local/rejik/banlists/web-mail
#url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
#log off


ban_dir  /usr/local/rejik/banlists/web-proxy
url http://127.0.0.1:3126/squid-internal-static/icons/rejik/deny.html
log off
Так как rejik из текстовых файлов со списками плохих сайтов делает файлы бинарные файлы, от после внесения изменений в списки, нужно обновлять *.cache файлы rejik'а, для этого я использую скрипт:
#!/bin/sh

# Путь  до rejik
REJIK_PATH=/usr/local/rejik


# Найдем и удалим файлы кеша rejik
find $REJIK_PATH -name '*.cache' -exec rm {} \;
# Создадим снова кеш rejik
$REJIK_PATH/make-cache

# говорим squid перечитать новую конфигурацию
/usr/local/sbin/squid -k reconfigure
Листинг с описанием виртуального хоста squid.local:
server {
#-------------------------- Options --------------------------#
    listen *:80;
    server_name squid.local squid;

    open_file_cache max=100000 inactive=40s;
    open_file_cache_valid 60s;
    open_file_cache_min_uses 2;
    open_file_cache_errors on;

#logs
    access_log /var/log/nginx/squid.local_http_access.log;
    error_log /var/log/nginx/squid.local_http_error.log;


#-------------------------- Configs --------------------------#
    # redirect server error pages to the static page /50x.html
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/local/www/nginx-dist;
    }

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    location ~ /\.ht {
        deny  all;
    }

    index index.html free-sa.cgi;

#-------------------------- Locations ------------------------#

    location ~ ^/favicon.ico$ {
 root /usr/local/www/data/free-sa;
 log_not_found off;
 access_log off;
 expires max;
    }

# Main location
    location / {
 root /usr/local/www/data/free-sa;

    location ~ \.cgi$ {
     gzip off; #gzip makes scripts feel slower since they have to complete before getting gzipped
     fastcgi_pass  unix:/var/run/fcgiwrap/lightsquid.socket;
     fastcgi_index free-sa.cgi;
     fastcgi_param SCRIPT_FILENAME /usr/local/www/data/free-sa/$fastcgi_script_name;
     fastcgi_param QUERY_STRING  $query_string;
     fastcgi_param REQUEST_METHOD $request_method;
     fastcgi_param CONTENT_TYPE  $content_type;
     fastcgi_param CONTENT_LENGTH $content_length;
     fastcgi_param GATEWAY_INTERFACE CGI/1.1;
     fastcgi_param SERVER_SOFTWARE nginx;
     fastcgi_param SCRIPT_NAME  $fastcgi_script_name;
     fastcgi_param REQUEST_URI  $request_uri;
     fastcgi_param DOCUMENT_URI  $document_uri;
     fastcgi_param DOCUMENT_ROOT  $document_root;
     fastcgi_param SERVER_PROTOCOL $server_protocol;
     fastcgi_param REMOTE_ADDR  $remote_addr;
     fastcgi_param REMOTE_PORT  $remote_port;
     fastcgi_param SERVER_ADDR  $server_addr;
     fastcgi_param SERVER_PORT  $server_port;
     fastcgi_param SERVER_NAME  $server_name;
 }
    }
}
Конечно же каталог с логами должен существовать и права должны быть такие же как у nginx:
FreeBSD# mkdir /var/log/nginx
FreeBSD# chown www:www /var/log/nginx
Не забываем про ротацию логов - добавляем в /etc/newsyslog.conf:
#nginx
/var/log/nginx-error.log www:www  644  7    900 *     XC /var/run/nginx.pid 30
/var/log/nginx/*.log  www:www  644  7    900 *     GXC /var/run/nginx.pid 30

# rejik
/usr/local/rejik/redirector.err squid:squid 644  10    300 *     XC
#crontab for Squid
/var/log/squid/rotate_log.log   644  3    100 *     XC
/var/log/squid/ipcadstat.log   644  3    100 *     XC
И перезапускаем демона newsyslog:
FreeBSD# service newsyslog restart

В качестве бонуса привожу скрипт для удобной перезагрузки конфига Squid. Так как после внесения изменений в конфигурацию Squid, нужно перезапускать сервис, либо из консоли давать команду squid -k reconfigure, что не всегда удобно + если мы допустили ошибку в конфиге ничего хорошего не будет от такой команды и уж темболее от перезагрузки сервиса - он не запустится, а у людей не будет интернета, чтобы всего этого избежать я написал простенький скриптик:
#!/bin/sh

# Функция вывода цветных сообщений
COLOR_STR() {
 case $2 in
  red) printf %b "\033[1;31m$1\033[0m" ;;
  green) printf %b "\033[1;32m$1\033[0m" ;;
 esac
}

squid -k check
if [ $? = 0 ]; then
 squid -k reconfigure
 COLOR_STR 'SUCCESS' green
 echo ': Squid config reloaded.'
else
 COLOR_STR 'ERROR' red
 echo ': in Squid config file.'
fi
В кратце как это работает - скрипт сперва проверяет синтаксис конфига squid -k check, и если ошибок небыло, то выполняет загрузку нового конфига squid -k reconfigure, если были ошибки, то он выдаст ошибку и Squid останется работать со старым конфигом, следовательно у всех будет интернет, а у вас будет время все исправить.
И последний конфиг - листинг файла конфигурации IpCad/usr/local/etc/ipcad.conf:
capture-ports enable;

interface lan0 filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16 and not src port 80";

aggregate 0.0.0.0/0 strip 32; /* Drop the last octet of all other IPs */

aggregate 110 into 110;
aggregate 443 into 443;
aggregate 3129 into 0;
aggregate 3128 into 0;
aggregate 3130-65535 into 65535;

rsh enable at 127.0.0.1;
rsh root@127.0.0.1 admin;
rsh root@127.0.0.1 backup;
rsh root@127.0.0.1;
rsh 127.0.0.1 view-only;
rsh ttl = 3;
rsh timeout = 30;
chroot = /var/log/ipcad;
dumpfile = ipcad.dump;
pidfile = ipcad.pid;
Обратите внимание на строку interface lan0 filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16 and not src port 80"; Эта строка предписывает ipcad собирать статистику пакетов попадающих в локальную сеть извне (из интернет) на LAN-интерфейсе. При этом в статистику не должны попадать пакеты от squid (т.е. те, порт источника которых равен 80 - у нас же прозрачный прокси) т.к. squid сам отразит их статистику в своем логе. Дублирование статистики нам ни к чему.

Как и чем заворачивать всех клиентов в Squid выбирайте сами - в интернете полно информации по этому поводу, я приведу 2 примера заворота при помощи pf и ipfw:
pf:
# редиректим всех, кроме таблицы <no_www_proxy> на наш Proxy сервер, чтобы отфильтровать "Плохие сайты"
rdr proto tcp from !<no_www_proxy> to !lan0:network port http -> 127.0.0.1 port 3129
ipfw:
# Squid transparent redirect
add fwd 127.0.0.1,3129 tcp from any to not 192.168.0.0/16 http via lan0
Где lan0 - имя локального интерфейса.
Теперь можно все это добавить в автозагрузку и запустить.
Вырезка из /etc/rc.conf:
#------------------------------ squid ------------------------------------#
squid_enable="YES" # Прозрачный прокси, для ведения статистики посещенных сайтов.
ipcad_enable="YES" # Для записи в статистику squid'а, всего остального трафика.
#-------------------------------------------------------------------------#


#------------------------------ nginx ------------------------------------#
nginx_enable="YES"  # (bool) Set to "NO" by default. Set it to "YES" to enable nginx

#php_fpm_enable="YES"

fcgiwrap_enable="YES"
fcgiwrap_profiles="lightsquid"
fcgiwrap_flags="-c 4"
fcgiwrap_lightsquid_socket="unix:/var/run/fcgiwrap/lightsquid.socket"
fcgiwrap_lightsquid_user="www"
#-------------------------------------------------------------------------#
Запускаем всех демонов:
FreeBSD# service squid start
FreeBSD# service ipcad start
FreeBSD# service fcgiwrap start
FreeBSD# service nginx start
Пробуем выйти в интернет, открыть запрещенные сайты - все должно работать как и предполагали. Через пять минут пробуем зайти в Free-SA http://squid.local/ и посмотреть статистику. Чтобы посмотреть статистику в режиме реального времени нужно открыть ссылку http://squid.local/cgi-bin/, где squid.local - имя вашего сервера с nginx.

Ссылки по теме:
1. Rejik FAQ: А нельзя ли обойтись без установки локального web сервера?
2. Wiki - IT рабочие заметки: ipcad
3. lissyara.su: Анализатор статистики Free-SA
4. rootmaster.at.ua: шлюз для небольшой сети на основе FreeBSD.
5. Подсчет трафика с помощью Squid и ipcad в pfSense 1.2.3
6. coolchevy's blog: Simple CGI support for Nginx
7. Habrahabr: Вебсервер nginx + fastcgi-wrapper + matlab
8. nginx.localdomain.pl: Simple CGI support for Nginx (fcgiwrap)
9. Rejik: DBL листы - что это и где взять?
10. Free-SA log processor

четверг, 14 марта 2013 г.

FreeBSD chroot sftp и chroot ssh.

Для предоставления доступа через ssh и sftp например к файлам сайта, можно использовать штатный для FreeBSD демон sshd.
Для начала добавим в конфиг демона /etc/ssh/sshd_config строки:
############## : BEGIN
#pw usermod sftponly -d /usr/local/www/
#chown root:wheel /usr/local/www/
#AllowGroups wheel sftp
#AllowUsers user1 user2 user3@192.168.1.1 user3@192.168.2.*

Match User web
   ChrootDirectory /home/%u
   X11Forwarding no
   AllowTcpForwarding no

Match Group sftp
   ChrootDirectory %h
   X11Forwarding no
   AllowTcpForwarding no
   ForceCommand internal-sftp
############## : END
Добавляем в систему пользователя sftp и web:
FreeBSD# adduser
Username: sftp
Full name:     
Uid (Leave empty for default): 
Login group [sftp]: 
Login group is sftp. Invite sftp into other groups? []: 
Login class [default]: 
Shell (sh csh tcsh nologin) [sh]: nologin
Home directory [/home/sftp]: /usr/local/www
Home directory permissions (Leave empty for default): 
Use password-based authentication? [yes]: 
Use an empty password? (yes/no) [no]: 
Use a random password? (yes/no) [no]: 
Enter password: 
Enter password again: 
Lock out the account after creation? [no]: 
Username   : sftp
Password   : *****
Full Name  : 
Uid        : 1002
Class      : 
Groups     : sftp 
Home       : /usr/local/www
Home Mode  : 
Shell      : /usr/sbin/nologin
Locked     : no
OK? (yes/no): y
adduser: INFO: Successfully added (sftp) to the user database.
Add another user? (yes/no): y
Username: web
Full name: 
Uid [1003]: 
Login group [web]: 
Login group is web. Invite webb into other groups? []: 
Login class [default]: 
Shell (sh csh tcsh nologin) [sh]: csh
Home directory [/usr/local/web]: /home/web
Home directory permissions (Leave empty for default): 
Use password-based authentication? [yes]: 
Use an empty password? (yes/no) [no]: 
Use a random password? (yes/no) [no]: 
Enter password: 
Enter password again: 
Lock out the account after creation? [no]: 
Username   : web
Password   : *****
Full Name  : 
Uid        : 1003
Class      : 
Groups     : web 
Home       : /home/web
Home Mode  : 
Shell      : /bin/csh
Locked     : no
OK? (yes/no): y
adduser: INFO: Successfully added (web) to the user database.
Add another user? (yes/no): n
Goodbye!
Теперь нужно создать chroot окружение для пользователя web, для этого я написал скрипт add_ssh_chrootuser.sh:
#!/bin/sh

# Проверка задано ли имя пользователя
if [ "$1" = "" ] ; then
 echo "  Usage: $0 [ username ]"
 exit 1
fi

USER=$1
GID=$(id -g $USER)
HOMEDIR=/home/$USER

# Задаем список каталогов в chroot окружении.
SKEL="/bin
    /sbin
    /etc
    /home
    /home/$USER
    /lib
    /libexec
    /tmp
    /usr
    /usr/bin
    /usr/local
    /usr/share
    /usr/local/bin
    /usr/local/etc
    /usr/local/share
    /usr/local/libexec"

# Создаем структуру каталогов внутри chroot окружения
for i in $SKEL; do
 [ ! -d $HOMEDIR$i ] && mkdir $HOMEDIR$i
done

# Определяем какие библиотеки необходимо скопировать
for item in sh csh zcat cat tbl groff chmod cp echo \
    ln ls date expr mkdir mv pwd locale \
    rm rmdir awk bzip2 diff du \
    ee fetch find grep gunzip gzip \
    more less sed sort tail head \
    tar touch vi ee mc mcedit \
    mysql mysqldump clear tput reset man zcat troff grotty; do
 p=$(whereis -q $item | cut -d' ' -f1)
 if [ -n "$p" ]; then
  # Копируем бинарники внутрь chroot окружения
  cp $p $HOMEDIR$p
  ldd $p | awk '{print $3}' | grep '.' >>/tmp/chroot_liblist
  #ldd $CMD_LIST|grep -v ':$'|grep -v "not a dynamic executable"|cut -f 3 -d " "|sort|uniq|sed 1d
 else
  echo "$item is NOT found, skip!"
 fi
done

# Копируем библиотеки
for item in $(cat /tmp/chroot_liblist | sort | uniq); do
 cp $item $HOMEDIR/lib/
done
# Подчищаем за собой
[ -f /tmp/chroot_liblist ] && rm /tmp/chroot_liblist

# Копируем оставшиеся необходимые файлы и библиотеки
for i in /etc/termcap \
    /etc/resolv.conf \
    /etc/nsswitch.conf \
    /libexec/ld-elf.so.1 \
    /libexec/ld-elf32.so.1; do
 cp $i $HOMEDIR$i
done

# если копировали mc, то копируем все необходимые для mc файлы.
for i in /usr/local/share/mc \
    /usr/local/libexec/mc \
    /usr/local/etc/mc \
    /usr/local/man \
    /usr/share/man \
    /usr/share/groff_font \
    /usr/share/tmac; do
 cp -R $i $HOMEDIR$i
done

# Если копировали mysql клиента, то настроим дефолтные опции.
echo '
[client]
port=3306
host=192.168.120.2' >$HOMEDIR/usr/local/etc/my.cnf

# Генерируем /etc/motd для chroot окружения
echo 'Welcome to chroot environment' > $HOMEDIR/etc/motd

# Генерируем csh.cshrc для chroot окружения
echo 'setenv TERMCAP /etc/termcap' > $HOMEDIR/etc/csh.cshrc
cp /.cshrc $HOMEDIR/home/$USER/

#т.к. man требует зачем-то наличие /sbin/sysctl, то создаем заглушку - пустой файл с правами запуска.
[ ! -d $HOMEDIR/sbin/ ] && mkdir $HOMEDIR/sbin
[ ! -x $HOMEDIR/sbin/sysctl ] && chmod +x $HOMEDIR/sbin/sysctl

# Генерируем /etc/group для chroot окружения
grep $GID /etc/group > $HOMEDIR/etc/group

# Переносим запись о пользователе
grep "^$USER:" /etc/master.passwd > $HOMEDIR/etc/master.passwd
pwd_mkdb -d $HOMEDIR/etc $HOMEDIR/etc/master.passwd

# Выставляем права
chown root:wheel $HOMEDIR
chmod 755 $HOMEDIR
chmod 777 $HOMEDIR/tmp

for i in $SKEL; do
 chown -R $USER:$GID $HOMEDIR$i
done
Затем запускаем скрипт, указывая пользователя web:
FreeBSD# sh add_ssh_chrootuser.sh web
В каталоге /home/web будет создана структура каталогов системы и будут скопированы программы и все необходимые для их запуска библиотеки. В скрипте я копирую минимальный набор, которого хватает для чтения логов nginx, работы с mysql и некоторые другие программки - например mc. Перезапускаем демона sshd:
FreeBSD# service sshd restart
Stopping sshd.
Starting sshd.
Все готово! Можно подключаться под созданными учетными записями.
Пользователь web при подключении по ssh, попадет в chroot окружение, которое было создано скриптом, а пользователь sftp не сможет входить по ssh, но сможет сводобно работать по sftp протоколу, и самое главное, для него будет коневым каталогом /usr/local/www, за его пределы он не сможет выйти.

P.S. Важно, чтобы права на chroot директории были chmod 755 и владелец root:wheel, в противном случае пользователи не смогут войти.
Ссылки по теме:
1. lissyara.su - "Использование sftp+chroot из openssh в качестве альтернативы ftp-серверу."
2. WOLAND's blog - "BASH. Создание chroot окружения для SSH chroot в FreeBSD."
3. Forums.freebsd.org - [Solved] sftp/scp chroot solution?
4. Hilink - "chroot ssh доступ. Настройка."
5. Под защитой песочного демона (Евгений Зобнин) - Хакер, номер #093, стр. 093-118-4
6. opennet.ru - "ssh chroot"

пятница, 8 марта 2013 г.

Работа с текстом во FreeBSD dos2unix, unix2dos, удаление BOM в консоли.

Замена текста: Способ 1: Замена подстроки с помощью ПЕРЛ
perl -e 's/Pavel/Misha/g' -pi ./index.html
Способ 2: Замена с помощью sed
sed -e 's/Pavel/Misha/g'  ./index.html > index_new.html
Способ 3: Замена с помощью awk
awk '{gsub("Pavel","Misha",$0); print > FILENAME}' ./index.html
Полезные функции для работы с файлами:
dos2unix() {
 sed -i '' -e 's/'"$(printf '\015')"'$//g' "$2"
}

unix2dos() {
 sed -i '' -e 's|$|'"$(printf '\015')"'|g' "$2"
}

delete_BOM() {
# awk '{sub(/^\xEF\xBB\xBF/,"",$0); print > FILENAME}' "$1"
 awk '{sub(/^\xEF\xBB\xBF/,"",$0); print}' "$1" >> "${1}.awkbak"
 mv "${1}.awkbak" "$1"
}

#По 1 файлу
dos2unix -o russian.php
delete_BOM russian.php

# Найти и обработать все *.tpl и *.php файлы от текущего каталога.
for i in $(find . -type f \( -name '*.tpl' -o -name '*.php' \) -print); do
 echo 'Working: '$i'...'
 dos2unix -o $i
 delete_BOM $i
done
dos2unix -o для обратной совместимости с одноименной консольной утилитой /usr/ports/converters/unix2dos, но зачем засорять систему лишними пакетами, если можно обойтись встроенными средствами?

P.S. Если кто-то подскажет более изящное решение на awk, sed или еще чем-то, что идет штатно во FreeBSD для удаления BOM, буду только рад :) Варианты с perl не предлагать, они очевидны и не интересны :)
Первый вариант с awk почему-то не работает, часть файла теряется.
FreeBSD Подсказывает в motd вариант на sed:
sed -e '1s/^\xef\xbb\xbf//' < bomfile > newfile