Edición de «Servidor proxy con AV»

{{Plantilla:Docs}}
= Introducción =
El propósito de este manual es describir la instalación y configuración del squid 2.7 (proxy http) + antivirus (ClamAV) + Dansguard (filtrado de paginas web + integración con ClamAV) en una Ubuntu 8.04.

No sé entrará demasiado en explicar cada aplicación que se va a instalar, se deja el tema de profundizar a discreción del lector ;)

Así pues empecemos con la instalación y configuración de la solución proxy + filtrado + antivirus.

= Requisitos =

== Paquetes/programas ==

Antes de proceder a la instalación se instalarán algunos requisitos previos para llevar a cabo la instalación de los componentes, teniendo en cuenta que el squid y el dansguardian se instalan desde fuentes y todas las opciones de compilación que se van a usar.

Así pues pasamos a instalar todo lo necesario

<pre>
aptitude install gcc make perl build-essential libldap2-dev libsasl2-dev libpam0g-dev zlib-bin zlib1g-dev libpcre3-dev pkg-config
</pre>

== Parámetros kernel ==
Para un mejor funcionamiento se debe configurar una seria de parámetros en el kernel o comprobar que estén configurados con unos valores correctos.

Empecemos con los descriptores de ficheros, que por defecto solo se permiten en las sesiones bash 1024 ficheros abiertos, un número muy bajo para un squid con una carga moderada.

Por tanto se van a subir ese valor a algo más razonable como es 8192. Esto sólo se hará a nivel de sesión bash ya que el kernel el número de descriptores es bastante alto en la ubuntu 8.04

<pre>
cat /proc/sys/fs/file-max
49910
</pre>

Para configurar el número de descriptores basta con ejecutar el comando

<pre>
ulimit -HSn 8192
</pre>

Si queremos comprobar el valor de los descriptores basta con ejecutar el comando

<pre>
ulimit -n
</pre>

Por último hay que comprobar que el número de puertos dinámicos de cliente es suficientemente alto

<pre>
cat /proc/sys/net/ipv4/ip_local_port_range
32768   61000
</pre>
 
= Instalación =

A continuación pasaremos a instalar el primer componente, el antivirus clamav, necesario para bloquear los virus en la navegación web a través del proxy squid.

== ClamAV ==
Optaremos por instalar el antivirus usando el sistema de paquetes de Ubuntu.

<pre>
aptitude install clamav-daemon
</pre>

'''Nota''': Si estamos detrás de un proxy para acceder a internet se deberán configurar correctamente ''HTTPProxyUsername'' y ''HTTPProxyPassword'' en el fichero de configuración /etc/freshclam.conf

Una vez instalado basta que actualicemos manualmente la base de datos del ClamAV ejecutando el comando
<pre>
freshclam
</pre>
De forma predeterminada la base de datos de virus se actualiza cada hora.

'''Nota''': Vigilar de vez en cuando que la versión del clamav sea lo suficiente reciente para soportar la detección de toda la base de datos de virus

A continuación se pasa a instalar el proxy squid versión 2.7

== Squid ==
Primero de todo se baja y descomprime la última versión estable a día de hoy (04/04/09), la versión 2.7-estable6
<pre>
wget http://www.squid-cache.org/Versions/v2/2.7/squid-2.7.STABLE6.tar.gz
tar zxvf squid-2.7.STABLE6.tar.gz
cd squid-2.7.STABLE6
</pre>

A continuación se va a pasar a compilar e instalar el squid (por defecto se instala en /usr/local/squid). 
Hay que tener en cuenta que antes de hacer el configure se debe configurar el número de descriptores de ficheros abiertos a 8192
<pre>
ulimit -HSn 8192
./configure --enable-storeio="aufs coss diskd ufs null" --enable-coss-aio-ops --with-aio --enable-removal-policies="heap,lru" \ 
--with-large-files --enable-large-cache-files --enable-delay-pools --enable-snmp --enable-linux-netfilter \ 
--enable-auth="basic digest negotiate ntlm" --enable-basic-auth-helpers="DB LDAP MSNT NCSA PAM POP3 SASL SMB squid_radius_auth YP"  \ 
--enable-follow-x-forwarded-for && make && make install
</pre>

'''Nota''': Se va a usar el método de almacenamiento de cache '''aufs''', ya que el '''coss''' tarda varios minutos en arrancar la cache, provocando prácticamente un DoS de acceso a disco (I/O) en el disco duro del servidor durante ese tiempo.
<br>Si se quisiera usar el coss se debe tener en cuenta que el tamaño máximo de objeto "cacheable" debe ser menor que el valor 
del ''coss-membuf'' que se puede configurar en la compilación con la opción ''--enable-coss-membuf-size=COSS_MEMBUF_SIZE''

= TODO =
Aunque la solución descrita en este manual es bastante completa, se podría instalar alguna herramienta más como por ejemplo:

- Estadísticas (Sarg)
- El gestor de la cache (Cache Manager)
- Snmp



[[Categoría:Linux]]
@@ Línea 1: / Línea 1: @@
-{| class="wikitable" align="right" cellpadding="4"
+{{Plantilla:Docs}}
-|+ '''Sobre este documento'''
-|-
-| bgcolor="#ddf"|'''Tipo''' || Manual (How To)
-|-
-| bgcolor="#ddf"|'''Categoria''' || [[:Categoría:Linux|Linux]]
-|-
-| bgcolor="#ddf"|'''Plataforma''' || All GNU/Linux
-|-
-| bgcolor="#ddf"|'''Versión''' || 0.5
-|-
-| bgcolor="#ddf"|'''Dificultad''' || [[Imagen:Micro_tux.png|Tux]][[Imagen:Micro_tux.png|Tux]][[Imagen:Micro_tux.png|Tux]]
-|-
-|}
 = Introducción =
 El propósito de este manual es describir la instalación y configuración del squid 2.7 (proxy http) + antivirus (ClamAV) + Dansguard (filtrado de paginas web + integración con ClamAV) en una Ubuntu 8.04.
-No sé entrará demasiado en explicar cada aplicación que se va a instalar, se deja el tema de profundizar a discreción del lector ;)<br>
+No sé entrará demasiado en explicar cada aplicación que se va a instalar, se deja el tema de profundizar a discreción del lector ;)
-Se presuponen ciertos conocimientos sobre administración linux y los componentes que esta guia explica su instalación.
 Así pues empecemos con la instalación y configuración de la solución proxy + filtrado + antivirus.
 = Requisitos =
+== Paquetes/programas ==
 Antes de proceder a la instalación se instalarán algunos requisitos previos para llevar a cabo la instalación de los componentes, teniendo en cuenta que el squid y el dansguardian se instalan desde fuentes y todas las opciones de compilación que se van a usar.
 Así pues pasamos a instalar todo lo necesario
-== Paquetes/programas ==
-Primero instalamos los paquetes necesarios
 <pre>
-aptitude install gcc make perl build-essential libldap2-dev libsasl2-dev libpam0g-dev \
+aptitude install gcc make perl build-essential libldap2-dev libsasl2-dev libpam0g-dev zlib-bin zlib1g-dev libpcre3-dev pkg-config
-zlib-bin zlib1g-dev libpcre3-dev pkg-config libbz2-dev libncurses5-dev check
 </pre>
 == Parámetros kernel ==
-Para un mejor funcionamiento se debe configurar una serie de parámetros en el kernel o comprobar que estén configurados con unos valores correctos.
+Para un mejor funcionamiento se debe configurar una seria de parámetros en el kernel o comprobar que estén configurados con unos valores correctos.
 Empecemos con los descriptores de ficheros, que por defecto solo se permiten en las sesiones bash 1024 ficheros abiertos, un número muy bajo para un squid con una carga moderada.
-Por tanto se van a subir ese valor a algo más razonable como es 8192. Esto sólo se hará a nivel de sesión bash ya que el kernel el número de descriptores es bastante alto en la ubuntu 8.04:
+Por tanto se van a subir ese valor a algo más razonable como es 8192. Esto sólo se hará a nivel de sesión bash ya que el kernel el número de descriptores es bastante alto en la ubuntu 8.04
 <pre>
@@ Línea 50: / Línea 34: @@
 <pre>
-ulimit -n 8192
+ulimit -HSn 8192
 </pre>
@@ Línea 65: / Línea 49: @@
   61000
 </pre>
-= Instalación y configuración =
+= Instalación =
 A continuación pasaremos a instalar el primer componente, el antivirus clamav, necesario para bloquear los virus en la navegación web a través del proxy squid.
@@ Línea 100: / Línea 84: @@
 Hay que tener en cuenta que antes de hacer el configure se debe configurar el número de descriptores de ficheros abiertos a 8192
 <pre>
-ulimit -n 8192
+ulimit -HSn 8192
-./configure --enable-storeio="aufs coss diskd ufs null" --enable-coss-aio-ops --with-aio \
+./configure --enable-storeio="aufs coss diskd ufs null" --enable-coss-aio-ops --with-aio --enable-removal-policies="heap,lru" \
---enable-removal-policies="heap,lru" --with-large-files --enable-large-cache-files \
+--with-large-files --enable-large-cache-files --enable-delay-pools --enable-snmp --enable-linux-netfilter \
---enable-delay-pools --enable-snmp --enable-linux-netfilter --enable-auth="basic digest negotiate ntlm" \
+--enable-auth="basic digest negotiate ntlm" --enable-basic-auth-helpers="DB LDAP MSNT NCSA PAM POP3 SASL SMB squid_radius_auth YP"  \
---enable-basic-auth-helpers="DB LDAP MSNT NCSA PAM POP3 SASL SMB squid_radius_auth YP" \
 --enable-follow-x-forwarded-for && make && make install
 </pre>
-'''Notas''':
+'''Nota''': Se va a usar el método de almacenamiento de cache '''aufs''', ya que el '''coss''' tarda varios minutos en arrancar la cache, provocando prácticamente un DoS de acceso a disco (I/O) en el disco duro del servidor durante ese tiempo.
-Se va a usar el método de almacenamiento de cache '''aufs''', ya que el '''coss''' tarda varios minutos en arrancar la cache, provocando prácticamente un DoS de acceso a disco (I/O) en el disco duro del servidor durante ese tiempo.
 <br>Si se quisiera usar el coss se debe tener en cuenta que el tamaño máximo de objeto "cacheable" debe ser menor que el valor
-del ''coss-membuf'' que se puede configurar en la compilación con la opción ''--enable-coss-membuf-size=COSS_MEMBUF_SIZE''.
+del ''coss-membuf'' que se puede configurar en la compilación con la opción ''--enable-coss-membuf-size=COSS_MEMBUF_SIZE''
-<br>Comentar también que se puede ajustar el número de hilos que use el aufs mediante el parámetro de compilación ''--with-aufs-threads=NUMERO_HILOS''
-A continuacón debemos configurar el fichero /usr/local/squid/etc/squid.conf.<br>El de mi instalación queda así
-<pre>
-###########################
-# Squid 2.7 configuration #
-###########################
-# POR ACTUALIZAR!
-# Listen port
-http_port 3128
-cache_mgr [email protected]
-# Cache
-cache_mem 512 MB
-cache_dir aufs /opt/squid/squidcache/ 5000 16 256
-maximun_object_size 1000000 bytes
-#cache_dir coss /opt/squid/squidcache/coss 4000 max-size=1000000
-#cache_dir coss /opt/squid/squidcache/coss 50000 max-size=1000000 maxfullbufs=4 membufs=20 block-size=4096
-#cache_swap_log /opt/squid/log/cache_swap_log
-cache_log /opt/squid/log/cache.log
-cache_store_log /opt/squid/log/store.log
-# Net config
-client_netmask 255.255.255.255
-ftp_user [email protected]
-ftp_list_width 64
-# Auth
-#auth_param basic program /usr/local/squid/libexec/squid_ldap_auth -b "ou=People,dc=empresa,dc=com" -f "uid=%s" -v2 -h 192.168.1.1
-#auth_param basic children 5
-#auth_param basic realm Squid proxy-caching web server
-#auth_param basic credentialsttl 2 hours
-#auth_param basic casesensitive off
-#authenticate_ip_ttl 1800 seconds
-#acl Authenticate proxy_auth REQUIRED
-acl CONNECT method CONNECT
-# Clients ACL (OR)
-acl All src 0.0.0.0/0.0.0.0
-acl Manager proto cache_object
-acl Localhost src 127.0.0.1/255.255.255.255
-acl To_localhost dst 127.0.0.0/8
-acl Lan src 192.168.0.0/255.255.0.0
-acl Local dst 192.168.0.0/255.255.0.0
-# Ports
-acl SSL_ports port 443
-acl Safe_ports port 80 81      # http
-acl Safe_ports port 21          # ftp
-acl Safe_ports port 443 563    # https, snews
-acl Safe_ports port 70          # gopher
-acl Safe_ports port 210        # wais
-acl Safe_ports port 1025-5221  # unregistered
-acl Safe_ports port 5223-65535  # unregistered ports
-acl Safe_ports port 280        # http-mgmt
-acl Safe_ports port 488        # gss-http
-acl Safe_ports port 591        # filemaker
-acl Safe_ports port 119        # multiling http
-acl Safe_ports port 666        # multiling http
-acl Safe_ports port 777        # multiling http
-# Allow/deny (AND)
-#http_access allow Authenticate
-http_access allow Lan
-http_access allow Manager Localhost
-http_access allow Localhost
-http_access deny Manager
-http_access deny !Safe_ports
-http_access deny CONNECT !SSL_ports
-http_access deny All
-no_cache deny Local
-# Dansguardian
-follow_x_forwarded_for allow localhost
-acl_uses_indirect_client on
-log_uses_indirect_client on
-# Other
-http_reply_access allow all
-icp_access allow all
-max_filedescriptors 8192
-hierarchy_stoplist cgi-bin ?
-acl QUERY urlpath_regex cgi-bin \?
-cache deny QUERY
-acl apache rep_header Server ^Apache
-broken_vary_encoding allow apache
-#cache_effective_user squid
-#cache_effective_group squid
-#high_response_time_warning 1500 (Median response time)
-# LOGS & CORE
-#
-#logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
-#logformat squidmime %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]
-#logformat common %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh
-#logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
-logformat squidlog %tl %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
-logfile_rotate 5
-coredump_dir /opt/squid/spool/squid
-access_log /opt/squid/log/access.log squidlog
-</pre>
-Comentar que la cache y los logs "cuelgan" todos debajo del directorio /opt/squid
-A continuación se van a crear los directorios y ficheros necesarios
-<pre>
-mkdir -p /opt/squid/squidcache;chown nobody.nogroup /opt/squid/squidcache
-mkdir -p /opt/squid/log/;chown nobody.nogroup /opt/squid/log/
-mkdir -p /opt/squid/spool/squid;chown nobody.nogroup -R /opt/squid/spool/
-</pre>
-A continuación se debe generar la estructura de directorio de la cache del squid ejecutando el comando
-<pre>
-/usr/local/squid/sbin/squid -z -D -N -X
-</pre>
-Si queremos lanzar el proceso de squid pero no como demonio (para realizar pruebas), podemos usar el comando
-<pre>
-/usr/local/squid/sbin/squid -D -N -X
-</pre>
-Ahora se pasa a crear el fichero de arranque del squid y configurar que el squid arranque el inicio del sistema.
-El fichero squid que se muestra a continuación se ubica en el directorio /etc/init.d
-<pre>
-#! /bin/sh
-export PATH="${PATH:+$PATH:}/usr/sbin:/sbin"
-case "$1" in
-  start)
-        ulimit -n 8192
-        /usr/local/squid/sbin/squid -D
-        ;;
-  stop)
-        /usr/local/squid/sbin/squid -k shutdown
-        /bin/sleep 15
-        /usr/local/squid/sbin/squid -k shutdown
-        ;;
-  *)
-        echo "Usage: /etc/init.d/squid {start|stop}"
-        exit 1
-esac
-exit 0
-</pre>
-Que arranque al inicio del sistema
-<pre>
-chmod 755 /etc/init.d/squid
-update-rc.d squid defaults 40
-</pre>
-Por último comentar que es factible (y aconsejable) dedicar una partición aparte para la cache del squid. Se recomienda que esa partición siempre tenga un espacio libre de aproximadamente un 20-30% para tener un mejor redimiento.
-Si se desea saber cuanta memoria necesita el squid en base a la instalación y configuración de algunos parámetros esta es la sencilla formula proporcionada por uno de los desarrolladores del squid :)
-<pre>
-size of cache_mem + (size of cache * 0.05) == RAM needed
-</pre>
-Solo resta iniciar el squid con el comando
-<pre>
-/etc/init.d/squid start
-</pre>
-A continuación se pasa a explicar la instalación y configuración de la aplicación dansguardian, que permite realizar las tareas de filtrado de webs y bloqueo de virus durante la navegación web de los clientes.
-== Dansguardian ==
-Ahora se va a instalar y configurar la aplicación que realiza el filtrado de las webs mediante lista de dominios o por ciertas palabras que aparecen en las webs, por ejemplo pornográficas. También se encarga de bloquear los virus mediante el antivirus ClamAV.
-Esta aplicación escuchará en el puerto 8080, pasará las peticiones web al squid que escucha en el puerto 3128 y después envía a los clientes web los objetos que cachea el squid.
-Por tanto en los navegadores se debe configurar la IP del servidor y el puerto 8080.
-Primero vamos a crear el directorio dónde se ubicarán los logs del dansguardian
-<pre>
-mkdir -p /var/log/dansguardian
-chown clamav.clamav /var/log/dansguardian
-</pre>
-A continuación vamos a bajar y compilar el programa, teniendo en cuenta de crear el grupo nobody si no existe
-<pre>
-wget http://dansguardian.org/downloads/2/Stable/dansguardian-2.10.1.1.tar.gz
-tar zxvf dansguardian-2.10.1.1.tar.gz
-cd dansguardian-2.10.1.1
-./configure --prefix=/usr/local/dansguardian --enable-clamd && make && make install
-</pre>
-A continuación se deben realizar algunos ajustes y comprobar que algunas configuraciones esten correctas en el dansguardian y el clamav.
-En el clamav tiene que estar así configurado el ''socket'' en el fichero /etc/clamav/clamd.conf
-<pre>
-LocalSocket /var/run/clamav/clamd.ctl
-User clamav
-</pre>
-Se configuran los siguientes parámetros en el fichero de configuración de dansguardian (/usr/local/dansguardian/etc/dansguardian/dansguardian.conf)
-<pre>
-forwardedfor = on
-daemonuser = 'clamav'
-daemongroup = 'clamav'
-contentscanner = '/usr/local/dansguardian/etc/dansguardian/contentscanners/clamdscan.conf'
-loglocation = '/var/log/dansguardian/access.log'
-logfileformat = 3
-</pre>
-A continuación se deja asi el fichero /usr/local/dansguardian/etc/dansguardian/contentscanners/clamdscan.conf
-<pre>
-clamdudsfile = '/var/run/clamav/clamd.ctl'
-</pre>
-Se configuran según convengan las ''weightedphraselist'', ''banedextensionlist'' y ''bannedmimetypelist'' ubicadas en el directorio /usr/local/dansguardian/etc/dansguardian/lists
-Por último sólo queda que se cree el fichero de arranque del dansguardian (/etc/init.d/dansguardian) en el inicio del sistema y se haga que arranque al inicio del sistema
-<pre>
-#!/bin/sh
-# Script startup para Dansguardian
-PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
-DAEMON=/usr/local/dansguardian/sbin/dansguardian
-NAME=dansguardian
-DESC="DansGuardian"
-CONFFILELOCATION=/usr/local/dansguardian/etc/dansguardian/dansguardian.conf
-set -e
-case "$1" in
-start)
-echo -n "Iniciando $DESC: "
-$DAEMON -c $CONFFILELOCATION
-echo "$NAME."
-;;
-stop)
-echo -n "Deteniendo $DESC: "
-$DAEMON -q
-echo "$NAME."
-;;
-reload)
-echo "Recargando los archivos de configuracion de $DESC."
-$DAEMON
-;;
-restart|force-reload)
-echo -n "Reiniciando $DESC: "
-$DAEMON -Q
-echo "$NAME."
-;;
-*)
-N=/etc/init.d/$NAME
-echo "Utilizar: $N {start|stop|restart|force-reload}"
-exit 1
-;;
-esac
-exit 0
-</pre>
-<pre>
-chmod 755 /etc/init.d/dansguardian
-update-rc.d dansguardian defaults 45
-</pre>
-Sólo queda iniciar el dansguardian mediante el comando
-<pre>
-/etc/init.d/dansguardian start
-</pre>
-y después configurar los navegadores web de los clientes que apunten a la IP del servidor proxy al puerto 8080 del dansguardian! :)
-= Comprobaciones =
-Podemos probar que tal funciona el AV en la navegación web yendo a la página http://www.eicar.org/anti_virus_test_file.htm
 = TODO =
-Aunque la solución descrita en este manual es bastante completa, se podría configurar algo más y/o instalar alguna herramienta más como por ejemplo:
+Aunque la solución descrita en este manual es bastante completa, se podría instalar alguna herramienta más como por ejemplo:
-- Estadísticas (Sarg)<br>
-<pre>
-language Spanish
-access_log /var/log/squid/access.log
-temporary_dir /tmp
-output_dir /var/www/squid-reports
-Editaremos /etc/apache/httpd.conf y añadiremos estas lineas:
+- Estadísticas (Sarg)
+- El gestor de la cache (Cache Manager)
-<Directory "/var/www/squid-reports">
+- Snmp
-AuthName "Squid Reports"
-AuthType Basic
-AuthUserFile /etc/.htpasswdsquidreports
-require valid-user
-Options Indexes FollowSymLinks
-AllowOverride None
-Order allow,deny
-Allow from all
-</Directory>
-</pre>
-- Detallar en squid.conf la autenticación contra Openldap y AD w2003<br>
-- El gestor de la cache (Cache Manager)<br>
-- Snmp & mrgt <br>
-- Rotación de logs con logrotate o con "squid -k rotate"<br>
-- Optimizaciones en el sistema de ficheros de la partición dedicada a la cache del squid??<br>
-- Uso del WPAD y opción 252 del servidor DHCP<br>
-- Compilación del clamav para soportar por ejemplo la descompresión de ficheros .rar<br>
-- Detallar las características de la partición para la cache del squid
-= Referencias =
-http://www.mey-online.com.ar/blog/index.php/archives/filtrado-web-con-dansguardian-clamav-y-squid<br>
-http://dansguardian.org/downloads/DG2.9.7.1_Squid_Slackware_10.2.pdf
 [[Categoría:Linux]]
-[[Categoría:Docs]]