WebSVN – ALCASAR – Diff – /scripts/alcasar-archive.sh


#!/bin/bash
# $Id: alcasar-archive.sh 1358 2014-05-23 12:26:25Z richard $
 
# alcasar-archive.sh
# by Franck BOUIJOUX and REXY
# This script is distributed under the Gnu General Public License (GPL)
 
# Script permettant 
#	- d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).
# 	- Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.
#	- nettoyage des archives supérieures à 1 an (365 jours)
 
# This script allows 
#	- export in one file the log files and user's base (in order to archive them).
# 	- a cypher fonction allows to protect these files. Read the exploitation documentation to enable it.
#	- delete backup files older than one year (365 days)
 
DIR_SAVE="/var/Save"			# répertoire accessible par webs
DIR_LOG="/var/log"			# répertoire local des log
 
#DIR_SERVICE="squid httpd firewall"	# répertoires contenant des logs utiles à exporter
DIR_BASE="$DIR_SAVE/base"		# répertoire de sauvegarde de la base de données usagers
DIR_ARCHIVE="$DIR_SAVE/archive"		# répertoire de sauvegarde des archives de log
NOW="$(date +%G%m%d-%Hh%M)"  		# date et heure du moment
DIR_TMP="/tmp/archive-$NOW"		# Répertoire temporaire d'export
FILE="archive-$NOW.tar.gz"		# Nom du fichier de l'archive
EXPIRE_DAY=365				# Nbre de jour avant suppression des fichiers journaux
CRYPT="0"				# chiffrement des logs 		( 0=non / 1=oui) --> Si oui alors la signature est automatiquement activée
					# log files encryption		( 0=no / 1=yes) --> if yes, the signature is automaticly enabled 
SIGN="0"				# Signature/empreinte des logs 	( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!
					# Signature of log files	( 0=no / 1=yes )  ATTENTION : need the private key !!!
GPG_USER=""				# utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)
					# user allowed to decrypt the log files. Its public key must be known in the root keyring (/root/.gnupg)
 
usage="Usage: alcasar-archive.sh {--live or -l} | {--now or -n} | {--clean or -c}"
 
nb_args=$#
args=$1
if [ $nb_args -eq 0 ]
then
	nb_args=1
	args="-h"
fi
 
 
function cleanup() {
  # Nettoyage des fichiers archives
      cd $DIR_SAVE
      find . \( -mtime +$EXPIRE_DAY \) -a \( -name '*.gz' -o -name '*.sql' -o -name '' -o -name 'gpg'  \) -exec rm -f {} \;
} # end function cleanup
 
 
function crypt() {
	# Chiffrement des logs dans /var/Save/
	find . \( -mtime -7 -o -ctime 0 \) -a \( -name '*log-*.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;
} # end function crypt
 
function archive() {
		mkdir -p $DIR_ARCHIVE
		mkdir -p $DIR_TMP 
		nb_files=`ls $DIR_LOG/firewall/traceability.log*.gz 2>/dev/null | wc -w`
		if [ $nb_files -ne 0 ]; then
			mv $(echo $(ls -rt $DIR_LOG/firewall/traceability.log*.gz | tail -n 1 -)) $DIR_TMP/traceability-HTTP-$NOW.gz
		fi
		nb_files=`ls $DIR_BASE/radius-*.sql 2>/dev/null | wc -w`
		if [ $nb_files -ne 0 ]; then
			mv $(echo $(ls -rt $DIR_BASE/radius-*.sql | tail -n 1 -)) $DIR_TMP/
		fi
		cd /var/log/nfsen/profiles-data/live/ipt_netflow
		nb_files=`find . -mtime -7 -name 'nfcapd.[0-9]*' | wc -l`
		if [ $nb_files -ne 0 ]; then
			find .  -mtime -7 -name 'nfcapd.[0-9]*' | xargs tar -cf $DIR_TMP/traceability-ALL-$NOW.tar;
		fi
		cd /tmp/
		nb_files=`ls archive-$NOW/* 2>/dev/null | wc -w`
		if [ $nb_files -ne 0 ]; then
			tar cvzf /tmp/$FILE archive-$NOW/*
		else echo "no file to archive"
		fi
} # end archive
 
#  Core script
case $args in
	-\? | -h* | --h*)
		echo "$usage"
		exit 0
		;;
	--clean | -c)	
		cleanup
		;;
	--now | -n)
		cleanup
		archive
 		if [ -e /tmp/$FILE ]; then 
			if [ $CRYPT -eq "1" ]; then
			{
				# 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente
				gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER  /tmp/$FILE
			}
			elif [ $SIGN -eq "1" ]; then
			{
				# 2) signature = 1 Chiffrement = 0 --> gpg --encrypt   idem test de la clé présente
				gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER  /tmp/$FILE
				gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign  /tmp/$FILE
			}
			else
			{
				# 3)  chiffrement/signature = 0  --> cp simple avec suppression des droits d'écriture
				cp /tmp/$FILE $DIR_ARCHIVE/.
			}
			fi
		fi
		rm -rf /tmp/archive-*
		chown root:apache $DIR_ARCHIVE/*
		;;
	--live | -l)
		mkdir -p $DIR_ARCHIVE
		mkdir -p /tmp/live 
		gap=$(($(date +%d)-1))
		cd /var/log/nfsen/profiles-data/live/ipt_netflow
		find .  -mtime -$gap -name 'nfcapd.[0-9]*' | xargs tar -cf /tmp/live/traceability-ALL-$NOW.tar;
		/usr/local/sbin/alcasar-mysql.sh --dump
		mv $(echo $(ls -rt $DIR_BASE/radius-*.sql | tail -n 1 -)) /tmp/live/
		cp /var/log/firewall/traceability.log /tmp/live/traceability-HTTP-$NOW.log
		tar -czf $DIR_ARCHIVE/traceability-$NOW.tar.gz /tmp/live/*
		rm -rf /tmp/live
		;;
	*)
		echo "Unknown argument :$1";
		echo "$usage"
		exit 1
		;;
esac
exit 0
 

Rev 1308	Rev 1358
1	`#!/bin/bash`	1	`#!/bin/bash`
2	`# $Id: alcasar-archive.sh 1308 2014-01-22 22:23:54Z richard $`	2	`# $Id: alcasar-archive.sh 1358 2014-05-23 12:26:25Z richard $`
3		3
4	`# alcasar-archive.sh`	4	`# alcasar-archive.sh`
5	`# by Franck BOUIJOUX and REXY`	5	`# by Franck BOUIJOUX and REXY`
6	`# This script is distributed under the Gnu General Public License (GPL)`	6	`# This script is distributed under the Gnu General Public License (GPL)`
7		7
8	`# Script permettant`	8	`# Script permettant`
9	`# - d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).`	9	`# - d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).`
10	`# - Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.`	10	`# - Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.`
11	`# - nettoyage des archives supérieures à 1 an (365 jours)`	11	`# - nettoyage des archives supérieures à 1 an (365 jours)`
12		12
13	`# This script allows`	13	`# This script allows`
14	`# - export in one file the log files and user's base (in order to archive them).`	14	`# - export in one file the log files and user's base (in order to archive them).`
15	`# - a cypher fonction allows to protect these files. Read the exploitation documentation to enable it.`	15	`# - a cypher fonction allows to protect these files. Read the exploitation documentation to enable it.`
16	`# - delete backup files older than one year (365 days)`	16	`# - delete backup files older than one year (365 days)`
17		17
18	`DIR_SAVE="/var/Save" # répertoire accessible par webs`	18	`DIR_SAVE="/var/Save" # répertoire accessible par webs`
19	`DIR_LOG="/var/log" # répertoire local des log`	19	`DIR_LOG="/var/log" # répertoire local des log`
20		20
21	`#DIR_SERVICE="squid httpd firewall" # répertoires contenant des logs utiles à exporter`	21	`#DIR_SERVICE="squid httpd firewall" # répertoires contenant des logs utiles à exporter`
22	`DIR_BASE="$DIR_SAVE/base" # répertoire de sauvegarde de la base de données usagers`	22	`DIR_BASE="$DIR_SAVE/base" # répertoire de sauvegarde de la base de données usagers`
23	`DIR_ARCHIVE="$DIR_SAVE/archive" # répertoire de sauvegarde des archives de log`	23	`DIR_ARCHIVE="$DIR_SAVE/archive" # répertoire de sauvegarde des archives de log`
24	`NOW="$(date +%G%m%d-%Hh%M)" # date et heure du moment`	24	`NOW="$(date +%G%m%d-%Hh%M)" # date et heure du moment`
25	`DIR_TMP="/tmp/archive-$NOW" # Répertoire temporaire d'export`	25	`DIR_TMP="/tmp/archive-$NOW" # Répertoire temporaire d'export`
26	`FILE="archive-$NOW.tar.gz" # Nom du fichier de l'archive`	26	`FILE="archive-$NOW.tar.gz" # Nom du fichier de l'archive`
27	`EXPIRE_DAY=365 # Nbre de jour avant suppression des fichiers journaux`	27	`EXPIRE_DAY=365 # Nbre de jour avant suppression des fichiers journaux`
28	`CRYPT="0" # chiffrement des logs ( 0=non / 1=oui) --> Si oui alors la signature est automatiquement activée`	28	`CRYPT="0" # chiffrement des logs ( 0=non / 1=oui) --> Si oui alors la signature est automatiquement activée`
29	`# log files encryption ( 0=no / 1=yes) --> if yes, the signature is automaticly enabled`	29	`# log files encryption ( 0=no / 1=yes) --> if yes, the signature is automaticly enabled`
30	`SIGN="0" # Signature/empreinte des logs ( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!`	30	`SIGN="0" # Signature/empreinte des logs ( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!`
31	`# Signature of log files ( 0=no / 1=yes ) ATTENTION : need the private key !!!`	31	`# Signature of log files ( 0=no / 1=yes ) ATTENTION : need the private key !!!`
32	`GPG_USER="" # utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)`	32	`GPG_USER="" # utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)`
33	`# user allowed to decrypt the log files. Its public key must be known in the root keyring (/root/.gnupg)`	33	`# user allowed to decrypt the log files. Its public key must be known in the root keyring (/root/.gnupg)`
34		34
35	`usage="Usage: alcasar-archive.sh {--live or -l} \| {--now or -n} \| {--clean or -c}"`	35	`usage="Usage: alcasar-archive.sh {--live or -l} \| {--now or -n} \| {--clean or -c}"`
36		36
37	`nb_args=$#`	37	`nb_args=$#`
38	`args=$1`	38	`args=$1`
39	`if [ $nb_args -eq 0 ]`	39	`if [ $nb_args -eq 0 ]`
40	`then`	40	`then`
41	`nb_args=1`	41	`nb_args=1`
42	`args="-h"`	42	`args="-h"`
43	`fi`	43	`fi`
44		44
45		45
46	`function cleanup() {`	46	`function cleanup() {`
47	`# Nettoyage des fichiers archives`	47	`# Nettoyage des fichiers archives`
48	`cd $DIR_SAVE`	48	`cd $DIR_SAVE`
49	`find . \( -mtime +$EXPIRE_DAY \) -a \( -name '.gz' -o -name '.sql' -o -name '' -o -name 'gpg' \) -exec rm -f {} \;`	49	`find . \( -mtime +$EXPIRE_DAY \) -a \( -name '.gz' -o -name '.sql' -o -name '' -o -name 'gpg' \) -exec rm -f {} \;`
50	`} # end function cleanup`	50	`} # end function cleanup`
51		51
52		52
53	`function crypt() {`	53	`function crypt() {`
54	`# Chiffrement des logs dans /var/Save/`	54	`# Chiffrement des logs dans /var/Save/`
55	`find . \( -mtime -7 -o -ctime 0 \) -a \( -name 'log-.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;`	55	`find . \( -mtime -7 -o -ctime 0 \) -a \( -name 'log-.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;`
56	`} # end function crypt`	56	`} # end function crypt`
57		57
58	`function archive() {`	58	`function archive() {`
59	`mkdir -p $DIR_ARCHIVE`	59	`mkdir -p $DIR_ARCHIVE`
60	`mkdir -p $DIR_TMP`	60	`mkdir -p $DIR_TMP`
61	nb_files=`ls $DIR_LOG/firewall/tracability.log*.gz 2>/dev/null \| wc -w`	61	nb_files=`ls $DIR_LOG/firewall/traceability.log*.gz 2>/dev/null \| wc -w`
62	`if [ $nb_files -ne 0 ]; then`	62	`if [ $nb_files -ne 0 ]; then`
63	`mv $(echo $(ls -rt $DIR_LOG/firewall/tracability.log*.gz \| tail -n 1 -)) $DIR_TMP/tracability-HTTP-$NOW.gz`	63	`mv $(echo $(ls -rt $DIR_LOG/firewall/traceability.log*.gz \| tail -n 1 -)) $DIR_TMP/traceability-HTTP-$NOW.gz`
64	`fi`	64	`fi`
65	nb_files=`ls $DIR_BASE/radius-*.sql 2>/dev/null \| wc -w`	65	nb_files=`ls $DIR_BASE/radius-*.sql 2>/dev/null \| wc -w`
66	`if [ $nb_files -ne 0 ]; then`	66	`if [ $nb_files -ne 0 ]; then`
67	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) $DIR_TMP/`	67	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) $DIR_TMP/`
68	`fi`	68	`fi`
69	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`	69	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`
70	nb_files=`find . -mtime -7 -name 'nfcapd.[0-9]*' \| wc -l`	70	nb_files=`find . -mtime -7 -name 'nfcapd.[0-9]*' \| wc -l`
71	`if [ $nb_files -ne 0 ]; then`	71	`if [ $nb_files -ne 0 ]; then`
72	`find . -mtime -7 -name 'nfcapd.[0-9]*' \| xargs tar -cf $DIR_TMP/tracability-ALL-$NOW.tar;`	72	`find . -mtime -7 -name 'nfcapd.[0-9]*' \| xargs tar -cf $DIR_TMP/traceability-ALL-$NOW.tar;`
73	`fi`	73	`fi`
74	`cd /tmp/`	74	`cd /tmp/`
75	nb_files=`ls archive-$NOW/* 2>/dev/null \| wc -w`	75	nb_files=`ls archive-$NOW/* 2>/dev/null \| wc -w`
76	`if [ $nb_files -ne 0 ]; then`	76	`if [ $nb_files -ne 0 ]; then`
77	`tar cvzf /tmp/$FILE archive-$NOW/*`	77	`tar cvzf /tmp/$FILE archive-$NOW/*`
78	`else echo "no file to archive"`	78	`else echo "no file to archive"`
79	`fi`	79	`fi`
80	`} # end archive`	80	`} # end archive`
81		81
82	`# Core script`	82	`# Core script`
83	`case $args in`	83	`case $args in`
84	`-\? \| -h* \| --h*)`	84	`-\? \| -h* \| --h*)`
85	`echo "$usage"`	85	`echo "$usage"`
86	`exit 0`	86	`exit 0`
87	`;;`	87	`;;`
88	`--clean \| -c)`	88	`--clean \| -c)`
89	`cleanup`	89	`cleanup`
90	`;;`	90	`;;`
91	`--now \| -n)`	91	`--now \| -n)`
92	`cleanup`	92	`cleanup`
93	`archive`	93	`archive`
94	`if [ -e /tmp/$FILE ]; then`	94	`if [ -e /tmp/$FILE ]; then`
95	`if [ $CRYPT -eq "1" ]; then`	95	`if [ $CRYPT -eq "1" ]; then`
96	`{`	96	`{`
97	`# 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente`	97	`# 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente`
98	`gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER /tmp/$FILE`	98	`gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER /tmp/$FILE`
99	`}`	99	`}`
100	`elif [ $SIGN -eq "1" ]; then`	100	`elif [ $SIGN -eq "1" ]; then`
101	`{`	101	`{`
102	`# 2) signature = 1 Chiffrement = 0 --> gpg --encrypt idem test de la clé présente`	102	`# 2) signature = 1 Chiffrement = 0 --> gpg --encrypt idem test de la clé présente`
103	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER /tmp/$FILE`	103	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER /tmp/$FILE`
104	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign /tmp/$FILE`	104	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign /tmp/$FILE`
105	`}`	105	`}`
106	`else`	106	`else`
107	`{`	107	`{`
108	`# 3) chiffrement/signature = 0 --> cp simple avec suppression des droits d'écriture`	108	`# 3) chiffrement/signature = 0 --> cp simple avec suppression des droits d'écriture`
109	`cp /tmp/$FILE $DIR_ARCHIVE/.`	109	`cp /tmp/$FILE $DIR_ARCHIVE/.`
110	`}`	110	`}`
111	`fi`	111	`fi`
112	`fi`	112	`fi`
113	`rm -rf /tmp/archive-*`	113	`rm -rf /tmp/archive-*`
114	`chown root:apache $DIR_ARCHIVE/*`	114	`chown root:apache $DIR_ARCHIVE/*`
115	`;;`	115	`;;`
116	`--live \| -l)`	116	`--live \| -l)`
117	`mkdir -p $DIR_ARCHIVE`	117	`mkdir -p $DIR_ARCHIVE`
118	`mkdir -p /tmp/live`	118	`mkdir -p /tmp/live`
119	`gap=$(($(date +%d)-1))`	119	`gap=$(($(date +%d)-1))`
120	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`	120	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`
121	`find . -mtime -$gap -name 'nfcapd.[0-9]*' \| xargs tar -cf /tmp/live/tracability-ALL-$NOW.tar;`	121	`find . -mtime -$gap -name 'nfcapd.[0-9]*' \| xargs tar -cf /tmp/live/traceability-ALL-$NOW.tar;`
122	`/usr/local/sbin/alcasar-mysql.sh --dump`	122	`/usr/local/sbin/alcasar-mysql.sh --dump`
123	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) /tmp/live/`	123	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) /tmp/live/`
124	`cp /var/log/firewall/tracability.log /tmp/live/tracability-HTTP-$NOW.log`	124	`cp /var/log/firewall/traceability.log /tmp/live/traceability-HTTP-$NOW.log`
125	`tar -czf $DIR_ARCHIVE/tracability-$NOW.tar.gz /tmp/live/*`	125	`tar -czf $DIR_ARCHIVE/traceability-$NOW.tar.gz /tmp/live/*`
126	`rm -rf /tmp/live`	126	`rm -rf /tmp/live`
127	`;;`	127	`;;`
128	`*)`	128	`*)`
129	`echo "Unknown argument :$1";`	129	`echo "Unknown argument :$1";`
130	`echo "$usage"`	130	`echo "$usage"`
131	`exit 1`	131	`exit 1`
132	`;;`	132	`;;`
133	`esac`	133	`esac`
134	`exit 0`	134	`exit 0`
135		135

Subversion Repositories ALCASAR

(root)/scripts/alcasar-archive.sh – Rev 1308 → 1358