WebSVN – ALCASAR – Diff – /scripts/alcasar-archive.sh


#!/bin/bash
# $Id: alcasar-archive.sh 1263 2013-12-14 13:25:22Z richard $
 
# alcasar-archive.sh
# by Franck BOUIJOUX and REXY
# This script is distributed under the Gnu General Public License (GPL)
 
# Script permettant 
#	- d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).
# 	- Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.
#	- nettoyage des archives supérieures à 1 an (365 jours)
 
# This script allows 
#	- export in one file the log files and user's base (in order to archive them).
# 	- a cypher fonction allows to protect these files. Read the exploit documentation to enable it.
#	- delete backup files older than one year (365 days)
 
DIR_SAVE="/var/Save"			# répertoire accessible par webs
DIR_LOG="/var/log"			# répertoire local des log
 
#DIR_SERVICE="squid httpd firewall"	# répertoires contenant des logs utiles à exporter
DIR_BASE="/var/Save/base"		# répertoire de sauvegarde de la base de données usagers
DIR_ARCHIVE="$DIR_SAVE/archive"		# répertoire de sauvegarde de la base de données usagers
NOW="$(date +%G%m%d-%Hh%M)"  		# date et heure du moment
DIR_TMP="/tmp/archive-$NOW"		# Répertoire temporaire d'export
FILE="archive-$NOW.tar.gz"		# Nom du fichier de l'archive
EXPIRE_DAY=365				# Nbre de jour avant suppression des fichiers journaux
CRYPT="0"				# chiffrement des logs 		( 0=non / 1=oui) --> Si oui alors la signature est automatiquement activée
					# log files encryption		( 0=no / 1=yes) --> if yes, the signature is automaticly enabled 
SIGN="0"				# Signature/empreinte des logs 	( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!
					# Signature of log files	( 0=no / 1=yes )  ATTENTION : need the private key !!!
GPG_USER=""				# utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)
					# user allowed to decrypt the log files. Its public key must be known in the root keyring (/root/.gnupg)
 
usage="Usage: alcasar-archive.sh {--clean or -c} | {--now or -n}"
 
nb_args=$#
args=$1
if [ $nb_args -eq 0 ]
then
	nb_args=1
	args="-h"
fi
 
 
function cleanup() {
  # Nettoyage des fichiers archives
      cd $DIR_SAVE
      find . \( -mtime +$EXPIRE_DAY \) -a \( -name '*.gz' -o -name '*.sql' -o -name '' -o -name 'gpg'  \) -exec rm -f {} \;
} # end function cleanup
 
 
function crypt() {
	# Chiffrement des logs dans /var/Save/
	find . \( -mtime -7 -o -ctime 0 \) -a \( -name '*log-*.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;
} # end function crypt
 
function archive() {
		mkdir -p $DIR_ARCHIVE
		mkdir -p $DIR_TMP 
		mv $(echo $(ls -rt $DIR_LOG/firewall/tracability.log*.gz | tail -n 1 -)) $DIR_TMP/tracability-HTTP.log-$NOW.gz
		mv $(echo $(ls -rt $DIR_BASE/radius-*.sql | tail -n 1 -)) $DIR_TMP/
		cd /var/log/nfsen/profiles-data/live/ipt_netflow
		find .  -mtime -7 -name 'nfcapd.[0-9]*' | xargs tar -cf $DIR_TMP/tracability-ALL.log-$NOW.tar;
		cd /tmp/
		tar cvzf /tmp/$FILE archive-$NOW/*
} # end archive
 
#  Core script
case $args in
	-\? | -h* | --h*)
		echo "$usage"
		exit 0
		;;
	--clean | -c)	
		cleanup
		;;
	--now | -n)
		cleanup
		archive
 		 if [ $CRYPT -eq "1" ]; then
		{
		 # 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente
		    gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER  /tmp/$FILE
		}
		elif [ $SIGN -eq "1" ]; then
		{
		  # 2) signature = 1 Chiffrement = 0 --> gpg --encrypt   idem test de la clé présente
		    gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER  /tmp/$FILE
		    gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign  /tmp/$FILE
		}
		else
		{
		  # 3)  chiffrement/signature = 0  --> cp simple avec suppression des droits d'écriture
		    cp /tmp/$FILE $DIR_ARCHIVE/.
		}
		fi
		rm -rf /tmp/archive-*
		chown root:apache $DIR_ARCHIVE/*
		;;
	--live | -l)
		mkdir -p /tmp/live 
		gap=$(($(date +%d)-1))
		cd /var/log/nfsen/profiles-data/live/ipt_netflow
		find .  -mtime -$gap -name 'nfcapd.[0-9]*' | xargs tar -cf /tmp/live/tracability.log-$NOW.tar;
		cp $(echo $(ls -rt $DIR_BASE/radius-*.sql | tail -n 1 -)) /tmp/live/
		cp /var/log/firewall/tracability.log /tmp/live/
		tar -czf $DIR_ARCHIVE/tracability-$NOW.tar.gz /tmp/live/*
		rm -rf /tmp/live
		;;
	--update | -u)
	#	Mise à niveau de l'architecture d'export/archivage
		[ -d /tmp/save ] || mkdir -p /tmp/save
		[ -d $DIR_ARCHIVE/ ] || mkdir -p $DIR_ARCHIVE/	# utile une seule fois mais crée le répertoire si nécessaire
		;;
	*)
		echo "Unknown argument :$1";
		echo "$usage"
		exit 1
		;;
esac
exit 0
 

Rev 1248	Rev 1263
1	`#!/bin/bash`	1	`#!/bin/bash`
2	`# $Id: alcasar-archive.sh 1248 2013-10-21 16:18:20Z richard $`	2	`# $Id: alcasar-archive.sh 1263 2013-12-14 13:25:22Z richard $`
3		3
4	`# alcasar-archive.sh`	4	`# alcasar-archive.sh`
5	`# by Franck BOUIJOUX and REXY`	5	`# by Franck BOUIJOUX and REXY`
6	`# This script is distributed under the Gnu General Public License (GPL)`	6	`# This script is distributed under the Gnu General Public License (GPL)`
7		7
8	`# Script permettant`	8	`# Script permettant`
9	`# - d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).`	9	`# - d'exporter dans un seul fichier les logs de traçabilités et la base des usagers (à des fins d'archivages).`
10	`# - Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.`	10	`# - Une fonction de chiffrement des logs a été implémentée dans ce script. Lisez la documentation d'exploitation pour l'activer.`
11	`# - nettoyage des archives supérieures à 1 an (365 jours)`	11	`# - nettoyage des archives supérieures à 1 an (365 jours)`
12		12
13	`# This script allows`	13	`# This script allows`
14	`# - export in one file the log files and user's base (in order to archive them).`	14	`# - export in one file the log files and user's base (in order to archive them).`
15	`# - a cypher fonction allows to protect these files. Read the exploit documentation to enable it.`	15	`# - a cypher fonction allows to protect these files. Read the exploit documentation to enable it.`
16	`# - delete backup files older than one year (365 days)`	16	`# - delete backup files older than one year (365 days)`
17		17
18	`DIR_SAVE="/var/Save" # répertoire accessible par webs`	18	`DIR_SAVE="/var/Save" # répertoire accessible par webs`
19	`DIR_LOG="/var/log" # répertoire local des log`	19	`DIR_LOG="/var/log" # répertoire local des log`
20		20
21	`#DIR_SERVICE="squid httpd firewall" # répertoires contenant des logs utiles à exporter`	21	`#DIR_SERVICE="squid httpd firewall" # répertoires contenant des logs utiles à exporter`
22	`DIR_BASE="/var/Save/base" # répertoire de sauvegarde de la base de données usagers`	22	`DIR_BASE="/var/Save/base" # répertoire de sauvegarde de la base de données usagers`
23	`DIR_ARCHIVE="$DIR_SAVE/archive" # répertoire de sauvegarde de la base de données usagers`	23	`DIR_ARCHIVE="$DIR_SAVE/archive" # répertoire de sauvegarde de la base de données usagers`
24	`NOW="$(date +%G%m%d-%Hh%M)" # date et heure du moment`	24	`NOW="$(date +%G%m%d-%Hh%M)" # date et heure du moment`
25	`DIR_TMP="/tmp/archive-$NOW" # Répertoire temporaire d'export`	25	`DIR_TMP="/tmp/archive-$NOW" # Répertoire temporaire d'export`
26	`FILE="archive-$NOW.tar.gz" # Nom du fichier de l'archive`	26	`FILE="archive-$NOW.tar.gz" # Nom du fichier de l'archive`
27	`EXPIRE_DAY=365 # Nbre de jour avant suppression des fichiers journaux`	27	`EXPIRE_DAY=365 # Nbre de jour avant suppression des fichiers journaux`
28	`CRYPT="0" # chiffrement des logs ( 0=non / 1=oui --> Signature = 1(implicite))`	28	`CRYPT="0" # chiffrement des logs ( 0=non / 1=oui) --> Si oui alors la signature est automatiquement activée`
-		29	`# log files encryption ( 0=no / 1=yes) --> if yes, the signature is automaticly enabled`
29	`SIGN="0" # Signature/empreinte des logs ( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!`	30	`SIGN="0" # Signature/empreinte des logs ( 0=non / 1=oui ) ATTENTION : nécessite la clé privée !!!`
-		31	`# Signature of log files ( 0=no / 1=yes ) ATTENTION : need the private key !!!`
30	`GPG_USER="" # utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)`	32	`GPG_USER="" # utilisateur autorisé à déchiffrer les logs. Sa clé publique doit être connu dans le portefeuille gnupg de root (/root/.gnupg)`
-		33	`# user allowed to decrypt the log files. Its public key must be known in the root keyring (/root/.gnupg)`
31		34
32	`usage="Usage: alcasar-archive.sh {--clean or -c} \| {--now or -n}"`	35	`usage="Usage: alcasar-archive.sh {--clean or -c} \| {--now or -n}"`
33		36
34	`nb_args=$#`	37	`nb_args=$#`
35	`args=$1`	38	`args=$1`
36	`if [ $nb_args -eq 0 ]`	39	`if [ $nb_args -eq 0 ]`
37	`then`	40	`then`
38	`nb_args=1`	41	`nb_args=1`
39	`args="-h"`	42	`args="-h"`
40	`fi`	43	`fi`
41		44
42		45
43	`function cleanup() {`	46	`function cleanup() {`
44	`# Nettoyage des fichiers archives`	47	`# Nettoyage des fichiers archives`
45	`cd $DIR_SAVE`	48	`cd $DIR_SAVE`
46	`find . \( -mtime +$EXPIRE_DAY \) -a \( -name '.gz' -o -name '.sql' -o -name '' -o -name 'gpg' \) -exec rm -f {} \;`	49	`find . \( -mtime +$EXPIRE_DAY \) -a \( -name '.gz' -o -name '.sql' -o -name '' -o -name 'gpg' \) -exec rm -f {} \;`
47	`} # end function cleanup`	50	`} # end function cleanup`
48		51
49		52
50	`function crypt() {`	53	`function crypt() {`
51	`# Chiffrement des logs dans /var/Save/`	54	`# Chiffrement des logs dans /var/Save/`
52	`find . \( -mtime -7 -o -ctime 0 \) -a \( -name 'log-.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;`	55	`find . \( -mtime -7 -o -ctime 0 \) -a \( -name 'log-.gz' \) -exec gpg --output $DIR_ARCHIVE/$file/{}.gpg --encrypt --recipient $GPG_USER {} \;`
53	`} # end function crypt`	56	`} # end function crypt`
54		57
55	`function archive() {`	58	`function archive() {`
56	`mkdir -p $DIR_ARCHIVE`	59	`mkdir -p $DIR_ARCHIVE`
57	`mkdir -p $DIR_TMP`	60	`mkdir -p $DIR_TMP`
58	`mv $(echo $(ls -rt $DIR_LOG/firewall/tracability.log*.gz \| tail -n 1 -)) $DIR_TMP/tracability-HTTP.log-$NOW.gz`	61	`mv $(echo $(ls -rt $DIR_LOG/firewall/tracability.log*.gz \| tail -n 1 -)) $DIR_TMP/tracability-HTTP.log-$NOW.gz`
59	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) $DIR_TMP/`	62	`mv $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) $DIR_TMP/`
60	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`	63	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`
61	`find . -mtime -7 -name 'nfcapd.[0-9]*' \| xargs tar -cf $DIR_TMP/tracability-ALL.log-$NOW.tar;`	64	`find . -mtime -7 -name 'nfcapd.[0-9]*' \| xargs tar -cf $DIR_TMP/tracability-ALL.log-$NOW.tar;`
62	`cd /tmp/`	65	`cd /tmp/`
63	`tar cvzf /tmp/$FILE archive-$NOW/*`	66	`tar cvzf /tmp/$FILE archive-$NOW/*`
64	`} # end archive`	67	`} # end archive`
65		68
66	`# Core script`	69	`# Core script`
67	`case $args in`	70	`case $args in`
68	`-\? \| -h* \| --h*)`	71	`-\? \| -h* \| --h*)`
69	`echo "$usage"`	72	`echo "$usage"`
70	`exit 0`	73	`exit 0`
71	`;;`	74	`;;`
72	`--clean \| -c)`	75	`--clean \| -c)`
73	`cleanup`	76	`cleanup`
74	`;;`	77	`;;`
75	`--now \| -n)`	78	`--now \| -n)`
76	`cleanup`	79	`cleanup`
77	`archive`	80	`archive`
78	`if [ $CRYPT -eq "1" ]; then`	81	`if [ $CRYPT -eq "1" ]; then`
79	`{`	82	`{`
80	`# 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente`	83	`# 1 ) chiffrement/signature =1 ==> gpg --encrypt avec test de la clé présente`
81	`gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER /tmp/$FILE`	84	`gpg --output $DIR_ARCHIVE/$FILE-crypt.gpg --armor --encrypt --recipient $GPG_USER /tmp/$FILE`
82	`}`	85	`}`
83	`elif [ $SIGN -eq "1" ]; then`	86	`elif [ $SIGN -eq "1" ]; then`
84	`{`	87	`{`
85	`# 2) signature = 1 Chiffrement = 0 --> gpg --encrypt idem test de la clé présente`	88	`# 2) signature = 1 Chiffrement = 0 --> gpg --encrypt idem test de la clé présente`
86	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER /tmp/$FILE`	89	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER /tmp/$FILE`
87	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign /tmp/$FILE`	90	`gpg --output $DIR_ARCHIVE/$FILE-sign.gpg --sign --recipient $GPG_USER --detach-sign /tmp/$FILE`
88	`}`	91	`}`
89	`else`	92	`else`
90	`{`	93	`{`
91	`# 3) chiffrement/signature = 0 --> cp simple avec suppression des droits d'écriture`	94	`# 3) chiffrement/signature = 0 --> cp simple avec suppression des droits d'écriture`
92	`cp /tmp/$FILE $DIR_ARCHIVE/.`	95	`cp /tmp/$FILE $DIR_ARCHIVE/.`
93	`}`	96	`}`
94	`fi`	97	`fi`
95	`rm -rf /tmp/archive-*`	98	`rm -rf /tmp/archive-*`
96	`chown root:apache $DIR_ARCHIVE/*`	99	`chown root:apache $DIR_ARCHIVE/*`
97	`;;`	100	`;;`
98	`--live \| -l)`	101	`--live \| -l)`
99	`mkdir -p /tmp/live`	102	`mkdir -p /tmp/live`
100	`gap=$(($(date +%d)-1))`	103	`gap=$(($(date +%d)-1))`
101	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`	104	`cd /var/log/nfsen/profiles-data/live/ipt_netflow`
102	`find . -mtime -$gap -name 'nfcapd.[0-9]*' \| xargs tar -cf /tmp/live/tracability.log-$NOW.tar;`	105	`find . -mtime -$gap -name 'nfcapd.[0-9]*' \| xargs tar -cf /tmp/live/tracability.log-$NOW.tar;`
103	`cp $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) /tmp/live/`	106	`cp $(echo $(ls -rt $DIR_BASE/radius-*.sql \| tail -n 1 -)) /tmp/live/`
104	`cp /var/log/firewall/tracability.log /tmp/live/`	107	`cp /var/log/firewall/tracability.log /tmp/live/`
105	`tar -czf $DIR_ARCHIVE/tracability-$NOW.tar.gz /tmp/live/*`	108	`tar -czf $DIR_ARCHIVE/tracability-$NOW.tar.gz /tmp/live/*`
106	`rm -rf /tmp/live`	109	`rm -rf /tmp/live`
107	`;;`	110	`;;`
108	`--update \| -u)`	111	`--update \| -u)`
109	`# Mise à niveau de l'architecture d'export/archivage`	112	`# Mise à niveau de l'architecture d'export/archivage`
110	`[ -d /tmp/save ] \|\| mkdir -p /tmp/save`	113	`[ -d /tmp/save ] \|\| mkdir -p /tmp/save`
111	`[ -d $DIR_ARCHIVE/ ] \|\| mkdir -p $DIR_ARCHIVE/ # utile une seule fois mais crée le répertoire si nécessaire`	114	`[ -d $DIR_ARCHIVE/ ] \|\| mkdir -p $DIR_ARCHIVE/ # utile une seule fois mais crée le répertoire si nécessaire`
112	`;;`	115	`;;`
113	`*)`	116	`*)`
114	`echo "Unknown argument :$1";`	117	`echo "Unknown argument :$1";`
115	`echo "$usage"`	118	`echo "$usage"`
116	`exit 1`	119	`exit 1`
117	`;;`	120	`;;`
118	`esac`	121	`esac`
119	`exit 0`	122	`exit 0`
120		123

Subversion Repositories ALCASAR

(root)/scripts/alcasar-archive.sh – Rev 1248 → 1263