Il backup perfetto con rsnapshot

Condividi con noi i tuoi progetti e guide personali
Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 19 agosto 2012, 12:11

Adesso non ci resta che attendere domani, quando proverai a riattivare lo script. A questo punto mi posterai il risultato del log e vediamo se ci sono sviluppi.
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

Avatar utente
gabberluca
Novello Arciere
Messaggi: 90
Iscritto il: 10 ottobre 2011, 20:05
Località: Varese (provincia)

Re: Il backup perfetto con rsnapshot

Messaggio da gabberluca » 19 agosto 2012, 13:12

Ninquitassar ha scritto:Adesso non ci resta che attendere domani, quando proverai a riattivare lo script. A questo punto mi posterai il risultato del log e vediamo se ci sono sviluppi.
Mai rimandare a domani quello che puoi fare oggi :D
puoi retrodatare il file .backup_timestamp_quotidiano
cosi

Codice: Seleziona tutto

 touch --date="1975-04-14" .backup_timestamp_quotidiano

Codice: Seleziona tutto

touch --date="1975-04-14" .backup_timestamp_settimanale
e attendere che cron faccia il suo sporco lavoro
I miei giocattoli:
Netbook: eeepc-701 naturalmente arch accoppiato a xfce4
Il Fisso:p8p67 pro,i7 2600 sandy bridge,16G corsais ddr3 1600,GeForce GTX 550 Ti, Corsair_Force_GT 240G + wd caviar black 1T+1T +1Tst barracuda 1T,SyncMaster bx2440 Arch +xfce4

Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 19 agosto 2012, 13:34

Ottimo. xD Allora, Nemo, fa' quello che indica gabberluca e poi avvia da root lo script.

@~awake: per i tuoi problemi di automazione, do per scontato che tra i demoni di /etc/rc.conf ci sia crond (se usi initscripts) o che sia attivato il servizio cronie.service (nel caso in cui tu utilizzassi systemd).
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

Nemo
Little John
Messaggi: 778
Iscritto il: 2 maggio 2012, 13:22
Architettura: x86_64 (64bit)
Località: Albairate (MI)

Re: Il backup perfetto con rsnapshot

Messaggio da Nemo » 19 agosto 2012, 16:53

Perfetto..ora funziona tutto e in automatico.
Un piccolo consiglio: magari edita il primo post mettendo che i file di log devo esser creati manualmente (nel caso non funzioni) e che se si usa systemd per avviare è necessario abilitare cronie.service.
Dell Inspiron 7577 - Intel(R) Core(TM) i7-7700HQ CPU@2.80GHz - RAM 16Gb - Nvidia 1060 6GB - KDE5

In questo nostro universo deterministico avere il pieno controllo delle proprie scelte è sinonimo di non contare niente

Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 19 agosto 2012, 17:37

Ottimo! ^^ Ora correggo tutto.
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

takel
Newbie
Messaggi: 8
Iscritto il: 17 novembre 2012, 22:40

Re: Il backup perfetto con rsnapshot

Messaggio da takel » 19 novembre 2012, 13:14

ciao a tutti,
premetto che non sono un esperto ma scrivo solo sulla base delle mie modeste esperienze :D
cercando come configurarmi il cron su arch mi sono imbattuto su questo post il quale condivino a pieno tranne rsnapshot, perche se non erro crea delle "immagini" (nn vorrei dire una castroneria) cmq io uso rsync secondo me son gusti a cui vado a dire di farmi i bachup delle cartelle che io voglio, di solito faccio /home, /etc/ boot, e aggiungo /var/log
ma poi uno si mette quello che vuole ,utilizzo il delete invece di mettere il logrotate per cancellarmi le immagini vecchio di rsnapshot, cioè tutto quello che è nella cartella sorgente va a copiare/deletare in quella di destinazione cosi ho sempre una copia 1:1 della home subito pronta all'uso
e siccome sono un maniaco del backup, ne faccio tre uno giornaliero, uno settimanale e un altro mensile su 2 hd differenti esterni.
ovviamente non conosco a fondo rsnapshot ma da cio che lessi al tempo preferii rsync.

questa è la sintassi che uso e al tempo miero fatto un .txt se puo essere di aiuto per chi ancora usa rsync
Supponendo di voler effettuare il backup della directory /home su /backup_giornaliero possiamo semplicemente scrivere:

Codice: Seleziona tutto

0  3   * * *   root    rsync -arvHu --delete --progress --stats /home /backup_giornaliero
in questo modo ogni mattino alle 3 viene fatto partire rsync ma analizziamo la sequenza che ho io, premetto che se ne possono fare di diverse, poi ognuno ha le sue esigenze le mie sono come elencate e quindi:
analizzo "arvHu"


-a ---> attiva la funzione archivio, cioè mantiene le informazioni sui permessi, proprietario,date del file.
-r ---> sta per recursivo, quindi esplora tutte le sottodirectory di cartella_da_salvare
-v ---> attiva la modalità "verbose", quindi rsync ci spiegherà passo passo tutto ciò che combina
-H ---> conserva i legami materiali dei file
-u ---> attiva la salvaguardia incrementale

poi andiamo avanti con:

--progress ----> permette di visualizzare la progressione dei file
--delete ----> elimina i file di backup_giornaliero se essi non esistono più in /home
--stats ----> attiva le statistiche sui file.

in pratica come è configurato ogni mattino alle 3 mi fa il backup dei dati presenti da /home su /backup_giornaliero ma in modo sincrono, cioè se io tolgo una foto dalla cartella home lui me la cancella anche dalla cartella backup_giornaliero e di conseguenza se non facciamo modifiche rsync non copiera niente perche non avra nulla da copiare risparmiando backup inutili di immagini una sopra l'altra che poi quando servono non sai mai quella che ti serve, in piu diciamo anche che rsync fa la copia 1 a 1 non comprime, ammenoche non lo vogliamo far comprimere in quel caso si mjodifica la stringa.. e rsync comprime..

Cosa importante è che se abbiamo gnome come DE dobbiamo escludere la cartella .gvfs dal backup perche altrimenti ci da errore di permessi ecc.. anche se rsync è lanciato da root. e quindi si aggiunge questo

Codice: Seleziona tutto

0  3   * * *   root    rsync -arvHu --delete --progress --stats --exclude=**/.gvfs /home /backup_giornaliero
altra cosetta carina che ho fatto ora è:
ora come posso sapere se il backup va a buon fine o viene eseguito correttamente??
mi mando una mail con postfix :D
e quindi la stringa da copiare in crontab per esempio sara.

Codice: Seleziona tutto

0  3   * * *   root    rsync -arvHu --delete --progress --stats --exclude=**/.gvfs /home /backup_giornaliero | mail -s "Log Backup /home backup_giornaliero " tuamail@providert.it
una cosa carina che ho fatto ora è allegare un file.txt nella roba che nn volete backuppare quindi sostituire **./gvfs con --exclude-from '/etc/exclude.txt' e dentro il file mette **./gvfs poi sotto altre directory e cosi via..

Se volete un'analisi dei log di postfix, potete usare il programma in perl pflogsumm
e un esempio su crontab:

Codice: Seleziona tutto

0 2 * * * root /path/to/pflogsumm.pl -d today /var/log/maillog | mail -s "Postfix Mail Report"
Ora solo che su arch postfix ha una config un po piu pesante perche ha bisogno di sql e in questo caso opto per sendmail e proprio in questi gg sto cercando di configurarmi.. ma causa lavoro nn ho molto tempo se nn il week end.
cmq bel lavoro di Ninquitassar.
ciao

Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 19 novembre 2012, 14:51

takel ha scritto: condivino a pieno tranne rsnapshot, perche se non erro crea delle "immagini" (nn vorrei dire una castroneria) cmq io uso rsync
Stiamo parlando della stessa cosa. Per fare i backup rsnapshot usa rsync, che pure si basa su un backup incrementale (quello che tu chiami immagini). ;)

Ad ogni modo grazie per il contributo. E per la rapida guida, peraltro ben dettagliata. ;)
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

takel
Newbie
Messaggi: 8
Iscritto il: 17 novembre 2012, 22:40

Re: Il backup perfetto con rsnapshot

Messaggio da takel » 19 novembre 2012, 18:30

Ninquitassar ha scritto:
takel ha scritto: condivino a pieno tranne rsnapshot, perche se non erro crea delle "immagini" (nn vorrei dire una castroneria) cmq io uso rsync
Stiamo parlando della stessa cosa. Per fare i backup rsnapshot usa rsync, che pure si basa su un backup incrementale (quello che tu chiami immagini). ;)

Ad ogni modo grazie per il contributo. E per la rapida guida, peraltro ben dettagliata. ;)

Chiedo venia, ma come detto nel mio post non sono un esperto mi arrangio come posso, anzi a dire il vero ho capito dal tuo post come devo settare rsync su arch, perche passare da una dibian based ad arch le cosette un po cambiano rsync compreso.
ciao e un grazie per le dritte.
takel

Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 19 novembre 2012, 19:59

Ma scherzi? Siamo tutti qua apposta! ^^ Per consigliare, sbagliare ed imparare. La piccola guida che hai postato anzi aiuta chi volesse impostare il backup incrementale soltanto con rsync. Ciao!
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

takel
Newbie
Messaggi: 8
Iscritto il: 17 novembre 2012, 22:40

Re: Il backup perfetto con rsnapshot

Messaggio da takel » 19 novembre 2012, 20:50

Ninquitassar ha scritto:Ma scherzi? Siamo tutti qua apposta! ^^ Per consigliare, sbagliare ed imparare. La piccola guida che hai postato anzi aiuta chi volesse impostare il backup incrementale soltanto con rsync. Ciao!
Ciao Ninquitassar :)
ho risolto con postfix poiche alla fine nn è pesante come credevo, cmq ottimo per mandarmi una mail a backup concluso in piu gia lo conoscevo, piu semplice configurarlo di quando ero in debian based..
in pratica una volta installato basta modificare il file main.cf dentro /etc/postfix come di seguito

Codice: Seleziona tutto

queue_directory = /var/spool/postfix
command_directory = /usr/sbin
daemon_directory = /usr/lib/postfix
data_directory = /var/lib/postfix
mail_owner = postfix
myhostname = il tuo hostname (da xterm dai un myhost)
mydomain = fastwebnet.it (io uso fastweb ovvio per es libero metta libero.it, gmail metta gmail.com ecc)
myorigin = $mydomain
inet_interfaces = all
unknown_local_recipient_reject_code = 550
mynetworks = 127.0.0.0/8, ( oltre al localhost 127.0.0.1 potete mettere la vostra lan)
relayhost = [qui inserite l'smtp del vostro provider meglio il suo ip per trovarlo usate nslookup smtp.vostroprovider.quellocheè]
alias_maps = hash:/etc/postfix/aliases
alias_database = $alias_maps
mail_spool_directory = /var/mail
debug_peer_level = 2
debugger_command =
         PATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R6/bin
         ddd $daemon_directory/$process_name $process_id & sleep 5
sendmail_path = /usr/sbin/sendmail
newaliases_path = /usr/bin/newaliases
mailq_path = /usr/bin/mailq
setgid_group = postdrop
html_directory = no
manpage_directory = /usr/share/man
sample_directory = /etc/postfix/sample
readme_directory = /usr/share/doc/postfix
inet_protocols = ipv4

basta il resto lo lasciate come è
poi date un

Codice: Seleziona tutto

sudo systemctl enable postfix
poi date un

Codice: Seleziona tutto

sudo systemctl start postfix
finito.. in questo modo io ho a backup finito la mail che mi conferma che ha avuto successo e con essa allegato quello che è stato aggiunto deletato ecc :D
per fare una prova e vedere se funge tutto basta dare da console:

Codice: Seleziona tutto

mail -s test tua@mail.it
andate a scaricarla e vedrete il vostro backup
ecco per prova cosa mi arriva della cartella boot

Codice: Seleziona tutto

sending incremental file list

Number of files: 310
Number of files transferred: 0
Total file size: 28563120 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 5386
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 5408
Total bytes received: 21

sent 5408 bytes  received 21 bytes  10858.00 bytes/sec
total size is 28563120  speedup is 5261.21
spero di aver fatto cosa gradita :P
ciao a tutti

~awake
Arciere
Messaggi: 158
Iscritto il: 28 luglio 2011, 2:09

Re: Il backup perfetto con rsnapshot

Messaggio da ~awake » 20 ottobre 2013, 21:43

scusatemi se uppo questo vecchio (ma molto utile) topic, ma utilizzo regolarmente questo script, che trovo ottimo. Ma ho un problema spesso nel log mi compaiono righe di questo tipo:

Codice: Seleziona tutto

[20/Oct/2013:20:09:21] /usr/bin/rm -rf /run/media/renzo/LaCie/arch_backup/daily.6/
[20/Oct/2013:21:01:36] /usr/bin/rsnapshot daily: ERROR: Warning! /usr/bin/rm failed.
[20/Oct/2013:21:01:36] /usr/bin/rsnapshot daily: ERROR: Error! rm_rf("/run/media/renzo/LaCie/arch_backup/daily.6/")
ed alla fine son costretto a cancellare a mano quelle cartelle affinché possa procedere... La domanda è come mai non riesce a fare una remove? eppure lo script ha tutti i permessi e anche il disco è abilitato a lettura/scrittura.

grazie a tutti

Nemo
Little John
Messaggi: 778
Iscritto il: 2 maggio 2012, 13:22
Architettura: x86_64 (64bit)
Località: Albairate (MI)

Re: Il backup perfetto con rsnapshot

Messaggio da Nemo » 21 ottobre 2013, 10:05

Ti dirò..è capitato anche a me qualche volta..nel mio caso era perché, ogni tanto e non sono ancora riuscito a capire il motivo, arch mi montava il disco in sola lettura; lo staccavo e riattaccavo e andava tutto. Dici che il disco ha i permessi corretti, hai controllato anche quando ti da l'errore? se disconnetti e riconnetti il disco (dato che il backup comunque dovrebbe annullarsi da solo con quell'errore) ti ridà il problema?
Dell Inspiron 7577 - Intel(R) Core(TM) i7-7700HQ CPU@2.80GHz - RAM 16Gb - Nvidia 1060 6GB - KDE5

In questo nostro universo deterministico avere il pieno controllo delle proprie scelte è sinonimo di non contare niente

Avatar utente
Ninquitassar
Little John
Messaggi: 1085
Iscritto il: 16 settembre 2011, 21:07
Architettura: x86_64 (64bit)
Località: 127.0.0.1

Re: Il backup perfetto con rsnapshot

Messaggio da Ninquitassar » 22 ottobre 2013, 13:57

Credo che l'errore sia proprio quello riportato da Nemo. Io ricordo quel problema solo in un caso.
CPU: Intel Core i5-4460 (3.20GHz) Video: NVIDIA GeForce GT610 RAM: 8Gb Kingston DDR3
OS: Arch x86_64 + i3 + GTK+
My DeviantART

~awake
Arciere
Messaggi: 158
Iscritto il: 28 luglio 2011, 2:09

Re: Il backup perfetto con rsnapshot

Messaggio da ~awake » 27 ottobre 2013, 20:14

scusate il ritardo, ho letto solo oggi, allora innanzitutto grazie per le risposte. Oggi si è ripresentato di nuovo con un ls -l sull'hard disk esterno ottengo questo:

Codice: Seleziona tutto

drwx------ 1 renzo users 8192 19 lug 17.50 LaCie
sia prima che dopo il backup, la questione è che quando ho questo errore poi cancello manualmente le cartelle tramite nautilus e ci riesco (quindi dovrebbe essere ammessa la scrittura) per questo che sono confuso sulla natura dell'errore

kaimano
Novello Arciere
Messaggi: 142
Iscritto il: 13 giugno 2012, 18:52

Re: Il backup perfetto con rsnapshot

Messaggio da kaimano » 12 febbraio 2014, 13:49

riapro il post perché seguendo la guida non sono riuscito a ripristinare il sistema:

dopo aver copiato le directory al riavvio sembra avere dei problemi ad identificare l'utente:
dopo aver aperto una popup windows illeggibile con caratteri strani (quadratini) sembra non caricare il DE e stampa a
video :
Arch Linux 3.9.5-1 (tty1)
bridgelinux login: live (automatic login)
User not known to the underlying autentication module

e resta bloccato.
Ho provato da chroot a ridefinire LE STESSE pwd di superutente e utente che c'erano prima ma non ha prodotto risultati.

Cosa potrebbe essere andato storto e soprattutto avete qualche idea di come venirne fuori?
francamente pensavo che le directory della guida fossero di per se sufficienti a ripristinare il tutto a prima del crash....

grazie

Nemo
Little John
Messaggi: 778
Iscritto il: 2 maggio 2012, 13:22
Architettura: x86_64 (64bit)
Località: Albairate (MI)

Re: Il backup perfetto con rsnapshot

Messaggio da Nemo » 13 febbraio 2014, 10:36

Da chroot prova a creare un nuovo utente e assegnarli la vecchia home..funziona?? Oltretutto, dal post sembra che usi bridgelinux anzi arch..è corretto?? nel caso sei sicuro che le cartelle di cui hai fatto il backup contengano esattamente i file che conterrebbero quelle di arch?? perché essendo una derivata potrebbe esserci qualcosa di diverso
Dell Inspiron 7577 - Intel(R) Core(TM) i7-7700HQ CPU@2.80GHz - RAM 16Gb - Nvidia 1060 6GB - KDE5

In questo nostro universo deterministico avere il pieno controllo delle proprie scelte è sinonimo di non contare niente

kaimano
Novello Arciere
Messaggi: 142
Iscritto il: 13 giugno 2012, 18:52

Re: Il backup perfetto con rsnapshot

Messaggio da kaimano » 14 febbraio 2014, 3:27

Intanto ti ringrazio per la risposta.
Il sistema salvato era anch'esso una distro bridge come la nuova.
Si infatti avevo ricreato l'utente da chroot che c'era prima ma niente.......appare sempre quell' errore postato......
L'unica cosa di diverso potrebbe essere il partizionamento che non era speculare........
Inoltre avevo notato che qualcosa andava per il verso sbagliato quando stavo ripristinando usr/share poiché già li
mi è andato in crash il DE diventando nero e lasciando attivo solo konsole.......
Ora sono ripartito da zero con arch scaricata di fresco e ricreando il sistema immettendoci dentro solo la mia vecchia home...... il resto sono solo programmi da reinstallare ed un po' di tempo perso (tra l'altro networkmanager mi sta facendo tribolare!)....peccato perché la procedura vista mi sembrava molto comoda ma forse va ancora perfezionata per distribuzioni bridge.
Da Arch ora oltre a rsnapshot farò una clonata del disco ogni tanto giusto per cautelarmi.... :?
Chiaramente se qualcuno volesse aggiungere qualche ulteriore elemento alla discussione sul caso accaduto resto disponibile giusto per chiarire che in futuro non si ripeta una caso analogo........più esperienza più prevenzione.....
Per esempio, da perfetto niubbo, se rsnapshot (o cp) scrivesse qualche file in maniera corrotta sulla destinazione lo script ha attivo qualche sistema di crosscheck per verificare che quanto salvato sia attendibile? non sarebbe meglio implementare un controllo sull'integrità dei dati visto che si parla di backup ossia roba di una certa "importanza"?.......
ciao

Rispondi