Newsgroup: it.comp.os.linux.sys
Titolo: RAID 1 sw oppure rsync ogni notte?

Ciao a tutti,
per il mio server casalingo mi consigliate un RAID 1 software oppure una 
copia notturna con rsync? Il quantitativo di dati sta sui 400 Gb su 
dischi da 500.
Se avete altre idee/consigli benvenga.
Grazie,
Stefano



sono cose diverse per fini diversi.. in ogni caso se rsync lo fai su un 
disco locale interno, come backup/sicurezza puoi anche non farlo
S. 

 dischi da 500.
La terza via: drbd, soprattutto se l'altra macchina che useresti per
il rsync e` sempre una macchina Linux.
Se poi vuoi esagerare RAID1 locale + drbd e backup off site con rsync.

 dischi da 500.
backup != RAID
Il RAID serve a non avere downtime, non a salvaguardare i dati.
Se vuoi essere ragionevolmente sicuro di non perdere dati l'unica e'
un bel backup da tenere possibilmente lontano dal server.
Ciao Jack

 il rsync e` sempre una macchina Linux.
...e poi incrocia le dita affinch� gli eventuali problemi non capitino a
livello *di filesystem* anzich� di block-device, o ti sei bruciato il
sistema originale e anche la copia, in un colpo solo.
Se deve essere un backup, usa rsync o metodi analogamente *asincroni*.
Magari agganciandoli ad un sistema di versioning che possa consentire di
"andare indietro" di qualche giorno nei backup. Stile Backuppc, se vuoi
qualcosa di gi� bello e fruibile.
Se devi garantire *continuit� di servizio* (a casa non me ne spiego il
senso, ma vuoi mai) drbd pu� avere un senso.
-- 
Professional System & Network Sarcazzer
http://bofhskull.wordpress.com/

 Se deve essere un backup, usa rsync o metodi analogamente *asincroni*.
Da non specifiche non risultava che dovesse essere e nemmeno che non
dovesse essere.

 Se avete altre idee/consigli benvenga.
Ripeti mille volte "Se si fotte il controller il RAID non 
serve ad un cacchio" mentre adotti una seria politica di
backup.

 Se devi garantire *continuit� di servizio*


Ste wrote:

Ci sono passato pure io: server domestico e stesso dilemma :-)
Ne abbiamo discusso a lungo tra colleghi e alla fine sono stato
invogliato ad utilizzare il RAID1.
Bisogna essere onesti per�, e dare ad rsync quel che � di rsync:
1. in un server domestico il downtime non � importantissimo. Quindi il
fatto di dover perdere una mezz'oretta per fare lo switch dei dischi non
� un problema.
2. l'rsync - cosa non da poco - oltra alla ridondanza, ti offre un
backup delle ultime 24 ore. Ovvero: se cancelli dei file sul disco
RAID1 sei fottuto e basta. Se cancelli dei file da un disco in copia
con rsync, li vai a recuperare dall'altro disco.
secondo me, il punto numero 2 fa pendere la bilancia un po' verso
rsync... almeno per quanto riguarda il server casalingo. 
p.s.: adesso io ho i disci con i dati in RAID1, successivamente ho
aggiunto un terzo disco, non mirrorato, dove gira il sistema. Per�,
ripeto, l'idea dell'rsync non � stupida.
-- 
echo onailimissaM | awk 'BEGIN { FS = "" }
{ for (i = NF; i >= 1; i-- )
  printf $i }'; echo

twistedbrain wrote:

secondo me "server casalingo" dice tutto.


 Per quello ho separato i due casi:
Anch'io, ma sono incompreso.

 secondo me "server casalingo" dice tutto.
Ovvero e` insensata sia la strategia della ridondanza, sia quella del
backup?
Perche' una piu` o meno dell'altra?

 Perche' una piu` o meno dell'altra?
va benisimo quello che dici .... ma secondo me ti sei incartato su una
cosa: quando lui parla di rsync, come alternativa al RAID1, sicuramente
lui si riferisce ad rsync tra due dischi locali, collegati entrambi
sulla stessa macchina.
parliamoci chiaro: il server casalingo ce l'ho pure io. E' un server
(nel mio caso con motherboard atom per ridurre i consumi e non avere
ventoline e ventolacce) con due connettori SATA. Ho aggiunto un altro
connettore SATA PCI per avere un terzo discho, et voil�, eccoti
spiegato in cosa consiste il server casalingo.
p.s.: nel mio caso ho usato RAID1 ... ma rsync ha qualche punto in pi�
perch� ti offra anche la possibilit� di fare dei restore. RAID1, invece,
ti assicura la continuit� del servizio.


 Perche' una piu` o meno dell'altra?
Perchè a casa, a meno di casi particolari, non mi interessa avere una 
disponibilità elevata ma sì mi interessa non perdere dati. 
-- 
Vide

 qualcosa di gi� bello e fruibile.
Giusto.
Ma ho un dubbio:
Supponiamo che non implementi alcun sistema di versioning (i dischi sono 
pientotti per renderlo efficace temo)
Mi metto in questa situazione: sposto sul server le foto di capodanno, 
due giorni dopo salta la corrente ed il filesystem si danneggia proprio 
sulle foto. La notte seguente gira rsync, non leggendo i files li 
cancella anche dal backup. Io non sto sempre davanti al server e non mi 
accorgo di nulla, finch� qualche giorno dopo vado a cercare le foto e 
scopro di non averle pi�.
Se � vero, allora tanto fa usare raid1, e se il server va a fuoco alla 
peggio ho comunque un backup mensile separato.
Grazie per la maieutica :-)
Stefano.


e infatti mi sa che io ho fatto una ca$$ata a optare per il RAID1...


 perch� ti offra anche la possibilit� di fare dei restore.
Si, ma se ti copi sul backup dati corrotti non puoi farlo il restore, e 
se fai i backup abbastanza di rado da poterti accorgere dei dati 
corrotti sul filesystem d'origine non puoi mai stare sicuro che se si 
spacca il disco d'origine hai compunque una copia aggiornata..
Stefano.

 cancella anche dal backup.
Se si toglie la corrente, il PC immagino che riparte da solo.
Se il filesystem si incarta, e non riesce a fare un self-repair alla
accensione successiva, il server si fermer� su un prompt che richieder�
la tua attenzione. Quindi non parte nessuno crontab.
Cambia esempio.


 Cambia esempio.
No, � proprio questo l'esempio che volevo :-)
Stefano.

Ste wrote:

mmmh .... evito accuratamente di aprire flamewar e dico solo che io
non uso ext3.
Sulle macchine di produzione delle aziende per cui lavoro, non gli vado
certo a cambiare il filesystem. Ma su quelle che devo utilizzare per me,
come dicono i milanesi: ghe penz mi :-)


 copia notturna con rsync? 
E' la stessa domanda che mi sono posto io e sto giungendo alla 
conclusione che per essere tranquilli sarebbe meglio seguire lo schema 
classico RAID1 + backup pur in ambito domestico. Mi spiego meglio, 
partendo dal mio scenario: un unico serverino che fa da NAS per desktop, 
portatile e media center, con lo scopo anche di raccogliere i backup di 
tutti questi sistemi. Ora, fino ad oggi sono andato avanti con un disco 
sul server e una copia rsyncata sul desktop (nel tuo caso questa copia 
sarebbe sempre sulla stessa macchina). Purtroppo il disco sul server sta 
morendo e ne ho comprato un altro. Ma a questo punto il problema non � 
tanto la continuit� di servizio, quanto il fatto che i miei dati di anni 
e anni sono sostanzialmente in mano ad un disco solo anche se per poco 
(sgrat sgrat). Se poi la copia fosse sulla stessa macchina e per un 
qualche motivo (es fulmine) saltasse portandosi dietro entrambi i 
dischi? L'idea potrebbe essere quella di aggiungere un'altra copia 
ancora, ma avere a che fare con 3 HD diversi e syncarli di tanto in 
tanto diventa davvero poco gestibile. Allora tanto vale buttarsi su RAID 
1 + disco esterno da allineare ogni settimana (imho pensare di usare i 
nastri in ambito domestico � un po' folle), magari da 2.5" dove basta 
attaccare e staccare un cavetto solo per separarlo fisicamente dal 
sistema. In conclusione se devi tenere i dischi sulla stessa macchina 
rsync � forse un pelo pi� conveniente ma nessuna delle due soluzioni � 
sicura. Alla fine se rimani nell'ordine dei 500/640 GB anche un HD 
esterno costa relativamente poco.
Il problema, che invece non riguarda il tuo quesito, e non ho ancora 
risolto (anche per mancanza di tempo) � come salvare spazio sul NAS per 
quanto riguarda i backup: da un lato preferisco fare immagini complete 
dei SO, specialmente per quelle installazioni di prova/sviluppo, 
dall'altro vorrei evitare di sprecare spazio replicando un sacco di dati 
che non cambiano (specialmente per i backup online). Inoltre mi 
piacerebbe mantenere un po' di storia relativamente ai cambiamenti, 
magari in maniera differenziale piuttosto che incrementale (specialmente 
per i backup offline sul disco esterno) per poter recuperare facilmente 
i dati facilmente e possibilmente senza tools. Sono ben accetti 
suggerimenti su questo :)

 suggerimenti su questo :)
Questo fa tutt'uno col problema dell'OP di ritrovarsi i dati corrotti
e salvati corrotti senza essersene accorto. Credo che la risposta sia
in quanto e`stato skullato, ovvero il versioning che entro certi
limiti (di progetto e di spazio disponibile) puo` mitigare il
problema. Ovvero se te ne acccorgi dopo 5 gg e hai una settimana di
storico, ti salvi, se te ne accorgi dopo 8 giorni con una finestra di
versionamento di 7, li hai persi e/o corrotti.
Evidentemente per risparmiare spazio e quindi avere possibilita` di
allargare la finestra di versionamento devi usare un versioning
intelligente differenziale o incrementale rispetto al salvataggio full
del giorno 0. Gia` tootls come rsync (opportunamente scriptato), credo
a maggior ragione (anche se non conoscendolo non lo so) backuppc te lo
consentano. Per poterle fare al meglio, probabilmente ci vorrebbero sw
che usano anche altri algoritmi piu` adatti 
p.es
. a binari, come
xdelta, che credo sia alla base delle attuali patch distribuite da
Fedora o forse ancor piu` (ma non so esattamente se ce ne siano e in
che cosa consistano) algoritmi di deduplicazione aperti e/o
implementati per Linux.
Infine non credo sia cosi` difficile accorgersi precocemente di
problemi di corruzione di filesystem, in modo bruto con tools come
AIDE (Tripwire) per cui al giro successivo alla corruzione, che
potresti schedulare prima del backup, il software evidenzia che le
cose non tornano e quindi non viene lanciato il backup, ma
eventualmente la riformattazione e il ripristino.
Per ora per il server casalingo probabilmente provero` a usare rsync
(il RAID 1 ce l'ho gia`, ma ero gia` ben convinto, anche prima di
questa discussione a metterlo sotto backup su HD USB esterno).
Andrea

 come dicono i milanesi: ghe penz mi :-)
E cosa usi?
Ciao ... Dino

ginopilotino wrote:

XFS. E' l'unico provvisto di tool di defrag ;-)
Gli manca solo lo shrink come feature, per� ha la simpatica feature che
non ti mancano mai i dati :)


 non ti mancano mai i dati :)
Veramente a seguito di mancanze di alimentazioni brusche avevo sentito
altre cose.

twistedbrain wrote:

uhm uhm ... a voler essere onesti anche io credo di aver letto qualcosa
del genere. Non so che dire: basandomi sulla mia esperienza personale
non mi posso lamentare.
p.s.: su un notebook ho messo ext4 ... speriamo bene.


 backup.
Posto che una politica di backup seria non e` mai un cattivo consiglio, e` 
un po' difficile che si rompa il controller RAID quando quest'ultimo e` 
fatto via software... :)
Enrico

 non ti mancano mai i dati :)
Balle, XFS soffre praticamente degli stessi problemi di ext4 (hint delayed 
allocation)
Enrico

 questa discussione a metterlo sotto backup su HD USB esterno).
rsync era troppo semplice e poi per un backup ci vuole qualcosa di
piu` affidabile, per cui mi sto compilando un bel filesystem che in
beta funziona sotto fuse (lessfs) e poi vedro` un po' quanti dati
riesco a perdermi, ma da progetto implementa algoritmi di
deduplicazione.

 Enrico
la delayed allocation puoi disabilitarla su ext4 (a scapito delle
prestazioni)... non ho mai guardato se si pu� disabilitare in XFS.
Parlo esclusivamente in riferimento alla mia esperienza personale.



wrote:

Anche per questo amo il raid software di Linux (anche se il discorso
vale per qualsiasi raid software, persino quello di Windows)

 allocation)
ma certo, il futuro � ext3 :)
La delayed allocation � uno pseuso-problema... e se proprio hai cos�
tanta paura "nodealloc" is your friend.



Enrico, io lo so che si stava meglio quando si stava peggio, perche:
ZFS, btrfs, XFS, ext4 e pure l'HFS+ di Leopard usano la delayed
allocation. Ma non mi si pu� dire che era meglio prima.


 copia notturna con rsync? 
Grazie a tutti per la discussione.
Alla fine ho optato per adottare ambedue le strategie: ho messo i due 
dischi che avevo in raid 1 ed ho comprato un'altro disco per un backup 
asincrono.
Ho prestato un po' di attenzione a come viene gestito il filesystem sul 
raid, in pratica forzo un check ad ogni boot ed ho aggiunto l'opzione 
che in caso di errori venga rimontato in sola lettura.
Cos� mi sento abbastanza sicuro.
Tutto questo perch� anche se � solo un server casalingo, lo usiamo in 
famiglia sia per tenerci i backup sia come disco aggiuntivo montato via 
sshfs dai nostri desktop/laptop. Da qui la necessit� di usare entrambi i 
sistemi, per evitare di perdere dati nel caso si rompa un disco (e che 
il backup asincrono non sia ancora stato fatto) o nel caso succeda 
qualche danno al filesystem sul raid (come mi � capitato, e per fortuna 
che avevo un backup sparso qua e l�).
Insomma, nel mio caso spendendo qualche euro in pi� ora posso dormire 
dormire sonni pi� o meno tranquilli. Credo mi sia convenuto pittosto che 
stare a scervellarmi per capire quale fosse la soluzione "meno peggiore" 
per il mio caso d'uso :-)
Ciao a tutti,
Stefano.

 allocation. Ma non mi si può dire che era meglio prima.
Adamo, io non dico che la delayed allocation sia il MALE™, dico 
semplicemente che e` una funzionalita` che, in alcuni casi, mette a rischio 
i dati. Che poi sia un male accettabile e` un altro discorso, in quanto 
permette varie ottimizzazioni che in assenza di essa sarebbero state 
abbastanza rognose. Certo e` che non mi dispiace sapere che, almeno in ext4, 
c'e` la possibilita` di disabilitarla per mezzo dell'apposita opzione di 
mount
Enrico

 tanta paura "nodealloc" is your friend.
Dillo a chi ha XFS su disco USB <g>
Enrico

 mount
Dimenticavo, di certo c'e` anche un'altra cosa: che XFS, come tutti i file 
system, non garantisce la consistenza dei dati, perche` anche lui hai suoi 
problemi[1][2]. Comunque, ti ringrazio, in quanto questa discussione mi ha 
fatto notare delle opzioni di mount relative alla gestione delle quote su 
XFS che non conoscevo :)
Enrico
[1] e.g. l'uso dell'opzione barrier, che se da una parte puo` garantire la 
consistenza delle scritture, dall'altra riporta un degrado delle performance 
in alcune configurazioni
[2] 
http://pages.cs.wisc.edu/~vshree/xfs.pdf
 ma non sono riuscito a capire 
se sia di parte o meno (era tra le revisioni della pagina inglese di XFS su 
Wikipedia)

 prestazioni)... non ho mai guardato se si può disabilitare in XFS.
Si, ho visto che per ext4 ci sono le varie opzioni per abilitarla e 
disabilitarla, nonche` le opzioni per gestire i mancati fsync() che hanno 
portato all'apertura dello specifico bug su ubuntu
Enrico

 Wikipedia)
grazie a questa discussione io invece ho scoperto che lo sviluppo di XFS 
sta procedendo al di fuori di SGI e la cosa non mi dispiace per nulla.
http://www.xfs.org/index.php/Main_Page
Il documento numero 2 � interessante, ma non riesco a datarlo con 
precisione.
la data di ultima modifica �: mer 11 mag 2005 08:37:14 CEST
Quindi � vecchio di *almeno* 5 anni... a quei tempi a momenti pure ext3 
era sperimentale.


 problemi[1][2]
C'e' anche da dire che questa discussione mi ha portato una rogna
assurda: uno dei dischi che costituivano il volume LVM del mio pc di
casa (i cui LV, ironicamente, erano formattati in XFS) sembra aver
deciso di andare nel regno dei piu' a causa di uno sbalzo di corrente
(come si suol dire, pessimismo e fastidio :/ )
Enrico

 non mi posso lamentare.
io sono stato 'scottato' da questo problema che aveva(?) XFS a causa di
cadute di tensione (ai tempi di FC3 se non ricordo male).
A suo tempo avevo letto che i file aperti quando accadeva il fattaccio
potevano risultare _vuoti_ (la politica degli sviluppatori di XFS era di
non far vedere nulla piuttosto che file corrotti).
A me era successo su un server in ufficio e su un altro server da un
cliente (il quale aveva perso /etc/fstab... non capisco come possa
risultare aperto durante la normale attivit� di un server)
Avevo anche letto che questi problemi dovrebbero essere ormai risolti e
che XFS dovrebbe essere pi� solido, ma da allora non l'ho pi� utilizzato.
Tu da quando lo utilizzi e su quante macchine?
Qualcuna di queste ha mai subito una caduta di tensione e con che
risultati?
riki

 risultati?
So che recentemente ci sono state delle perdite di dati spettacolari
in condizioni del genere con ext4 su SSD. C'era un bell'articolo a
riguardo su 
lwn.net

 risultati?
Parecchie direi, ma non ho mai perso dati (toccata d'obbligo) :)
Enrico

 Ridondanza insensata (sia RAID-1 ma ancora di più un DRBD), backup sensato.
Dipende. Personalmente preferisco avere una ridondanza dei dati anche
a casa, soprattutto considerando che sono costretto a reinstallare il
mio pc proprio per il fatto che non ho attuato una strategia simile a
corredo del backup
Enrico

 risultati?
ma si. Qualche volta mi � successo, ma non ho mai avuto problemi. Faccio 
corna.


 cadute di tensione (ai tempi di FC3 se non ricordo male).
Idem, con una FC (non ricordo bene quale, forse la 2) che usavo per 
alcuni test. All'epoca quella macchina non era ancora dietro UPS, � 
mancata la corrente e al riavvio il desktop era completamente 
sputtanato/azzerato. L'unica cosa che mi ha colpito favorevolmente � la 
gestione delle quota, in ogni caso da allora non l'ho mai pi� usato. Da 
un punto di vista prestazionale penso vada valutato a seconda dei casi.

 consentano.
credo che rsnapshot in questo caso faccia il lavoro sporco per te, 
backuppc � sicuramente pi� raffinato. Volevo trovare provare a combinare 
i vantaggi di entrambi... ci penser� su pi� avanti, ora non ho tempo.

 alcuni test.
si ma FC3, FC2 sa tanto di pleistocene, eh!
Io a quei tempi ebbi problemi svariate volte con ext3, senza spegnimenti 
bruschi. Una volta riaccesi un desktop, e avevo perso tutta la root, 
senza una ragione precisa.
Per�, immagino che anche ext3 sia stato migliorato dal pleistocene ai 
nostri giorni.
Ebbi anche problemi con reiser in tempi ancora precedenti.


 Ebbi anche problemi con reiser in tempi ancora precedenti.
Vai a Lourdes.

twistedbrain wrote:

Beh un crash/bug hardware e un bug/crash software sono equivalenti, a parte 
il fatto non trascurabile che il software basta riavviarlo ed � di nuovo 
disponible all'uso.

 corredo del backup
Ma che dati c'avete ben a casa che avete bisogno di RAID? :) 
Io personalmente l'unica cosa che voglio salvare normalmente sono le foto 
(portatile con copia su DVD e muletto, più servizi cloud) e qualche 
documento (che generalmente carico in qualche spazio privato online)
-- 
Vide

 Ma che dati c'avete ben a casa che avete bisogno di RAID? :)
Potrei dirtelo, ma poi sarei costretto ad ucciderti :)
Seriamente, per me si tratta di precauzione, visto che meno di una settimana 
fa' mi sono giocato l'intero sistema in quanto avevo un LVM spalmato su piu` 
dischi e nessun RAID a supporto
Enrico

 Vai a Lourdes.
non � che si pu� discutere tanto con te, eh...
Reiser oggi � stabilissimo, secondo uno dei pi� stabili tra tutti quelli 
menzionati. Inizialmente non lo era.


 menzionati. Inizialmente non lo era.
L'unico enorme peccato di Reiserfs e` che l'inventore e sviluppatore
principale fosse sociopatico e pure uxoricida, non potendo in qesto
modo garantire un gran futuro al suo filesystem.

 modo garantire un gran futuro al suo filesystem.
chiaro.... ma io non l'ho abbandonato per una questione etica. Mi sono 
reso conto che lo sviluppo procedeva veramente a rilento. Sono stato 
utente reiserfs per tantissimo tempo, perch� era una roccia.
Per�, come ho gi� detto, con le prime versioni avevo problemi.
p.s.: il riferimento temporale dei 2 anni pu� essere poco preciso. Mi 
riferisco pi� che altro alla introduzione del kernl 2.6


 riferisco più che altro alla introduzione del kernl 2.6
Invece il mio riferimento temporale dei 15 anni e` quello che ho
esposto.
Andrea


assoluatmente d'accordo. Era, ed � eccezionale. Purtroppo lo sviluppo � 
arenato, quindi per adesso, amen.


 matematicamente fottuta.
Non � vero.
Sempre nel '97, quando cercavi di ficcare tanti utenti RTG su una CDN
da 128K, Squid era un toccasana. E il FS sotto era ext2.
Non ricordo di aver mai perso 'tutta la cache' ma al massimo qualche
file si vedeva male fino al suo expire.
-- 
ValeRyo
XT600 "Katoki Pajama" - 
http://www.slimmit.com/go.asp?7Y9
CBR600F "Cerbero" - In vendita - 
http://www.slimmit.com/go.asp?7X0
GamerTag: 
http://card.mygamercard.net/IT/nxe/ValeRyo76.png
 


Mi sa che hai avuto sfiga.
A suo tempo avevo un server con il 2.0 e una scheda biprocessore 
clamorosamente guasta: il server si sar� bloccato almeno una volta alla 
settimana per svariati mesi ma non � successo niente di ch�
-- 
Roberto Tagliaferri-Linux user #30785 <-> r.tagliaferri@(forse)
tosnet.it
www.robyt.eu

 spalmato su piu` dischi e nessun RAID a supporto
Vabbè ma il RAID0 o gli LVM spalmati vuol dire cercarsela :)
-- 
Vide

 menzionati. Inizialmente non lo era.
Lo usato e anche per tanto tempo, ma mi sembra un po' morto ;)

 funziona meglio.
Ma fanatici de che? Di ext3?
Abbiamo solo affermato che con extX ci siamo trovati bene, punto, che 
vuoi? :D

 settimana per svariati mesi ma non � successo niente di ch�
Ma non � che fosse un problema esclusivo di ext2. Anche i vecchi 
filesystem di HP-UX soffrivano gli stessi problemi.


 Lo usato e anche per tanto tempo, ma mi sembra un po' morto ;)
mortissimo :-) Su questo non ci sono dubbi. E' stato veramente un 
peccato :-(


Max_Adamo ha scritto:
-cut-
Faresti la cortesia di sceglierti un indirizzo di posta e mantenerlo,
cos� da permettere a chicchessia di non leggerti?
Grazie.
-- 
           |Save our planet!
    Ciao   |Save wildlife!
   roberto |For your E-MAIL use ONLY recycled Bytes  !!
           |roberto poggi   
rpo...@softhome.net

 cos� da permettere a chicchessia di non leggerti?
faresti la cortesia di evidenziare *dove* e *quando* avrei cambiato 
e-mail da almeno un anno a questa parte? (a parte il messaggio a nome di 
evaristo, che � UNICO).
A volte, quando non riesco a collegarmi, uso Google Groups. Ma lo uso 
rarissimamente.



PARDON: hai ragione. Ma si tratta di un errore di digitazione: 
somwhere.org
 versus 
somewhere.org
correggo subito l'errore.
