Newsgroup: it.comp.os.linux.sys
Titolo: Storage esterno

Ciao.
Ho una domanda da porre:
Come sistema di storage esterno cosa usate/consigliate?
Sia come hardware che come topologia di rete.
Io avevo pensato a un qualcosa tipo 2 server NFS rindondati (heartbeat) 
collegati ad una unità esterna di dischi SCSI (piu precisamente 2 DL380 
collegati a 1 MSA30 con dual host).
Esistono soluzioni migliori?
Preferirei avere un qualcosa tipo MSA30 ma con dischi SATA. Ho visto che 
esiste il MSA20, che ha proprio dischi SATA, ma purtroppo si può 
collegare solo ad un singolo server (quindi niente rindondanza dei 
server NFS)
Anche la serie vtrak della promise non sembra male. Avete avuto modo di 
testarla?

 
emc... :D

 
Vado sul sito....Devo vendere la casa per acquistarlo? :D

 Vado sul sito....Devo vendere la casa per acquistarlo? :D
Dipende... quanto e' grande casa tua? :D
ciao
-- 
Luca Corti
PGP Key ID 1F38C091
BOFH excuse of the moment:
Bad user karma.

 Dipende... quanto e' grande casa tua? :D
Su per giu come la cuccia del cane....
Può bastare come 'scambio' ?

 
Ho guardato il sito
In pratica sono i dell (AX100/AX100i)....
Che costano un finimondo (10.000 euro+dischi)
MSA20/30 di HP costa piu o meno 2000 euro(+dischi).

 server NFS)
ds4100 ibm se ce la fai come budget ( frontend fc , backend sata )
altrimenti ds300 ( fe iscsi , be sata ).
ciao.
-- 
I veri geni non dicono di esserlo...  io ad esempio sono un vero genio.

 
Ci guardo (sarebbe perfetto come tipologia, non so come budget).
Ma come struttura di rete va bene quella da me descritta? Ovvero 2 
server nfs (pensavo ai proliant ml380) in hearthebeat failover tra loro 
collegati entrambi allo 'scatolone di dischi (marchio registrato)'

 collegati entrambi allo 'scatolone di dischi (marchio registrato)'
si , ma leggiti bene la documentazione , c'è un discriminante che non
ricordo percui mi pare impossibile mantenere le sessioni durante lo
switch , tieni conto che ti parlo di un esperienza di almeno 2-3 anni fa'
con un rh 2.1 e la cluster suite sempre rh.
ciao.
-- 
Grazie mille per la sua spiegazione, professore.  Lei e' stato sintetico
come
i capelli di Mike Bongiorno.
                -- Piero Chiambretti

 
Leggero molto attentamente le istruzioni prima di un acquisto del 
genere. :DD
Quello che però non capisco (probabilmente mi manca qualche passaggio) è 
come si possano evitare i vari SPOF con una topologia del genere. I 
server NFS sono rindondati, ma l'array di dischi?!? O è praticamente 
impossibile che si spacchi o bisogna rindondare anche quello (non parlo 
a livello di dischi, i quali saranno in raid, ma a livello hardware) ma 
come?

 come?
il ds4300 è gia' ridondato internamente sono 2 macchine collegate ai
dischi , devi pero' mettere la doppia scheda in fibra sui server e caricare
il driver failover di ibm , in quella macchina puoi fisicamente staccare
qualsiasi cosa a caldo senza interrompere il servizio , basta che ne togli
al max una per tipologia ( se levi i 2 motori si ferma , come se levi i 2
alimentatori ).
per il 300 non so' , parlavano di doppia interfaccia , ma ho il sospetto che
funzioni solo con le schede iscsi hw e non con il driver sw.
ciao.
-- 
"Non ho mentito, ho solo partecipato volontariamente ad una campagna di
disinformazione."

 funzioni solo con le schede iscsi hw e non con il driver sw.
Ma il 300 è solo SCSI quindi potrei proprio evitarlo (i dischi scsi da 
300gb costano 800 euro l'uno........si spende 11.000 euro di soli dischi 
per riempire quello storage.)

 per riempire quello storage.)
strano , mi pareva ci fosse anche un modello sata , forse è uscito di
produzione.
/commerciale ON
cmq se ti serve una quotazione fai un fischio ;-)
/commerciale OFF
bye.
-- 
- Perche' nei campi di concentramento tedeschi c'erano delle porte blu e
  delle porte rosse?
- Butano, propano...
                -- Da it.hobby.umorismo

 /commerciale OFF
/probabileCliente ON
fai pure un preventivo..... :)
/probabileCliente OFF

 Bisogna venire di corsa in ufficio............... :)
(ci sono storage che hanno cache in scrittura e batterie interne
che assicurano la congruità dei dati per giorni...) :-)

 che assicurano la congruità dei dati per giorni...) :-)
A si si, anche per mesi con una cache da 20gb....il problema non è la
congruità dei dati ma il fatto che tutti i server collegati allo
storage sono letteralmente 'vuoti' per giorni dal momento che lo
storage è spento....
Credo sia dura dire al cliente: 'Non preoccuarti, tanto i dati ci sono,
però tu non li vedi' :)

 emc... :D
EMC2 da evitare come la peste per la fascia bassa. Solo i fascia alta
sono validi.
-- 
Flavio Visentin
Membro del CICAP
Comitato Italiano per il Controllo delle Affermazioni di P4

 storage č spento....
In questo caso sui DS4300 puoi abilitare il remote mirroring e avere un
secondo storage mantenuto perfettamente e automaticamente sincronizzato
con il primo.
Uno degli ultimi progetti di disaster recovery che ho visto, prevedeva
due DS4500 (ex FastT700) con remote mirroring in due palazzine distanti
un paio di Km l'una dall'altra, e con un nodo del cluster per ciascuna
sede (ovviamente collegamento in fibra diretto tra le due sedi, sia per
la rete che per la SAN). Tra l'altro un ced era nel seminterrato e uno
al terzo piano :-)


 al terzo piano :-)
Allora quindi la situazione finale potrebbe essere la seguente
2 server NFS in failover collegati allo storage.
Storage con 2 ingressi in fibra per i server nfs piu eventualmente
altri ingressi in fibra per l'espansione tramite un altro storage
gemello.
Totale 3 ingressi.
Senza espansione basterebbero 2 ingressi.
Allora adesso mi viene spontanea un altra domanda:
lo storage conviene configurarlo tutto in raid 1 (disco-disco) e fare
dei volumi logici sui server nfs? in questo modo posso partire con 4
dischi in raid 1 e visti come una unica partizione lvm ed in futuro
posso aggiungere altri 2 dischi in raid1 ed espandere il volume.
O la scheda raid dello storage gestisce il resize automatico dei
volumi? preferivo evitare di partire con 14 dischi ma aggiungerli man
mano......

 /probabileCliente OFF
mandami le richieste , num dischi , ecc ecc 
in privato
-- 
Nel Capitalismo l'uomo sfrutta l'uomo.  Nel Comunismo e' il contrario.
                -- Da it.hobby.umorismo

 mano......
non funziona così , a parte che eviterei il raid 1 ma farei un classico
raid5 + spare per un server nfs , cmq lo storage fa' una scatola grossa
quanto l' array e li' sopra crea i volumi logici , quindi l'utilizzo di lvm
è abbastanza inutile e ridondante.
ciao.
-- 
"Io non raccomanderei sesso, droga o ragazzate a nessuno, ma con me hanno
sempre funzionato."
                -- Hunter S. Thompson

 è abbastanza inutile e ridondante.
Devo creare i volumi logigi li sopra come dici tu, ma con cosa li creo?
lo fa direttamente lo storage?
Diciamo che vedo questa unità esterna come un unico grosso disco a 14
unità.
Li sopra tramite i 2 server nfs creo ed esporto i vari volumi logici
con lvm..... proprio come se fosse un normale disco inserito
all'interno del server.
Sta cosa mi sta facendo diventare matto solo nel concepirla.....
Qualche lettura che mi possa chiarire le idee?

 dischi + 1spare.
Non osare sai! Hai idea che se si fotte un disco (magari tra 5 anni) e 
vuole il caso che 5 sia anche la vita media dei dischi, mentre 
risincronizza hai un bel po' di possibilita' di perdere tutto? A parte 
la faccenda delle performance.
Da noi sui vecchi server ogni tanto succede, con buona pace dell'ing che 
aveva fatto il progetto :)
IMHO fai due raid da 5, massimo 6 (a seconda di quanti canali hai), e se 
proprio vuoi li metti in mirror.

 Qualche lettura che mi possa chiarire le idee?
www.redbooks.ibm.com
-- 
Una mela ogni otto ore toglie tre medici di torno.

 collegati a 1 MSA30 con dual host).
Scusate le domande da profano.
- per usare uno di questi "scatolotti" di storage, sui server è 
necessaria una scheda scsi u320 normale o deve avere il supporto raid?
- il raid viene gestito direttamente dall'unità esterna? In tal caso 
come avviene la gestione, ha un server web intergrato, un software per 
la gestione multipiattaforma etc?
- l'espansione delle unità logiche (aggiungendo nuovi dischi) viene 
sempre gestita dall'unità esterna? In questo caso NFS "capisce" in 
automatico che la partizione è più grande?
Grazie.

 /probabileCliente OFF
Se vuoi avere un'idea dei prezzi di *listino*, puoi utilizzare il
configuratore di IBM (PURTROPPO è un foglio Excel), aprendo la scheda
"TotalStorage 4100" e selezionando quel che ti serve.
http://www-306.ibm.com/pc/support/site.wss/MIGR-41411.html
Questo ti consente di avere anche un primo controllo di coerenza, e ti
da un'idea dei costi che devi affrontare.
Scegli tutti i modelli Express che sono già scontati, e sappi che
qualsiasi sconto ulteriore ti venga offerto è già buono, dato che i
margini dei rivenditori sui componenti Express sono risicatissimi.
Per avere un supporto su come configurare tutte le varie opzioni
dell'offerta IBM puoi utilizzare la Configuration Option Guide
scaricabile da qui:
http://www-1.ibm.com/support/docview.wss?rs=1201&uid=psg1SCOD-3ZVQ5W&loc=en_US&cs=utf-8&lang=en
Just for FUN sappi che il remote mirror sul 4100 costa circa 15000 euro.


 automatico che la partizione è più grande?
No. è come se tu facessi il resize di un LVM. Devi anche estendere il
filesystem e normalmente devi anche eseguire un rescan dei dischi.


 
Niente remote mirror.....Assumo uno che faccia il backup 6 volte al 
giorno :DDDDDDDDDD

 automatico che la partizione è più grande?
E' quello che sto cercando di capire.............
Se da una partizione da 1TB basso ad 1 da 2TB, i server collegati se ne 
accorgono on-fly?!!?

 sempre gestita dall'unità esterna? 
nei casi a cui faccio riferimento io, dalla macchina vedi dei device a 
blocchi, come fosse un disco interno. quindi se ridimensioni il disco 
sarà meglio smontarlo e lanciare la riconfigurazione per aggiornare il 
sistema operativo
Ciao
--
Ranger!

 
Vecchio storage: 1TB
Sullo storage creo un 'mega disco' da 2TB'
Poi sui server se vado a vedere le dimensioni delle partizioni vedrò che 
  la partizione attuale è 1TB (il vecchio storage) mentre lo spazio 
disponibile è 2TB (il nuovo storage). A quel punto faccio il resize del 
FS (di conseguenza bisogna adottare un FS che abbia il resize onfly).
Ma le dimensione delle partizioni, vengono modificate in realtime?

 sistema operativo
Alla faccia della rindondanza e del High Availability. Se devi staccare 
tutto e riconfigurare..............................
A meno che non lo fai prima su un server NFS (così l'altro continua a 
lavorare) poi inverti il tutto.....Ma non mi sembra una grande soluzone.

 tutto e riconfigurare..............................
ahem, per "smontare" intendevo "umount", non staccare fisicamente 
qualcosa .. :)
ciao
--
Ranger!


..aggiungo anche che il ridimensionamento del disco non è prassi comune. 
di solito configuri un nuovo disco sull'host, poi lo gestisci sul server 
con LVM.
ciao
--
Ranger!

 qualcosa .. :)
Era sottointeso, ma se lo smonti e rimonti, da fuori come ci 
scrivono/leggono i dati scusa?

 con LVM.
A me han consigliato di far fare tutto all'host e lasciar stare LVM....
Ci capisco sempre meno...........

 si tratta di soluzioni FC è necessaria un HBA FC.
Ma in questo caso se ho due server che accedono allo stesso storage NFS 
come gestisco il RAID? Mi sembra molto strano. Se imposto un certo tipo 
di RAID su uno dei due server l'altro come "capisce" le configurazioni?

 di RAID su uno dei due server l'altro come "capisce" le configurazioni?
Le "legge" dai dischi.


 di RAID su uno dei due server l'altro come "capisce" le configurazioni?
Be per quanto ne so io i 2 server sono in failover...Ovvero uno è in 
funzione, l'altro sta li a fare il becchino....Appena muore entra in 
funzione lui. cosi solo 1 server alla volta accede ai dati.


Dipende da come organizzi il tuo sistema. P.es. su Solaris in genere si
utilizza lo storage esterno in modalità JBOD con VxFS, quindi è come
usare LVM.
Sui cluster Linux con storage FC in genere assegni una lun per ciascun
servizio, quindi  ogni Lun viene vista come un disco a sè completamente
usato per il singolo servizio e la gestione delle lun la fai dal
software dello storage. In questo caso LVM è superfluo.
Infine puoi gestire una situazione mista in cui ogni LUN diventa un PV
di LVM e tutta la gestione la fai con LVM. Questa ha lo svantaggio che
in cluster può dare un po' di problemi.
La situazione migliore per un cluster è la seconda che in genere è meno
problematica, mentre quella più flessibile è la terza. La seconda viene
usata solo su storage scsi e non offre particolari vantaggi, anzi.


 
Però una volta riempito il disco su quella singola lun? devo aggiungerne 
un altro e separare i mountpoint....
/mnt/lun1
/mnt/lun2
totale 600 gb ma con dati separati.

 in cluster può dare un po' di problemi.
io uso questa, è più flessibile dal punto di vista applicativo. quali 
sono i problemi che dici potrebbe creare?
--
Ranger!

 un altro e separare i mountpoint....
No. Espandi la LUN


 sono validi.
"EMC2" e "fascia bassa" nella stessa frase mi pare un po' un ossimoro,
eh :D

 "EMC2" e "fascia bassa" nella stessa frase mi pare un po' un ossimoro,
Leggasi Clarion.


 viene esportato come disco quello che rappresenta il LV.
Aaaaaaaaa, quindi lo storage gestisce sia il raid sia il volume.
E' proprio quello che cercavo di capire.
Quindi posso prendere uno storage da 14 dischi, comprare solo 6 dischi e 
fare raid 5 con 5+1 dischi. E poi faccio un unico mega volume che i 
server vedranno come sdX
Quindi:
5 dischi da 300gb in raid 5
1 spare da 300gb nel raid 5
1 unico volume logico da 1.5TB (mi chiedo come possa essere sicuro il 
raid5 con un solo disco di spare)
I server vedranno come sdX un mega disco da 1.5TB pronto da formattare.
Se in futuro volessi aggiungere piu spazio potrei aggiungere i dischi al 
raid 5 (avevo letto in giro che non fosse possibile 'allungare' i raid), 
ridimensionare il volume (sempre tramite storage) e poi sui server 
estendo il FS a tutto il resto del disco che sarà diventato 1.5TB piu lo 
spazio dei dischi che ho aggiunto.
Ma la dimensione di sdX, linux la riconosce on-fly? Cioè se cambio la 
dimensione del raid e del volume sullo storage, linux si accorge da solo 
che il disco sdXè diventato piu grande?

 che il disco sdXè diventato piu grande?
No. E' necessario rileggere la nuova geometria del disco, e questo non
so dirti con certezza se può essere fatto a caldo o se è necessario un
reboot. IIRC dovrebbe essere sufficiente un rescan della catena scsi/fc,
ma non ci giurerei.


 
In questo caso dovrei fare l'estensione su un server alla volta.
Nel caso di 2 server NFS, riavvio il primo (il secondo intanto fa il 
takeover) ed una volta ripartito faccio il resize del disco.
Dopo di che riavvio il secondo (che ha ancora le dimensioni vecchie), il 
primo fa il takeover (questa volta il primo ha le dimensioni nuove e 
corrette) e mi riconfiguro il secondo NFS con le dimensioni nuove.

 corrette) e mi riconfiguro il secondo NFS con le dimensioni nuove.
Occhio però che il ridimensionamento delle partizioni lo devi fare dopo
aver riavviato il primo server (che così viene a conoscenza della nuova
geometria) ma con il secondo nodo spento, in modo tale che al riavvio
veda tutto già a posto.


ranger wrote:

i vari vgimport / vgchange negli script del cluster che non sono proprio una
meraviglia......
-- 
AVVISO:
-- GLI ASCENSORI SARANNO FUORI SERVIZIO PER TUTTA LA GIORNATA --
(Gli ascensori in funzione piu' vicini si trovano nel palazzo di fronte.)

 
E ma così quando riavvio sono down con i server nfs. Se il secondo nodo 
è spento nessuno fa il takeover.
Il secondo nodo non può stare acceso?

 è spento nessuno fa il takeover.
Non hai capito. Chiamiamo per comodità i nodi A e B. Ipotizziamo che il
servizio sia sul nodo A.
Gli step sono i seguenti:
Riavvio il nodo B
Faccio il takeover dal nodo B
Spengo il nodo A
Dal nodo B (che vede già la nuova geometria) ridimensiono il filesystem
Avvio il nodo A
Opz: Rifaccio il takover.


 
Si giusto. Altrimenti il nodo attivo si ritroverebbe il filesystem che 
cambia mentre lo sta usando.............
Quindi per forza di cose la ridimensione del fs deve essere fatta con 
tutti i 2 nodi spenti (o smontati).
Motivo in più per cui conviene fare 2 server NFS piuttosto che far 
accedere 20 server allo stesso array (altrimenti bisognerebbe smontare 
tutti i 20 server e riavviarli tutti)

 proprio vuoi li metti in mirror.
Sugli storgae HDS la good practice è 5+1 per i dischi FC e 6+1 per i SATA.

 meraviglia......
non mi sembra una gran motivazione, e continuo: perchè usare 
vgimport/vgchange negli script non va bene?
per quanto ne so LVM viene utilizzato da tutti i sistemi cluster unix: 
solaris,aix,linux. solo su windows ho visto usare direttamente le LUN 
dello storage, ma qui la motivazione sarà che il sistema non ha supporto 
lvm (forse 2003 server ce l'ha).
--
Ranger!

 vgimport/vgchange negli script non va bene?
è comunque una ridondanza visto che lo storage gia' lo fa' di suo , inoltre
nel caso di problemi sui dischi una cosa è fare il check di un filesystem ,
un altra trovarsi con dei pv corrotti.....
io rimango per mantenere tutto il piu' semplice possibile.
-- 
"Se fai tutto, vincerai."
                -- Lyndon Baines Johnson

 io rimango per mantenere tutto il piu' semplice possibile.
sicuramente, se è possibile farlo. ma non sempre mi pare fattibile.
--
Ranger!

 tutti i 2 nodi spenti (o smontati).
No, il ridimensionamento del FS (punto 4) si può fare online se usi un
fs che lo supporti (
p.es
. reiserfs) e quindi mentre offri il servizio.
L'unica cosa è che è opportuno farlo con l'altro nodo spento e dopo un
reboot.


 sicuramente, se è possibile farlo. ma non sempre mi pare fattibile.
-- 


 Dipende se la nuova geometria dei dischi si vede oppure no.
??? cosa significa
se allarghi la LUN per forza dovrai avere una geometria differente.
preferisco fare il rescan del canale scsi trovando una nuova LUN più che 
cambiare la geometria del disco mentre il sistema ci accede (sempre che 
sia possibile).
certo che se puoi permetterti di spegnere o fare il reboot, il discorso 
cambia.
--
Ranger!

 ??? cosa significa
Esattamente quello che hai detto tu dopo :-)


 non so se questa tecnica la puoi fare tenendo il servizio online.
fai il fs sul device senza partizione e se usi fs che lo supportano estendi
a caldo ( vedi reiser ).
-- 
Come ci sono oratori balbuzienti, umoristi tristi, parrucchieri calvi,
potrebbero esistere benissimo anche politici onesti.
                -- Dario Fo


Il ds4300 della IBM (anche i modelli inferiori se non sbaglio) hanno un software in Java con tanto di installazione per Windows, Aix, Solaris e Linux
 Gio'
-- 
/*
 * Solutions for New Business - 
http://www.snb.it
 */

Ciao a tutti ..
scusate se mi intrometto nella discussione ma ho un dubbio che potrebbe 
centrare:
se io ho N server windows collegati ad una SAN tutti che si collegano allo 
stesso volume per poter accedere agli stessi dati, formattato in NTFS; se un 
giorno decidessi di aumentare lo spazio a disposizione dei vari server, 
andrei sullo storage e direi: allarga la partizione poi ... su ogni server 
dovrei eseguire il comando diskpart extend per aumentare la dimensione che 
ogni server vede giusto ? sarebbe possibile farlo a caldo cioè mentre il 
server accede ai dati ?
e se avessi server linux ? sarebbe sempre possibile ?
Grazie per ogni info ...
P.s: giusto per curiosità, una HBA e uno switch SAN da 8 porte (2 Gbps) 
quanto possono costare ?
-- 
Ettore 

 reboot.
Ma se devo spegnere per forza i nodi, non mi pare di avere molta HA.
Allora:
1) riavvio nodo A
2) smonto nodo B
(in questo momento sono down dato che nessun nodo è collegato allo
storage)
3) estendo partizione sul nodo A (che vede già la nuova geometria dal
momento che ho riavviato)
4) riattivo servizio sul nodo A
(in questo momento un server è funzionante quindi da fuori è tutto
ok)
5) riavvio nodo B
6) il nodo B vede la nuova geometria e di conseguenza la nuova
dimensione del FS (credo dal nodo A)
Probabilmente i nodi devono essere smontati per evitare di cambiare il
FS mentre è in uso da uno dei 2 nodi.
Ma la dimensione del disco sdX (quello esportato dallo storage) può
essere modificata menre i nodi ci accedono? o devo fare cosi:
1) smonto nodo A
2) smonto nodo B
3) ingrandisco disco sullo storage
4) riavvio nodo A per fargli vedere la nuova geometria
5) procedo come ho detto piu sopra........

 2) smonto nodo B
Io non ho mai parlato di smontare nulla. rileggiti gli step.
L'estensione del FS si fa online, con FS montato.


 stesso volume per poter accedere agli stessi dati, formattato in NTFS; se
perdi i dati in quanto ntfs non è un fs parallelo.....
-- 
Se Dio avesse voluto che tu andassi in giro nudo, ti avrebbe dato mani
piu' grandi.

 perdi i dati in quanto ntfs non č un fs parallelo.....
Ah ...
allora cambio la domanda ... ;)
se ho N sistemi Windows che devono accedere in comune a dei dati sui qual mi 
serve gestire le permission tipiche dell'NTFS .... che FS devo usare ?
Grazie mille
-- 
Ettore 

 mi serve gestire le permission tipiche dell'NTFS .... che FS devo usare ?
qualcosa tipo sanergy .
-- 
Legge di De Never:
        Due monologhi non fanno un dialogo.

 qualcosa tipo sanergy .
Mi sto leggendo i dettagli di sanergy ...
scusa se rompo .... ma se ho capito bene, qual programma rende possibile 
accedere da più pc allo stesso volume anche se il filesystem non supporta la 
funzionalità vero ?
Se io non volessi usare un software sui pc... esisterebbe un'altra soluzione 
?
Grazie ancora
-- 
Ettore 

 soluzione ?
un fs parallelo , che io ne sappia non c'è per win , ma potrei sbagliarmi.
-- 
Teorema di Rocher-Capelli:
        "Ambrogio, il Ferrero-frocher,
        pure lui becca piu' di te."

 sbagliarmi.
Per linux cosa consiglieresti invece ?
Grazie
-- 
Ettore 

 sbagliarmi.
Un dubbio .. anche se un po' OT con il gruppo ;)
i cluster Windows, che filesystem usano per lo storage condiviso ?
-- 
Ettore 

 i cluster Windows, che filesystem usano per lo storage condiviso ?
NTFS, ma è montato da un solo nodo per volta.


 NTFS, ma è montato da un solo nodo per volta.
Ah .. :)
quindi anche tu confermi che l'unico modo sarebbe sanergy ?
-- 
Ettore 

 quindi anche tu confermi che l'unico modo sarebbe sanergy ?
Ho riproposto la discussione su it.comp.hardware.storage con titolo "SAN e 
nodi Windows"
se qualcuno vuole rispondere ... :)
Grazie e ciao
-- 
Ettore 

> Per linux cosa consiglieresti invece ?
ce ne sono alcuni , tra cui globalfs o pvfs.
-- 
8.  Quando mangiate una pizza a Bolzano, dite che vi piace.
                -- Daniele Luttazzi, 13 consigli per chi va in vacanza,
                   postata su it.hobby.umorismo [8/13]