Newsgroup: it.comp.os.linux.sys
Titolo: scp con correzione d'errore

Ho una VPN attraverso la quale la copia di file usando scp avviene con 
errori su file grandi (centinaia di megabyte, ma anche qualche gigabyte) 
ma funziona su file piccoli (provato con roba sotto il megabyte).
Errori nel senso che alla fine md5sum da risultati diversi e il tgz è 
corrotto.
Il problema è proprio la VPN, dato che copiando gli stessi file tra le 
stesse macchine via internet non da problemi. Ma per motivi di sicurezza 
sarebbe meglio non passare da internet, passi per la prova fatta ma a 
regime non va bene.
 
Ora, mi risulta che scp non abbia error correction, vero? Se sì, esiste 
un qualcosa di non esageratamente farraginoso da metter su per copiare i 
file con correzione d'errore?
Si tratta di tutte opensuse da entrambi i lati, svariate versioni dalla 
10.2 alla 11.4.
 
In seconda battuta sarebbe anche bello capire come mai la VPN fa questo, 
per quanto io non abbia mai visto una VPN che non dia qualche problema, 
quindi sono un po' scettico sul poter risolvere e comunque sarebbe OT 
(la VPN non è fatta da linux ma da router).

 Ho una VPN attraverso la quale la copia di file usando scp avviene con
 
scusa ma.. 
 
[quote]
NAME
     scp - secure copy (remote file copy program)
 
SYNOPSIS
     scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file] [-l 
limit] [-o ssh_option] [-P port] [-S program] [[user@]host1:]file1 [...]
         [[user@]host2:]file2
 
DESCRIPTION
     scp copies files between hosts on a network.  It uses ssh(1) for 
data transfer, and uses the same authentication and provides the same 
security as ssh(1).
     Unlike rcp(1), scp will ask for passwords or passphrases if they are 
needed for authentication.
[/quote]
 
che senso ha usare scp sopra ad una vpn?
 
S.

 che senso ha usare scp sopra ad una vpn?
 
Se funzionasse, il senso di copiare file senza dover installar nulla, 
essendo sshd già attivo.
Sfortunatamente non funziona, per i motivi detti.
Che alternativa proponi?
 


alt.. tu dici che scp non funziona via vpn.. non che scp "liscio" non 
funziona
 
chiarisci BENE il problema ed i contorni della questione e vediamo di 
capirci
 
S.


nessuna a parte non usare la vpn..
scp è già criptato di suo, hai detto che senza vpn funziona tutto: perché la 
usi?
-- 
Roberto Tagliaferri-Linux user #30785 <-> r.tagliaferri@(forse)
tosnet.it
 
www.robyt.eu
 
 

 usi?
 
Si tratta di copiare file di backup da $sito_di_produzione a $ufficio. 
Tra questi due siti c'è la VPN in questione.
$ufficio ha tutte le porte chiuse in ingresso da internet.
$sito_di_produzione ha aperto in ingresso da internet solo http/https.
 
Quindi, per usare scp via internet, dovrei aprire la porta 22 da intenet 
su uno dei due siti.
Tendenzialmente eviterei, per sicurezza, dato che la VPN comunque c'è 
per altre ragioni.
 
Credo che un file transfer con correzione d'errore funzionerebbe, dato 
che file piccoli funzionano sempre bene... o basterebbe un coso che 
trasferisca file a pacchetti di 50K ad esempio.
Potrei quasi farmelo, un coso del genere, ma chiedevo se ci fosse già 
pronto.


Riassumo:
 
LA SITUAZIONE
scp da server A a server B su VPN di file 100 MB -> file corrotto
scp da server A a server B su VPN di file 100 KB -> OK
scp da server A a server B su internet di file 100 MB -> OK
scp da server A a server B su internet di file 100 MB -> OK
 
L'OBIETTIVO
Trasferire file grandi da A a B su VPN.

 L'OBIETTIVO Trasferire file grandi da A a B su VPN.
 
 
se sei su vpn non ti serve scp.. puoi montare (nfs, samba, sarca##o) una 
dir remota e fare semplicemente cp.. o, se vuoi gestire il recupero in 
caso di interruzioni, rsync
 
Stefano e non complichiamoci l'esistenza

 Ho una VPN attraverso la quale la copia di file usando scp avviene con errori 
 
Prova con sftp, che effettua più controlli su ciò che trasferisce (ed è quindi più lento di scp).
 

 pronto.
 
Rsync
 
Enrico

 Rsync
 
Grazie del suggerimento, con questo pare funzionare.
 

 Prova con sftp, che effettua più controlli su ciò che trasferisce (ed è quindi più lento di scp).
 
Grazie del suggerimento, provo anche questo e poi se va scelgo tra rsync 
e sftp.
 

 e sftp.
 
Sì, direi che sftp funziona anche lui, sulla VPN "problematica", ed è 
più veloce di rsync. :-)
 


Occhio che se hai un file che viene modificato rsync trasmette solo le 
modifiche, quindi hai dei trasferimenti sicuramente più veloci.
Viceversa se il file è sempre diverso non ci dovrebbero essere grosse 
differenze.


 modifiche, quindi hai dei trasferimenti sicuramente più veloci.
 
Sei sicuro di questa cosa?
 
Per sapere *dove* sono le modifiche da trasferire
deve leggere tutti e due i file completamente.
Quindi, mi chiedo, come fa ad essere piu` veloce?
 
bye,
 
-- 
 
piergiorgio


Ci sono due rsync, uno di qua e uno di la', che si parlano. Le modifiche
vengono scambiate a mezzo hash.
 
Fa' conto che ciascun rsync calcoli, per ciascun blocco da 64 K, il MD5,
e unisca questi MD5 in un buffer di cui nuovamente viene fatto l'MD5, in
locale.
 
Alla fine si arriva a un super-super-MD5. Se i due coincidono il file e'
lo stesso e bella li' (protocollo: "Il mio MD5 è questo", "Il mio pure",
"Bene, andiamo avanti").
 
Se non coincidono si trasferisce il blocco che l'ha generato, e sono 64K
di MD5 (o magari 4K, si fa per capirsi). A quel punto, i due rsync fanno
a "celo, manca" per vedere quali blocchi sono diversi.
 
In realta' non e' cosi', e' piu' simile a un diff, ma vedi che si riesce
a convergere rapidamente su quali differenze ci sono (le modifiche, alla
fine, sono prodotte da tre eventi: dati in piu', dati in meno e dati che
sono variati). "CREDO" che, se aggiungi un byte all'inizio di un file da
trenta mega, i due rsync, scambiandosi una dozzina di Kb, capiscano cosa
e' successo, e modifichino i file. E in 12 Kb hai "trasferito" 30 Mb.
 
Leonardo
 
-- 
What would'st thou do, my squire so gay, that rides beside my reine
Were ye Glenallan's Earl this tide, and I were Roland Cheyne?
To turn the rein were sin and shame, to fight were wondrous peril:
What would ye do now, Roland Cheyne, were ye Glenallan's Earl?

 vengono scambiate a mezzo hash.
 
Ah! Questo e` il motivo.
 
Come fanno ad essere in due?
Il PC remoto deve avere "rsyncd", ma il trasferimento
di file puo` avvenire anche senza.
 
bye,
 
-- 
 
piergiorgio

 Come fanno ad essere in due?
 
Ci sono due istanze rsync, una per ciascun host, che si parlano nel
tunnel ssh. In alternativa un'istanza rsyncd e una rsync, ma il
principio è analogo. Se fai un ps su ciascun host durante il
trasferimento li vedi.
 
Un programma che pochi conoscono è poi zsync, che permette di salvare
hash dei blocchi e rolling checksum utilizzati anche da rsync in un file
a parte per poter fare trasferimenti delle sole porzioni di file
cambiate. Io l'ho usato per distribuire il CD di Ubuntupiù.
 
Per darti un'idea il file zsync di un CD da 670MB con blocchi da 4K è
grande circa 1.4MB, quindi se cambiano 10K consecutivi il trasferimento
effettivo sarà di 1.4MB + 12KB (3 blocchi da 4k)
 
-- 
Flavio Visentin
 
Scientists discovered what's wrong with the female brain: on the left
side, there's nothing right, and on the right side, there's nothing left

 (la VPN non è fatta da linux ma da router).
 
 
sarebbe interessante sapere quali problemi ha la vpn.
potrebbe corrompere anche altri tipi di comunicazioni oltre a scp
 
 

 stesse macchine via internet non da problemi.
 
E allora ti consiglio di segnalare la cosa a chi vi gestisce la VPN, visto 
che non è certo normale che una VPN danneggi un flusso di dati, criptati o 
meno, indipendentemente dalle dimensioni.
 
 
-- 
LG

Potrebbe essere un problema di MTU

 Potrebbe essere un problema di MTU
 
Una MTU errata però non dovrebbe portare a corruzione di dati, al limite rallenta all'inverosimile il trasferimento perchè deve frammentare di continuo, ma prima o poi, il file di la ci arriva completo. O sbaglio?

Sì, di solito sì

 Sì, di solito sì
 
Il "si, disolito si" a cosa è riferito, al fatto che arriva completo o al fatto che mi sbaglio?

 al fatto che mi sbaglio?
 
Scusa ma no ho resitito:
 
http://www.youtube.com/watch?v=jYQWVnKEFRk
 
 
:-)))
 
 
P.S. Si lo so non � ora di postare.
 
 

Al fatto che hai ragione :-) 
Scusami, ma sono in ferie all'estero e faccio fatica a a scrivere con il telefono