Newsgroup: it.lavoro.professioni.webmaster
Titolo: Re: Rippare sito web con javascript links e autenticazione

 Grazie
Si fa, ma è una palla
Ho dovuto fare una cosa simile su un sito fatto con arubaNuke
Per l'autenticazione ovviamente usa i cookies
cUrl è una buona scelta, anche wget
 
 
-- 
I fatti mi cosano

 Grazie
 
"Rippare" un sito web? If you do not know the meaning of words, do not 
use them. Speak as you eat.
 
 

On Sat, 28 Dec 2013 11:26:04 +0100, Marco Albarelli (fu Motosauro) @fisso 
wrote:

Dipende cosa intende per "link javascript", se fosse di fronte ad un sito 
realizzato GWT auguri.  


Mah, mi pare un pelo capziosa l'obiezione
Non è che "mirrorare" abbia un significato più corretto.
Sono entrambe espressioni gergali, con la stessa (poca) dignità
Appena sopra l'idioletto



Che sia semplice sicuramente no, ma alla fine si arriva sempre ai pezzi 
per costruire una chiamata HTTP, quindi un URI
Capito come generi quello in qualche maniera mimi il comportamento che 
ti ci fa arrivare
Chiaro che può diventare una valle di lacrime molto rapidamente, ma se 
ce la fa il browser ce la fai anche tu


 il browser ce la fai anche tu
 
Beh il browser ha sia il motore per interpretare il Javascript che quello 
di rendering, io ne uno ne l'altro... 

Marco Albarelli (fu Motosauro) @fisso ha scritto:

Sottoscrivo quanto scritto da ago. Non si capisce nulla.
Si vuole scaricare tutte le pagine di un sito per ottenerne una copia 
funzionante in locale, o che altro?
http://www.httrack.com/
 
scaricare, copiare, erano termini troppo brutti?
 

 manina volevo cercare di automatizzare il tutto.
Fare si fa, ripeto
Il punto di partenza IMHO è vedere la richiesta che viene fatta quando 
scarichi il pdf
A naso mio è una richiesta normale che poi riceve un 30x come risposta e 
il punto dove vieni rimandato è l'URI del pdf vero e proprio
Una volta capito il meccanismo (qualunque sia) vedi di rifare una 
richiesta funzionante tramite wget cUrl o qualsiasi cosa tu ritenga adeguato



Ma è un tentativo di trollata?


 Ma è un tentativo di trollata?
 
Uh, e perché? Sto dicendo se tu hai una pagina che viene generata in 
tutto o in parte dal Javascript ciò che viene generato dal Javascript nel 
sorgente della pagina che tiri giù con wget/curl non ce l'hai. 


Ok, quindi dicendo "io" intendevi "wget" e fin qui siamo d'accordo
Non ho mai detto che è un compito semplice
Ho fatto cose simili più di una volta, l'ultima poche settimane fa e 
ogni volta ho benedetto gli antenati di chi si è inventato quei sistemi 
puerili.
 
Quando dici che "ciò che viene generato dal Javascript nel sorgente 
della pagina ... non ce l'hai" dici una cosa inesatta
A parte l'input utente,javascript si basa sul codice. Questo codice da 
qualche parte deve provenire. Che sia una inclusione esterna o che sia 
parte della pagina poco importa
 
Se ne segui il flusso con strumenti tipo firebug capisci come arriva a 
costruirsi il link finale
La strategia più rapida per il primo approccio cmq credo sia quella di 
vedere la richiesta effettiva che viene inviata. Di solito si finisce 
con cose relativamente sempici che ti dicono già cosa cercare
Fatto questo spesso si risolve con un po' di regexp
