Newsgroup: it.comp.macintosh
Titolo: scaricare una serie di pagine

qualcuno ha qualche idea su come creare uno script che mi prelevi tutte
le pagine che corrispondono a questa url
http://www.sinfest.net/archive_page.php?comicID=1
con quel 1 che incrementa fino a 2230?
ho provato a smanettare con automator, ma non sono riuscito a trovare il
modo di fargli generare una successione di indirizzi...
-- 
@}-,---',-'----,-'-,-'--,-',---,'--'-,-',- Masque
`, 
http://homepage.mac.com/olistico/
'  

 
http://www.sinfest.net/archive_page.php?comicID=1
Al volo:
apri Terminale
mkdir ciccio
cd ciccio
curl -o "#1.jpg" 
http://www.sinfest.net/archive_page.php?comicID=[1-2230]

 curl -o "#1.jpg" 
http://www.sinfest.net/archive_page.php?comicID=[1-2230]
Correzione: credevo fossero immagini, invece cosi' scaricherai il 
sorgente delle pagine e quindi devi modificare opportunamente 
l'estensione da passare a -o . Se vuoi scaricare le strisce devi fare 
qualcosina di diverso.

 mi prelevi tutte le pagine che corrispondono a questa url [...]
Prova a vedere se questo tutorial su curl fa al caso tuo:
http://www.tevac.com/article.php?story=20020625005001310&query=curl
in particolare verso meta' articolo trovi l'esempio:
curl "
http://www.tidbits.com/tb-issues/TidBITS-[001-634].html
"
-- 
The idea that Bill Gates has appeared like a knight in shining armour to
lead all customers out of a mire of technological chaos neatly ignores
the fact that it was he who, by peddling second-rate technology, led
them into it in the first place.                        -- Douglas Adams


questa, e` la prima. le successive, hanno nome con data successiva. sono
quasi sempre giornaliere.
ho provato a vedere se mi visualizzava la directory, ma ovviamente non
lo fa :-)
potrei usare il comando curl come avevi scritto prima, pero` devo prima
trovare un modo per fargli generare i nomi dei file da scaricare...


 trovare un modo per fargli generare i nomi dei file da scaricare...
Più che generarli secondo me è meglio prenderli direttamente dalle 
pagine 
curl -O `curl 
http://www.sinfest.net/archive_page.php?comicID=[1-2230]
 | 
awk -F[\ \"] '/src\=\"http\:\/\/sinfest\.net/ {print $20}'`


Mi inserisco nella discussione perchè la cosa mi interessa molto.
E' possibile in questo modo automattizzare lo scaricamento di pagie web 
di un forum in modo da averne una copia consultabile offline tramite 
browser?
faccio un esempio:
http://www.hwupgrade.it/forum/forumdisplay.php?f=75&page=1&sort=lastpost&order=&pp=25&daysprune=30
http://www.hwupgrade.it/forum/forumdisplay.php?f=75&page=3&sort=lastpost&order=&pp=25&daysprune=30
http://www.hwupgrade.it/forum/forumdisplay.php?f=75&page=11&sort=lastpost&order=&pp=25&daysprune=30
Queste 
sono le pagine che contengono le discussioni, varia solo il parametro 
associato a page, in questo caso la pagina 1, 3 e 11.
http://www.hwupgrade.it/forum/showthread.php?t=1004690&page=1&pp=20
http://www.hwupgrade.it/forum/showthread.php?t=1004690&page=2&pp=20
http://www.hwupgrade.it/forum/showthread.php?t=1004690&page=3&pp=20
Questi invece sono le pagine relative ad un singolo thread.
Si noti che ci sono thread di una singola pagina e thread con decine di pagine.

 pagine.
Si, certo conosco hwupgrade :-)
Il concetto è lo stesso, magari invece di curl puoi usare wget che 
permette di scaricare la pagina con tutti gli elementi opportuni per la 
visualizzazione offline e converte anche i riferimenti in locale.
Io purtroppo siccome di AS non ci capisco una fava mi rivolgo sempre al 
terminale e alla cara, fidata bash&anessi.

 awk -F[\ \"] '/src\=\"http\:\/\/sinfest\.net/ {print $20}'`
a quanto parem, non e` cosi` semplice. il sito di sinfest si comporta in
maniera strana. mi ha sparato una lunga pagina html con, fra le varie
cose, i link alle immagini.
alla fine, tramite quella paginona, sono riuscito a fare quello che mi
serviva con un grep, un paio di find&replace e dando il risultato in
pasto a wget, quindi: grazie ;-)


 
http://www.tevac.com/article.php?story=20020625005001310&query=curl
un tutorial mi fa sicuramente comodo. avevo provato a sbirciare fra le
varie flag, ma dopo poco, mi sono perso... :-)


 maniera strana. mi ha sparato una lunga pagina html con, fra le varie
No, ho sbagliato io, a parte l'html che non avresti dovuto vedere e non 
so perché tu abbia visto.
Questo tutto in una riga di bash va bene, l'ho provato (stavolta) : 
for (( i=1; i <= 2230; i++ )); do curl -O `curl 
http://www.sinfest.net/archive_page.php?comicID=$i
 2>/dev/null | awk 
-F[\ \"] '/src\=\"http\:\/\/sinfest\.net/ {print $20}'`; done

 Questo tutto in una riga di bash va bene, l'ho provato (stavolta) : 
grazie :-)
lo tengo salvato nel caso mi possa tornare utile ;-)
