Newsgroup: it.comp.os.linux.debian
Titolo: crawler ot similia

Avrei bisogno di avere un elenco (solo elenco in formato testo) dei files in
una specifica directory di un sito web, un qualcosa tipo:
http://3.bp.blogspot.com/_-6waw8mcpyI/TAtcYByNWyI/AAAAAAAAZOw/wcNCbiBKxZ8/s1600/ph+struct+2.jpg
Mi sono scervellato con curl e wget, ma non ho ottenuto nulla, salvo scaricare
mezzo sito (e non voglio scaricare, solo vedere una lista).
Mi serve per fare un check periodico a scanso di problemi.
Suggerimenti?
-- 
+---------------------------------------------------------------------------+
|                   Per informazioni e suggerimenti                         |
|                           
www.youporn.com
                                 |
+-----#10--------------------Campagna contro le pubblicita` idiote.---------+

 serve per fare un check periodico a scanso di problemi. Suggerimenti?
curl e wget non possono fare quello che chiedi da soli, ma ti possono 
solo far scaricare la pagina, starà a te dopo elaborare il sorgente della 
pagina per estrarre le informazioni che ti servono.
quindi due passaggi:
1 - scaricamento della pagina con una semplice chiamata (non ricorsiva) 
di wget o di curl o di interfacce a curl di linguaggi come python 
(pycurl), php (PHP/CURL), perl (WWW::Curl)
2 - parsing della pagina scaricata con sed/awk o con qualche linguaggio 
tipo python/php/perl (ed uso di regexp)
3 - salvataggio delle informazioni estrapolate dal parser in un file di 
testo o database.
io farei tutto in python o con wget+sed

 io farei tutto in python o con wget+sed
Non devo scaricare una pagina, ma vedere se in alcune cartelle qualche estraneo
ci ha messo della "sua" porcheria.
La cosa che tu hai detto, so fare benissimo con wget+sed (python non ho la
possibilitï¿œ di studiarlo, anche se mi piacerebbe! Al massimo se ho uno script
ci riesco a pastrocciare, guardando esempi a destra ed a manca).
Un qualcosa ho trovato, ma non fa quello che voglio (o non l'ho capito molto
bene, dato l'ora che scrivo): minispider.py
http://www.ibm.com/developerworks/linux/library/l-spider/
Ciao.
-- 
94% dei calcolatori hanno lime corrotte, inutilizzate e possibilmente nocive.
   * Prestazioni del PC di spinta
   * Aumenti la stabilita' del sistema
   * Eviti .exe errori.
+-----#13--------------------Campagna contro le pubblicita` idiote.---------+

 ci ha messo della "sua" porcheria.
In quelle directory puoi mettere un tuo file di controllo?

 estraneo ci ha messo della "sua" porcheria.
e per farlo, *DEVI* scaricare la pagina.
Quindi devi controllare non una sola directory(pagina web) ma anche le 
sottodirectory?

 estraneo ci ha messo della "sua" porcheria.
Ma se usi HTTP l'unica cosa che puoi fare è o puntare dritto a un file
di cui conosci la "posizione", oppure partire da una pagina e da lì
seguire (a cascata) tutti i link. No?
Questo, credo, a meno di mettere nel sito stesso qualcosa a cui chiedere
la lista, e che, invocato, la restituisca.
Perdona la domanda sciocchissima: se il sito è tuo, perché non usi FTP?
-- 
Bye, Lem
Ceterum censeo ISLAM esse delendum
____________________________________________________________________________
Non sprecare i cicli idle della tua CPU: 
http://boinc.berkeley.edu/index.php