Newsgroup: it.comp.lang.visual-basic
Titolo: [OT - Forse] - Spider :)

Salve a tutti vorrei divertirmi un po per realizzare uno spider web in 
vb .. ed in merito a questo mi chiedevo:
1) è possibile settare uno user-agent personale
2) consigli e critiche???
Grazie a tutti :P
--
SEZIONE PICCOLI ACCORGIMENTI: "Chiamami un tassì", mi disse prima di 
morire e sulla sua lapide ho scritto: "Qui riposa in pace Untassì".
[CapoBecchino] - hotmail/msn: capobecchino [@] hotmail [.] com

Beh l'user agent si "presenta" al web server in fase di connessione,
nel momento in cui sta chiedendo la pagina web che vuole visitare.
Così se decidi di crearti uno spider utilizzando il controllo
Microsoft Internet Controls (già impacchettato e semplicissimo da
usare per sgamarti le pagine che visiti) non puoi camuffare l'user
agent, in quanto sei ad un livello già superiore e lui fa tutto per
te.
Se vuoi fare tutto a manina, munisciti di Winsock e gestisci la
connessione per conto tuo, così puoi presentarti come ti pare, ma devi
anche costruirti un parser html con tanto di analisi del documento,
gestione dei frame e verifica dei tag errati per non perdere il filo
dello streaming :)

 
Infatti proprio questo volevo .. anzi cercavo :P .. mi potresti dare 
alcuni esempi o link da cui partire ed io da buon scolaretto imparo???
Logicamente intendevo per settarmi la mia connessione .. per il parsing 
html non ho problemi :)
Grazie
--
Era prassi nel medioevo che per accertarne la morte al cadavere venisse 
morso l'alluce, per questo chi faceva tale lavoro veniva chiamato 
beccamorto.Un giorno giunse al cospetto di un beccamorto un uomo senza 
arti inferiori; da quel giorno sono nate le pompe funebri.


Basta cercare su gooooooooogle qualcosa come "protocollo http"... a
grosse linee posso solo dirti che non è niente di molto complicato,
anzi fra tutti i protocolli questo è il più fesso...
Un browser grezzo ha il compito di:
- Connettersi alla porta 80 dell'url scelto
- Richiedere una cerca pagina
  - Presentandosi con qualche menata particolare
- Attendere il flusso HTML in risposta
A questo punto il webserver ti chiude in faccia la connessione per non
sprecare banda.
Tu ti parsi l'HTML e man mano che incontri HREF e SRC decidi
come/se/quando visitarli ripetendo da capo il procedimento...
Un browser più evoluto dovrebbe scaricare immagini, animazioni, applet
java, capire e gestire i frame, e (cosa più complicata di tutte)
disegnare il documento.
Ma per uno spider queste son cose che non contano :)

 
grazie di tutto .. mi rimetto subito al lavoro .. :)
--
!!! SODDISFATTI O RIMBORSATI !!!
Nessuno si č mai lamentato della nostra offerta 2x1. Morire in 2 e 
pagare per 1.


 grazie di tutto .. mi rimetto subito al lavoro .. :)
Avete mai pensato di dare un'occhiata a WGet, programma a sorgente 
aperto? fa esattamente questo: richiede una risorsa... Poi vi dovete 
solo gestire le chiamate ad altri indirizzi e la ricerca con espressioni 
regolari...
-- 
Emanuele Torrenti
http://torrenti.altervista.org
http://www.torrenti.tk

 regolari...
link o info please .. visto che sono all'inizio un'occhiata la si puň 
dare :)
Grazie intanto
--
SEZIONE PICCOLI ACCORGIMENTI: "Chiamami un tassě", mi disse prima di 
morire e sulla sua lapide ho scritto: "Qui riposa in pace Untassě".


 Grazie intanto
http://www.gnu.org/software/wget/
Disclaimer: č in inglese, sorgenti in C++ !
