Newsgroup: it.lavoro.professioni.webmaster
Titolo: spiders

è possibile fare uno spider che viaggi in tutta la rete alla ricerca di 
certe parole chiave e nel momento in cui le trova mi indica il link in cui 
ha trovato queste corrispondeze?
Grazie 

 link in cui ha trovato queste corrispondeze?
Si.
-- 
I am what I am, I do what I can
Vuoi supportarmi? 
http://url.repository.biz/go/3E
Do. Or do not. There is not try.

con parole chiave intendo non solo quelle contenute nei meta tag ma anche 
testo del sito è possibile?
"Setec Astronomy" <setec@_NO_NOSPAM_freemail.it> ha scritto nel messaggio 
news:0kold.31044$Ni.10...@twister1.libero.it...



si
(cmq impara a quotare ;) 

 (cmq impara a quotare ;)
ok grazie
sai dove posso prendere info per creare uno spider? linguaggio ecc.... 

"Alex" <Al...@lll.ss> ha scritto nel messaggio 
news:2vmid4F...@uni-berlin.de...

no ma cmq basta pensarci un pò..
es: lo spider è fatto di una parte che prende la pagina (e si fa con le 
socket) una volta presa la pagina cioè tutto il codice html devi fare una 
funzione per cercare il testo che vuoi e i link per andare avanti..
ecc
cmq non è cosa facile..io l'ho feci e tutti i file occupavano 60kb... 

 ha trovato queste corrispondeze?
Se te lo chiedi non lo sapresti fare, allora perche' domandare?
Ma se anche mi sbagliassi e lo sapessi fare, allora perche' domandare?

> sai dove posso prendere info per creare uno spider? linguaggio ecc.... 
Penso tu stia soltanto facendo perdere del tempo a chi ti legge.

 ha trovato queste corrispondeze?
Se te lo chiedi non lo sapresti fare, allora perche' domandare?
per trovare qualcuno che glielo faccia/link? ;-)
--
Elena
 "Silently she walks..."


lo spider che vuoi fare tu dovrebbe avere le stesse capacità di googlebot...
:) hai idea di quanto sia grande la rete?
-- 
Lino Mari
http://www.ebow.it
 - e-business on web!
http://www.ebow.it/blog/
 - Mktg Log
http://www.dev2dev.it
 - La rete ha connesso nuove particelle - d2D004


ok ma si riesce a sapere semplicemente in che linguaggio si fa uno spider? e 
dove trovare qualche spiegazione teorica?
Grazie 

sai dove posso prendere info per creare uno spider? linguaggio ecc.... 
Perl. Studiati i moduli LWP, XML e le Regular Expression.
'bye

ha trovato queste corrispondeze?
google & co. non ti bastano? Fanno esattamente questo.
O per caso vuoi la ricetta per farti lo spider in casa?
:-P

 :-P
certo che voglio la ricetta per farmi lo spider in casa mi sembrava chiaro, 
no?
ma uno spider che ricerchi quello che chiedo io 

per l'analisi della pagina non è un problema, il problema è iniziare la 
ricerca, come fai a far "parsare" ad esempio tutti i domini .it? 

"Alex" <Al...@lll.ss> ha scritto nel messaggio
news:2vn26eF...@uni-berlin.de...
:
: > google & co. non ti bastano? Fanno esattamente questo.

:
qui casomai trovi gente che ti fa lo spider a pagamento, non si danno metodi
per come fare le cose
anche perché se uno è a 0, dubito che sappia come..
gente, c'è un cliente!:-)



come spesso accade in informatica, c'è più di un modo per fare la
stessa cosa...
per farti il tuo spider fatto in casa, che cerchi cosa vuoi tu e nella
misura che vuoi tu, ecco un percorso di esempio:
1) impara il linguaggio Perl
2) impara le espressioni regolari (è quasi come imparare un altro
linguaggio)
3) acquista:
Spidering Hacks 
By Tara Calishain, Kevin Hemenway 
 
Publisher : O'Reilly 
Pub Date : October 2003 
ISBN : 0-596-00577-6 
Pages : 424 
dove potrai trovare tante 'ricette' che ti aiuteranno ad addentrarti
ancora di più nel magico mondo degli spider (o dello scraping).
Nel testo sono trattate anche tematiche sulla legalità di queste
pratiche...
PS: inutile saltare al punto 3 ed acquistare il suddetto libro
sperando di trovarci la ricetta copia ed incolla.
Senza la preparazione adeguata non ci fai molto, diversamente... dimmi
come chiamerai i tuoi spider che li blocco da adesso :)))
Buon lavoro
io mi vado a fa na pizza
--
pigmalion at home
http://www.pigmalion.info/

3) acquista:
ho dimenticato:
punto 2.5) protocolli di rete (l'HTTP per tutti)
punto 2.6) linguaggio HTML
e chissà cos'altro ho dimenticato...
riaguro buon lavoro
rinnovo che me vado a fa na pizza :)


 io mi vado a fa na pizza
GRAZIE!! 

- Alex :

In qualsiasi linguaggio, poi ognuno prende le proprie scelta tecniche.
Google, che di spider qualcosina sa, ha implementato i suoi in Python,
come ha implementato in Python l'url-server.
http://www-db.stanford.edu/~backrub/google.html
http://www.google.com/technology/
Ora magari invece che postare a raffica fatti anche tu tre ricerchine,
scrivere uno spider non e' difficile, basta studiare.
HAND,
  ngw

 spider? e dove trovare qualche spiegazione teorica?
uno spider è semplicemente un'applicazione che legge le pagine in modo
testuale da un sito web... quindi si può fare in qualsiasi etcnologia...
io con .net ne ho fatto uno che effettua una gestione dei broken link
all'interno di un sito, e in automatico mette in stand-by quelli
temporaneamente broken. Poi con un sistema di punteggi elimino quelli che
superano una certa soglia di accessi broken :)
ci ho messo in tutto 3-4 ore di lavoro...


l'analisi di un sito o di una pagina è semplice quello che non capisco è 
come fa uno spider a cercare tutti i siti presenti in internet....
non mi è chiaro come uno spider riesca a trovare l'elenco ad esempio di 
tutti i siti .it....


tutti i siti .it....
scegli una base di 100 siti di partenza
programma i tuoi spider per navigare di link in link
se hai programmato tutto bene
se hai le risorse hardware
se hai la banda a disposizione
con poco o nessun intervento umano dovresti riuscire a coprire buona
parte della gerarchia in questione
quello che non trovi vuol dire che non si trova linkato in nessuno dei
tuoi 100 siti base e quelli a loro volto linkati da loro...
poi sta a te a umentare le proporzioni...
una base di siti di riferimento da cui aprtire di 500/1000 siti
aumenteranno le probabilità di coprire gran part della gerarchia senza
intervento umano.. dopo
buon lavoro


 scegli una base di 100 siti di partenza
Volendo una ottima base di partenza e' l'archivio DMOZ in RDF
scaricabile.


scaricabile.
mica male ^_-
ecco... altri 99 come questo e il nostro amico sta a posto...
fatevi dire già l'user agent così prendiamo precauzioni :)


 di tutti i siti .it....
considerato che non esistono le paginegialle dei siti internet in ordine
alfabetico e per provincia... devi andare per tentativi...
ovvero parti da una lista di siti e leggi tutte le pagine, dove incontri
link a siti con estensione .it li segui e leggi sempre tutte le pagine che
puoi... e se trovi un altro link o più link con esensione .it li segui... e
cosi' via per i prossimi 2-3 anni in base alle risorse hw e banda a
disposizione.
pero' stai attento a non andare sui siti già visitati... tracciati sempre
tutti i percorsi che segui... pero' stai attento potresti dar fastidio a
qualcuno se il tuo spider si inceppa in qualche sito e diventa ricorsivo...
altrimenti chiedi info a Ceglia, che ogni tanto bazzica da queste parti e si
occupa di search engine... :)
