Newsgroup: it.comp.www.php
Titolo: problema con Virgilio​

 stavo elaborando uno script per prelevare alcuni risultati del motore 
di ricerca Virgilio,  solo che il motore di ricerca ha qualche sistema 
di protezione che riconosce quando l'accesso viene effettuato tramite 
uno script in PHP infatti mi compare il seguente messaggio:
 
 
 
​Avviso
La ricerca impostata è riconducibile a richieste effettuate da sistemi 
automatizzati o da spyware.
 
 allego lo script
 
<?php
$url = "
http://ricerca.virgilio.it/ricerca
?
f=hp&site=&qs=consulenti+del+lavoro";
$html = @file_get_contents($url) or die('Could not access file: $url');
print $html;
?>
 
 come posso fare per risolvere il problema​
 


 
Evidentemente è contro i loro term of use e non devi farlo.
Se proprio vuoi farlo comunque perché te ne freghi dei termini, setta gli
header giusti per User-Agent e Cookie (creando uno stream con
stream_context_create() e passandolo alla file_get_contents()).
 
Ciao!


Sto cercando un sistema per truffare vecchietti che si recano ai giardinetti, solo che si accorgono delle mie intenzioni illecite e mi comunicano il seguente messaggio:
 
Avviso
Non sei autorizzato a prelevare i contanti dalle tasche delle persone.
 
come posso fare per risolvere il problema?

 ha scritto:

 mi puoi fare un esempio di come strutturare lo script con le istruzioni 
da te suggerite,  sempre che non sia una cosa illegale​
 
 


 
Qualcosa sul tipo (cambia o aggiungi headers a seconda dei risultati):
 
$opts = array(
  'http'=>array(
    'method'=>"GET",
    'header'=>"Accept-language: en\r\n".
              "Cookie: foo=bar\r\n".
              "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36\r\n"
  )
);
$context = stream_context_create($opts);
$file = file_get_contents($url, false, $context);
 
Sulla legalità della cosa ti devi leggere i loro disclaimer - quello non mi
ci metto :)
 
Ciao!


 
In pratica vuoi fare un piccolo spider.
Leggi anche il robots.txt
Se Virgilio non vuole, devi decidere se forzarli o meno.
 
Bye
 
-- 
Alex
 
--- news://
freenews.netfront.net/
 - complaints: 
ne...@netfront.net
 ---


http://ricerca.virgilio.it/robots.txt
 
 
User-agent: *
Disallow: /wa
Disallow: /ricerca
Disallow: /cache
Disallow: /aziende
Disallow: /components
Disallow: /immagini
Disallow: /preview
Disallow: /preview.cgi
Disallow: /video
Disallow: /search/cgi/search.cgi
 
 
/ricerca è una delle directory escluse.
 
bye


 come posso fare per risolvere il problema?
 
Non puoi. Non è che Virgilio si sta sbagliando: HA CAPITO BENISSIMO cosa vuoi
fare, ed (evidentemente) non vuole fartelo fare.
 
Se prosegui, stai violando la legge - e molto probabilmente loro possono pure
dimostrare che lo sapevi, il che è una aggravante.
 
Dal punto di vista tecnico, rischi poi di dovere passare la vita a manutenere
lo script, che ogni tanto smetterà di funzionare perché Virgilio ha capito il
trucco che adoperi e l'ha bloccato, costringendoti a pensarne un altro e così
via all'infinito.
 
Se ti servono risultati da un motore di ricerca prova a sentire i proprietari
quali condizioni pongono all'uso del motore stesso. Magari uno con un piccolo
abbonamento se la può cavare... oppure ti trovi un altro motore che non si fa
di questi problemi.
 
Leonardo
-- 
 
A terrible beauty is born.
                                     - W. B. Yeats, Easter 1916

 
 
Con le API di google, ad esempio, si può fare agggratis, e probabilmente i
risultati sono migliori.
Sinceramente prima di questo post nemmeno sapevo che Virgilio esistesse ancora.
 
Ciao!

 
 
 
 ma nella pratica cosa rischio utilizzando questo script.
 
A me interessa prelevare i 10 risultati di Virgilio per alcune parole chiave 
ed inserire il link dei siti con le descrizioni e i titoli su alcune pagine 
di un sito per migliorare indicizzazione sui motori di ricerca.
 
 se Virgilio si accorge di questa pratica mi può denunciare ?
 
 in fondo i siti che compaiono nei risultati di ricerca sono presenti anche 
su altri motori di ricerca​
 


 
*Legalmente* nulla direi, perché non è obbligatorio osservare le norme 
che regolano i bot.
Dimostrare poi che usi materiale protetto da copyright mi pare più la 
spesa che il danno.
 
*Praticamente* rischi che Virgilio ti invii del materiale preparato su 
misura per gli spider che non rispettano la convenzione.
Nulla di buono.
Se ne accorgerà che non sei un utente regolare perché esaminare 
USER_AGENT non è l' unico modo con cui si individuano i bot.
 
Infine, trovo personalmente disdicevole cercare di approfittare in 
questo modo del lavoro altrui. Come "craccare" programmi e simili.
 
bye


 ricerca.
 
A Virgilio magari non frega niente, ma Google se ne accorge da solo che 
stai linkando siti sempre diversi e che magari hanno poca relazione col 
tuo, che hai una pagina con solo link e la loro descrizione (e niente 
contenuto originale), e soprattutto che non ti linkano indietro, e 
potrebbe sbatterti a pagina 10.000 dei suoi risultati.
 
E chissà, magari anche Virgilio ha iniziato ad adottare queste tecniche.
 
Fidati, che il modo migliore per salire sui motori di ricerca è avere 
contenuti di valore, scritti bene, e su un HTML pulito.
 
Bye.