Newsgroup: it.comp.www.php
Titolo: ricerca google con php

ciao
ho necessità di fare ricerche su google con uno script php per acquisire dati.
la sostanza è
- apro un file con le info
- acquisisco la chiave di ricerca
- chiamo google con la mia chiave di ricerca
- decodifico il json che esce
- salvo il primo dato per me significativo
- ricomincio finche non sono eof
 
ora ... 
lanciando lo script più volte ... talvolta si ferma alla prima ricerca, talvolta arriva alla quinnta ... poi ne fa 3 .. 
 
non posso dire che non funzioni ma è schizofrenico. 
è la prima volta che mi interfaccio quindi probabilmente ci sono cose da usare che non conosco... qualche suggerimento?
grazie


Dipende che ci devi fare e cosa usi.
 
Se utilizzi le API di google guardati bene i limiti di chiamate, e tieni
presente che i risultati c'entrano poco o nulla con quelli che otterresti
cercando sul web.
 
Se fai scraping (simuli la richiesta di un utente e fai parsing dello HTML)
dopo poco vieni bloccato e ti viene chiesto di risolvere captchas.
 
La cosa migliore, anche se spesso, a dire dei SEO, insufficiente, è utilizzare
gli strumenti che google mette a disposizione (WMT, Analytics, etc.) - ma
che i SEO ne capiscano pochino in generale è risaputo.
 
Ciao!


ciao
mi serve per simulare una richiesta html (peraltro sulla documentazione di google c'è materiale in proposito). non è materia seo. ho visto che per quanto poco e schizofrenicamente funzioni i risultati sono identici.
cioe in sostanza lo script fa quello che deve fare. pensavo ad apikey, a token e cose simili... a mettere un loop tra una richiesta e laltra (anche se mi popola il database in 24-48-72 ore non è importante) ... forse in quel modo bypasso il captcha ... 
cioe ... l'esigenza è partire da un dato acquisito (indirizzo google maps e se occorre nome) per risalire al dominio/sito... mi pareva la strada più percorribile ma ovviamente sono ben aperto ad altre soluzioni...
grazie della risposta!!!

Il giorno lunedì 24 agosto 2015 10:20:43 UTC+2, 
fma...@gmail.com
 ha scritto:

dimenticavo ... uso un banale script php... acquisisco i dati da un database mysql, passo i dati a google con una chiamata ($response = file_get_contents($searchurl);), gestisco la risposta (json), isolo il dato che mi occorre (un array associativo) e lo salvo sul db.
db mysql....
riciao!


 
Ok, quindi non usi le API di google, fai scraping.
 
Non si potrebbe fare(*), quindi devi fare in modo che Google non capisca che
usi uno script, altrimenti potrebbe, oltre a mandarti i captcha ogni tanto,
anche bloccare le richieste dal tuo IP. Vedi te come muoverti. Prova con
qualche ritardo, non vedo perché non dovrebbe funzionare.
 
Ti ho chiesto a che ti serve perché è importante: a seconda del tipo di dati
che vuoi ottenere magari puoi usare le API o anche servizi di google già
esistenti, tipo Trends o altri.
 
Ciao!
 
(*) curioso come Google, che ha costruito tutti i suoi database facendo
scraping, impedisca di farlo sul proprio :)


ciao
non vorrei dire eresie, ma secondo me lo consente ... la richiesta è fatta a questo indirizzo '
https://ajax.googleapis.com/ajax/services/search/web?v=1.0&%20.%20
" .. quindi alle api di google e la risposta è formattata in json.
non è casuale. addirittura sulla parte develop di google ci sono informazioni su come gestire con un po di esempi.
sono partito dal presupposto che fosse tutto previsto (ad esempio interfaccio le api di google maps ma li c'è un vincolo a 2500 richieste/giorno (per ottenere le coordinate) per free altrimenti se paghi vai oltre il milione).
 
mi è venuto il dubbio in merito a token e apikey .. mi ci sono perso e non ho capito se servono e nel caso come usarli (ma se servono).
 
ho provato con un delay e mi tira fuori più dati ... ma non tutti .. per me è un mistero glorioso :)


 
Aahh, ok, finalmente ho capito :)
 
Per le search api non ti servono token/apikey, ma mi sembra devi passargli
un parametro tipo 'userip' - c'è sulla documentazione in ogni caso.
Per i limiti anche, non mi ricordo, ma anche lì c'è un limite giornaliero.
 
Sui risultati te l'ho detto, a me sembrava proprio che, anche se naturalmente
a tema e precisi, c'entrassaro poco con quello che si ottiene cercando
invece sul web, quindi non ho mai usato il servizio estensivamente :)
 
Purtroppo, di più nin so :D
 
Ciao!


CIAO!
yes passo user ip ... ho messo un loop .. ne fa di piu ma senza esagerare... li faccio a pezzi e bocconi
grazie!
ciao!!