Newsgroup: it.lavoro.professioni.webmaster
Titolo: db da sito internet

Salve a tutti, spero qualcuno possa aiutarmi.
Sto disperatamente cercando di creare un data base excel da questo
sito:
http://www.brcdirectory.com/
cercando solo le aziende italiane
http://www.brcdirectory.com/Siteresults.aspx?CountryId=837&
Ho provato a sviluppare una macro con excel che va a scandagliare
tuttel legine con questo formato:
(
http://www.brcdirectory.com/Site.aspx?BrcSiteCode=6509539
)<<dati da
cui creare il db
quindi
http://www.brcdirectory.com/Site.aspx?BrcSiteCode=
 X
con x che va da 1000000 a 99999999
La macro funziona benissimo
ma considerando che si tratta di analizzare 9 milioni di indirizzi ho
calcolato circa 90 giorni e in effetti è lenitssimo!!
Potete aiutarmi?
Ad oggi ho tentato altre due strade:
1) scaricare prima le pagine italiane da
http://www.brcdirectory.com/Siteresults.aspx?CountryId=837&
ma non funzione perche per passare da una pag all'altra non c'è un
link ma un'ustruzione java e lo spider che ho trovato non funziona.
2) trovare un programma già sviluppato che facciao questo lavoraccio
in tempi ragionevoli.
Avete qualche suggerimento?
Grazie mille

calcolato circa 90 giorni e in effetti � lenitssimo!!
Se vuoi solo quelle italiane, uno script Perl e in mezz'ora te la cavi.
Sono 1844 elementi soltanto, e non credo di metterci piu' di un secondo
ciascuna, compresa estrazione dei campi nascosti che usa per evitare di
farsi spiderare da un robot.
Il problema e' un altro: sei sicuro, di avere il diritto di farlo? Cosa
ci vuoi fare, poi, con quegli indirizzi?
Leonardo
-- 
The thoughts of others were light and fleeting,
Of lovers' meeting, or luck, or fame.
Mine were of trouble, and mine were steady:
So I was ready when trouble came.

 Avete qualche suggerimento?
Perl, senza alcun dubbio, puoi registrare i risultati nel formato che
desideri, anche xls.


Non SPAMMARE, TKS!
Poi un qualcosa tipo prospect finder?

 >calcolato circa 90 giorni e in effetti è lenitssimo!!


 So I was ready when trouble came.
Premesso che come già precisato non ho in mente SPAM e cose di questo
tipo ma solo analisi di dati.
Quando parli di mezz'ora intendi mezz'ora di lavoro per creare lo
script o mezz'ora per scaricare?
Grazie
GB

 script o mezz'ora per scaricare?
Ovviamente parla di mezz'ora per scaricare perché ha indicato circa 1800 
elementi e ipotizzato un secondo ad elemento.

script o mezz'ora per scaricare?
Dieci minuti per lo script (una modifica abbastanza lineare a POE), ed una
ventina per scaricare i 1342 record, dove i dati sono riconoscibili in una
maniera molto semplice.
Lo pseudocodice in PHP per parsare le pagine risultato, tirate fuori dallo
scriptaccio in Perl:
        $match  = preg_match_all('#<span
id="ctl00_ContentPlaceHolder1_FormView1_[^"]*_([^"]+)">([^<>]*)</span>#mis',
$text, $gregs);
        $fields = array_combine($gregs[1], $gregs[2]);
        if (preg_match('#(.*),*\s*\(([A-Z][A-Z])\).*#i', $fields['City'],
$gregs))
        {
                $fields['City'] = $gregs[1];
                $fields['Prov'] = $gregs[2];
        }
        else
                $fields['Prov'] = '?';
        unset($fields['Contact'], $fields['Email'], $fields['Telephone'],
$fields['Fax'], $fields['Label28']);
        print_r($fields);
...e viene fuori qualcosa come
Array
(
    [SiteName] => ZINI PRODOTTI ALIMENTARI S.r.l. - Cesano Boscone (MI)
    [BrcSiteCode] => 1395197
    [Address] => Via Libert�, 36
    [City] => Cesano Boscone
    [ZipCode] => 20090
    [RegionState] =>
    [Country] => ITALY
    [GPS] => 45.44627900000000000;9.08561630000000000
    [Standard] => Food Issue 5
    [CertificationBody] => DNV-Det Norske Veritas (Italia) S.r.l
    [Grade] => Grade : A
    [ProductGroups] =>
    [Modules] =>
    [Category] =>
    [Scope] => Scope : Sviluppo e produzione di pasta e specialit�
alimentari surgelate  Development and  production of frozen pasta and
frozen food specialities
    [Exclusions] => Exclusion :  none
    [IssueDate] => Issue Date : 19/04/2010
    [ExpiryDate] => Expiry Date : 20/04/2011
    [Prov] => MI
)
...volendo si possono aggiungere altri filtri per normalizzare Grade o
Scope, che mi pare ne abbiano bisogno, come i campi data del resto.


 ha scritto nel messaggio 
news:bbe1f87f-92d1-499d...@s4g2000prh.googlegroups.com...


Concordo con Oreste :)
GrandeBit, potresti abbinare LWP per l'estrazione delle informazioni a 
Spreadsheet::WriteExcel.
Informazioni sull'uso dei moduli sul CPAN.
Saluti
Anak
softwareE=mc^
2...@netlogica.it
(eliminare l'eq per risp in prv) 

Complimenti a tutti per la disponibilità e la competenza.
Molte delle cose che mi avete suggerito non le ho neanche capite, ma è
solo una mia carenza. Siete stati davvero disponibili.
Siceramente grazie.